L'optimisation de l'IA : Comment nous avons réduit les coûts énergétiques dans les systèmes de recommandation des méd...

L'EFFICACITE DE L'INTELLIGENCE ARTIFICIELLE : UNE NOUVELLE ERA POUR LES RESEAUX SOCIAUX

L'optimisation de l'intelligence artificielle (IA) est devenue un enjeu majeur pour les entreprises de médias sociaux, car les coûts énergétiques liés à l'entraînement et à l'exécution des modèles d'IA peuvent être considérables. En effet, les systèmes de recommandation utilisés par les plateformes de médias sociaux tels que Instagram et YouTube nécessitent des quantités importantes de données et de calculs pour fournir des contenus pertinents aux utilisateurs. Cependant, ces systèmes peuvent également consommer beaucoup d'énergie, ce qui peut avoir un impact négatif sur l'environnement.

L'architecture des systèmes de recommandation
Les systèmes de recommandation modernes fonctionnent généralement comme un entonnoir. Au sommet, il y a la récupération, où l'on sélectionne des milliers de candidats potentiels à partir d'un bassin de milliards d'éléments de média. Ensuite, vient la phase de classement précoce, qui filtre ce grand bassin pour obtenir un ensemble plus petit. Enfin, on atteint la phase de classement tardif, où l'on utilise des modèles d'apprentissage profond complexes pour ordonner de manière précise un ensemble de 50 à 100 éléments pour maximiser l'engagement des utilisateurs. Cette phase finale est très dense en fonctionnalités, car le modèle peut examiner des centaines de fonctionnalités pour classer un seul élément.

Le coût caché de l'entonnoir de recommandation
Pour comprendre l'optimisation, il faut comprendre l'architecture. Le processus de journalisation des fonctionnalités est un goulet d'étranglement. En effet, le système doit capturer l'état exact du monde (les fonctionnalités) au moment de l'inférence et les joindre plus tard avec l'action future de l'utilisateur (l'étiquette), telle qu'un "j'aime" ou un "clic". Cela crée un défi important pour les systèmes distribués : la jonction d'étiquettes étatiques.

L'optimisation de la charge de tête
Pour optimiser la charge de tête, les ingénieurs ont réalisé que leur "amplification d'écriture" était hors de contrôle. En effet, dans la phase de classement tardif, ils classaient généralement un tampon profond d'éléments - disons les 100 premiers candidats - pour s'assurer que le client avait suffisamment de contenu en cache pour un défilement fluide. Cependant, le comportement des utilisateurs suit une courbe de déclin abrupte. Un utilisateur ne visionnera peut-être que les 5-6 premiers éléments (la "charge de tête") avant de fermer l'application ou de rafraîchir le flux. Cela signifiait qu'ils payaient le coût de sérialisation et d'E/S pour stocker les fonctionnalités des éléments 7 à 100, qui avaient une probabilité quasi nulle de générer une étiquette positive.

La mise en œuvre de la journalisation paresseuse
Pour résoudre ce problème, les ingénieurs ont mis en œuvre une architecture de journalisation paresseuse. Ils ont reconfiguré le pipeline de service pour ne conserver les fonctionnalités que pour la charge de tête (par exemple, les 6 premiers éléments) dans le magasin de clés-valeurs (KV) initialement. Lorsque l'utilisateur fait défiler au-delà de la charge de tête, le client déclenche un signal de pagination léger. Seuls alors, ils sérialisent et enregistrent de manière asynchrone les fonctionnalités pour le prochain lot (éléments 7-15). Ce changement a découpé leur profondeur de classement de leurs coûts de stockage. Ils pouvaient toujours classer 100 éléments pour trouver le contenu absolu le meilleur, mais ils ne payaient le "taxe de stockage" que pour le contenu qui avait réellement une chance d'être vu.

Révision des schémas de stockage
Une fois qu'ils ont réduit ce qu'ils stockaient, ils ont examiné la façon dont ils stockaient les données. Dans une architecture de magasin de fonctionnalités standard, les données sont souvent stockées dans un format tabulaire où chaque ligne représente une impression (un utilisateur spécifique visionnant un élément spécifique). S'ils servaient un lot de 15 éléments à un utilisateur, le système d'enregistrement écrirait 15 lignes. Chaque ligne contenait les fonctionnalités de l'élément (uniques pour la vidéo) et les fonctionnalités de l'utilisateur (identiques pour les 15 lignes). Ils écrivaient essentiellement l'âge de l'utilisateur, l'emplacement et le nombre d'abonnés 15 fois séparément pour une seule demande.

Conclusion et perspectives
En résumé, l'optimisation de l'IA est cruciale pour réduire les coûts énergétiques dans les systèmes de recommandation des médias sociaux. En mettant en œuvre une architecture de journalisation paresseuse, en révisant les schémas de stockage et en auditant l'utilisation des fonctionnalités, les entreprises peuvent réduire considérablement leurs coûts énergétiques et améliorer l'efficacité de leurs systèmes. Pour en savoir plus sur les systèmes de recommandation et l'optimisation de l'IA, vous pouvez consulter les modèles de recommandation à deux tours ou les magasins de fonctionnalités. Vous pouvez également explorer les meilleures pratiques pour l'optimisation de l'IA et les méthodes de stockage de données efficaces.

---

Source : OpenAI’s desktop superapp: The end of ChatGPT as we know it? | InfoWorld - AI optimization: How we cut energy costs in social media recommendation systems