Pour optimiser les LLM, IBM leur fait faire des divisions

IBM AMÉLIORE LES MODÈLES DE LANGAGE AVEC DES FRACTIONS CONTINUES
Les modèles de langage transformateurs sont devenus essentiels dans le domaine de l'intelligence artificielle, mais leur complexité et leur consommation de ressources peuvent être un frein à leur adoption. Pour répondre à ce défi, les chercheurs d'IBM ont développé une méthode innovante basée sur les fractions continues pour optimiser les composants clés de ces modèles.

Principe des fractions continues
Les fractions continues sont une représentation mathématique qui consiste à exprimer des valeurs sous forme de divisions imbriquées. Cette approche a été appliquée aux réseaux de neurones pour produire des "échelles" de calcul où chaque niveau dépend de la réciproque du précédent. Cela permet d'obtenir une capacité d'approximation universelle des nombres tout en préservant la chaîne causale de génération des tokens.

Avantages de la méthode CoFrGeNet
La méthode CoFrGeNet, développée par IBM, utilise les fractions continues pour remplacer les mécanismes d'attention et les réseaux à propagation avant dans les modèles transformateurs. Cette approche permet de réduire le nombre de divisions nécessaires, ce qui peut améliorer significativement les performances et la vitesse d'exécution des modèles. Les résultats des expériences menées par IBM montrent que la méthode CoFrGeNet peut améliorer la précision et la réduire la latence des modèles de langage.

Perspectives et implications
La méthode CoFrGeNet ouvre de nouvelles perspectives pour l'amélioration des modèles de langage transformateurs. Elle peut être combinée avec d'autres techniques d'optimisation, telles que le pruning et l'attention à fenêtre glissante, pour obtenir des résultats encore plus performants. Les chercheurs d'IBM prévoient de poursuivre leurs travaux en explorant de nouvelles architectures, comme Mamba, pour continuer à améliorer les performances et l'efficacité des modèles de langage.

---

Source : Silicon.fr​