Réapprendre les leçons du cloud face aux coûts démesurés des jetons d'IA

LE CONTROLE DES COÛTS D'IA : UNE LEÇON À RETIRER DU CLOUD

L'avènement de l'intelligence artificielle (IA) a révolutionné la façon dont les entreprises opèrent, mais les coûts associés à son déploiement sont souvent sous-estimés. Les entreprises sont confrontées à des factures d'IA qui dépassent de 10 à 20 fois leurs projections initiales, ce qui constitue un problème majeur pour les dirigeants financiers. Cependant, les leçons apprises du cloud computing peuvent être appliquées pour résoudre ce problème.

Le problème des coûts d'IA
Les coûts d'IA sont inhérentement variables, car les entreprises paient par jeton, et l'utilisation de ces jetons peut fluctuer considérablement en fonction du comportement des utilisateurs, de la complexité des requêtes et du volume de requêtes traitées. Cela ressemble au problème que les entreprises ont rencontré avec le cloud computing, où les coûts peuvent augmenter rapidement si les ressources ne sont pas gérées correctement. Les entreprises qui déployaient l'IA en espérant que les coûts se stabiliseraient ont été surprises de voir leurs factures augmenter mois après mois.

Les leçons du cloud
Les fournisseurs de cloud et les prestataires de services gérés qui travaillent avec eux ont développé des disciplines autour des opérations financières (finops) pour gérer les coûts du cloud. Ces disciplines incluent la visibilité, l'attribution des coûts, la mise en place de garde-fous et d'alertes, ainsi que la création de boucles de rétroaction pour encourager un comportement efficient. Les entreprises qui appliquent ces mêmes disciplines à leurs coûts d'IA sont mieux équipées pour gérer leurs dépenses. Les entreprises comme Priceline et Smartsheet ont déployé des tableaux de bord pour fournir une visibilité en temps réel sur la consommation de jetons, avec des rapports mensuels envoyés directement au directeur financier et au directeur technique.

La révolution du « show-back »
Une technique efficace qui émerge de cette crise est l'approche « show-back » de la gestion des coûts d'IA. Cette approche consiste à attribuer les coûts d'IA aux équipes et aux individus responsables de la consommation, ce qui crée une responsabilité sans la complexité organisationnelle des modèles de facturation complets. OpenText a rapporté que la mise en œuvre de l'approche « show-back » et de facturation peut réduire les coûts de jetons de 20 à 30 % en quelques mois.

L'intelligence des modèles
Une autre leçon tirée du cloud est que l'option la plus coûteuse n'est pas toujours la meilleure. Les organisations tendent à défauter vers le modèle d'IA le plus capable pour chaque tâche, sans tenir compte de la nécessité réelle. La meilleure pratique émergente est de faire correspondre la capacité du modèle aux exigences de la tâche. Une tâche de classification simple ne nécessite pas un modèle de pointe. Un travail de génération de texte simple peut être traité parfaitement par un modèle plus petit et moins coûteux. Les gains d'efficacité provenant de cette approche peuvent être substantiels.

La gestion des coûts d'IA
Les entreprises doivent traiter les coûts d'IA comme un coût opérationnel géré, plutôt qu'une variable imprévisible. Cela nécessite le déploiement des mêmes outils et disciplines qui ont fonctionné pour la gestion des coûts du cloud : visibilité, responsabilité, optimisation et amélioration continue. Les fournisseurs de cloud et les partenaires de services gérés qui travaillent avec eux ont développé les outils, les meilleures pratiques et la main-d'œuvre nécessaire pour appliquer ces compétences au défi des coûts d'IA. Si votre organisation lutte contre les dépenses d'IA, trouver des partenaires avec une expérience approfondie en finops pourrait être le chemin le plus rapide pour prendre le contrôle.

En conclusion, les coûts d'IA sont un problème solvable, mais cela nécessite de reconnaître le problème, d'investir dans les bonnes capacités et d'accepter que le déploiement de la technologie sans discipline financière est une voie vers les ennuis. Les entreprises doivent mettre en place des pratiques de finops pour gérer leurs coûts d'IA, comprendre les avantages de l'IA et utiliser les modèles d'IA de manière efficace. En suivant ces leçons et en appliquant les disciplines de finops, les entreprises peuvent contrôler leurs coûts d'IA et maximiser les avantages de l'IA.

---

Source : CrowdStrike identifies five new AI prompt injection threats | InfoWorld - Relearning cloud lessons from runaway AI token costs​