Un GPU de datacenter pour faire tourner une IA en local

UNE IA PERSO POUR 200 EUROS

L'utilisation d'intelligences artificielles (IA) est de plus en plus répandue, mais la plupart des solutions disponibles nécessitent l'envoi de données vers le cloud, ce qui peut soulever des préoccupations en matière de sécurité et de confidentialité. Cependant, un utilisateur a trouvé une solution pour faire tourner une IA en local, sans envoyer de données vers le cloud, en utilisant un GPU de datacenter dans son PC gaming.

Introduction à l'IA en local
L'objectif de cette solution est de faire tourner un grand modèle de langage, également appelé LLM (Large Language Model), directement sur un ordinateur personnel. Cela permet de garder les données locales et de réduire les coûts de requête à quasi zéro après l'investissement initial. Pour cela, il est nécessaire d'avoir un matériel puissant, capable de supporter les exigences de calcul et de mémoire de l'IA.

La configuration du PC gaming
La configuration utilisée pour cette solution est basée sur un PC gaming équipé d'une carte graphique RTX 4080 et de 16 Go de mémoire vidéo. Pour augmenter les capacités de calcul et de mémoire, une Tesla V100, une carte graphique conçue à l'origine pour les serveurs de datacenter, a été ajoutée. Cette carte a été acquise pour environ 170 euros sur eBay, ce qui est relativement abordable.

Les performances de l'IA
La configuration finale offre 32 Go de VRAM, ce qui permet de faire tourner des modèles d'IA plus importants. Le modèle Qwen3.6, qui compte environ 27 milliards de paramètres, a été choisi pour cette solution. Ce modèle est capable d'analyser des images et de générer du texte. Les performances de l'IA sont impressionnantes, avec environ 32 tokens par seconde en génération et 150 tokens par seconde en traitement de la question. Cela est dû en partie à l'utilisation de llama.cpp, un logiciel libre qui permet de faire tourner des IA en local.

Les avantages de l'IA en local
L'utilisation d'une IA en local présente plusieurs avantages. Tout d'abord, les données restent locales et ne sont pas envoyées vers le cloud, ce qui réduit les risques de fuite de données. De plus, les coûts de requête sont réduits à quasi zéro après l'investissement initial, ce qui peut être intéressant pour les utilisateurs qui ont besoin de faire des requêtes fréquentes. Enfin, l'utilisation d'un GPU de datacenter permet de bénéficier de performances élevées sans avoir à recourir à des solutions cloud coûteuses.

Les défis et les limites
Malgré les avantages de cette solution, il existe encore des défis et des limites. La principale difficulté est la détection matérielle de la Tesla V100, qui peut disparaître des radars après un redémarrage à chaud. Cela oblige à éteindre complètement la machine pour la voir réapparaître. De plus, la configuration de l'IA et du matériel peut nécessiter des connaissances techniques avancées.

Conclusion et perspectives
En conclusion, l'utilisation d'un GPU de datacenter pour faire tourner une IA en local est une solution intéressante pour les utilisateurs qui ont besoin de performances élevées et de sécurité de données. La configuration utilisée dans cette solution est basée sur un PC gaming équipé d'une carte graphique RTX 4080 et d'une Tesla V100, ce qui permet de bénéficier de 32 Go de VRAM. Les performances de l'IA sont impressionnantes, avec environ 32 tokens par seconde en génération et 150 tokens par seconde en traitement de la question. Cependant, il existe encore des défis et des limites, notamment la détection matérielle de la Tesla V100. Pour plus d'informations sur les solutions de NVIDIA pour les datacenters, vous pouvez consulter leur site web. Vous pouvez également télécharger le logiciel llama.cpp pour faire tourner des IA en local. Enfin, pour en savoir plus sur les modèles d'IA disponibles, vous pouvez visiter le site web de Hugging Face.

---

Source : Les news de Korben - Il glisse un GPU de datacenter dans son PC gaming pour faire tourner une IA en local - Korben​