Des chercheurs de Stanford clonent le modèle d'IA GPT-3.5 pour seulement 600 dollars

Des chercheurs de Stanford ont cloné avec succès l'IA de traitement du langage naturel GPT-3.5-turbo d'OpenAI, créant ainsi un nouveau modèle bon marché qu'ils ont appelé Alpaca.  Il offrirait des performances comparables et ouvre la voie à des modèles d'IA plus accessibles et économiques. 

Selon New Atlas, des chercheurs de l'université de Stanford auraient réussi à cloner le GPT-3.5-turbo d'OpenAI, l'IA avancée dans le traitement de langage naturel (NLP) qui est sur toutes les lèvres. Ils ont ainsi créé leur propre modèle d'IA (LLM) : Alpaca 7B. Pour réussir cette prouesse impressionnante, l'équipe aurait plus précisément "amélioré" le modèle linguistique LLaMA 7B de Meta (le plus petit et le moins cher des modèles LLaMA disponibles) en utilisant l'API GPT d'OpenAI. Et ce à un prix défiant toute concurrence. La production de ce clone aurait été réalisée avec un budget minimal de 600 dollars, démontrant ainsi la possibilité de créer un modèle d'IA avancé sans se ruiner.

Si GPT-3 d'OpenAI propose des résultats significatifs dans les tâches liées au traitement du langage naturel, son coût peut constituer une limite. Même si GPT-4 prévoit une réduction de ces derniers pour les utilisateurs, la gestion de transformateurs tels que GPT-3 entraînent des dépenses considérables. En développant Alpaca, l'équipe de Stanford ouvre la voie à la création de modèles d'IA plus accessibles au grand public et surtout plus rentables.

Des performances similaires pour des coûts moins élevés, plus de risques ?

Pour cloner LLaMA 7B, l'équipe de Stanford a demandé à GPT de prendre 175 paires d'instructions/sorties écrites par des humains et de commencer à en générer d'autres dans le même format, 20 à la fois. Cette opération a été automatisée grâce à l'une des API d'OpenAI. Très rapidement, l'équipe disposait de 52 000 exemples de conversations à utiliser pour le post-entraînement de LLaMA. La génération de ces données d'entraînement en masse a coûté moins de 500 dollars. L'équipe a ensuite utilisé ces données pour affiner LLaMA - un processus qui a pris environ trois heures et a coûté moins de 100 dollars. In fine, les performances d'Alpaca seraient comparables à celles de GPT-3.5-turbo même si l'équipe reconnaît qu'Alpaca souffre encore de quelques  "déficiences courantes des modèles de langage, notamment l'hallucination, la toxicité et les stéréotypes".

Le développement d'Alpaca reste une innovation intéressante, car il baisse potentiellement le coût d'entrée, notamment pour certains acteurs de la recherche, de l'exploration des technologies autour de l'IA. Si davantage de chercheurs et d'institutions commencent à utiliser des méthodes aussi rentables, les progrès de l'IA devraient encore s'accélérer. La création de clones d'IA abordables comme Alpaca est un pas de plus vers la démocratisation et le développement de l'IA dans tous les domaines, de l'éducation à la recherche scientifique, en passant par les divers business et le divertissement. Mais cela le fait de pouvoir construire soi-même un modèle de langage pour 600 dollars montre à quel point ce secteur tout entier, et ses capacités rapides et impressionnantes, pourrait rapidement échapper à tout contrôle...