L’origine de Chat GPT
10 février 2023
L’homme invente, l’IA compose
En 2013, les travailleurs d’une entreprise de construction allemande ont découvert que les impressions d’un plan d’étage comportaient des indications de surface qui différaient de celles décrites par le fichier informatique. L’entreprise a contacté un informaticien, qui a découvert que le photocopieur Xerox utilisait une compression « avec perte », ce qui signifie que certaines informations sont perdues dans le processus de compression. La compression avec perte est généralement utilisée pour les photos, l’audio et la vidéo où la précision n’est pas cruciale, mais pour les fichiers texte et les programmes informatiques, la compression « sans perte » est utilisée pour éviter les erreurs. Le photocopieur Xerox considérait les étiquettes où figuraient les mesures comme similaires, ce qui entraînait la transposition des indications d’une seule étiquette à l’ensemble des figures. Cet incident met en évidence les dangers potentiels des modèles comme ChatGPT d’OpenAI, car une compression avec perte peut entraîner des informations subtiles mais incorrectes.
ChatGPT est comme une compression « avec perte » de toutes les informations sur le Web. Il conserve beaucoup d’informations mais les mots exacts ne sont pas stockés, donc la recherche d’une citation exacte ne donnera pas une correspondance exacte. Les informations sont présentées sous forme de texte grammatical, mais le modèle est sujet à des « hallucinations » ou à des réponses absurdes à des questions factuelles. Ces hallucinations sont comme des artefacts de compression et nécessitent une comparaison avec les informations d’origine. Les algorithmes de compression avec perte utilisent l’interpolation pour estimer les informations manquantes, ce qui est similaire à ce que fait ChatGPT lors de la génération de texte en prenant deux points dans « l’espace lexical ». Les gens trouvent ça amusant parce que ChatGPT est si bon pour interpoler du texte que c’est comme un outil de « flou » pour les paragraphes.
Les grands modèles de langage comme ChatGPT peuvent être considérés comme des algorithmes de compression de texte avec perte, mais cette perspective minimise leur capacité à comprendre le texte. Ils utilisent l’analyse statistique pour identifier des modèles dans le texte, mais ils ne sont pas parfaits. Ils peuvent répondre à des problèmes arithmétiques simples mais échouent à des problèmes complexes et leurs réponses à des questions sur d’autres sujets semblent parfois être doués d’une véritable compréhension, mais ne font en fait que reformuler. L’illusion de compréhension est créée par la capacité du modèle à reformuler l’information, plutôt que de simplement la régurgiter mot pour mot.
Les grands modèles de langage tels que ChatGPT d’OpenAI peuvent être évalués sur la base de l’analogie d’un JPEG flou. La qualité du texte généré par ces modèles est discutable et il est nécessaire d’éliminer la fabrication et la propagande. Bien que ces modèles puissent générer du contenu Web, ils peuvent ne pas convenir aux personnes à la recherche d’informations. Le futur modèle GPT-4 devrait avoir des données de formation plus strictes, à l’exclusion du texte généré par les modèles précédents. L’utilisation de ces modèles pour l’écriture originale peut ne pas convenir car il manque l’expérience essentielle qu’offre l’écriture de contenu non original. Pour créer un travail original, il est préférable de partir de zéro et de perfectionner ses compétences en écriture en écrivant du contenu non original.
Cet article est un condensé de la chronique de Ted Chiang, parue le 9 février dans « The New Yorker » (voir l’article). Le paradoxe ? Ce résumé a été réalisé par ChatGPT. Je vous invite donc à découvrir la chronique originale pour évaluer la perspicacité de cette compression « avec perte » !
