OpenAI travaille sur une nouvelle technologie de raisonnement sous le nom de code "Strawberry" (fraise)

information fournie par Reuters •15/07/2024 à 10:18

((Traduction automatisée par Reuters, veuillez consulter la clause de non-responsabilité https://bit.ly/rtrsauto))

(Ajout de détails sur les performances de l'IA dans les problèmes mathématiques paragraphe 11) par Anna Tong et Katie Paul

15 juillet - Le fabricant de ChatGPT OpenAI travaille sur une nouvelle approche de ses modèles d'intelligence artificielle dans le cadre d'un projet dont le nom de code est "Strawberry" (fraise), selon une personne familière avec le sujet et des documents internes examinés par Reuters.

Ce projet, dont les détails n'ont pas été révélés précédemment, intervient alors que la startup soutenue par Microsoft s'efforce de démontrer que les types de modèles qu'elle propose sont capables d'offrir des capacités de raisonnement avancées.

Les équipes d'OpenAI travaillent sur Strawberry, selon une copie d'un document interne récent d'OpenAI vu par Reuters en mai. Reuters n'a pas pu déterminer la date exacte de ce document, qui détaille un plan d'utilisation de Strawberry par OpenAI pour la recherche. La source a décrit le plan à Reuters comme un travail en cours. L'agence de presse n'a pas été en mesure d'établir dans quelle mesure Strawberry est sur le point d'être rendu public.

Le fonctionnement de Strawberry est un secret bien gardé, même au sein d'OpenAI, a déclaré la personne.

Le document décrit un projet qui utilise les modèles Strawberry dans le but de permettre à l'IA de l'entreprise de ne pas se contenter de générer des réponses à des requêtes, mais de planifier suffisamment à l'avance pour naviguer sur Internet de manière autonome et fiable afin d'effectuer ce qu'OpenAI appelle de la "recherche approfondie", selon la source.

Selon des entretiens avec plus d'une douzaine de chercheurs en IA, il s'agit là d'un aspect qui a échappé aux modèles d'IA jusqu'à présent.

Interrogé sur Strawberry et les détails rapportés dans cet article, un porte-parole de la société OpenAI a déclaré: "Nous voulons que nos modèles d'IA voient et comprennent le monde davantage comme nous le faisons. La recherche continue de nouvelles capacités d'IA est une pratique courante dans l'industrie, avec la conviction partagée que ces systèmes amélioreront leur raisonnement au fil du temps."

Le porte-parole n'a pas répondu directement aux questions concernant Strawberry.

Le projet Strawberry était auparavant connu sous le nom de Q*, dont Reuters a rapporté l'année dernière que était déjà considéré comme une percée au sein de l'entreprise.

Deux sources ont déclaré avoir vu au début de l'année ce que des membres du personnel d'OpenAI leur ont dit être des démonstrations de Q*, capables de répondre à des questions scientifiques et mathématiques délicates, hors de portée des modèles commerciaux d'aujourd'hui.

Une autre source informée de l'affaire a déclaré qu'OpenAI avait testé en interne une IA ayant obtenu un score supérieur à 90 % sur un ensemble de données MATH, une référence en matière de problèmes mathématiques de championnat. Reuters n'a pas pu déterminer s'il s'agissait du projet "Strawberry".

Mardi, lors d'une réunion interne, OpenAI a présenté une démonstration d'un projet de recherche qui, selon Bloomberg , offrirait de nouvelles capacités de raisonnement semblables à celles de l'homme. Un porte-parole d'OpenAI a confirmé la tenue de la réunion, mais n'a pas voulu donner de détails sur son contenu. Reuters n'a pas pu déterminer si le projet présenté était Strawberry.

OpenAI espère que cette innovation améliorera considérablement les capacités de raisonnement de ses modèles d'IA, a déclaré la personne au courant, ajoutant que Strawberry implique une méthode spécialisée de traitement d'un modèle d'IA après qu'il a été pré-entraîné sur de très grands ensembles de données.

Les chercheurs interrogés par Reuters affirment que le raisonnement est essentiel pour que l'IA parvienne à une intelligence de niveau humain ou surhumain.

Si les grands modèles de langage peuvent déjà résumer des textes denses et composer une prose élégante bien plus rapidement que n'importe quel humain, la technologie est souvent insuffisante pour résoudre des problèmes de bon sens dont les solutions semblent intuitives pour l'homme, comme reconnaître les sophismes logiques et jouer au morpion. Lorsque le modèle rencontre ce type de problèmes, il "hallucine" souvent des informations erronées.

Les chercheurs en IA interrogés par Reuters s'accordent généralement à dire que le raisonnement, dans le contexte de l'IA, implique la formation d'un modèle qui permet à l'IA de planifier à l'avance, de refléter le fonctionnement du monde physique et de résoudre de manière fiable des problèmes difficiles comportant plusieurs étapes.

L'amélioration du raisonnement dans les modèles d'IA est considérée comme la clé permettant de débloquer la capacité des modèles à tout faire, depuis les découvertes scientifiques majeures jusqu'à la planification et la construction de nouvelles applications logicielles. Le directeur général d'OpenAI, Sam Altman, a déclaré au début de l'année à l'adresse que, dans le domaine de l'IA, "les progrès les plus importants concerneront la capacité de raisonnement"

D'autres entreprises comme Google, Meta et Microsoft expérimentent également différentes techniques pour améliorer le raisonnement dans les modèles d'IA, tout comme la plupart des laboratoires universitaires qui effectuent des recherches sur l'IA. Les chercheurs ne s'accordent toutefois pas sur la capacité des grands modèles de langage (LLM) à intégrer des idées et une planification à long terme dans la manière dont ils effectuent leurs prédictions. Par exemple, l'un des pionniers de l'IA moderne, Yann LeCun, qui travaille chez Meta, a souvent déclaré que les LLM n'étaient pas capables d'un raisonnement semblable à celui d'un être humain.

LES DÉFIS DE L'IA

Strawberry est un élément clé du plan d'OpenAI visant à surmonter ces défis, a déclaré la source au fait du dossier. Le document vu par Reuters décrit ce que Strawberry vise à permettre, mais pas comment.

Ces derniers mois, l'entreprise a signalé en privé aux développeurs et à d'autres parties extérieures qu'elle était sur le point de mettre sur le marché une technologie dotée de capacités de raisonnement nettement plus avancées, selon quatre personnes qui ont entendu les présentations de l'entreprise. Ces personnes n'ont pas souhaité être identifiées car elles ne sont pas autorisées à parler de sujets privés.

Selon l'une des sources, Strawberry comprend une méthode spécialisée de "post-entraînement" des modèles d'IA générative d'OpenAI, c'est-à-dire l'adaptation des modèles de base pour affiner leurs performances de manière spécifique après qu'ils ont déjà été "entraînés" sur des quantités de données généralisées.

La phase post-entraînement du développement d'un modèle implique des méthodes telles que le "réglage fin", un processus utilisé pour presque tous les modèles de langage aujourd'hui et qui se présente sous de nombreuses formes, comme le fait de demander à des humains de donner un retour d'information au modèle en fonction de ses réponses et de lui fournir des exemples de bonnes et de mauvaises réponses.

Strawberry présente des similitudes avec une méthode mise au point à Stanford en 2022, appelée "Self-Taught Reasoner" (raisonneur autodidacte) ou "STaR", a déclaré l'une des sources ayant connaissance du dossier. STaR permet aux modèles d'IA de s'auto-amorcer pour atteindre des niveaux d'intelligence plus élevés en créant itérativement leurs propres données d'entraînement. En théorie, cette méthode pourrait être utilisée pour amener les modèles de langage à transcender l'intelligence humaine, a déclaré à Reuters l'un de ses créateurs, Noah Goodman, professeur à Stanford.

"Je pense que c'est à la fois excitant et terrifiant... si les choses continuent à aller dans cette direction, nous devrons réfléchir sérieusement en tant qu'humains", a déclaré M. Goodman. M. Goodman n'est pas affilié à OpenAI et ne connaît pas Strawberry.

Parmi les capacités qu'OpenAI vise avec Strawberry, il y a l'exécution de tâches à long terme (LHT), selon le document, qui fait référence à des tâches complexes nécessitant qu'un modèle planifie à l'avance et exécute une série d'actions sur une période de temps prolongée, a expliqué la première source.

Pour ce faire, OpenAI crée, entraîne et évalue les modèles sur ce que l'entreprise appelle un ensemble de données de "recherche approfondie", selon la documentation interne d'OpenAI. Reuters n'a pas été en mesure de déterminer le contenu de cet ensemble de données ni la durée d'une période prolongée.

OpenAI souhaite spécifiquement que ses modèles utilisent ces capacités pour mener des recherches en naviguant sur le web de manière autonome avec l'aide d'un "CUA", ou agent utilisant un ordinateur, qui peut prendre des mesures en fonction de ses résultats, selon le document et l'une des sources. OpenAI prévoit également de tester ses capacités en effectuant le travail des ingénieurs en logiciel et en apprentissage automatique.