Amazon consacre une équipe à la formation d'un modèle d'IA ambitieux, baptisé "Olympus" -sources information fournie par Reuters 08/11/2023 à 08:30
(Le paragraphe 5 précise l'AGI) par Krystal Hu
Amazon AMZN.O investit des millions dans l'entraînement d'un ambitieux modèle de langage de grande taille (LLMs), dans l'espoir qu'il puisse rivaliser avec les meilleurs modèles d'OpenAI et d'Alphabet GOOGL.O , ont déclaré à Reuters deux personnes au fait du dossier.
Le modèle, dont le nom de code est "Olympus", compte 2 billions de paramètres, ont déclaré ces personnes, ce qui pourrait en faire l'un des plus grands modèles en cours de formation. Le modèle GPT-4 d'OpenAI, l'un des meilleurs modèles disponibles, aurait un trillion de paramètres.
Ces personnes ont parlé sous le couvert de l'anonymat car les détails du projet n'étaient pas encore publics.
Amazon s'est refusé à tout commentaire. The Information a publié le nom du projet mardi.
L'équipe est dirigée par Rohit Prasad, ancien responsable d'Alexa, qui dépend désormais directement du directeur général Andy Jassy. En tant que responsable scientifique de l'intelligence artificielle générale (AGI) chez Amazon, Prasad a fait appel à des chercheurs qui travaillaient sur Alexa AI et à l'équipe scientifique d'Amazon pour travailler sur des modèles d'entraînement, unissant les efforts d'IA dans l'ensemble de l'entreprise avec des ressources dédiées.
Amazon a déjà formé des modèles plus petits tels que Titan. Elle s'est également associée à des startups spécialisées dans les modèles d'IA, telles qu'Anthropic et AI21 Labs, pour les proposer aux utilisateurs d'Amazon Web Services (AWS).
Amazon pense que le fait d'avoir des modèles maison pourrait rendre ses offres plus attrayantes sur AWS, où les entreprises clientes veulent accéder aux modèles les plus performants, ont déclaré les personnes au fait du dossier, ajoutant qu'il n'y a pas de calendrier précis pour le lancement du nouveau modèle .
Les LLM sont la technologie sous-jacente des outils d'IA qui apprennent à partir d'énormes ensembles de données pour générer des réponses semblables à celles des humains.
La formation de modèles d'IA plus importants est plus coûteuse en raison de la puissance de calcul requise. Lors d'une conférence téléphonique sur les résultats en avril, les dirigeants d'Amazon ont déclaré que l'entreprise augmenterait ses investissements dans les LLM et l'IA générative tout en réduisant ses activités de traitement des commandes et de transport dans le secteur de la vente au détail.