JDN. Selon vous, ChatGPT représente-t-il une rupture dans l'intelligence artificielle ?

Ali Ghodsi. A première vue, la réponse est évidemment oui. Mais ChatGPT a réveillé le monde sur une innovation qui remonte à des années. En 1990, le chercheur de Google, Peter Norvig, indiquait déjà dans l'article "The Unreasonable Effectiveness of Data" que de simples modèles de machine learning avec beaucoup de données seraient meilleurs que des modèles très compliqués avec moins de données. Il conceptualisait déjà l'idée de modèles textuels apprenants en vue de réaliser des traitements, faire de la traduction… Il prévoyait déjà tout. L'IA appliquée au texte a émergé dans les années qui ont suivi avec de multiples initiatives. Puis en 2017, les chercheurs de Google ont publié leur article sur la technologie du transformer. C'est là l'essence de ChatGPT. La brique clé sur laquelle il s'appuie.

Partant de-là, on peut dire que la rupture majeure est issue de cet article de 2017. Ensuite, on a assisté à une course en termes d'articles de recherche, de démonstrateurs… ChatGPT n'a finalement fait que révéler au monde l'implication des transformers. Désormais, tout le monde a réalisé a quel point ce type de modèle était puissant. Ce n'est pas une rupture, mais une continuité. Chez Databricks, nous avons toujours pensé que le logiciel allait devenir de plus en plus intelligent et de plus en plus automatisé.

Pensez-vous que Microsoft soit en train de prendre l'ascendant avec l'intégration de ChatGPT à Bing, à Azure et maintenant à Office ?

Tout le monde est en train d'intégrer ce type de technologie à ses services, pas seulement Microsoft. L'IA générative est une lame de fond vers laquelle les principaux acteurs de l'écosystème vont converger. Partant de là, la grande question qui se pose est de savoir si le modèle de base d'OpenAI offre correspond à une brique disruptive et unique. La réponse est non. Je pense qu'il y en a beaucoup d'autres. Des acteurs comme Anthropic ou Cohere proposent également ce type d'IA.

D'ici deux à trois ans, tous ces acteurs vont évoluer vers des modèles de plus petite taille, qui ne nécessiteront pas autant de capacité de calcul et de GPU pour être entrainés, tout en étant plus performants. Deuxième prédiction, je pense que ces modèles vont évoluer vers une approche open source. Toutes les universités avec des laboratoires en IA génératives travaillent dans ce sens pour rendre les modèles à la fois plus simple et open source.

"Cela va prendre quelques années avant qu'on connaisse les gagnants de l'IA générative"

Quels seront les premiers à tirer parti de l'IA générative ?

Internet a été créé en 1969. Mais la rupture est arrivée 1991 avec le premier serveur web lancé par Tim Berners-Lee. Avec l'IA, nous vivons la même chose. Avec ChatGPT, nous en sommes désormais à l'équivalent de l'année 1991 pour le web. Cette année-là, personne n'avait prévu qu'il y aurait un acteur comme Facebook dix ans après. Je pense qu'il va se passer le même phénomène avec les IA génératives. Cela va prendre quelques années avant qu'on connaisse les gagnants. On devrait en compter de deux types. En premier lieu, il y aura ceux qui parviendront à récupérer des volumes massifs de données propriétaires, ce qui leur conférera une énorme valeur ajoutée, dans la médecine par exemple pour dépister les maladies. Ensuite figureront ceux qui seront parvenus à capter un réseau et à l'incarner. Comme Uber dans le Web. ChatGPT incarne cette nouvelle ruée vers l'or.

Comment vos clients ont-ils réagi au lancement de ChatGPT ?

Chez Databricks, nous pratiquons l'IA générative depuis longtemps. Nous nous servons de large language models comme BERT depuis des années. Avec l'avènement de ChatGPT, nous constatons un besoin croissant chez nos clients en matière de ressources de calcul graphique. Le premier cas d'usage que nous observons autour de l'IA générative de texte réside dans le support de produits et services, le tout dans de multiples langues. La question centrale est ici de savoir comment automatiser le processus de questions-réponses. Ce cas d'usage ne peut néanmoins pas être mis en œuvre avec ChatGPT par défaut, car cette technologie ne maitrise pas un produit ou un service particulier. Pour que ça fonctionne, il est nécessaire d'entrainer le modèle sur les données métier sous-jacentes.

Second cas d'usage de l'IA générative de texte : l'auto-complétion de texte. Toute personne utilisant une application deviendra plus productive avec une intelligence artificielle prédictive qui lui propose la suite du contenu qu'il est en train de saisir. C'est particulièrement performant dans le codage de logiciel. Sur Databricks, nous implémentons le modèles CodeGen de Salesforce pour faire du programming prédictif. Nos clients ont en outre de plus en plus recours à l'IA générative orientée vers l'image, notamment pour la recherche des photos dans le cadre de la conception d'un catalogue de produits. Dernier cas d'usage : la recherche de texte via le text embedding.

Comment concrètement intégrez-vous l'IA générative à la plateforme Databricks ?

Nous annonçons cette semaine la prise en charge de l'inférence. Ce qui permettra de s'appuyer sur Databricks pour exécuter, notamment, des modèles d'IA générative. Nous étions évidemment déjà présents sur la phase d'entrainement. Mais cette nouvelle fonctionnalité, baptisée model serving, nous permet de couvrir l'ensemble du spectre du machine learning. Lors de notre événement mondial 2023, qui se tiendra en juin prochain, nous réaliserons trois annonces majeures sur le front des large language models.

2023, sera-t-elle l'année des large language models (LLM) ?

Ce sera plus particulièrement celle des LLM de type transformer. Une catégorie de modèles qui peut faire bien plus en termes de langage que les LLM de première génération. Si vous avez une matrice de chiffres à gérer, vous n'utiliserez pas les transformers, dont le principal avantage porte sur le traitement de la langue, même si je pense qu'à l'avenir ils pourront aussi s'appliquer à ce type de problématique.

"Il ne reste plus qu'à connecter un robot à ChatGPT pour parvenir à un humain capable de réaliser des tâches sensées"

Au-delà de la gestion des langues au sens strict, les transformers saisissent des concepts un peu comme le fait le cerveau humain, par exemple la joie, la tristesse, la colère, l'agressivité, la simplicité, la complexité… Ils infèrent ces concepts directement sans passer par un tiers pour leur enseigner. Ils comprennent par conséquent des notions que nous ne sommes pas forcément capables de saisir. Partant de-là, je pense que ces IA sont déjà supérieures à un cerveau humain d'un certain point de vue.

Le zero-shot learning, ou apprentissage au fur et à mesure (qui n'est pas implémenté dans ChatGPT mais pourrait l'être dans une future version), permet aux LLM de changer de dimension…

Avec le zero-shot learning, le LLM peut directement ingérer, lors de son utilisation, un concept abstrait qu'il n'a jamais vu auparavant, et qui sera exprimé par le locuteur dans la discussion. Il pourra donc ensuite réutiliser cette dimension pour répondre à une future question. Ce qui lui permet d'être potentiellement plus performant que le cerveau humain, notamment compte tenu de son avantage en matière de patern matching. Beaucoup d'experts se demandent quand l'artificial intelligence général va arriver. A mon sens, nous avons déjà atteint ce point. Il ne reste plus qu'à connecter un robot à ChatGPT pour parvenir à un humain capable de réaliser des tâches sensées.

Ali Ghodsi est le CEO de Databricks. Il est l'un des sept cofondateurs de la plateforme Databricks, pionnière d'une architecture ouverte et unifiée pour les données et l'IA. Avant cela, Ali Ghodsi était professeur adjoint à l'université de Berkeley. Alors qu'il est encore chercheur, il cofonde les outils Open Source Delta Lake, Apache Spark et MLflow afin de faciliter la gestion et le traitement de données. D'origine suédoise, Ali Ghodsi est diplômé d'un MBA de la Mid Sweden University et a obtenu un doctorat en 2006 auprès du KTH/Royal Institute of Technology.