Retour aux actualités
Intelligence artificielle Startup Digital Logiciel

LightOn : les grands modèles de langage à portée des entreprises

Publié le 28 novembre 2023|par Martin Koppe

Les récents progrès en matière d’IA ont fait naître des systèmes qui génèrent toutes sortes de réponses et de textes. Avec le modèle Alfred et la plateforme Paradigm, la startup LightOn permet aux compagnies et aux administrations de bénéficier de grands modèles de langage spécifiquement adaptés à leurs besoins.

Les grands modèles de langage, tels que ChatGPT, sont capables de traiter de gigantesques quantités de données pour en extraire la substantifique moelle et produire du texte, dans une grande variété de styles et de contenus. Mais comment faire lorsqu’il s’agit de traiter des documents confidentiels, ne pouvant quitter les serveurs privés d’une entreprise ? C’est là qu’intervient LightOn.

Fondée en 2016 par des anciens de l’institut Langevin (CNRS/ESPCI PARIS – PSL), du Laboratoire Kastler Brossel (LKB, CNRS/College de France/ENS – PSL/Sorbonne Université) et du Laboratoire de physique de l’ENS (LPENS, CNRS/ENS – PSL/Sorbonne Université/Université Paris Cité), la start-up cherchait à l’origine à valoriser une technologie d’accélérateurs photoniques, co-processeurs fonctionnant grâce à la lumière.

« Quand nous avons vu arriver GPT3 en mai 2020, ça a été une révélation : cette technologie va changer le monde, se souvient Laurent Daudet, directeur général de LightOn, ex-professeur à l’université Paris Cité et membre de l’institut Langevin. L’IA ne se contente plus de traiter des données, elle en génère et c’est une vraie rupture. Ces modèles sont en plus capables de réaliser des tâches pour lesquelles ils n’ont pas été explicitement entraînés. Enfin, ils fonctionnent en langage naturel et peuvent être utilisés par n’importe qui, et plus uniquement par des chercheurs et des ingénieurs. ChatGPT est sorti il n’y a qu’un an et on le retrouve désormais partout. »

Laurent Daudet, qui vient de publier une BD expliquant l’IA générative au grand public, reste vigilant sur les questions soulevées par les grands modèles de langage. « L’IA est en train de changer le monde pour le meilleur et pour le pire, elle va affecter quasiment tous les métiers, avance-t-il. Il faut en exposer clairement les enjeux à tous. »

Interface de l'application LightOn

Mais comment passer des accélérateurs photoniques aux grands modèles de langage ? LightOn avait monté une équipe qui optimise des IA afin qu’elles fonctionnent avec des composants photoniques, notamment pour les calculs intensifs. Or, l’entraînement des grands modèles de langage, tels que ChatGPT, nécessite des millions d’heures de calcul de ce type. D’autres points communs techniques ont permis à LightOn d’effectuer sa transition.

« Nous avons depuis développé une douzaine de grands modèles de langage, dont certains parmi les meilleurs modèles du monde avec plus de 150 milliards de paramètres, se réjouit Laurent Daudet. Notre dernier modèle, Alfred, comporte 40 milliards de paramètres, ce qui est un bon compromis entre performance et facilité de déploiement pour les entreprises. »

Alfred offre des systèmes de Retrieval augmented generation (RAG), qui permettent de fouiller dans d’immenses archives afin de répondre à toutes sortes de questions en langage naturel. Les résultats sont ordonnés et sourcés, ce qui empêche les modèles d’halluciner, c’est-à-dire de donner des solutions qui semblent correctes, mais qui sont en réalité inventées. Et surtout, rien ne quitte les serveurs de l’entreprise. Le modèle Alfred est accessible via la plateforme Paradigm.

« Je fais une analogie avec les automobiles, explique Laurent Daudet. Le modèle de langage sert de moteur surpuissant, mais tout seul il ne sert à rien : il faut savoir le déployer, l’utiliser, l’évaluer et l’adapter. Paradigm apporte tout l’outillage qui permet de répondre aux cas d’usage. » LightOn déploie Alfred et Paradigm sur les serveurs privés de ses clients et aide leur personnel à « prompter » efficacement, c’est-à-dire à donner au modèle les meilleures instructions possibles.

La plateforme Paradigm gère ensuite les utilisateurs et leurs droits d’usage, puis évalue la qualité des résultats. Enfin, LightOn affine son modèle en fonction de la réalité de l’entreprise, par exemple pour s’assurer qu’Alfred prenne en compte certains jargons professionnels et des tâches spécifiques à des domaines d’activité. Ainsi, la rédaction d’un compte rendu médical est régie par des règles bien spécifiques qu’Alfred peut apprendre en recevant quelques centaines d’exemples.

« LightOn comprend aujourd’hui 25 employés et continue à recruter, souligne Laurent Daudet. Nous avons une dizaine de clients, issus du CAC 40 ou d’administrations telles que la Direction générale des finances publiques (DGFiP), et beaucoup de projets en cours de démarrage. Mais il nous faut continuer à innover, et pour cela le nerf de la guerre est la capacité de calcul, qui nécessite de gros investissements. » De quoi offrir à ses clients des solutions à la pointe de l’IA.

La lettre innovation

Partenariats, création d'entreprises, brevets, licences, événements... Retrouvez tous les mois les dernières actualités de la valorisation et de l'innovation au CNRS.

Nos autres actualités

Voir toutes les actus

27 février 2024

Startup Levée de fonds

Les levées de fonds du mois de janvier 2024

Chaque début du mois, retrouvez les levées de fonds des entreprises issues des laboratoires sous tutelle du CNRS.
Lire la suite

23 février 2024

Startup Levée de fonds

Daumet, la start-up qui vaut de l’or (blanc)

Avec son procédé issu de la microélectronique, Daumet offre un contrôle unique au monde sur la composition et le dépôt de l’or blanc. Les alliages d’or et de tungstène élaborés par Daumet ont généré tant de commandes dans le secteur du luxe, que la start-up a récemment levé 1,2 million d’euros pour agrandir ses capacités de production.
Lire la suite

23 février 2024

Digital Intelligence artificielle

Urbanloop : le transport à la demande autonome conçu en collaboration avec le CNRS

Des capsules de deux passagers, disponibles à la demande, pour équiper en transports les zones de moyenne densité. Cette idée iconoclaste, dont la première ligne sera lancée pour les Jeux Olympiques 2024, est développée en coopération avec plusieurs laboratoires sous tutelle du CNRS.
Lire la suite
Fermer

Contactez-nous

  • Ce champ n’est utilisé qu’à des fins de validation et devrait rester inchangé.
Fermer

Les brevets les plus récents