Meta rend disponible son modèle de traitement de langage
En tant qu’acteur majeur en nouvelles technologies, Meta – anciennement Facebook – est sur tous les fronts. Nous vous en parlons régulièrement sur le blog, Meta prend de plus en plus d’ampleur sur le marché de la traduction automatique, de l’intelligence artificielle et bien évidemment du métavers. Ainsi, après vous avoir présenté les liens entre les phonèmes et le langage, ou encore un modèle de langage de reconnaissance vocale, nous continuons nos éclairages autour de ces thématiques technologiques et linguistiques. Prêt à découvrir les nouveautés de Meta en la matière ? Pourquoi et comment Meta rend disponible son propre modèle de traitement de langage ? C’est parti !
Intelligence artificielle et traitement du langage
Pour commencer, il faut comprendre que traiter le langage est majeur, notamment pour favoriser l’accessibilité à tous les niveaux… Ainsi, comme le précise intelligence-artificielle.com, aujourd’hui, Meta veut étudier le cerveau et le traitement du langage à long terme. En effet, pour « créer une IA capable de traiter le langage comme les humains, Meta AI prévoit une étude à long terme sur le cerveau ».
Concrètement, pour que l’intelligence artificielle traite le langage le plus fidèlement possible, il faut que cette intelligence s’humanise le plus possible – d’où des études scientifiques, neurologiques, linguistiques. C’est fondamental. Et lorsque l’on sait que malgré les développements importants de l’intelligence artificielle en matière de traitement du langage, elle n’a toujours pas atteint le même niveau que les humains, cela reste un vaste chantier ! En effet, les chercheurs continuent d’approfondir les recherches sur le sujet.
C’est clairement dans les ambitions de Meta, l’entreprise ne s’en cache pas. Le but est de se rapprocher de ce que l’on nomme le NLP. Le NLP – ou traitement du langage naturel – est la branche en intelligence artificielle permettant de comprendre et de générer le langage humain.
Selon le journaldunet.fr, le NLP – traitement naturel du langage – vise à « doter les applications de capacités de comprendre, traiter et générer le langage humain naturel et l’intelligence artificielle en est devenu le socle ».
Le NLP combine l’IA et le traitement linguistique traditionnel. Les IA s’entraînent sur des volumes de textes toujours plus importants. Ce domaine cible plusieurs types de traitements automatiques : speech to text et text to speech, synthèse de textes… De plus en plus de modèles de deep learning sont ainsi orientés NLP.
Parmi les géants tech, certains modèles sont de plus en plus sophistiqués. Comme :
· Les modèles BERT et ALBERT par Google AI ;
· Les modèles dérivés et alternatives comme StructBERT d’Alibaba, Reformer de Google, GPT-2 et GPT-3 d’Open AI.
Néanmoins, comme tous les experts en intelligence artificielle et en linguistique – étude du langage – s’accordent à dire : il y a encore des écarts importants entre la manière dont les humains et les IA traitent le langage aujourd’hui… Et cela, Meta l’a bien compris !
Meta poursuit ses recherches autour du traitement du langage
C’est dans cette dynamique que Meta annonce vouloir lancer des projets de grande envergure autour du traitement du langage par le cerveau humain. Ces projets sont en étroite collaboration avec l’INRIA et le centre de neuro-imagerie NeuroSpin. L’objectif principal est de comparer les réactions du cerveau humain et de l’intelligence artificielle concernant des phases à l’oral et à l’écrit.
Pour le moment, ces recherches autour du traitement du langage soulignent bien le fait que plus les modèles d’intelligence artificielle vont se rapprocher du cerveau, plus ils pourront deviner les mots suivants. Cependant, certaines régions spécifiques du cerveau sont toujours beaucoup plus avancées en traitement du langage… Ainsi, aujourd’hui, comme l’indique également siecledigital.fr, en rendant disponible son modèle de traitement de langage, Meta « convie les chercheurs du monde entier à collaborer à l’amélioration de son modèle de traitement de langage ».
En rendant disponible son modèle de traitement de langage, Meta ouvre la voie à des utilisations non commerciales. Son modèle – OT-175B – est open source. Ce type de modèle peut s’utiliser à maintes fins différentes :
· Traduction de textes ;
· Rédaction de fiches produits ;
· Automatisation de chatbots…
Et bien plus !
Chez Authôt, nous sommes particulièrement attentifs à ces modèles pour la transcription et la traduction automatique.
Fonctionnement des modèles de traitements de langage
Ainsi, comme le souligne usine-digitale.fr, Open Pretained Transformer – ou OPT-175B – est un modèle de langage qui comporte plus de 175 milliards de paramètres différents. Ce modèle de traitement de langage de Meta « comprend les modèles pré-entraînés ainsi que le code nécessaire pour les entraîner et les utiliser ». Pour aller toujours plus loin en la matière, il est crucial de bien comprendre le fonctionnement de ces types de modèles. Un modèle de traitement de langage se construit grâce à des séquences de mots d’une langue vivante humaine. Le but est d’anticiper sur les formulations de mots suivants.
Les systèmes de traitement du langage naturel – NLP – possèdent aujourd’hui plus de 100 milliards de paramètres… De ce fait, Meta marque déjà sa différenciation grâce à ce nouveau modèle ! Cependant, ce n’est pas le seul modèle de traitement de langage aujourd’hui disponible sur le marché. En effet, Open Pretained Transformer partage des capacités similaires avec GPT-3 d’OpenAI créé par Elon Musk. En effet, Meta s’est intentionnellement inspiré de GPT-3. Selon Joelle Pineau, co-directrice générale chez Facebook AI Research, le « modèle a été conçu afin que le niveau de précision des tâches linguistiques et de sa toxicité corresponde à celui de GPT-3 ».
Chez Authôt, nous nous appuyons également sur le machine learning pour développer nos outils. Concrètement, les modèles de traitement de langage naturel sont très recherchés mais ils comportent encore des failles – notamment par rapport à la qualité des textes choisis pour entraîner ces modèles.
En somme, si Meta rend disponible son modèle de traitement de langage ce n’est pas par hasard. C’est à la fois pour montrer ses développements en la matière mais aussi pour ouvrir la recherche de manière plus large, tant traiter correctement le langage humain par des intelligences artificielles est complexe… Toutes ces plateformes n’en sont qu’à leurs débuts… Chez Authôt, nous sommes spécialistes en speech to text, en traduction automatique depuis 2015 ! Ainsi, si vous souhaitez bénéficier de nos services, n’hésitez pas à nous contacter dès à présent !
Authôt. Vous parlez. Nous écrivons.