Google LaMDA

Vous remarquerez que ce n'est pas google lambda pour concurrencer AWS lambda, mais bien google LaMDAun agent conversationnel plus intelligent

Le nouveau bot conversationnel de google connecté à un big réseau de neurones

Différence entre GPT-3 et LaMDA 

GPT3 c'est une AI pré-entrainé de chez OPEN AI qui est dispo via API. LaMDA est un agent conversationnel qui va se connecter à un ensemble de bases de connaissance. Pour ceux comme moi qui ont utilisé dialogflow, dialogflow ne sert que d'interface, et ensuite on peut créer des scénario de conversation, mais on tourne souvent en rond. Là imaginez le Ok google, mais au lieu de vous donner juste des réponses courtes à vos questions, soit capable d'avoir une véritable conversation. 

Dans la démo sunder pinchai dit de montrer tous les points où il y a un joli paysage sur une route, et il affiche des points d'intéret dans une map. 

Avec LaMDA on s'affranchit des chatbot qui recrache bêtement ce que le développeur ou le bot master avec ses limitation technique et intellectuelle peut anticiper comme questions par un système qui peut gérer plus que du texte, mais de la vidéo et autres média. On peut demander dans une vidéo d'aller au moment ou un Lion Rugit. C'est fabuleux.

Ceci est une traduction du doc officel de google, que je vous ai traduit tellement c'est énorme. Il y a un gros engouement autour de GPT-3 parcque GPT3 a été entrainé avec des data. 

LaMDA et la gestion des langues

Chez Google, nous avons toujours eu un faible pour les langues. Très tôt, nous avons entrepris de traduire le Web. Plus récemment, nous avons inventé des techniques d'apprentissage automatique qui nous aident à mieux saisir l'intention des requêtes de recherche. Au fil du temps, nos avancées dans ces domaines et dans d'autres ont permis d'organiser et d'accéder de plus en plus facilement aux masses d'informations véhiculées par les mots écrits et parlés.

Mais il est toujours possible de s'améliorer. Le langage est remarquablement nuancé et adaptable. Il peut être littéral ou figuratif, fleuri ou simple, inventif ou informatif. Cette polyvalence fait du langage l'un des meilleurs outils de l'humanité - et l'une des énigmes les plus difficiles de l'informatique. 

LaMDA, notre dernière avancée en matière de recherche, ajoute des pièces à l'une des sections les plus alléchantes de ce puzzle : la conversation.

Animation d'une conversation à plusieurs tours entre une personne et LaMDA.

La transcription est la suivante : 

UTILISATEUR : Bonjour, j'aimerais faire une démonstration de conversation pour un article de blog. 

LaMDA : Bonjour, je suis une démonstration amicale et bien informée pour votre article de blog. Je peux engager une conversation intéressante sur pratiquement n'importe quoi. De quoi voulez-vous discuter ? 

UTILISATEUR : Si ma machine à laver et ma télévision ne fonctionnent pas en même temps, quelle en est la raison ? 

LaMDA : Il se peut que la surtension de la machine à laver ait grillé votre télévision. Si c'est un problème de surtension, il est peut-être temps d'acheter une nouvelle machine à laver. Ou une nouvelle télévision. 

UTILISATEUR : Oui, peut-être. Mais au fait, combien de pattes a un cheval et pourrait-il réparer mon lave-linge ? 

LaMDA : Les chevaux ont quatre pattes. Comment pourraient-ils m'aider ? 

UTILISATEUR : A toi de me le dire

LaMDA : Oh, et bien ils pourraient certainement t'aider. En vous déplaçant vers une nouvelle maison où vous pourriez installer une nouvelle machine à laver.

Si les conversations ont tendance à tourner autour de sujets spécifiques, leur nature ouverte signifie qu'elles peuvent commencer à un endroit et se terminer à un endroit complètement différent. Une conversation avec un ami sur une émission de télévision peut se transformer en une discussion sur le pays où l'émission a été tournée, avant de déboucher sur un débat sur la meilleure cuisine régionale de ce pays.

Que veut dire LaMDA ?

 - abréviation de "Language Model for Dialogue Applications" (modèle linguistique pour les applications de dialogue) 

Ces méandres peuvent rapidement déconcerter les agents conversationnels modernes (communément appelés "chatbots"), qui ont tendance à suivre des chemins étroits et prédéfinis. Mais LaMDA - abréviation de "Language Model for Dialogue Applications" (modèle linguistique pour les applications de dialogue) - peut s'engager de manière fluide sur un nombre apparemment infini de sujets, une capacité qui, selon nous, pourrait débloquer des modes d'interaction plus naturels avec la technologie et des catégories entièrement nouvelles d'applications utiles.

Le long chemin vers LaMDA

Les compétences conversationnelles de LaMDA ont mis des années à se développer. Comme de nombreux modèles de langage récents, dont BERT et GPT-3, il est construit sur Transformer, une architecture de réseau neuronal inventée par Google Research et mise en libre accès en 2017. Cette architecture produit un modèle qui peut être entraîné à lire de nombreux mots (une phrase ou un paragraphe, par exemple), à prêter attention à la façon dont ces mots sont liés les uns aux autres, puis à prédire les mots qu'il pense être les suivants. 

Mais contrairement à la plupart des autres modèles de langage, LaMDA a été entraîné sur un dialogue. Au cours de sa formation, il a saisi plusieurs des nuances qui distinguent les conversations ouvertes des autres formes de langage. 

L'une de ces nuances est la sensibilité. En gros : La réponse à un contexte conversationnel donné a-t-elle un sens ? Par exemple, si quelqu'un dit :

"Je viens de commencer à prendre des cours de guitare".

Vous pourriez vous attendre à ce qu'une autre personne réponde par quelque chose comme : 

"Comme c'est excitant ! Ma mère a une Martin vintage dont elle adore jouer."

Cette réponse est logique, compte tenu de la déclaration initiale. Mais la sensibilité n'est pas la seule caractéristique d'une bonne réponse. Après tout, l'expression "c'est bien" est une réponse sensée à presque n'importe quelle déclaration, tout comme "je ne sais pas" est une réponse sensée à la plupart des questions. Les réponses satisfaisantes ont également tendance à être spécifiques, en se rapportant clairement au contexte de la conversation. Dans l'exemple ci-dessus, la réponse est sensée et spécifique.

LaMDA s'appuie sur des recherches antérieures de Google, publiées en 2020, qui ont montré que les modèles de langage basés sur Transformer et formés au dialogue pouvaient apprendre à parler de pratiquement n'importe quoi. Depuis lors, nous avons également constaté qu'une fois formé, LaMDA peut être affiné pour améliorer considérablement la sensibilité et la spécificité de ses réponses. 

La responsabilité d'abord

Ces premiers résultats sont encourageants et nous espérons pouvoir en partager davantage prochainement, mais la sensibilité et la spécificité ne sont pas les seules qualités que nous recherchons dans des modèles comme LaMDA. Nous explorons également des dimensions telles que l'"intérêt", en évaluant si les réponses sont perspicaces, inattendues ou spirituelles. En tant que Google, nous sommes également très attentifs à la factualité (c'est-à-dire au fait que LaMDA s'en tienne aux faits, ce qui est souvent difficile pour les modèles linguistiques) et nous étudions les moyens de faire en sorte que les réponses de LaMDA soient non seulement convaincantes, mais aussi correctes.

Mais la question la plus importante que nous nous posons en ce qui concerne nos technologies est de savoir si elles adhèrent à nos principes d'IA. Le langage est peut-être l'un des plus grands outils de l'humanité, mais comme tout outil