Com funciona el model lingüístic per a les aplicacions de diàleg


Google crea un model de llenguatge no és una cosa nova; de fet, Google LaMDA s’uneix a BERT i MUM com una manera de millorar les màquines comprendre la intenció de l’usuari.

Google ha investigat models basats en l’idioma durant diversos anys amb l’esperança de formar un model que, essencialment, pogués mantenir una conversa lògica i perspicaç sobre qualsevol tema.

Fins ara, Google LaMDA sembla ser el més proper a assolir aquesta fita.

Què és Google LaMDA?

LaMDA, que significa Language Models for Dialog Application, es va crear per permetre que el programari pugui participar millor en una conversa fluida i natural.

LaMDA es basa en la mateixa arquitectura de transformador que altres models de llenguatge com BERT i GPT-3.

Tanmateix, a causa de la seva formació, LaMDA pot entendre preguntes i converses matisades que cobreixen diversos temes diferents.

Amb altres models, a causa del caràcter obert de les converses, podríeu acabar parlant d’una cosa completament diferent, tot i centrar-vos inicialment en un únic tema.

Aquest comportament pot confondre fàcilment la majoria de models de conversa i chatbots.

Durant l’anunci de Google I/O de l’any passat, vam veure que LaMDA es va crear per superar aquests problemes.

La demostració va demostrar com el model podia mantenir de manera natural una conversa sobre un tema donat a l’atzar.

Malgrat el flux de preguntes vagament associades, la conversa es va mantenir encaminada, cosa que va ser sorprenent de veure.

Com funciona LaMDA?

LaMDA es va crear a la xarxa neuronal de codi obert de Google, Transformadorque s’utilitza per a la comprensió del llenguatge natural.

El model està entrenat per trobar patrons en frases, correlacions entre les diferents paraules utilitzades en aquestes frases i fins i tot predir la paraula que és probable que vingui a continuació.

Ho fa estudiant conjunts de dades que consisteixen en diàlegs en lloc de paraules individuals.

Tot i que un sistema d’IA conversacional és similar al programari de chatbot, hi ha algunes diferències clau entre els dos.

Per exemple, els chatbots s’entrenen en conjunts de dades limitats i específics i només poden tenir una conversa limitada en funció de les dades i les preguntes exactes en què s’entrenen.

D’altra banda, com que LaMDA està entrenat en diversos conjunts de dades diferents, pot tenir converses obertes.

Durant el procés de formació, recull els matisos del diàleg obert i s’adapta.

Pot respondre preguntes sobre molts temes diferents, depenent del flux de la conversa.

Per tant, permet converses que són encara més semblants a la interacció humana del que sovint poden oferir els chatbots.

Com es forma LaMDA?

Google va explicar que LaMDA té un procés de formació en dues etapes, que inclou la formació prèvia i l’ajustament.

En total, el model està entrenat en 1,56 bilions de paraules amb 137 mil milions de paràmetres.

Preentrenament

Per a l’etapa prèvia a la formació, l’equip de Google va crear un conjunt de dades d’1,56 T de paraules a partir de diversos documents web públics.

Aquest conjunt de dades es converteix després en fitxes (convertides en una cadena de caràcters per fer frases) en fitxes de 2,81 T, en les quals s’entrena inicialment el model.

Durant la formació prèvia, el model utilitza paral·lelització general i escalable per predir la següent part de la conversa basant-se en fitxes anteriors que ha vist.

Afinament

LaMDA està entrenat per realitzar tasques de generació i classificació durant la fase d’ajustament.

Bàsicament, el generador LaMDA, que prediu la següent part del diàleg, genera diverses respostes rellevants basades en la conversa d’anada i tornada.

Aleshores, els classificadors de LaMDA prediran puntuacions de seguretat i qualitat per a cada resposta possible.

Qualsevol resposta amb una puntuació de seguretat baixa es filtra abans de seleccionar la resposta amb la millor puntuació per continuar la conversa.

Les puntuacions es basen en seguretat, sensibilitat, especificitat i percentatges interessants.

Classificadors LaMDAImatge del bloc de Google AI, març de 2022

L’objectiu és garantir la resposta més rellevant, d’alta qualitat i, finalment, la més segura.

Objectius i mètriques clau de LaMDA

S’han definit tres objectius principals del model per guiar la formació del model.

Aquests són qualitat, seguretat i fonamentació.

Qualitat

Això es basa en tres dimensions de l’avaluador humà:

  • Sensibilitat.
  • Especificitat
  • Interessa.

La puntuació de qualitat s’utilitza per garantir que una resposta tingui sentit en el context en què s’utilitza, que sigui específica de la pregunta que es fa i que es considera prou perspicaç per crear un millor diàleg.

Seguretat

Per garantir la seguretat, el model segueix els estàndards d’IA responsable. S’utilitzen un conjunt d’objectius de seguretat per capturar i revisar el comportament del model.

Això garanteix que la sortida no proporcioni cap resposta no desitjada i evita cap biaix.

Fonamentació

La fonamentació es defineix com “el percentatge de respostes que contenen afirmacions sobre el món exterior”.

Això s’utilitza per assegurar-se que les respostes siguin “tan exactes com sigui possible, cosa que permet als usuaris jutjar la validesa d’una resposta en funció de la fiabilitat de la seva font”.

Avaluació

Mitjançant un procés continu de quantificació del progrés, es revisen les respostes del model pre-entrenat, el model ajustat i els evaluadors humans per avaluar les respostes en comparació amb les mètriques de qualitat, seguretat i fonamentació esmentades anteriorment.

Fins ara, han pogut concloure que:

  • Les mètriques de qualitat milloren amb el nombre de paràmetres.
  • La seguretat millora amb l’ajustament.
  • La fonamentació millora a mesura que augmenta la mida del model.
Progrés de LaMDAImatge del bloc de Google AI, març de 2022

Com s’utilitzarà LaMDA?

Tot i que encara és un treball en curs sense data de llançament finalitzada, es preveu que LaMDA s’utilitzarà en el futur per millorar l’experiència del client i permetre que els chatbots proporcionin una conversa més semblant a l’humà.

A més, utilitzar LaMDA per navegar per la cerca dins del motor de cerca de Google és una possibilitat genuïna.

Implicacions de LaMDA per al SEO

En centrar-se en els models lingüístics i conversacionals, Google ofereix una visió de la seva visió del futur de la cerca i destaca un canvi en la manera com es desenvoluparan els seus productes.

En definitiva, això significa que pot haver-hi un canvi en el comportament de cerca i en la manera com els usuaris cerquen productes o informació.

Google treballa constantment per millorar la comprensió de la intenció de cerca dels usuaris per garantir que rebin els resultats més útils i rellevants a les SERP.

El model LaMDA serà, sens dubte, una eina clau per entendre les preguntes que els cercadors puguin fer.

Tot això destaca encara més la necessitat d’assegurar-se que el contingut estigui optimitzat per als humans en lloc dels motors de cerca.

Assegurar-se que el contingut sigui conversacional i escrit tenint en compte el vostre públic objectiu significa que, tot i que Google avança, el contingut pot continuar funcionant bé.

També és clau fer-ho amb regularitat actualitzar el contingut de fulla perenne per garantir que evoluciona amb el temps i segueix sent rellevant.

En un article titulat Repensar la cerca: fer experts de diletantsels enginyers de recerca de Google van compartir com preveuen que els avenços en IA com ara LaMDA milloraran encara més “la cerca com a conversa amb experts”.

Van compartir un exemple al voltant de la pregunta de cerca: “Quins són els beneficis i els riscos per a la salut del vi negre?”

Actualment, Google mostrarà una llista de quadres de respostes amb vinyetes com a respostes a aquesta pregunta.

No obstant això, suggereixen que en el futur, una resposta pot ser un paràgraf que expliqui els beneficis i els riscos del vi negre, amb enllaços a la informació font.

Per tant, garantir que el contingut tingui una còpia de seguretat de fonts expertes serà més important que mai si Google LaMDA genera resultats de cerca en el futur.

Superació de reptes

Com amb qualsevol model d’IA, hi ha reptes per abordar.

El dos reptes principals Els enginyers que s’enfronten amb Google LaMDA són seguretat i fonamentació.

Seguretat – Evitar biaix

Com que podeu extreure respostes des de qualsevol lloc del web, hi ha la possibilitat que la sortida amplifi el biaix, reflectint les nocions que es comparteixen en línia.

És important que la responsabilitat sigui primer amb Google LaMDA per assegurar-se que no genera resultats impredictibles o nocius.

Per ajudar a superar-ho, Google ha utilitzat de codi obert els recursos utilitzats per analitzar i entrenar les dades.

Això permet que diversos grups participin en la creació dels conjunts de dades utilitzats per entrenar el model, ajudar a identificar els biaixos existents i minimitzar que es comparteixi informació nociva o enganyosa.

Fonamentació de fets

No és fàcil validar la fiabilitat de les respostes que produeixen els models d’IA, ja que es recullen fonts d’arreu del web.

Per superar aquest repte, l’equip permet que el model consulti múltiples fonts externes, inclosos sistemes de recuperació d’informació i fins i tot una calculadora, per proporcionar resultats precisos.

La mètrica Groundedness compartida anteriorment també garanteix que les respostes es basen en fonts conegudes. Aquestes fonts es comparteixen per permetre als usuaris validar els resultats donats i evitar la difusió de la desinformació.

Què hi ha a continuació per a Google LaMDA?

Google té clar que els models de diàleg oberts, com ara LaMDA, tenen beneficis i riscos i es comprometen a millorar la seguretat i la connexió a terra per garantir una experiència més fiable i imparcial.

Entrenar models LaMDA amb diferents dades, incloses imatges o vídeos, és una altra cosa que podem veure en el futur.

Això obre la possibilitat de navegar encara més per la web mitjançant indicacions de conversa.

Sundar Pichai, CEO de Google va dir de LaMDA“Creiem que les capacitats de conversa de LaMDA tenen el potencial de fer que la informació i la informàtica siguin radicalment més accessibles i més fàcils d’utilitzar”.

Tot i que encara no s’ha confirmat una data de llançament, no hi ha dubte que models com LaMDA seran el futur de Google.

Més recursos:


Imatge destacada: Andrey Suslov/Shutterstock





Source link

Com funciona el model lingüístic per a les aplicacions de diàleg
A %d bloguers els agrada això: