Microsoft va anunciar un nou model de resposta a preguntes conversacionals que supera els altres mètodes, responent a les preguntes de manera més ràpida i precisa i utilitzant molt menys recursos.
El que es proposa és una nova manera de classificar els passatges del contingut mitjançant el que anomenen Recuperació generativa per a la resposta a preguntes conversacionals, que van anomenar GCoQA.
Els investigadors escriuen que la següent direcció a prendre és explorar com utilitzar-lo per a la cerca general al web.
Recuperació generativa per respondre preguntes conversacionals
Un model de llenguatge autoregressiu prediu quina és la següent paraula o frase.
Aquest model utilitza models autoregressius que utilitzen “cadenes d’identificació” que en anglès senzill són representacions de passatges d’un document.
En aquesta implementació, utilitzen el títol de la pàgina (per identificar de què tracta la pàgina) i títols de secció (per identificar de què tracta un fragment del text).
L’experiment es va dur a terme a partir de dades de la Viquipèdia, on es pot confiar que els títols de les pàgines i les seccions són descriptius.
S’utilitzen per identificar el tema d’un document i el tema dels passatges continguts en una secció del document.
Així, si s’utilitza al món real, és com si s’utilitzi l’element del títol per aprendre de què tracta una pàgina web i els encapçalaments per entendre de què tracten les seccions d’una pàgina web.
Els “identificadors” són una manera de codificar tot aquest coneixement com a representació, que s’assigna als passatges de la pàgina web i als títols.
Els passatges que es recuperen es posen posteriorment en un altre model autoregressiu per tal de generar les respostes a les preguntes.
Recuperació generativa
Per a la part de recuperació, el document de recerca diu que el model utilitza una tècnica anomenada “cerca de feix” per generar identificadors (representacions de passatges de la pàgina web) que després es classifiquen per ordre de la probabilitat de ser la resposta.
Els investigadors escriuen:
“… fem servir la cerca de feixos… una tècnica d’ús comú, per generar diversos identificadors en lloc d’un sol.
A cada identificador generat se li assigna una puntuació de model d’idioma, que ens permet obtenir una llista de classificació dels identificadors generats en funció d’aquestes puntuacions.
Els identificadors de classificació podrien correspondre, naturalment, a una llista de classificació de passatges”.
L’article de recerca continua dient que el procés es podria veure com una “cerca jeràrquica”.
Jeràrquic, en aquest escenari, significa ordenar els resultats primer per tema de la pàgina i després pels passatges dins de la pàgina (utilitzant els encapçalaments de la secció).
Un cop recuperats aquests passatges, un altre model autoregressiu genera la resposta a partir dels passatges recuperats.
Comparació amb altres mètodes
Els investigadors van trobar que GCoQA va superar molts altres mètodes d’ús habitual amb els quals el van comparar.
Va ser útil per superar limitacions (colls d’ampolla) en altres mètodes.
En molts aspectes, aquest nou model promet aportar un canvi profund a la resposta de preguntes conversacionals.
Per exemple, utilitza 1/10 de la quantitat de recursos de memòria que els models actuals, la qual cosa suposa un gran salt d’eficiència, a més de que és més ràpid.
Els investigadors escriuen:
“…es torna més còmode i eficient aplicar el nostre mètode a la pràctica”.
Els investigadors de Microsoft conclouen més tard:
“Aprofitant-se de les interaccions creuades de gran fi al mòdul descodificador, GCoQA podria atendre el context de la conversa de manera més eficaç.
A més, GCoQA té un menor consum de memòria i una major eficiència d’inferència a la pràctica”.
Limitacions de GCoQA
Tanmateix, hi ha diverses limitacions que cal resoldre abans que aquest model es pugui aplicar.
Van trobar que GCoQA tenia limitacions a causa de l’ús de la tècnica de “cerca de feix”, que limitava la capacitat de GCoQA de recordar “passatges a gran escala”.
Augmentar la mida del feix tampoc no va ajudar, ja que va frenar el model.
Una altra limitació és que si bé la Viquipèdia és fiable a l’hora d’utilitzar els encapçalaments d’una manera significativa.
Però utilitzar-lo a pàgines web fora de la Viquipèdia podria provocar que el model es trobi amb un obstacle.
Moltes pàgines web a Internet fan un mal treball utilitzant els seus encapçalaments de secció per indicar amb precisió de què tracta un passatge (que és el que se suposa que han de fer els SEO i els editors).
El document de recerca observa:
“La generalització de GCoQA és una preocupació legítima.
GCoQA es basa en gran mesura en la relació semàntica entre la pregunta i els identificadors del passatge per recuperar passatges rellevants.
Tot i que GCoQA s’ha avaluat mitjançant tres conjunts de dades acadèmiques, la seva eficàcia en escenaris del món real, on les preguntes sovint són ambigües i difícils de fer coincidir amb els identificadors, segueix sent incerta i requereix una investigació addicional”.
GCoQA és una nova tecnologia prometedora
En última instància, els investigadors van afirmar que els guanys de rendiment són una gran victòria. Les limitacions són una cosa que cal superar.
El document de recerca conclou que hi ha dues àrees prometedores per continuar estudiant:
“(1) investigar l’ús de la recuperació generativa en escenaris de cerca web més generals on els identificadors no estan directament disponibles a partir dels títols; i (2) examinar la integració de la recuperació de passatges i la predicció de respostes dins d’un model únic i generatiu per entendre millor les seves relacions internes”.
Valor de GCoQA
El document de recerca (Recuperació generativa per a la resposta a preguntes conversacionals) va ser publicat a GitHub per un dels investigadors científics.
Visiteu aquesta pàgina de GitHub per trobar l’enllaç al PDF.
Com passa de vegades, els treballs de recerca tenen una manera de desaparèixer darrere d’un mur de pagament, de manera que no hi ha cap garantia que encara estigui disponible en el futur.
És possible que GCoQA no arribi aviat a un motor de cerca.
El valor de GCoQA és que mostra com els investigadors estan treballant per descobrir maneres d’utilitzar models generatius per transformar la cerca web tal com la coneixem avui.
Aquesta podria ser una vista prèvia de com poden ser els motors de cerca d’un futur relativament proper.
Llegeix l’anunci i el resum del treball de recerca:
Recuperació generativa per a la resposta de preguntes conversacionals
Imatge destacada de Shutterstock/Sundry Photography
