Google Research troba un millor aprenentatge automàtic


Recentment, Google ha explorat una tècnica anomenada “afinació de les instruccions” per entrenar un model per poder resoldre problemes de processament del llenguatge natural d’una manera general. En lloc d’entrenar un model per resoldre un tipus de problema, aquest enfocament li ensenya a resoldre una àmplia gamma de problemes, fent-lo més eficient i avançant en l’estat de l’art.

Google no utilitza totes les investigacions als seus algorismes

La declaració oficial de Google sobre els articles de recerca és que només perquè publiqui un algorisme no vol dir que estigui en ús a la Cerca de Google.

Res del document de recerca diu que s’hagi d’utilitzar a la recerca. Però el que fa que aquesta recerca sigui d’interès és que avança l’estat de l’art i millora la tecnologia actual.

El valor de ser conscient de la tecnologia

Les persones que no saben com funcionen els cercadors poden acabar entenent-ho en termes que són pura especulació.

Així és com el sector de la cerca va acabar amb idees falses com ara “Paraules clau LSI” i estratègies sense sentit com intentar vèncer a la competència creant contingut deu vegades millor (o simplement més gran) que el contingut del competidor, sense tenir en compte el que els usuaris. pot necessitar i requerir.

Anunci

Continueu llegint a continuació

El valor de conèixer aquests algorismes i tècniques és ser conscient dels contorns generals del que passa als cercadors per no cometre l’error de subestimar de què són capaços els cercadors.

El problema que soluciona FLAN

El principal problema que resol aquesta tècnica és permetre que una màquina utilitzi la seva gran quantitat de coneixement per resoldre tasques del món real.

L’enfocament ensenya a la màquina com generalitzar la resolució de problemes a problemes invisibles alimentant instruccions per resoldre problemes específics i després generalitzar aquestes instruccions per resoldre altres problemes.

Els investigadors afirmen:

“El model està ajustat en conjunts diferents d’instruccions i es generalitza a instruccions no vistes. A mesura que s’afegeixen més tipus de tasques al model de dades d’ajustament, el rendiment millora.

… Mostrem que entrenant un model amb aquestes instruccions, no només és bo per resoldre els tipus d’instruccions que ha vist durant l’entrenament, sinó que també ho fa per seguir instruccions en general.

Anunci

Continueu llegint a continuació

El document d’investigació cita una tècnica popular actual anomenada “indicació de tir zero o pocs tirs” que entrena una màquina per resoldre un problema de llenguatge específic i descriu la mancança d’aquesta tècnica.

En referència a la tècnica d’indicació de tir zero/pocs trets:

“Aquesta tècnica formula una tasca basada en el text que un model lingüístic podria haver vist durant la formació, on aleshores el model lingüístic genera la resposta completant el text.

Per exemple, per classificar el sentiment d’una ressenya d’una pel·lícula, es podria donar a un model de llenguatge la frase “La crítica de la pel·lícula ‘la millor RomCom des de Pretty Woman’ és _” i se’ls demanarà que completi la frase amb la paraula “positiu” o bé. “negatiu”.”

Els investigadors assenyalen que l’enfocament de tir zero funciona bé, però que el rendiment s’ha de mesurar amb tasques que el model ha vist anteriorment.

Els investigadors escriuen:

“… requereix una enginyeria acurada i ràpida per dissenyar tasques perquè semblin dades que el model ha vist durant l’entrenament…”

I aquest tipus de mancances és el que soluciona FLAN. Com que les instruccions d’entrenament estan generalitzades, el model és capaç de resoldre més problemes, inclosa la resolució de tasques en què no s’ha entrenat prèviament.

Aquesta tècnica podria ser utilitzada per Google?

Google poques vegades parla d’articles de recerca específics i de si el que es descriu està en ús o no. La posició oficial de Google sobre els treballs de recerca que en publica molts i que no necessàriament acaben al seu algorisme de classificació de cerca.

Google en general és opac sobre el que hi ha als seus algorismes i amb raó.

Fins i tot quan anuncia noves tecnologies, Google tendeix a donar-los noms que no es corresponen amb els articles de recerca publicats. Per exemple, noms com Neural Matching i Rank Brain no es corresponen amb articles de recerca específics.

És important revisar l’èxit de la investigació perquè algunes investigacions no assoleixen els seus objectius i no funcionen tan bé com l’estat actual de l’art en tècniques i algorismes.

Aquells treballs de recerca que es queden curts es poden ignorar més o menys, però és bo conèixer-los.

Els treballs de recerca que tenen més valor per a la comunitat de màrqueting de cerca són els que tenen èxit i tenen un rendiment significativament millor que l’estat actual de la tècnica.

Anunci

Continueu llegint a continuació

I aquest és el cas de FLAN.

FLAN funciona millor que altres tècniques i, per això, cal tenir en compte el FLAN.

Els investigadors van assenyalar:

“Hem avaluat FLAN en 25 tasques i vam trobar que millora la sol·licitud de tir zero en totes menys quatre. Hem trobat que els nostres resultats són millors que el GPT-3 de tir zero en 20 de 25 tasques, i fins i tot millors que el GPT-3 de tir zero en algunes tasques”.

Inferència del llenguatge natural

La tasca d’inferència del llenguatge natural és aquella en què la màquina ha de determinar si una premissa determinada és certa, falsa o indeterminada/neutre (ni vertadera ni falsa).

Rendiment d’inferència del llenguatge natural de FLAN

Inferència del llenguatge natural

Comprensió lectora

Aquesta és una tasca de respondre una pregunta basada en el contingut d’un document.

Anunci

Continueu llegint a continuació

Rendiment de comprensió lectora de FLAN

Comprensió lectora

QA de llibre tancat

Aquesta és la capacitat de respondre preguntes amb dades fetes, que posa a prova la capacitat de relacionar fets coneguts amb les preguntes. Un exemple és respondre preguntes com de quin color és el cel o qui va ser el primer president dels Estats Units.

Llibre tancat QA Rendiment de FLAN

QA del llibre tancat

Google utilitza FLAN?

Com s’ha dit anteriorment, Google en general no confirma si utilitzen un algorisme o una tècnica específics.

Anunci

Continueu llegint a continuació

Tanmateix, el fet que aquesta tècnica en particular faci avançar l’estat de l’art podria significar que no és raonable especular que alguna forma d’aquesta es podria integrar a l’algorisme de Google, millorant la seva capacitat per respondre les consultes de cerca.

Aquesta investigació es va publicar el 28 d’octubre de 2021.

Es podria haver incorporat part d’això a la recent actualització de l’algoritme bàsic?

Les actualitzacions de l’algoritme bàsic se centren generalment a entendre millor les consultes i les pàgines web i oferir millors respostes.

Només es pot especular, ja que Google rarament comparteix detalls específics, especialment pel que fa a les actualitzacions de l’algoritme bàsic.

Citació

Presentació de FLAN: models de llenguatge més generalitzables amb l’ajustament de les instruccions

Imatge de Shutterstock





Source link

Google Research troba un millor aprenentatge automàtic
× +info?
%d bloggers like this: