Google va anunciar un avenç en l’esforç per crear una arquitectura d’IA que pugui gestionar milions de tasques diferents, inclòs l’aprenentatge i el raonament complexos. El nou sistema s’anomena Pathways Language Model, conegut com PaLM.
PaLM és capaç de superar l’estat actual de l’estat de l’art actual de la IA, així com superar els humans en les proves de llenguatge i raonament.
Però els investigadors també assenyalen que no poden sacsejar les limitacions inherents als models lingüístics a gran escala que poden donar lloc sense voler a resultats ètics negatius.
Informació d’antecedents
Les següents seccions són informació de fons que aclareix de què tracta aquest algorisme.
Aprenentatge de pocs tirs
L’aprenentatge de pocs cops és la següent etapa d’aprenentatge que va més enllà de l’aprenentatge profund.
L’investigador de Google Brain, Hugo Larochelle (@hugo_larochelle) va dir en una presentació titulada, Generalitzant a partir de pocs exemples amb Meta-Learning (vídeo) van explicar que amb l’aprenentatge profund, el problema és que havien de recollir una gran quantitat de dades que requerien una quantitat important de treball humà.
Va assenyalar que probablement l’aprenentatge profund no serà el camí cap a una IA que pugui resoldre moltes tasques perquè amb l’aprenentatge profund, cada tasca requereix milions d’exemples dels quals aprendre per a cada habilitat que aprèn una IA.
Larochelle explica:
“…la idea és que intentarem atacar aquest problema de manera molt directa, aquest problema d’aprenentatge de pocs cops, que és aquest problema de generalitzar a partir de petites quantitats de dades.
… la idea principal del que presentaré és que en lloc d’intentar definir quin és aquest algorisme d’aprenentatge per N i utilitzar la nostra intuïció sobre quin és l’algoritme adequat per fer un aprenentatge de pocs cops, però en realitat intentem aprendre aquest algorisme en una manera d’extrem a extrem.
I per això l’anomenem aprendre a aprendre o m’agrada anomenar-lo meta aprenentatge”.
L’objectiu amb l’enfocament de pocs tirs és aproximar com els humans aprenen coses diferents i poden aplicar els diferents coneixements junts per resoldre nous problemes que mai abans s’havien trobat.
L’avantatge, doncs, és una màquina que pot aprofitar tots els coneixements que té per resoldre nous problemes.
En el cas de PaLM, un exemple d’aquesta capacitat és la seva capacitat per explicar una broma que no s’havia trobat mai abans.
Rutes AI
L’octubre de 2021, Google va publicar un article on s’exposaven els objectius d’una nova arquitectura d’IA anomenada Pathways.
Pathways va representar un nou capítol en el progrés en curs en el desenvolupament de sistemes d’IA.
L’enfocament habitual era crear algorismes que estiguessin entrenats per fer coses específiques molt bé.
L’enfocament de Pathways és crear un únic model d’IA que pugui resoldre tots els problemes aprenent a resoldre’ls, evitant d’aquesta manera la forma menys eficient d’entrenar milers d’algorismes per completar milers de tasques diferents.
Segons el document de Pathways:
“En lloc d’això, ens agradaria entrenar un model que no només pugui gestionar moltes tasques separades, sinó que també aprofitar i combinar les seves habilitats existents per aprendre noves tasques de manera més ràpida i eficaç.
D’aquesta manera, el que un model aprèn entrenant-se en una tasca, per exemple, aprendre com les imatges aèries poden predir l’elevació d’un paisatge, podria ajudar-lo a aprendre una altra tasca, per exemple, predir com les aigües de la inundació fluiran per aquest terreny”.
Pathways va definir el camí avançat de Google per portar la IA al següent nivell per tancar la bretxa entre l’aprenentatge automàtic i l’aprenentatge humà.
El model més nou de Google, anomenat Pathways Language Model (PaLM), és el següent pas i, segons aquest nou document de recerca, PaLM representa un progrés significatiu en el camp de la IA.
Què fa que Google PaLM sigui notable
PaLM escala el procés d’aprenentatge de pocs cops.
Segons el document de recerca:
“S’ha demostrat que els grans models de llenguatge aconsegueixen un rendiment notable en una varietat de tasques de llenguatge natural mitjançant l’aprenentatge de pocs cops, la qual cosa redueix dràsticament el nombre d’exemples d’entrenament específics de la tasca necessaris per adaptar el model a una aplicació concreta.
Per millorar la nostra comprensió de l’impacte de l’escala en l’aprenentatge de pocs tirs, vam entrenar un model de llenguatge Transformer de 540.000 milions de paràmetres, densament activat, que anomenem Pathways Language Model (PaLM).
Hi ha molts treballs de recerca publicats que descriuen algorismes que no funcionen millor que l’estat actual de l’art o només aconsegueixen una millora incremental.
Aquest no és el cas de PaLM. Els investigadors afirmen millores significatives respecte als millors models actuals i fins i tot superen els punts de referència humans.
Aquest nivell d’èxit és el que fa que aquest nou algorisme sigui notable.
Els investigadors escriuen:
“Demostrem els beneficis continuats de l’escala aconseguint resultats d’aprenentatge d’última generació en centenars de punts de referència de la comprensió lingüística i de la generació.
En algunes d’aquestes tasques, el PaLM 540B aconsegueix un rendiment avançat, superant l’estat de l’art afinat en un conjunt de tasques de raonament de diversos passos i superant el rendiment humà mitjà en el punt de referència BIG-bench publicat recentment.
Un nombre significatiu de tasques de BIG-bench van mostrar millores discontínues de l’escala del model, el que significa que el rendiment va augmentar molt a mesura que vam escalar el nostre model més gran”.
PaLM supera l’estat de l’art en les tasques de processament del llenguatge natural en anglès i això fa que PaLM sigui important i notable.
En un punt de referència col·laboratiu anomenat BIG-bench que consta de més de 150 tasques (relacionades amb el raonament, la traducció, la resposta a preguntes), PaLM va superar l’estat de l’art, però hi va haver àrees on no ho va fer tan bé.
Cal destacar que el rendiment humà va superar el PaLM en el 35% de les tasques, especialment les relacionades amb les matemàtiques (vegeu la secció 6.2 BIG-bench del document de recerca, pàgina 17).
PaLM era millor traduir un altre idioma a l’anglès que traduir l’anglès a altres idiomes. Els investigadors van afirmar que aquest és un problema comú que es podria resoldre prioritzant dades més multilingües.
No obstant això, PaLM va superar pràcticament altres models lingüístics i humans en tots els sentits.
Capacitat de raonar
Cal destacar especialment el seu rendiment amb tasques de raonament aritmètic i de sentit comú.
Exemple d’una tasca aritmètica:
Pregunta:
Roger té 5 pilotes de tennis. Compra 2 llaunes més de pilotes de tennis. Cada llauna té 3 pilotes de tennis. Quantes pilotes de tennis té ara?Resposta:
La resposta és 11.
Exemple de raonament de sentit comú:
Pregunta:
En Sean tenia pressa per arribar a casa, però el semàfor es va tornar groc i es va veure obligat a fer què?
Opcions de respostes: (a) pren el temps (b) s’atreveix (c) va lentament (d) oceà (e) alentiuResposta:
La resposta és (e) frenar.
Generació d’explicacions
Un altre exemple extraordinari de com està avançat el PaLM en les proves de generació d’explicacions.
Així ho explica el document de recerca:
“L’objectiu d’aquesta secció és mostrar les capacitats de PaLM pel que fa a la generació de llenguatge explicatiu, per a indicacions que requereixen una combinació complexa d’encadenament d’inferències lògiques, coneixement del món, comprensió del llenguatge abstracte i comprensió del llenguatge lexicogràfic (per exemple, jocs de paraules).”
Explicacions d’acudits
Aquí teniu un exemple del model lingüístic que explica una broma:
Broma:
El 6 d’abril anava a volar a visitar la meva família. La meva mare va dir “Oh genial, la lectura de poesia del teu pare és aquella nit!”Així que ara vaig a volar el 7 d’abril.
Explicació del model:
La broma és que la mare del ponent intenta que vagin a la lectura de poesia del seu padrastre, però el parlant no vol anar-hi, així que canvien de vol a l’endemà de la lectura de poesia.
Encadenament d’inferències
Aquí teniu un exemple d’encadenament d’inferències, on s’han d’unir correctament diversos conceptes i entitats per crear una resposta.
“Entrada:
Guido estava escrivint un programa Python. Es continua confós per l’abast variable i buscant-lo a StackOverflow.És possible que el Guido de l’indicador es refereixi a Guido van Rossum?
Sortida del model:
Guido van Rossum és el creador de Python. No hauria de buscar l’abast variable a StackOverflow. La resposta és “no”.”
Aquí teniu un exemple més:
“Entrada:
La Jennifer va mirar per la finestra i veu un núvol genial a sota d’ella. Es descorda el cinturó de seguretat i es dirigeix al bany. Jennifer probablement viatja més de 300 milles per hora en relació amb la terra?Sortida del model:
300 milles per hora són uns 480 km/h. Es tracta de la velocitat d’un avió comercial. Els núvols solen estar a sota dels avions, per la qual cosa Jennifer probablement estigui en un avió.La resposta és “sí”.”
Cercador de nova generació?
L’exemple anterior de la capacitat de PaLM per al raonament complex demostra com un motor de cerca de propera generació pot respondre respostes complexes utilitzant el coneixement d’Internet i d’altres fonts.
Aconseguir una arquitectura d’IA que pugui produir respostes que reflecteixin el món que ens envolta és un dels objectius declarats de Google Pathways i PaLM és un pas en aquesta direcció.
Tanmateix, els autors de la investigació van subratllar que PaLM no és l’última paraula en IA i cerca. Van ser explícits en afirmar que PaLM és un primer pas cap al següent tipus de motor de cerca que Pathways preveu.
Abans de continuar, hi ha dues paraules, per dir-ho així, argot que és important entendre per entendre de què tracta PaLM.
- Modalitats
- Generalització
La paraula “modalitats” és una referència a com es viuen les coses o a l’estat en què existeixen, com el text que es llegeix, les imatges que es veuen, les coses que s’escolten.
La paraula “generalització” en el context de l’aprenentatge automàtic es tracta de la capacitat d’un model de llenguatge per resoldre tasques sobre les quals no s’ha entrenat prèviament.
Els investigadors van assenyalar:
“PaLM és només el primer pas de la nostra visió per establir Pathways com el futur de l’escala d’ML a Google i més enllà.
Creiem que PaLM demostra una base sòlida en el nostre objectiu final de desenvolupar un sistema modularitzat a gran escala que tingui àmplies capacitats de generalització en múltiples modalitats”.
Riscos del món real i consideracions ètiques
Una cosa diferent d’aquest treball de recerca és que els investigadors adverteixen sobre consideracions ètiques.
Afirmen que els models lingüístics a gran escala entrenats en dades web absorbeixen molts dels estereotips “tòxics” i les disparitats socials que s’estenen a la xarxa i afirmen que PaLM no és resistent a aquestes influències no desitjades.
El treball de recerca cita a document de recerca del 2021 que explora com els models lingüístics a gran escala poden promoure el dany següent:
- Discriminació, exclusió i toxicitat
- Perills d’informació
- Perjudicis de la desinformació
- Usos maliciosos
- Danys de la interacció home-ordinador
- Automatització, accés i danys al medi ambient
Finalment, els investigadors van assenyalar que PaLM reflecteix efectivament estereotips socials tòxics i deixa clar que filtrar aquests biaixos és un repte.
Els investigadors del PaLM expliquen:
“La nostra anàlisi revela que les nostres dades de formació i, en conseqüència, PaLM, reflecteixen diversos estereotips socials i associacions de toxicitat al voltant dels termes d’identitat.
L’eliminació d’aquestes associacions, però, no és trivial… El treball futur hauria de mirar d’abordar eficaçment aquests biaixos indesitjables en les dades i la seva influència en el comportament del model.
Mentrestant, qualsevol ús real de PaLM per a tasques posteriors hauria de realitzar avaluacions d’equitat contextualitzades addicionals per avaluar els danys potencials i introduir mitigacions i proteccions adequades”.
PaLM es pot veure com un cop d’ull a com serà la propera generació de cerca. PaLM fa afirmacions extraordinàries per superar l’estat de l’art, però els investigadors també afirmen que encara queda més feina per fer, inclosa trobar una manera de mitigar la propagació perjudicial de la desinformació, els estereotips tòxics i altres resultats no desitjats.
Citació
Llegiu l’article del bloc d’IA de Google sobre PaLM
Pathways Language Model (PaLM): escala a 540 mil milions de paràmetres per a un rendiment innovador
