Open Source GPT Chat va fer un altre pas endavant amb el llançament del Dolly Large Language Model (DLL) creat per l’empresa de programari empresarial Databricks.
El nou clon de ChatGPT es diu Dolly, el nom de la famosa ovella d’aquest nom, el primer mamífer que es va clonar.
Models de llenguatge gran de codi obert
El Dolly LLM és l’última manifestació del creixent moviment d’IA de codi obert que busca oferir un major accés a la tecnologia perquè no estigui monopolitzada i controlada per grans corporacions.
Una de les preocupacions que impulsa el moviment d’IA de codi obert és que les empreses poden ser reticents a lliurar dades sensibles a un tercer que controli la tecnologia d’IA.
Basat en codi obert
Dolly es va crear a partir d’un model de codi obert creat per l’institut de recerca sense ànim de lucre EleutherAI i la Universitat de Stanford Model d’alpaca que es va crear a partir del codi obert de 65 mil milions de paràmetres Model LLaMA creat per Meta.
LLaMA, que significa Large Language Model Meta AI, és un model de llenguatge que s’entrena amb dades disponibles públicament.
Segons un article de Pesos i biaixosLLaMA pot superar molts dels models d’idioma principals (OpenAI GPT-3, Gopher de Deep Mind i Chinchilla de DeepMind) tot i ser més petit.
Creació d’un millor conjunt de dades
Una altra inspiració prové d’un treball de recerca acadèmica (SELF-INSTRUCT: Aligning Language Model with Self Generated Instructions). PDF) que va descriure una manera de crear dades d’entrenament de preguntes i respostes autogenerades d’alta qualitat que és millor que les dades públiques limitades.
El document de recerca d’autoinstrucció explica:
“… elaborem un conjunt d’instruccions escrites per experts per a tasques noves i mostrem a través de l’avaluació humana que la sintonització de GPT3 amb SELF-INSTRUCT supera amb un gran marge utilitzant conjunts de dades d’instruccions públiques existents, deixant només un buit absolut del 5% darrere d’InstructGPT…
… Aplicant el nostre mètode a vanilla GPT3, demostrem una millora absoluta del 33% respecte al model original a SUPERNATURALINSTRUCTIONS, a l’igual del rendiment d’InstructGPT… que s’entrena amb dades d’usuaris privades i anotacions humanes.
La importància de Dolly és que demostra que es pot crear un model de llenguatge gran útil amb un conjunt de dades més petit però d’alta qualitat.
Databricks observa:
“Dolly funciona agafant un model existent de 6.000 milions de paràmetres de codi obert d’EleutherAI i modificant-lo lleugerament per obtenir instruccions seguint capacitats com ara la pluja d’idees i la generació de text que no estan presents al model original, utilitzant dades d’Alpaca.
… Mostrem que qualsevol pot agafar un model de llenguatge gran de codi obert (LLM) datat i donar-li una capacitat de seguiment d’instruccions semblants a ChatGPT entrenant-lo en 30 minuts en una màquina, utilitzant dades d’entrenament d’alta qualitat.
Sorprenentment, el seguiment d’instruccions no sembla requerir els models més recents o més grans: el nostre model només té 6.000 milions de paràmetres, en comparació amb els 175.000 milions de GPT-3″.
IA de codi obert de Databricks
Es diu que Dolly democratitza la IA. Forma part d’un moviment de vestits al qual es va unir recentment l’organització sense ànim de lucre Mozilla amb la fundació de Mozilla.ai. Mozilla és l’editor del navegador Firefox i d’altres programes de codi obert.
Llegiu l’anunci complet de Databricks:
Hola Dolly: Democratització de la màgia de ChatGPT amb models oberts
