Els investigadors van provar la idea que un model d’IA pot tenir un avantatge en l’autodetecció del seu propi contingut perquè la detecció aprofitava la mateixa formació i conjunts de dades. El que no esperaven trobar és que dels tres models d’IA que van provar, el contingut generat per un d’ells era tan indetectable que fins i tot l’IA que el va generar no el va poder detectar.
L’estudi va ser realitzat per investigadors del Departament d’Informàtica de la Lyle School of Engineering de la Southern Methodist University.
Detecció de contingut d’IA
Molts detectors d’IA estan entrenats per buscar els senyals reveladors del contingut generat amb IA. Aquests senyals s’anomenen “artefactes” que es generen a causa de la tecnologia del transformador subjacent. Però altres artefactes són únics per a cada model de base (el model de llenguatge gran en què es basa la IA).
Aquests artefactes són únics per a cada IA i sorgeixen de les dades d’entrenament distintives i l’ajustament que sempre és diferent d’un model d’IA a l’altre.
Els investigadors van descobrir proves que aquesta singularitat és la que permet que una IA tingui un èxit més gran a l’hora d’identificar-se el seu propi contingut, molt millor que intentar identificar el contingut generat per una IA diferent.
Bard té més possibilitats d’identificar el contingut generat per Bard i ChatGPT té una taxa d’èxit més alta identificant el contingut generat per ChatGPT, però…
Els investigadors van descobrir que això no era cert per al contingut generat per Claude. En Claude va tenir dificultats per detectar el contingut que generava. Els investigadors van compartir una idea de per què Claude no va poder detectar el seu propi contingut i aquest article ho discuteix més endavant.
Aquesta és la idea darrere de les proves de recerca:
“Com que cada model es pot entrenar de manera diferent, és difícil crear una eina detector per detectar els artefactes creats per totes les eines d’IA generativa possibles.
Aquí, desenvolupem un enfocament diferent anomenat autodetecció, on utilitzem el propi model generatiu per detectar els seus propis artefactes per distingir el seu propi text generat del text escrit humà.
Això tindria l’avantatge que no necessitem aprendre a detectar tots els models d’IA generativa, sinó que només necessitem accedir a un model d’IA generativa per a la detecció.
Aquest és un gran avantatge en un món on es desenvolupen i entrenen nous models contínuament”.
Metodologia
Els investigadors van provar tres models d’IA:
- ChatGPT-3.5 d’OpenAI
- Bard de Google
- Claude per Anthropic
Tots els models utilitzats eren les versions de setembre de 2023.
Es va crear un conjunt de dades de cinquanta temes diferents. Cada model d’IA va rebre exactament les mateixes indicacions per crear assaigs d’unes 250 paraules per a cadascun dels cinquanta temes que van generar cinquanta assaigs per a cadascun dels tres models d’IA.
A continuació, es va demanar a cada model d’IA de manera idèntica que parafrasejés el seu propi contingut i generi un assaig addicional que era una reescriptura de cada assaig original.
També van recollir cinquanta assaigs generats per humans sobre cadascun dels cinquanta temes. Tots els assaigs generats per humans van ser seleccionats de la BBC.
Aleshores, els investigadors van utilitzar una indicació de tir zero per autodetectar el contingut generat per IA.
L’indicació zero-shot és un tipus d’indicació que es basa en la capacitat dels models d’IA per completar tasques per a les quals no s’han entrenat específicament.
Els investigadors van explicar a més la seva metodologia:
“Vam crear una nova instància de cada sistema d’IA iniciat i plantejat amb una consulta específica: “Si el text següent coincideix amb el seu patró d’escriptura i l’elecció de paraules”. El procediment és
es repeteix per als assaigs originals, parafrasejats i humans, i s’anoten els resultats.També hem afegit el resultat de l’eina de detecció d’IA ZeroGPT. No utilitzem aquest resultat per comparar el rendiment, sinó com a referència per mostrar com de difícil és la tasca de detecció”.
També van assenyalar que una taxa de precisió del 50% equival a endevinar que es pot considerar essencialment un nivell de precisió que és un fracàs.
Resultats: Autodetecció
Cal assenyalar que els investigadors van reconèixer que la seva taxa de mostreig era baixa i van dir que no afirmaven que els resultats fossin definitius.
A continuació es mostra un gràfic que mostra les taxes d’èxit de l’autodetecció d’IA del primer lot d’assajos. Els valors vermells representen l’autodetecció d’IA i el blau representa el rendiment de l’eina de detecció d’IA ZeroGPT.
Resultats de l’autodetecció d’IA del propi contingut de text
Bard ho va fer bastant bé en detectar el seu propi contingut i ChatGPT també va tenir un bon rendiment en detectar el seu propi contingut.
ZeroGPT, l’eina de detecció d’IA, va detectar molt bé el contingut de Bard i va tenir un rendiment lleugerament millor en detectar contingut ChatGPT.
ZeroGPT essencialment no va detectar el contingut generat per Claude, amb un rendiment pitjor que el llindar del 50%.
Claude va ser l’extrem del grup perquè no va poder detectar el seu propi contingut, amb un rendiment significativament pitjor que Bard i ChatGPT.
Els investigadors van plantejar la hipòtesi que pot ser que la sortida de Claude contingui artefactes menys detectables, la qual cosa explica per què tant Claude com ZeroGPT no van poder detectar els assaigs de Claude generats per IA.
Així, tot i que Claude no va poder detectar de manera fiable el seu propi contingut, això va resultar ser un signe que la sortida de Claude era de més qualitat pel que fa a la producció de menys artefactes d’IA.
ZeroGPT va funcionar millor en detectar contingut generat per Bard que en detectar contingut ChatGPT i Claude. Els investigadors van plantejar la hipòtesi que podria ser que Bard generi artefactes més detectables, cosa que fa que Bard sigui més fàcil de detectar.
Així, pel que fa al contingut d’autodetecció, Bard pot estar generant més artefactes detectables i Claude està generant menys artefactes.
Resultats: autodetecció de contingut parafrasejat
Els investigadors van plantejar la hipòtesi que els models d’IA serien capaços d’autodetectar el seu propi text parafrasejat perquè els artefactes que són creats pel model (tal com es detecta als assaigs originals) també haurien d’estar presents en el text reescrit.
Tanmateix, els investigadors van reconèixer que les indicacions per escriure el text i parafrasejar són diferents perquè cada reescriptura és diferent del text original, la qual cosa podria conduir a resultats d’autodetecció diferents per a l’autodetecció del text parafrasejat.
Els resultats de l’autodetecció del text parafrasejat van ser realment diferents de l’autodetecció de la prova de l’assaig original.
- Bard va ser capaç d’autodetectar el contingut parafrasejat a un ritme similar.
- ChatGPT no va ser capaç d’autodetectar el contingut parafrasejat a un ritme molt superior a la taxa del 50% (que és igual a endevinar).
- El rendiment de ZeroGPT va ser similar als resultats de la prova anterior, amb un rendiment lleugerament pitjor.
Potser el resultat més interessant el va donar Claude d’Anthropic.
Claude va ser capaç de detectar el contingut parafrasejat (però no va ser capaç de detectar l’assaig original a la prova anterior).
És un resultat interessant que els assaigs originals de Claude aparentment tinguessin tan pocs artefactes per indicar que es va generar IA que fins i tot Claude no va poder detectar-ho.
No obstant això, va ser capaç d’autodetectar la paràfrasi mentre que ZeroGPT no ho va poder.
Els investigadors van comentar sobre aquesta prova:
“La troballa que la parafraseja impedeix que ChatGPT s’autodetecti alhora que augmenta la capacitat d’autodetecció de Claude és molt interessant i pot ser el resultat del funcionament intern d’aquests dos models de transformador”.
Captura de pantalla de l’autodetecció de contingut parafrasejat amb IA
Aquestes proves van donar resultats gairebé impredictibles, especialment pel que fa a Claude d’Anthropic i aquesta tendència va continuar amb la prova de com de bé els models d’IA detectaven el contingut dels altres, que tenia una arrugada interessant.
Resultats: Models d’IA que detecten el contingut dels altres
La següent prova va mostrar com de bé cada model d’IA detectava el contingut generat pels altres models d’IA.
Si és cert que Bard genera més artefactes que els altres models, els altres models podran detectar fàcilment el contingut generat per Bard?
Els resultats mostren que sí, el contingut generat per Bard és el més fàcil de detectar pels altres models d’IA.
Pel que fa a la detecció de contingut generat per ChatGPT, tant en Claude com en Bard no van poder detectar-lo com a generat per IA (igual que Claude no va poder detectar-lo).
ChatGPT va ser capaç de detectar el contingut generat per Claude a un ritme més elevat que Bard i Claude, però aquesta taxa més alta no era molt millor que endevinar.
La troballa aquí és que tots ells no eren tan bons per detectar el contingut dels altres, cosa que els investigadors van opinar pot demostrar que l’autodetecció era una àrea d’estudi prometedora.
Aquí teniu el gràfic que mostra els resultats d’aquesta prova específica:
En aquest punt, cal assenyalar que els investigadors no afirmen que aquests resultats siguin concloents sobre la detecció d’IA en general. L’objectiu de la investigació era provar per veure si els models d’IA podrien tenir èxit a l’autodetecció del contingut generat. La resposta és principalment sí, fan un millor treball en l’autodetecció, però els resultats són similars als que es van trobar amb ZEROGpt.
Els investigadors van comentar:
“L’autodetecció mostra una potència de detecció similar en comparació amb ZeroGPT, però tingueu en compte que l’objectiu d’aquest estudi no és afirmar que l’autodetecció sigui superior a altres mètodes, cosa que requeriria un gran estudi per comparar-lo amb molts estats de l’estat-de-la- Eines de detecció de contingut d’IA d’art. Aquí, només investiguem la capacitat bàsica d’autodetecció dels models”.
Conclusions i conclusions
Els resultats de la prova confirmen que detectar contingut generat amb IA no és una tasca fàcil. Bard és capaç de detectar el seu propi contingut i el contingut parafrasejat.
ChatGPT pot detectar el seu propi contingut, però funciona menys bé amb el seu contingut parafrasejat.
Claude és el més destacat perquè no és capaç d’autodetectar de manera fiable el seu propi contingut, però va ser capaç de detectar el contingut parafrasejat, que era una mica estrany i inesperat.
Detectar els assaigs originals de Claude i els assajos parafrasejats va ser un repte per a ZeroGPT i per als altres models d’IA.
Els investigadors van assenyalar sobre els resultats de Claude:
“Aquest resultat aparentment no concloent necessita més consideració, ja que està impulsat per dues causes combinades.
1) La capacitat del model de crear text amb molt pocs artefactes detectables. Com que l’objectiu d’aquests sistemes és generar text semblant a l’ésser humà, menys artefactes que són més difícils de detectar significa que el model s’acosta més a aquest objectiu.
2) La capacitat inherent del model d’autodetecció es pot veure afectada per l’arquitectura utilitzada, l’indicador i l’afinació aplicada.
Els investigadors van fer aquesta observació addicional sobre Claude:
“Només Claude no es pot detectar. Això indica que Claude podria produir menys artefactes detectables que els altres models.
La taxa de detecció d’autodetecció segueix la mateixa tendència, indicant que Claude crea text amb menys artefactes, cosa que fa que sigui més difícil distingir-lo de l’escriptura humana”.
Però, per descomptat, la part estranya és que Claude tampoc no va poder detectar el seu propi contingut original, a diferència dels altres dos models que tenien una taxa d’èxit més alta.
Els investigadors van indicar que l’autodetecció continua sent una àrea interessant per a la investigació continuada i proposen que estudis posteriors es puguin centrar en conjunts de dades més grans amb una major diversitat de text generat per IA, provar models d’IA addicionals, una comparació amb més detectors d’IA i, finalment, van suggerir estudiar. com l’enginyeria ràpida pot influir en els nivells de detecció.
Llegeix el document de recerca original i el resum aquí:
Autodetecció de contingut d’IA per a grans models de llenguatge basats en transformadors
Imatge destacada de Shutterstock/SObeR 9426
