OpenAI, l’empresa d’investigació d’IA que hi ha darrere de ChatGPT, ha llançat una nova eina per distingir entre text generat per IA i generat per humans.
Tot i que és impossible detectar el text escrit amb IA amb una precisió del 100%, OpenAI creu que la seva nova eina pot ajudar a mitigar les afirmacions falses que els humans van escriure contingut generat per IA.
En un anunciOpenAI diu que el seu nou AI Text Classifier pot limitar la capacitat d’executar campanyes automatitzades d’informació errònia, utilitzar eines d’IA per al frau acadèmic i suplantar la identitat dels humans amb chatbots.
Quan es prova en un conjunt de textos en anglès, l’eina podria dir correctament si el text va ser escrit per AI el 26% del temps. Però també es va pensar erròniament que el text escrit per humans el va escriure AI el 9% de les vegades.
OpenAI diu que la seva eina funciona millor com més llarg sigui el text, per la qual cosa pot ser que requereixi un mínim de 1.000 caràcters per executar una prova.
Altres limitacions del nou Classificador de text OpenAI inclouen les següents:
- Pot etiquetar malament tant el text generat per IA com el text escrit per humans.
- El text generat per IA pot evadir el classificador amb edicions menors.
- Pot equivocar-se amb el text escrit per nens i el text no en anglès perquè s’ha entrenat principalment en contingut en anglès escrit per adults.
Tenint això en compte, mirem com funciona.
Utilitzant el Classificador de textos AI d’OpenAI
El Classificador de textos AI d’OpenAI és senzill d’utilitzar.
Inicieu la sessió, enganxeu el text que voleu provar i premeu el botó d’enviament.
L’eina valorarà la probabilitat que AI hagi generat el text que heu enviat. Els resultats oscil·len entre els següents:
- Molt poc probable
- Poc probable
- No està clar si ho és
- Possiblement
- Probablement
Ho vaig provar demanant a ChatGPT que escrivís un assaig sobre SEO i, després, enviant el text textualment a l’AI Text Classifier.
Va valorar l’assaig generat per ChatGPT com a probable generada per la IA, que és l’indicador més fort que pot donar.
Captura de pantalla de: platform.openai.com/ai-text-classifier, gener de 2023
En aplicar edicions menors suggerides per Grammarly, he reduït la puntuació de probable a poc clar.
OpenAI té raó en afirmar que és fàcil evadir el seu classificador. Tanmateix, no vol ser l’única evidència que AI va escriure alguna cosa.
En una secció de preguntes freqüents a la part inferior de la pàgina, OpenAI afirma:
“El nostre ús previst per a l’AI Text Classifier és fomentar la conversa sobre la distinció entre contingut escrit per humans i contingut generat per IA. Els resultats poden ajudar, però no haurien de ser l’única prova a l’hora de decidir si un document es va generar amb IA. El model s’entrena en text escrit per humans a partir de diverses fonts, que potser no siguin representatius de tot tipus de text escrit per humans”.
OpenAI afegeix que l’eina no s’ha provat a fons per detectar contingut que contingui una combinació d’IA i text escrit per humans.
En última instància, l’AI Text Classifier pot ser un recurs valuós per marcar text potencialment generat per IA, però no s’ha d’utilitzar com a mesura definitiva per fer un veredicte.
Imatge destacada: IB Photography/Shutterstock
