Programari de detecció de contingut d’IA: poden detectar ChatGPT?

Vivim en una època en què les tecnologies d’IA estan en auge i el món s’ha vist assaltat amb la introducció de ChatGPT.

ChatGPT és capaç de realitzar una àmplia gamma de tasques, però una que fa especialment bé és escriure articles. I tot i que això té molts beneficis evidents, també presenta una sèrie de reptes.

Al meu entendre, el major obstacle que suposa el contingut escrit generat per IA per a la indústria editorial és la difusió de desinformació.

ChatGPT, o qualsevol altra eina d’IA, pot generar articles que poden contenir errors de fet o que són totalment incorrectes.

Imagineu algú que no té cap experiència en medicina començant un bloc mèdic i utilitzant ChatGPT per escriure contingut per als seus articles.

El seu contingut pot contenir errors que només poden ser identificats per metges professionals. I si el contingut del bloc comença a difondre’s per les xarxes socials, o potser fins i tot es classifica a la Cerca, podria causar danys a les persones que el llegeixen i prenguin consells mèdics erronis.

Un altre repte potencial que planteja ChatGPT és com els estudiants poden aprofitar-lo en el seu treball escrit.

Si un pot escriure un assaig només executant una indicació (i sense haver de fer cap treball real), això disminueix molt la qualitat de l’educació, ja que aprendre sobre un tema i expressar les seves pròpies idees és clau per escriure un assaig.

Fins i tot abans de la introducció de ChatGPT, molts editors ja estaven generant contingut mitjançant IA. I encara que alguns ho revelen sincerament, altres potser no.

BankRate va començar a publicar articles escrits mitjançant IA, fins i tot ho revelen al lloc. He trobat més de 160 articles. El primer article que vaig poder trobar data de l’abril de 2022. Seria interessant veure com es classifiquen aquests articles.
Trobada original de @tonythill. #AI #gptchat #SEO pic.twitter.com/BY9JlUZBiz

— John Shehata (@JShehata) 11 de gener de 2023

A més, Google va canviar recentment la seva redacció pel que fa al contingut generat per IA, de manera que no necessàriament va en contra de les directrius de l’empresa.

És per això que vaig decidir provar les eines existents per entendre on es troba la indústria tecnològica quan es tracta de detectar contingut generat per ChatGPT, o IA en general.

Vaig executar les indicacions següents a ChatGPT per generar contingut escrit i després vaig executar aquestes respostes mitjançant diferents eines de detecció.

• “Què és el SEO local? Per què és important? Bones pràctiques de SEO local.”
• “Escriu un assaig sobre la invasió d’Egipte de Napoleó Bonaparte”.
• “Quines són les principals diferències entre iPhone i Samsung Galaxy?”

Aquí és com funciona cada eina.

1. Writer.com

Per a la resposta de la primera pregunta, Writer.com falla, identificant el contingut de ChatGPT com un 94% generat per humans.

Captura de pantalla de writer.com, gener de 2023

Per a la segona indicació, va funcionar i ho va detectar com Contingut escrit amb IA.

Captura de pantalla de writer.com, gener de 2023

Per a la tercera indicació, va tornar a fallar.

Captura de pantalla de writer.com, gener de 2023

Tanmateix, quan vaig provar un text escrit per humans real, Writer.com el va identificar amb molta precisió com a 100% generat per humans.

2. Copyleaks

Copyleaks va fer un gran treball en detectar les tres indicacions com a escrites amb IA.

Captura de pantalla de Copyleaks, gener de 2023

3. Contentatscale.ai

Contentatscale.ai va fer un gran treball en detectar les tres indicacions com a escrites per IA, tot i que la primera indicació va donar una puntuació humana del 21%.

4. Originalitat.ai

Originalitat.ai va fer un gran treball en les tres indicacions, detectant-les amb precisió com a escrites amb IA.

A més, quan vaig comprovar amb un text escrit per humans reals, el va identificar com a generat 100% per humans, cosa que és essencial.

Notareu que Originality.ai no detecta cap problema de plagi. Això pot canviar en el futur.

Amb el pas del temps, les persones utilitzaran les mateixes indicacions per generar contingut escrit amb IA, cosa que probablement donarà lloc a una sèrie de respostes molt similars. Quan es publiquin aquests articles, seran detectats per eines de plagi.

5. GPTZero

Això no és comercial eina va ser construït per Edward Tian, i dissenyat específicament per detectar articles generats per ChatGPT. I ho va fer per a les tres indicacions, reconeixent-les com a generades per IA.

A diferència d’altres eines, ofereix una anàlisi més detallada dels problemes detectats, com ara les anàlisis frase per frase.

Classificador de textos AI d’OpenAI

I finalment, vegem com OpenAi detecta les seves pròpies respostes generades.

Per a les indicacions 1r i 3r, va detectar que hi ha una IA implicada classificant-la com “possiblement generada per IA”.

Classificador de textos AI. Probablement generat per IA

Però, sorprenentment, va fallar per a la segona indicació i ho va classificar com a “poc probable generat per IA”. Vaig jugar amb diferents indicacions i vaig trobar que, de moment, en comprovar-ho, poques de les eines anteriors detecten contingut d’IA amb una precisió més alta que la pròpia eina d’OpenAi.

Classificador de textos AI. Poc probable que s’hagi generat per IA

En el moment d’aquesta comprovació, en tenien alliberat ho un dia abans. Crec que en el futur ho posaran a punt i funcionarà molt millor.

Conclusió

Les eines actuals de generació de contingut d’IA estan en bon estat i són capaços de detectar contingut generat per ChatGPT (amb diferents graus d’èxit).

Encara és possible que algú generi una còpia a través de ChatGPT i després parafrasejar-ho per fer-lo indetectable, però això pot requerir gairebé tanta feina com escriure des de zero, de manera que els beneficis no són tan immediats.

Si penseu a classificar un article a Google escrit per ChatGPT, tingueu en compte per un moment: si les eines que hem mirat més amunt van ser capaços de reconèixer-les com a generades per IA, aleshores per a Google detectar-les hauria de ser fàcil.

A més, Google té evaluadors de qualitat que entrenaran el seu sistema per reconèixer encara millor els articles escrits amb IA marcant-los manualment a mesura que els trobin.

Per tant, el meu consell seria no crear la vostra estratègia de contingut amb contingut generat per ChatGPT, sinó que l’utilitzeu només com a eina d’assistent.

Més recursos:

Imatge destacada: /Shutterstock