ChatGPT se ha convertido en un valioso recurso para estudiantes, abogados y profesionales que buscan optimizar su labor a través de la inteligencia artificial. Sin embargo, también hay quienes usan la IA generativa para hacer trampa. Afortunadamente, esto podría cambiar gracias a la labor de los investigadores de la Universidad de Kansas que han creado una herramienta capaz de detectar documentos producidos por ChatGPT con notable precisión.
Los científicos han resaltado que, aunque ya existen algoritmos para detectar textos creados por IA, estos no son igual de eficaces en todos los casos. Uno de los ámbitos que más preocupa a la comunidad académica son los documentos de índole científica. «Las características que distinguen a un humano de ChatGPT, no son las mismas que los académicos suelen mostrar en la escritura formal», según se puede leer en el estudio que fue publicado en la revista Cell Reports Physical Science .
Heather Desaire, profesora de la Universidad de Kansas y autora principal del estudio, explica que uno de los desafíos más grandes con ChatGPT es que compila texto de muchas fuentes y no hay manera de corroborarlo. Para solucionar este problema, el grupo de investigadores adiestró un algoritmo de aprendizaje automático usando «perspectivas», artículos que proporcionan un resumen de los temas de investigación escritos por científicos.
El equipo utilizó 64 perspectivas y generó 128 textos con ChatGPT sobre los mismos temas de investigación. Cuando se compararon con los documentos escritos por humanos, los hallazgos fueron notables. El algoritmo fue capaz de identificar con gran precisión los artículos creados por el chatbot gracias a un indicador: ChatGPT produce contenido menos complejo que los científicos.
ChatGPT crea textos menos complejos que los humanos
De acuerdo con el estudio, ChatGPT genera menos frases y palabras por párrafo en comparación con un texto redactado por un investigador. Los humanos tienden a variar las estructuras de sus sentencias y usan con más frecuencia guiones, paréntesis, dos puntos y otros signos de puntuación. La IA de OpenAI opta por frases breves y comillas simples en textos con poca variabilidad.
Otro factor diferencial es que los científicos usan más números y alternan el uso de mayúsculas y minúsculas al incluir nombres propios o acrónimos. ChatGPT no es tan eficaz al hacer referencia al trabajo de otros. Los documentos académicos escritos por humanos suelen citar el nombre del investigador al que se refieren, mientras que la IA usa términos como «otros» e «investigadores».
El modelo alcanzó un índice de precisión del 100% al detectar los artículos de perspectiva completa creados por una IA. Al identificar párrafos individuales dentro de un documento académico, la tasa de precisión es del 92%. Aunque los resultados son alentadores, los investigadores de la Universidad de Kansas señalaron que su trabajo no es aplicable en todos los casos.
Los cuatro indicadores para diferenciar a una IA de un humano sólo funcionan en un tipo específico de textos, por lo que el modelo no puede ser considerado universal. «Es posible que estas características no sean útiles para autenticar a un autor humano en ejemplos de escritura informal, pero probablemente sean útiles para una variedad de escritos académicos», indican.
El estudio es una prueba de concepto y se necesita un conjunto de datos más grande que abarque diferentes tipos de escritura científica. Además, no podemos olvidar que la IA está avanzando a gran velocidad, por lo que es probable que ChatGPT encuentre una solución a estos problemas en el futuro.