Proyecto ROBOT-TALK

Reconocimiento del origen robótico de textos. Automatización de tareas y conocimiento lingüístico

Proyecto PID2022-140897OB-I00 financiado por MICIU/AEI /10.13039/501100011033/ y por FEDER Una manera de hacer Europa

sepiembre 2023-2026

Go to the English version

ROBOT-TALK es un proyecto multidisciplinar de investigación aplicada orientado a la transición digital para determinar de manera semiautomática si los textos digitales “han sido elaborados sin intervención humana mediante procesos automatizados” (cap. XV.2 Carta Derechos Digitales, 2021). El objetivo fue definir una metodología sustentada en conocimiento lingüístico, forense y computacional, para detectar textos totalmente generados por la IA (metafóricamente denominados robots) en español. Dicha metodología se espera que también sea extrapolable a otros casos de análisis de autoría forense. El problema de conocer la autoría de los textos que se generan en la red por LLMs es crítico para nuestra sociedad masivamente digitalizada, puesto que contribuye a garantizar la ciberseguridad,  la veracidad y la fiabilidad de la información.

El proyecto partió de la hipótesis de que es posible obtener, mediante el análisis y perfilado lingüístico, el idiolecto del autor de un texto anónimo, sea este humano o una IA generativa. Los resultados del proyecto indican, hasta donde se ha estudiado, que:

(1) existe un conjunto de rasgos lingüísticos que caracterizan el estilo de escritura humano frente al robótico en español,

(2) estos rasgos lingüísticos son lo suficientemente marcados como para poder, incluso, distinguir la autoría de los distintos LLMs bajo ciertas condiciones: disponibilidad de un corpus de textos indubitados de diferentes géneros y autores (humanos o LLMs) para la atribución, de longitud suficiente y del mismo género textual del texto dubitado.

(3) Para la atribución de autoría se ha creado, el corpus comparable ROBOT-TALK de textos indubitados que permite, además, el análisis contrastivo de los textos generados por humanos y por cinco LLMs en tres géneros textuales (de más a menos estructurados) académico, periodístico y de reseñas de opinión.

(4) Respecto a la metodología de atribución de autoría, se ha encontrado que los rasgos discriminativos se pueden detectar bien manualmente, mediante análisis cualitativo lingüístico, o bien, automáticamente, mediante análisis cuantitativo estadístico, ambos tomando como base un corpus de textos indubitados suficientemente amplio como el que ofrece el corpus ROBOT-TALK. La combinación de ambas aproximaciones, cualitativa y cuantitativa, permite un análisis y perfilado lingüísticos de los textos anónimos con una precisión muy alta y con una cobertura razonable. Y, finalmente,

(5), el análisis y perfilado de los textos puede facilitarse enormemente mediante un panel analítico para visualizar, explorar, comparar e interpretar los valores de los rasgos cuantificables extraídos de los corpus de textos indubitados o de los textos dubitados, utilizando gráficos, tablas, indicadores estadísticos y herramientas interactivas.

Estos resultados, en definitiva, abren nuevas posibilidades de investigación y el desarrollo de herramientas lingüísticas para el análisis de textos humanos o robóticos e, incluso, textos de autoría mixta humano-robótica, no explorados en ROBOT-TALK, pero estudiándose actualmente en el nuevo proyecto AUTHOR_IA