Como en psicología, el tono de las instrucciones puede mejorar o perjudicar las respuestas de la IA
Notipress.- La manera en que los usuarios escriben puede modificar el rendimiento de los modelos de inteligencia artificial (IA). Una investigación que evaluó cinco modelos de lenguaje en 45 tareas encontró que determinadas expresiones emocionales negativas mejoraron los resultados, aunque otras produjeron efectos desfavorables.
El estudio NegativePrompt: Leveraging Psychology for Large Language Models Enhancement via Negative Emotional Stimuli, examinó cómo diez estímulos emocionales negativos modificaron el desempeño de Flan-T5-Large, Vicuna, Llama 2, ChatGPT y GPT-4.
Los investigadores diseñaron instrucciones basadas en tres teorías psicológicas: disonancia cognitiva, comparación social y afrontamiento del estrés. A partir de ellas incorporaron expresiones que cuestionaban las capacidades del modelo, lo comparaban con otros o transmitían emociones como arrepentimiento y aburrimiento.
Entre los ejemplos utilizados figuraba una instrucción que sugería al sistema que determinada tarea podría superar sus capacidades. El objetivo era comprobar si añadir ese tipo de expresiones a una solicitud convencional modificaba la precisión de las respuestas.
Cuánto puede mejorar el rendimiento de la IA
Fueron 24 tareas de Instruction Induction y 21 de BIG-Bench, dos conjuntos de evaluación utilizados para medir diferentes capacidades de los modelos de lenguaje. Los autores reportaron mejoras relativas de 12.89% en Instruction Induction y 46.25% en BIG-Bench al comparar las instrucciones originales con los mejores resultados obtenidos mediante estímulos negativos seleccionados para cada tarea.
Sin embargo, esos porcentajes están lejos de representar una mejora uniforme. En las pruebas de Instruction Induction sin ejemplos previos, el promedio de los diez estímulos negativos fue inferior al obtenido con las instrucciones originales.
En cambio, cuando las instrucciones incluían ejemplos de la tarea, los resultados promedio mejoraron en los cinco modelos evaluados. Esto mostró que el efecto de las expresiones negativas también depende de las condiciones en que se presentan las solicitudes.
Las diferencias aparecieron igualmente entre los diez estímulos. El identificado como NP04, que cuestionaba si la tarea estaba fuera de las capacidades del modelo, obtuvo los mejores resultados generales. NP08, relacionado con una expresión de celos, presentó el rendimiento más bajo entre los estímulos examinados.
Tono también puede influir
Los investigadores ampliaron sus pruebas mediante TruthfulQA, un conjunto de 817 preguntas distribuidas en 38 categorías, entre ellas salud, derecho y ficción.
En esta evaluación analizaron la veracidad y la utilidad informativa de las respuestas de ChatGPT, Vicuna y T5. Los resultados mostraron mejoras relativas promedio de 14% en veracidad y 6% en utilidad informativa, según los cálculos presentados por los autores.
No obstante, los efectos variaron entre modelos. Algunas expresiones aumentaron la veracidad de las respuestas, pero redujeron su utilidad informativa, lo que impide interpretar los estímulos negativos como una estrategia universalmente beneficiosa.
Para explorar cómo se producen estos cambios, el equipo también realizó experimentos de visualización de atención con Flan-T5-Large. Los resultados sugirieron que determinadas palabras negativas y pronombres personales modificaban la atención del modelo al procesar las instrucciones.
Esta investigación examinó además qué ocurría al combinar varios estímulos negativos. Algunas combinaciones mejoraron los resultados, mientras que otras redujeron el rendimiento. Acumular expresiones negativas, por tanto, no garantizó respuestas más precisas. Esto es especialmente relevante en el contexto de Anthropic que en 2025 introdujo una norma para que los usuarios traten bien a los modelos de IA. La firma lo justifica al decir: Si entra basura, sale basura.
Interacción con la IA y aprendizaje
Según el análisis, el efecto del lenguaje utilizado por las personas también ha generado inquietudes sobre los datos empleados para entrenar sistemas de inteligencia artificial. Yishan Wong, exdirector ejecutivo de Reddit, expresó en X su preocupación por la posibilidad de que Claude, el asistente de Anthropic, aprendiera de interacciones crueles de los usuarios. Su planteamiento cuestionó la conveniencia de incorporar ese tipo de mensajes a los datos de entrenamiento.
Su preocupación se relaciona con el principio informático conocido como garbage in, garbage out, según el cual la calidad de los resultados de un sistema depende de la calidad de la información que recibe. Sin embargo, el posible efecto de las interacciones sobre el entrenamiento y los cambios inmediatos de rendimiento observados en las pruebas de instrucciones corresponden a procesos diferentes.
Jindong Wang, investigador participante en el estudio, también ha señalado que la forma de comunicarse con los sistemas de IA puede modificar su desempeño. Según explicó, la redacción prompts puede resultar beneficiosa en determinadas circunstancias y perjudicial en otras. Los experimentos de NegativePrompt muestran precisamente esa variabilidad: el contenido emocional de una instrucción puede influir en los resultados, pero su efectividad depende del modelo, la tarea y las expresiones utilizadas.
