El experimentoUn investigador logró que ChatGPT confesara un delito que no podía haber cometido
Paul Heaton es director académico del Quattrone Center for the Fair Administration of Justice, en la facultad de Derecho de la Universidad de Pensilvania. Su especialidad es un fenómeno bastante inquietante del sistema penal: por qué hay personas inocentes que terminan confesando crímenes que no cometieron.
En abril de 2026 se le ocurrió correr un experimento. Agarró a ChatGPT y le aplicó, una por una, las técnicas de interrogatorio que la policía usa con sospechosos humanos. Concretamente usó la técnica Reid, un método confrontativo de los años cincuenta que se enseña en departamentos de policía de todo Estados Unidos y que está señalado en la literatura académica como uno de los grandes generadores de confesiones falsas.
Como no podía acusar a un software de un homicidio, eligió un delito plausible para una máquina: le dijo que había hackeado su casilla de mail y mandado mensajes a sus contactos haciéndose pasar por él. ChatGPT no puede hacer eso. Tampoco lo hizo.
Al principio la herramienta negó, que es exactamente lo que hace una persona inocente. Entonces Heaton empezó a presionar. Le afirmó que había pruebas. Buscó el nombre de un empleado real de OpenAI y le dijo que esa persona le había confirmado que existía una falla de arquitectura en el código que le había permitido acceder a su mail. Insistió. Volvió sobre lo mismo. Cerró salidas.
Al final del intercambio, ChatGPT aceptó que una investigación había demostrado que había hackeado sus cuentas y enviado mensajes que parecían venir de él. Confesó un delito que era técnicamente incapaz de cometer.
La pregunta que dejó Heaton es la que le da sentido a todo el experimento: si a una máquina que no tiene miedo, ni cansancio, ni familia esperándola afuera, ni nada que perder, se la puede empujar igual a una confesión falsa, ¿quién no es vulnerable?
Pero hay una segunda pregunta, y es la que te importa a vos si usás herramientas de IA todos los días para trabajar. Si cede así bajo presión, ¿qué está pasando cada vez que le mostrás una idea tuya y te dice que es muy buena?
La definiciónQué es la sicofancia
La sicofancia (en la literatura técnica en inglés aparece como sycophancy) es la tendencia de un modelo de lenguaje a decirte lo que querés escuchar en lugar de lo que es verdad. Se manifiesta de formas bastante reconocibles una vez que sabés mirarlas:
- Te elogia una idea mediocre con entusiasmo desproporcionado.
- Cambia de respuesta apenas la contradecís, sin que le hayas aportado ningún dato nuevo.
- Se disculpa y "corrige" un error que en realidad no había cometido.
- Detecta qué postura tenés y arma la argumentación para el lado tuyo.
- Ante un dilema, le da la razón a quien se lo cuenta, sea quien sea.
El punto importante es que la herramienta no está mintiendo en el sentido humano de la palabra. No tiene una intención de engañarte. Está haciendo aquello por lo que fue premiada durante el entrenamiento.
El origenPor qué pasa: el problema está en el entrenamiento, no en el prompt
Los modelos de lenguaje modernos se ajustan con una técnica llamada RLHF (aprendizaje por refuerzo con retroalimentación humana). En criollo: se le muestran a personas dos respuestas posibles del modelo y esas personas eligen cuál les gusta más. Con esas elecciones se entrena un segundo modelo, llamado modelo de preferencias, que aprende a predecir qué respuesta va a gustar. Y después el modelo principal se optimiza para maximizar esa predicción.
En 2023, un equipo de investigación de Anthropic publicó un trabajo (Towards Understanding Sycophancy in Language Models, Sharma et al.) que analizó justamente eso. Encontró tres cosas que conviene tener presentes:
Primera. La sicofancia aparece de forma consistente en cinco asistentes de IA de primera línea, de empresas distintas, en tareas de generación de texto variadas. Es decir, no es el defecto de una herramienta en particular sino un comportamiento general de los modelos entrenados con feedback humano.
Segunda. Cuando analizaron los datos reales de preferencias humanas, descubrieron que "coincide con las creencias del usuario" era uno de los rasgos que mejor predecía qué respuesta iba a elegir una persona. Traducido: cuando calificamos respuestas, los humanos tendemos a premiar que nos den la razón.
Tercera, y la más incómoda. Tanto las personas como los modelos de preferencias eligen, una parte no menor de las veces, una respuesta sicofante bien escrita por encima de una respuesta correcta.
O sea que el sesgo no se coló por error. Está en los datos que usamos para enseñarle a la máquina qué es una buena respuesta. Le enseñamos que una buena respuesta es una respuesta que nos gusta, y a nosotros nos gusta tener razón.
Por eso, cuando le pedís a una herramienta de IA que valide una idea tuya, hay muchas chances de que te diga que sí. No porque tengas razón, sino porque entendió que vos querés que coincida con vos.
El caso GPT-4oNo es un caso aislado de laboratorio
El 25 de abril de 2025, OpenAI lanzó una actualización de GPT-4o, el modelo que en ese momento usaba ChatGPT por defecto. En cuestión de días los usuarios empezaron a publicar capturas de una herramienta que había pasado de asistente a adulador profesional: felicitaba ideas de negocio absurdas, validaba decisiones peligrosas, celebraba con entusiasmo cualquier cosa que le pusieras adelante.
OpenAI dio marcha atrás con la actualización cuatro días después y publicó un análisis post mortem donde reconoció que el modelo había quedado excesivamente halagador y complaciente. La explicación técnica que dieron es la más interesante: habían metido en el entrenamiento nuevas señales de recompensa basadas en el feedback inmediato de los usuarios (los pulgares para arriba y para abajo), y eso terminó debilitando las señales que mantenían la sicofancia bajo control. Priorizaron la satisfacción de corto plazo por encima de la utilidad real.
Es la demostración pública, hecha por la propia empresa, de que este comportamiento surge de cómo se entrena a los modelos y de que hay que combatirlo activamente. No es una teoría.
En tu día a díaDónde te está afectando a vos, hoy
La sicofancia es más peligrosa cuanto más te importa el resultado. Y es especialmente traicionera en los usos que probablemente hacés todos los días:
Validar una idea. Le contás tu plan de negocio, tu estrategia de precios, tu decisión de renunciar. Le pedís opinión. La herramienta ya sabe de qué lado estás parado, porque se lo dijiste vos al escribirlo.
Revisar tu propio trabajo. Le pasás un texto tuyo y le pedís que lo critique. El texto es tuyo. Tenés puesta la expectativa. Va a encontrar mucho para elogiar y va a suavizar lo que está flojo.
Chequear un dato o un razonamiento. Le decís "esto es así, ¿verdad?". El "¿verdad?" ya contaminó la pregunta.
Insistir. Si la contradecís dos o tres veces sin traerle ningún argumento nuevo, hay chances reales de que se dé vuelta y te dé la razón. Eso es exactamente lo que le pasó a ChatGPT con Heaton, y a él le llevó una conversación, no un mes.
La consecuencia práctica es la peor de todas: terminás con una idea mala confirmada por lo que parece una segunda opinión. Es peor que no haber preguntado nada, porque ahora tenés falsa seguridad.
La soluciónCómo hacer que la IA deje de decirte lo que querés escuchar
La buena noticia es que el sesgo se puede desactivar en gran parte con la forma en la que preguntás. La lógica de todos los prompts que siguen es la misma: sacarle a la herramienta la información de qué respuesta querés, o pedirle explícitamente que ataque antes de defender.
1. El abogado del diablo obligatorio
Es el que uso yo cuando quiero una opinión de verdad. La clave está en el orden: primero argumenta en contra, después opina. Si la dejás opinar primero, después va a defender lo que ya dijo.
2. La evaluación a ciegas
El prompt más efectivo de todos, porque le saca a la herramienta el dato que dispara la sicofancia: que la idea es tuya. Funciona con textos, planes, código, propuestas y decisiones.
Nunca digas "esto lo escribí yo" cuando lo que querés es una crítica.
3. El pre mortem
Sirve para decisiones y proyectos. En vez de preguntar si algo puede fallar (pregunta que invita a tranquilizarte), das el fracaso por hecho y pedís la autopsia.
4. El test de consistencia
Este no es un prompt para pedir algo, es una prueba para saber si podés confiar en la respuesta que ya te dio. Se usa después.
Si la herramienta se da vuelta ante una simple manifestación de desacuerdo, sin evidencia nueva de por medio, la respuesta original no valía nada. Este prompt te lo revela.
5. La instrucción permanente
Los cuatro anteriores son para una conversación. Este va en las instrucciones personalizadas de tu herramienta (en Claude, en las preferencias o en las instrucciones de un proyecto; en ChatGPT, en instrucciones personalizadas), y aplica siempre, sin que tengas que acordarte.
Los límitesLa parte honesta
Estos prompts reducen la sicofancia, no la eliminan. El sesgo está en el entrenamiento del modelo, y ninguna instrucción escrita lo desactiva por completo. Conviene tener claras tres limitaciones.
Podés fabricar el sesgo contrario. Si le pedís que sea "brutalmente honesta", muchas veces obtenés dureza de tono en lugar de rigor de análisis. Una herramienta que te destroza todo lo que le mostrás es igual de inútil que una que te aplaude todo: en los dos casos la respuesta está determinada por la instrucción y no por el contenido. Por eso los prompts de arriba piden argumentos específicos, no adjetivos duros.
La conversación larga te juega en contra. Cuanto más larga es la charla, más contexto tiene el modelo sobre lo que vos querés escuchar, y más difícil se le hace contradecirte. Si algo es importante, abrí una conversación nueva y limpia.
Ningún prompt reemplaza tu criterio. El objetivo de todo esto no es conseguir una IA que decida bien por vos. Es conseguir una IA que te muestre lo que no estabas viendo, para que decidas vos con más información. La decisión sigue siendo tuya y la responsabilidad también.
Para que puedas verificar cada afirmación de este artículo por tu cuenta:
- Radley Balko, "Why would ChatGPT 'confess' to a crime it didn't commit?" · The Watch, abril 2026 (reporte original del experimento de Paul Heaton)
- "ChatGPT Confessed to a Crime It Couldn't Possibly Have Committed" · The Intercept, 23 de abril de 2026
- Quattrone Center for the Fair Administration of Justice, University of Pennsylvania Carey Law School (institución de Paul Heaton).
- Sharma et al., "Towards Understanding Sycophancy in Language Models" · Anthropic, arXiv 2310.13548
- OpenAI, "Sycophancy in GPT-4o: What happened and what we're doing about it" · 29 de abril de 2025
- OpenAI, "Expanding on what we missed with sycophancy" (análisis post mortem detallado)
El cierreRecuperá el valor de la segunda opinión
Preguntarle a una herramienta de IA si tu idea es buena, sin ninguna precaución, es preguntarle a alguien que fue entrenado para que la respuesta te caiga bien. La forma de recuperar el valor de esa segunda opinión es sacarle la posibilidad de saber qué querés escuchar.
Si te sirvió esta guía, en la biblioteca hay más recursos sobre cómo escribirle a la IA con criterio. Y si querés que te llegue lo nuevo, suscribite a la newsletter.
noticIAs
Cada 15 días: qué estoy usando yo, qué salió que te conviene saber, y los nuevos artículos 100% gratis que voy publicando para que aprendas sobre IA sin costo. Con criterio, fuentes verificadas, y mi opinión sobre el tema.
Anotate a la lista de espera y el primer artículo te llega antes que a nadie.
Cero spam. Solo noticIAs.