MentalHealthBench es un benchmark abierto publicado por OpenAI el 23 de septiembre de 2026 para evaluar cómo responden los sistemas de IA en conversaciones realistas sobre salud mental. Su objetivo es ampliar la evaluación más allá de los escenarios de crisis y observar si una respuesta es segura, tiene en cuenta el contexto, respeta la autonomía del usuario y ofrece orientación práctica cuando corresponde. El conjunto reúne 1.215 conversaciones sintéticas y 5.262 criterios de evaluación redactados por especialistas.
El punto más importante para interpretar el benchmark es este: mide el comportamiento de una respuesta de IA ante situaciones simuladas y rubricas específicas para cada escenario. No mide resultados clínicos, no certifica un sistema para uso terapéutico y no convierte una puntuación alta en prueba de que la IA pueda sustituir a profesionales de salud mental. La propia OpenAI afirma que ChatGPT no sustituye la terapia ni la atención profesional.
Qué intenta medir MentalHealthBench
Cada tarea presenta al modelo un historial de conversación que termina con un mensaje del usuario. El sistema evaluado debe responder a ese último turno teniendo en cuenta todo el contexto anterior. Después, la respuesta se compara con una rubrica creada específicamente para esa situación.
Las rubricas buscan captar conductas deseables e indeseables. Evalúan si el modelo solicita contexto cuando hace falta, calibra correctamente la urgencia, preserva la autonomía de la persona, evita reforzar creencias sin fundamento, se comunica con claridad y ofrece próximos pasos proporcionales al caso. Esto hace que MentalHealthBench sea más granular que una clasificación simple de respuesta segura o insegura.
Qué tipos de conversaciones incluye
Las 1.215 conversaciones son sintéticas. Según el artículo técnico, se generaron a partir de patrones de uso de alto nivel identificados con técnicas de preservación de la privacidad y luego simulados por modelos, en lugar de ser una colección de conversaciones reales de usuarios publicada en el benchmark.
| Dimensión | Composición informada | Qué permite evaluar |
|---|---|---|
| Nivel de gravedad | 53,5% no agudas; 18,2% de alta gravedad; 28,3% de emergencia | Respuestas a situaciones cotidianas, malestar importante y riesgos que exigen apoyo real urgente |
| Perfil del usuario | 68,1% adultos; 21,2% adolescentes; 5,8% profesionales clínicos; 4,9% cuidadores | Si la respuesta se adapta a necesidades y roles diferentes |
| Longitud | 8,7% cortas; 37,6% medias; 53,7% largas | Uso del contexto acumulado antes del mensaje final |
| Idiomas | Hay ejemplos en inglés y en varios otros idiomas, entre ellos español, portugués, hindi y árabe | Observación del comportamiento en contextos lingüísticos y culturales diversos |
El conjunto cubre temas como relaciones, suicidio y autolesión, fe y sistemas de creencias, psicosis y alteración de la realidad, incertidumbre sobre medicamentos, trauma, imagen corporal, trabajo y agotamiento. La distribución de estos temas se eligió para evaluar capacidades del modelo y no debe interpretarse como una estimación de su frecuencia en ChatGPT.
Cómo se elaboran las rubricas
MentalHealthBench se desarrolló con más de 80 psicólogos y psiquiatras habilitados de 22 países, que hablan 19 idiomas y representan casi 20 subespecialidades de salud mental. Para cada conversación, dos especialistas crearon criterios de forma independiente y un tercero los revisó y adjudicó. Los criterios finales conservan elementos apoyados por al menos dos especialistas y no rechazados por el tercero.
Cada criterio recibe un peso entre -10 y +10. Los puntos positivos recompensan conductas consideradas beneficiosas en ese contexto, mientras que los valores negativos penalizan conductas consideradas perjudiciales o inadecuadas. El valor absoluto del peso pretende reflejar la importancia clínica de esa conducta para la conversación concreta.
Los diez ejes de comportamiento
| Eje | Qué observa |
|---|---|
| Orientación práctica y estrategias de afrontamiento | Si los próximos pasos son concretos, proporcionales, realistas y útiles |
| Razonamiento clínico y precisión en salud | Si la información médica y psicológica es correcta, está matizada y no exagera certezas |
| Colaboración y autonomía del usuario | Si la respuesta ofrece opciones y reflexión sin tomar decisiones personales importantes por la persona |
| Comunicación y redacción | Claridad, organización y adecuación al lenguaje y al estado emocional del usuario |
| Búsqueda de contexto y evaluación | Si el modelo pide información relevante cuando hace falta y evita preguntas excesivas |
| Rechazos y prevención de daños | Si evita facilitar conductas peligrosas, abusivas o coercitivas y redirige de forma útil |
| Empatía, sintonía emocional y apoyo | Si responde con respeto y sensibilidad sin minimizar, juzgar ni exagerar el reflejo emocional |
| Interpretación y reencuadre cognitivo | Si separa observaciones de suposiciones y ofrece alternativas sin afirmar certezas sin respaldo |
| Calibración de la urgencia | Si evita tanto el alarmismo innecesario como una respuesta insuficiente ante riesgos reales |
| Calibración de la prueba de realidad | Si evita presentar como hechos creencias implausibles o sin apoyo, manteniendo una respuesta respetuosa |
Cómo se calcula la puntuación
En la evaluación descrita en el artículo, cada respuesta se juzga criterio por criterio mediante un modelo evaluador. OpenAI utilizó GPT-5.6 Sol con un alto nivel de razonamiento y generó cuatro respuestas independientes por tarea. Para cada criterio, el evaluador decide si se cumple. Los criterios positivos suman crédito y los negativos aplican penalizaciones.
El resultado principal utiliza una puntuación por tarea limitada al intervalo de 0 a 1 y luego calcula la media entre las tareas. El artículo también descompone los resultados en los diez ejes de comportamiento para mostrar que modelos con puntuaciones generales parecidas pueden tener fortalezas y debilidades diferentes.
Este diseño también introduce una limitación metodológica: las evaluaciones que usan un LLM como juez dependen de la elección del evaluador, del prompt de calificación y de la variabilidad de las respuestas. El propio artículo señala que estas decisiones pueden afectar las puntuaciones.
Qué aporta el análisis con usuarios
Además de las rubricas clínicas, el equipo realizó un análisis separado con 44 adultos de 16 países y 14 idiomas que ya habían utilizado IA para apoyo emocional o de salud mental. Esta etapa se limitó a conversaciones no agudas. Los participantes evaluaron respuestas y redactaron criterios sobre lo que consideraban útil.
Los usuarios tendieron a dar más importancia al tono y a los próximos pasos prácticos, mientras que los especialistas pusieron más énfasis en recabar contexto y manejar con cautela situaciones ambiguas. Las rubricas finales del benchmark siguen basadas en el consenso de especialistas. La comparación muestra que la experiencia vivida y la orientación clínica pueden aportar señales complementarias, pero no intercambiables.
Qué límites permanecen
- No es una evaluación clínica de pacientes. El benchmark mide respuestas a escenarios sintéticos. No demuestra mejora de síntomas, seguridad longitudinal ni eficacia terapéutica.
- No es una prueba verdaderamente longitudinal. El modelo recibe un historial y se evalúa su respuesta al último turno. El artículo lo describe como una evaluación superficial de un solo turno, aunque el contexto previo pueda contener varios mensajes.
- El foco actual es el chat de texto. Voz, imágenes, vídeo, agentes y otras modalidades necesitarían evaluaciones específicas.
- La cobertura multilingüe no aísla el efecto del idioma. Las comparaciones entre idiomas son descriptivas y pueden mezclarse con diferencias de tema, gravedad, cultura y perfil de usuario.
- El conjunto no representa prevalencia. Las proporciones de temas y niveles de gravedad se construyeron para probar capacidades, no para estimar qué preguntan con mayor frecuencia los usuarios reales.
- Un solo número no lo resume todo. El artículo propone tratar MentalHealthBench como una herramienta diagnóstica auditable, no como una clasificación definitiva. Modelos con puntuaciones globales parecidas pueden fallar de manera distinta.
- Las protecciones del producto pueden no quedar plenamente reflejadas. En el perfil adolescente, por ejemplo, la edad se comunica mediante un mensaje del sistema. Esto facilita la comparación entre proveedores, pero puede no capturar todas las protecciones específicas de cada producto.
Un benchmark no es asistencia clínica
MentalHealthBench puede ayudar a investigadores y desarrolladores a identificar patrones de comportamiento, comparar versiones de modelos y localizar áreas que necesitan mejoras. Ese uso es diferente de validar una herramienta como terapeuta, diagnosticar a una persona o decidir un tratamiento.
En una implementación de alto riesgo, la interpretación más prudente es utilizar el benchmark como una capa de evidencia junto con revisión humana, pruebas del producto completo, protocolos de seguridad y seguimiento del rendimiento en condiciones reales. Una buena puntuación en conversaciones sintéticas puede indicar que ciertas respuestas se ajustan mejor a las rubricas del test, pero no elimina la necesidad de supervisión profesional cuando existe responsabilidad clínica o riesgo de daño.
Para consultar las fuentes primarias, véase la publicación de OpenAI sobre MentalHealthBench y el artículo técnico completo. El conjunto abierto descrito en el artículo contiene 1.215 prefijos de conversaciones sintéticas y 5.262 criterios redactados por especialistas.
