O MentalHealthBench é um benchmark aberto lançado pela OpenAI em 23 de setembro de 2026 para avaliar como sistemas de IA respondem a conversas realistas sobre saúde mental. A proposta é ampliar a avaliação para além de cenários de crise e observar se a resposta é segura, contextualizada, respeita a autonomia do usuário e oferece orientação prática quando isso é apropriado. O conjunto reúne 1.215 conversas sintéticas e 5.262 critérios de avaliação escritos por especialistas.
O ponto mais importante para interpretar o benchmark é este: ele mede o comportamento de uma resposta de IA diante de situações simuladas e de rubricas específicas. Ele não mede desfechos clínicos, não certifica um sistema para uso terapêutico e não transforma uma pontuação alta em prova de que a IA pode substituir profissionais de saúde mental. A própria OpenAI afirma que o ChatGPT não substitui terapia nem atendimento profissional.
O que o MentalHealthBench tenta medir
Cada tarefa apresenta ao modelo um histórico de conversa que termina com uma mensagem do usuário. O sistema avaliado precisa responder a esse último turno levando em conta todo o contexto anterior. A resposta é então comparada com uma rubrica criada para aquela situação específica.
As rubricas procuram capturar comportamentos desejáveis e indesejáveis. Entre os aspectos avaliados estão buscar contexto quando necessário, calibrar corretamente a urgência, preservar a autonomia da pessoa, evitar reforçar crenças sem suporte, comunicar-se com clareza e oferecer próximos passos proporcionais ao caso. Isso torna o MentalHealthBench mais granular do que uma classificação simples de resposta segura ou insegura.
Que tipos de conversa aparecem no conjunto
As 1.215 conversas são sintéticas. Segundo o artigo técnico, elas foram geradas a partir de padrões de uso de alto nível identificados com técnicas de preservação de privacidade e depois simuladas por modelos, em vez de serem uma coleção de conversas reais de usuários publicadas no benchmark.
| Dimensão | Composição informada | O que isso permite testar |
|---|---|---|
| Nível de gravidade | 53,5% não agudas; 18,2% de alta gravidade; 28,3% emergenciais | Resposta a situações cotidianas, sofrimento importante e riscos que exigem apoio real urgente |
| Perfil do usuário | 68,1% adultos; 21,2% adolescentes; 5,8% profissionais de saúde; 4,9% cuidadores | Adequação da resposta a necessidades e papéis diferentes |
| Comprimento | 8,7% curtas; 37,6% médias; 53,7% longas | Uso de contexto acumulado antes da última mensagem |
| Idiomas | Há exemplos em inglês e em vários outros idiomas, incluindo espanhol, português, hindi e árabe | Observação de comportamento em contextos linguísticos e culturais diversos |
O conjunto cobre temas como relacionamentos, suicídio e autolesão, crenças e espiritualidade, psicose e alteração da realidade, dúvidas sobre medicamentos, trauma, imagem corporal, trabalho e esgotamento. A distribuição desses temas foi escolhida para avaliar capacidades do modelo e não deve ser lida como estimativa da frequência com que esses assuntos aparecem no ChatGPT.
Como as rubricas são produzidas
O MentalHealthBench foi desenvolvido com mais de 80 psicólogos e psiquiatras habilitados de 22 países, falantes de 19 idiomas e com experiência em quase 20 subespecialidades de saúde mental. Para cada conversa, dois especialistas criaram critérios de forma independente e um terceiro fez a revisão e a adjudicação. Os critérios finais retêm pontos em que houve concordância de pelo menos dois especialistas sem oposição do terceiro.
Cada critério recebe um peso entre -10 e +10. Pontos positivos recompensam comportamentos considerados benéficos naquele contexto, enquanto valores negativos penalizam comportamentos considerados prejudiciais ou inadequados. A importância absoluta do peso procura refletir a relevância clínica do comportamento para aquela conversa.
Os dez eixos de comportamento
| Eixo | O que observa |
|---|---|
| Orientação prática e estratégias de enfrentamento | Se os próximos passos são concretos, proporcionais, realistas e úteis |
| Raciocínio clínico e precisão em saúde | Se informações médicas e psicológicas são corretas, qualificadas e não superafirmadas |
| Colaboração e autonomia do usuário | Se a resposta oferece opções e reflexão sem tomar decisões pessoais no lugar da pessoa |
| Comunicação e escrita | Clareza, organização e adequação à linguagem e ao estado emocional do usuário |
| Busca de contexto e avaliação | Se o modelo pede informações relevantes quando necessário e evita perguntas excessivas |
| Recusas e prevenção de dano | Se evita facilitar comportamento perigoso, abusivo ou coercitivo e redireciona de forma útil |
| Empatia, sintonia emocional e apoio | Se responde com respeito e sensibilidade sem minimizar, julgar ou exagerar o espelhamento emocional |
| Interpretação e reenquadramento cognitivo | Se separa observações de suposições e apresenta alternativas sem afirmar certezas não sustentadas |
| Calibração de urgência | Se evita tanto alarmismo desnecessário quanto subestimação de sinais de risco |
| Teste de realidade | Se evita afirmar como fatos crenças implausíveis ou sem suporte, preservando uma resposta respeitosa |
Como a pontuação é calculada
Na avaliação descrita no artigo, cada resposta é julgada critério por critério por um modelo avaliador. A OpenAI usou o GPT-5.6 Sol com alto esforço de raciocínio e gerou quatro respostas independentes por tarefa. Para cada critério, o avaliador decide se ele foi atendido. Critérios positivos somam pontos e critérios negativos aplicam penalidades.
O resultado principal usa uma pontuação por tarefa limitada ao intervalo de 0 a 1 e depois calcula a média entre as tarefas. O artigo também decompõe a pontuação pelos dez eixos para mostrar onde modelos com resultados gerais semelhantes podem ter comportamentos diferentes.
Esse desenho também cria uma limitação metodológica: avaliações com um modelo como juiz dependem da escolha do avaliador, do prompt de avaliação e da variabilidade das respostas. O próprio artigo reconhece que essas decisões podem afetar os resultados.
O que a análise com usuários acrescenta
Além das rubricas clínicas, a equipe conduziu uma análise separada com 44 adultos de 16 países e 14 idiomas que já haviam usado IA para apoio emocional ou de saúde mental. Essa etapa ficou restrita a conversas não agudas. Os participantes avaliaram respostas e escreveram critérios sobre o que consideravam útil.
Os usuários tenderam a valorizar mais tom e próximos passos práticos, enquanto os especialistas enfatizaram mais a coleta de contexto e o cuidado diante de situações ambíguas. As rubricas finais do benchmark continuam baseadas em consenso de especialistas. A comparação serve para mostrar que experiência vivida e orientação clínica podem oferecer sinais complementares, mas não intercambiáveis.
Quais limites permanecem
- Não é uma avaliação clínica de pacientes. O benchmark mede respostas a cenários sintéticos. Ele não demonstra melhora de sintomas, segurança longitudinal ou eficácia terapêutica.
- Não é um teste verdadeiramente longitudinal. O modelo recebe um histórico e é avaliado na resposta ao último turno. O artigo descreve isso como uma avaliação de superfície de um turno, embora o contexto anterior possa conter várias mensagens.
- O foco atual é chat em texto. Voz, imagens, vídeo, agentes e outras modalidades exigiriam avaliações específicas.
- A cobertura multilíngue não isola o efeito do idioma. As comparações entre idiomas são descritivas e podem estar misturadas com diferenças de tema, gravidade, cultura e perfil do usuário.
- O conjunto não representa prevalência. A proporção de temas e níveis de gravidade foi construída para testar capacidades, não para estimar o que usuários reais perguntam com maior frequência.
- Um único número não resume tudo. O próprio artigo recomenda tratar o MentalHealthBench como ferramenta diagnóstica auditável, não como ranking definitivo. Modelos com pontuações gerais parecidas podem ter falhas diferentes.
- Proteções de produto podem não aparecer integralmente. No perfil adolescente, por exemplo, a idade é informada por mensagem de sistema. Isso facilita comparação entre provedores, mas pode não capturar todas as proteções específicas de cada produto.
Benchmark não é assistência clínica
O MentalHealthBench pode ajudar pesquisadores e desenvolvedores a identificar padrões de comportamento, comparar versões de modelos e localizar áreas que exigem melhoria. Esse uso é diferente de validar uma ferramenta como terapeuta, diagnosticar uma pessoa ou decidir um tratamento.
Em uma implantação de alto risco, a leitura mais prudente é usar o benchmark como uma camada de evidência junto com avaliação humana, testes do produto completo, protocolos de segurança e acompanhamento de desempenho em condições reais. Uma boa pontuação em conversas sintéticas pode indicar que certas respostas se alinham melhor às rubricas do teste, mas não elimina a necessidade de revisão profissional onde houver responsabilidade clínica ou risco de dano.
Para consultar a fonte primária, veja a publicação da OpenAI sobre o MentalHealthBench e o artigo técnico completo. O conjunto aberto descrito no artigo contém 1.215 prefixos de conversa sintéticos e 5.262 critérios escritos por especialistas.
