Resposta curta: se o seu problema principal é encontrar artigos relevantes para construir uma revisão, o Elicit é o ponto de partida mais coerente entre os três; se você quer partir de uma pergunta e obter rapidamente um mapa do que a literatura diz, o Consensus é mais direto; se a tarefa é verificar como um artigo ou afirmação foi citado depois, o Scite tem a proposta mais específica. Para pesquisa rigorosa, porém, a melhor estratégia não é escolher um vencedor universal: é separar recuperação bibliográfica de auditoria de citações e combinar ferramentas com uma busca transparente em bases como PubMed ou a base de referência da sua área.
A resposta curta: não há um vencedor único
| Tarefa | Melhor encaixe | Por quê | Limite principal |
|---|---|---|---|
| Descobrir artigos relevantes mesmo sem dominar todas as palavras-chave | Elicit | Busca semântica, reordenação por relevância e fluxos de triagem/extração | Não substitui uma estratégia de busca exaustiva e documentada |
| Fazer uma pergunta e entender rapidamente a direção da evidência | Consensus | Combina busca acadêmica, síntese e recursos como o Consensus Meter | A síntese depende do conjunto recuperado e pode perder nuances |
| Checar como um trabalho foi citado, contestado ou apoiado | Scite | Smart Citations mostram o contexto das citações e classificam trechos como supporting, contrasting ou mentioning | Esse diferencial não significa que ele seja o melhor recuperador de artigos para toda pergunta |
A diferença importa porque “encontrar o artigo certo” e “saber se uma citação sustenta mesmo uma afirmação” são problemas diferentes. Colocar tudo em um único ranking favorece a ferramenta cuja função coincide com a métrica escolhida.
O que o estudo de julho de 2026 realmente mediu
O melhor ponto de comparação recente é o estudo Comparative evaluation of artificial intelligence–assisted literature search tools for identifying clinically meaningful evidence in cardiology, publicado em 28 de julho de 2026 no European Heart Journal – Digital Health. Ele comparou ChatGPT-5, Elicit, Consensus, Scite e PubMed em quatro temas de cardiologia, com consultas padronizadas e avaliação cega por três especialistas.
O desenho é mais útil do que um simples “quem ganhou” porque separou dois padrões-ouro. O primeiro mediu relevância: os especialistas julgaram se cada referência recuperada era pertinente à pergunta. O segundo mediu recuperação de referências-chave: para cada tema, os autores definiram um conjunto de estudos centrais com base na avaliação dos especialistas. Em outras palavras, uma ferramenta podia devolver muitos artigos plausíveis e ainda assim deixar escapar estudos que os especialistas consideravam essenciais.
No conjunto daquele experimento, o ChatGPT-5 teve a maior proporção de artigos considerados relevantes, 90%, e a maior sobreposição com referências-chave, 60%. O Scite ficou na ponta inferior, com 20% de relevância e 10% de sobreposição com referências-chave; Elicit, Consensus e PubMed ficaram em posições intermediárias, variando conforme o tema. A formulação do prompt não teve efeito significativo sobre a relevância, enquanto a ferramenta escolhida explicou uma parte substancial da variação de desempenho.
Isso não transforma o estudo em ranking universal. Os testes foram feitos em cardiologia, e as interfaces gratuitas foram consultadas entre agosto de 2025 e janeiro de 2026. Desde então, Elicit, Consensus e Scite receberam mudanças relevantes em busca, acesso a texto completo, agentes, filtros e organização de evidências. O resultado deve ser lido como evidência de que a arquitetura e a cobertura da ferramenta importam — não como uma tabela definitiva para qualquer disciplina em agosto de 2026.
Scite “perdeu”? Só se a pergunta for recuperação bibliográfica
O resultado baixo do Scite no benchmark é importante, mas responde a uma tarefa específica: recuperar os artigos mais relevantes e as referências-chave. O principal diferencial atual do Scite está em outra camada: mostrar como trabalhos posteriores citam uma publicação e permitir navegar por trechos de citação classificados como apoio, contraste ou simples menção. Julgar essa função apenas por recall de literatura seria como avaliar um verificador de referências pela qualidade de um resumo automático.
Elicit: mais forte quando o gargalo é busca, triagem e extração
Segundo a documentação oficial consultada em agosto de 2026, o Elicit Search pesquisa mais de 138 milhões de artigos acadêmicos e trabalhos de conferência, além de integrar outros fluxos de evidência. Sua busca semântica é desenhada para encontrar estudos mesmo quando a pergunta e o título do artigo não compartilham exatamente as mesmas palavras. O sistema primeiro ranqueia o corpus por similaridade, depois faz uma revisão mais profunda dos resultados superiores antes de apresentar o conjunto final.
Na prática, esse desenho favorece quem começa com uma pergunta conceitual e ainda não domina a terminologia da área. O Elicit também conecta a busca a triagem, extração de dados, relatórios e revisões sistemáticas. Para uma revisão que precisa sair de dezenas ou centenas de referências e chegar a uma tabela comparável de população, intervenção, desfecho e resultados, essa continuidade de fluxo é um diferencial real.
O cuidado é não confundir “busca semântica conveniente” com “busca exaustiva”. Revisões sistemáticas formais ainda precisam registrar bases, estratégias, datas, critérios e decisões de inclusão. O próprio Elicit posiciona sua busca como parte de um processo mais amplo; quando a meta é reprodutibilidade, uma estratégia explícita em PubMed, Embase, Scopus, Web of Science ou outra base da área continua sendo a espinha dorsal.
Consensus: mais forte quando a pergunta vem antes da bibliografia
O Consensus aceita perguntas em linguagem natural, palavras-chave e consultas booleanas. Em modos mais avançados, o Research Agent pode decompor questões em várias buscas, aplicar filtros, ler diferentes trabalhos e produzir uma resposta com citações. O produto também ampliou em 2026 filtros de desenho de estudo, editoras e contexto humano/animal, além de acesso a texto completo de parceiros quando disponível.
Esse formato funciona bem para perguntas do tipo “há evidência de que X melhora Y?” ou “quais fatores estão associados a Z?”. O Consensus Meter analisa os principais resultados de perguntas compatíveis e mostra a distribuição entre posições como “sim”, “não”, “possivelmente” ou “misto”, com indicadores adicionais de método, recência, periódico e citações.
A vantagem é velocidade de orientação. A limitação está no mesmo lugar: uma síntese visual pode parecer mais conclusiva do que a literatura realmente é. A própria documentação do Consensus alerta que classificações podem estar erradas, que nuances específicas da pergunta podem ser perdidas e que a base não contém toda a produção científica. Portanto, o Meter é uma porta de entrada para leitura, não um substituto para avaliar desenho, população, desfechos e limitações de cada estudo.
Scite: mais forte quando a pergunta é “como este trabalho foi citado?”
O Scite informa cobrir mais de 300 milhões de itens acadêmicos e ter indexado mais de 1,6 bilhão de declarações de citação. Seu recurso distintivo são as Smart Citations: em vez de exibir apenas quantas vezes um trabalho foi citado, o sistema mostra o trecho em que a citação aparece e classifica aquela declaração como supporting, contrasting ou mentioning.
Para revisar uma bibliografia já montada, isso é especialmente útil. O recurso Reference Check permite analisar as referências de um manuscrito e procurar retratações, avisos editoriais ou citações contrastantes. A busca em texto completo e o Assistant ampliam o uso para descoberta, mas o valor editorial mais singular continua sendo a auditoria do caminho da citação.
Há uma ressalva importante: a etiqueta vale para uma declaração de citação, não para o artigo inteiro. Um trabalho pode citar outro de forma favorável em um parágrafo e discordar de uma interpretação em outro. “Supporting” também não significa “verdadeiro”; significa que aquele trecho citado foi classificado como apoio. A leitura do contexto e do estudo original continua necessária.
Como fazer um benchmark justo com um pequeno gold standard PT-BR
Se a decisão é importante para um laboratório, redação, curso ou grupo de pesquisa, vale testar as três ferramentas no seu próprio tema. O método do estudo de cardiologia pode ser adaptado sem transformar o teste em projeto de meses.
- Defina uma pergunta estreita. Use uma pergunta real em português, com população, intervenção/exposição e desfecho quando isso fizer sentido.
- Monte um gold standard pequeno. Separe de 12 a 20 referências que especialistas da área consideram centrais. Uma revisão sistemática recente, uma diretriz e uma busca bibliográfica manual podem ajudar a compor esse conjunto. Registre DOI, ano e motivo da inclusão.
- Padronize o teste. Rode a mesma pergunta em português e, se a área publicar majoritariamente em inglês, uma versão equivalente em inglês. Use a mesma data, o mesmo nível de plano e histórico limpo.
- Meça recuperação e relevância separadamente. Calcule recall@10 ou recall@20 como a fração das referências do gold standard que apareceu nos primeiros resultados. Calcule relevância@10 como a fração dos dez primeiros resultados julgada realmente pertinente por um avaliador.
- Meça a auditoria de citações em outro eixo. Para os artigos-chave, verifique se a ferramenta mostra o contexto em que foram citados, se permite localizar evidência contrastante e se o trecho é rastreável ao trabalho citante. Não misture esse resultado com recall de busca em uma nota única.
Essa separação evita um erro comum: penalizar o Scite por não ser o melhor mecanismo de descoberta quando o uso desejado é auditoria, ou premiar Elicit/Consensus pela qualidade da síntese quando o problema real é saber se uma referência específica foi contestada depois.
Qual escolher em cada cenário
- “Estou entrando numa área e preciso achar os estudos certos.” Comece pelo Elicit, depois confirme cobertura e termos em uma base bibliográfica tradicional.
- “Tenho uma pergunta e quero entender rapidamente para onde a evidência aponta.” Consensus tende a oferecer a experiência mais direta, desde que você abra os estudos por trás da síntese.
- “Já tenho os artigos e quero saber se minhas citações estão bem sustentadas.” Scite é o encaixe mais claro, especialmente para rastrear apoio, contraste, retratações e contexto.
- “Estou fazendo uma revisão que precisa ser defensável e reproduzível.” Use uma base de referência da área como eixo documentado, acrescente Elicit ou Consensus para descoberta complementar e use Scite como camada de auditoria de citações.
O que não fazer com nenhuma das três
- Não citar a síntese da IA sem abrir o artigo original.
- Não assumir que uma base proprietária contém “toda a literatura”.
- Não tratar contagem de citações ou rótulo “supporting” como medida automática de qualidade.
- Não mudar prompt, filtros e período entre ferramentas e depois chamar o resultado de benchmark.
- Não usar uma lista gerada por IA como substituto silencioso de uma estratégia de busca documentada quando o trabalho exige reprodutibilidade.
Veredito
Para o leitor que quer encontrar artigos e organizar triagem/extração, o Elicit é o encaixe mais completo entre os três por escopo de fluxo — não porque o estudo de cardiologia tenha provado superioridade universal sobre o Consensus. Para quem quer começar pela pergunta e obter um mapa rápido da evidência, o Consensus é mais natural. Para quem precisa verificar o contexto e a trajetória de uma citação, o Scite continua tendo a função mais específica.
O estudo de 2026 reforça a principal cautela: desempenho muda muito conforme a ferramenta e o problema, e nem uma boa interface nem um bom resumo garantem cobertura. A escolha mais robusta é tratar busca e verificação como etapas diferentes — e manter uma base bibliográfica transparente no centro quando a pesquisa precisa ser auditável.
