Respuesta corta: si tu problema principal es encontrar artículos relevantes para construir una revisión, Elicit es el punto de partida más coherente de los tres; si quieres partir de una pregunta y obtener rápidamente un mapa de lo que dice la literatura, Consensus es más directo; si la tarea es comprobar cómo se citó después un artículo o una afirmación, Scite tiene la propuesta más específica. Para una investigación rigurosa, sin embargo, la mejor estrategia no es elegir un ganador universal: es separar la recuperación bibliográfica de la auditoría de citas y combinar herramientas con una búsqueda transparente en bases como PubMed o la base de referencia de tu área.
La respuesta corta: no hay un único ganador
| Tarea | Mejor encaje | Por qué | Principal límite |
|---|---|---|---|
| Descubrir artículos relevantes sin dominar de antemano todas las palabras clave | Elicit | Búsqueda semántica, reordenación por relevancia y flujos de cribado/extracción | No sustituye una estrategia de búsqueda exhaustiva y documentada |
| Hacer una pregunta y entender rápidamente la dirección de la evidencia | Consensus | Combina búsqueda académica, síntesis y funciones como Consensus Meter | La síntesis depende del conjunto recuperado y puede perder matices |
| Comprobar cómo un trabajo fue citado, cuestionado o respaldado | Scite | Smart Citations muestra el contexto de las citas y clasifica fragmentos como supporting, contrasting o mentioning | Ese diferencial no significa que sea el mejor recuperador de artículos para cualquier pregunta |
La diferencia importa porque “encontrar el artículo correcto” y “saber si una cita realmente respalda una afirmación” son problemas distintos. Ponerlo todo en un único ranking favorece a la herramienta cuya función coincide con la métrica elegida.
Qué midió realmente el estudio de julio de 2026
El mejor punto de comparación reciente es el estudio Comparative evaluation of artificial intelligence–assisted literature search tools for identifying clinically meaningful evidence in cardiology, publicado el 28 de julio de 2026 en European Heart Journal – Digital Health. Comparó ChatGPT-5, Elicit, Consensus, Scite y PubMed en cuatro temas de cardiología, con consultas estandarizadas y evaluación ciega por tres especialistas.
El diseño es más útil que un simple “quién ganó” porque separó dos estándares de referencia. El primero midió la relevancia: los especialistas juzgaron si cada referencia recuperada era pertinente para la pregunta. El segundo midió la recuperación de referencias clave: para cada tema, los autores definieron un conjunto de estudios centrales a partir de la evaluación de los expertos. En otras palabras, una herramienta podía devolver muchos artículos plausibles y aun así omitir estudios que los especialistas consideraban esenciales.
En ese experimento, ChatGPT-5 tuvo la mayor proporción de artículos considerados relevantes, 90%, y la mayor superposición con referencias clave, 60%. Scite quedó en el extremo inferior, con 20% de relevancia y 10% de superposición con referencias clave; Elicit, Consensus y PubMed ocuparon posiciones intermedias que variaron según el tema. La formulación del prompt no tuvo un efecto significativo sobre la relevancia, mientras que la herramienta elegida explicó una parte sustancial de la variación de rendimiento.
Esto no convierte el estudio en un ranking universal. Las pruebas se hicieron en cardiología y las interfaces web gratuitas se consultaron entre agosto de 2025 y enero de 2026. Desde entonces, Elicit, Consensus y Scite han recibido cambios relevantes en búsqueda, acceso a texto completo, agentes, filtros y organización de evidencia. El resultado debe leerse como evidencia de que la arquitectura y la cobertura de la herramienta importan, no como una tabla definitiva para cualquier disciplina en agosto de 2026.
¿Scite “perdió”? Solo si la pregunta es recuperación bibliográfica
El resultado bajo de Scite en el benchmark es importante, pero responde a una tarea específica: recuperar los artículos más relevantes y las referencias clave. El principal diferencial actual de Scite está en otra capa: mostrar cómo trabajos posteriores citan una publicación y permitir navegar por fragmentos de citas clasificados como apoyo, contraste o simple mención. Evaluar esa función únicamente por el recall de literatura sería como juzgar un verificador de referencias por la calidad de su resumen automático.
Elicit: más fuerte cuando el cuello de botella es búsqueda, cribado y extracción
Según la documentación oficial consultada en agosto de 2026, Elicit Search busca en más de 138 millones de artículos académicos y trabajos de congresos, además de conectarse con otros flujos de evidencia. Su búsqueda semántica está diseñada para encontrar estudios incluso cuando la pregunta y el título del artículo no comparten exactamente las mismas palabras. El sistema primero ordena el corpus por similitud y después hace una revisión más profunda de los resultados superiores antes de presentar el conjunto final.
En la práctica, ese diseño favorece a quien empieza con una pregunta conceptual y aún no domina la terminología del área. Elicit también conecta la búsqueda con cribado, extracción de datos, informes y revisiones sistemáticas. Para una revisión que necesita pasar de decenas o cientos de referencias a una tabla comparable de población, intervención, desenlace y resultados, esa continuidad de flujo es una ventaja real.
La precaución es no confundir “búsqueda semántica cómoda” con “búsqueda exhaustiva”. Las revisiones sistemáticas formales todavía necesitan registrar bases, estrategias, fechas, criterios y decisiones de inclusión. El propio Elicit presenta su búsqueda como parte de un proceso más amplio; cuando la meta es la reproducibilidad, una estrategia explícita en PubMed, Embase, Scopus, Web of Science u otra base del área sigue siendo la columna vertebral.
Consensus: más fuerte cuando la pregunta viene antes que la bibliografía
Consensus acepta preguntas en lenguaje natural, palabras clave y consultas booleanas. En modos más avanzados, Research Agent puede descomponer cuestiones complejas en varias búsquedas, aplicar filtros, leer distintos trabajos y devolver una respuesta respaldada por citas. En 2026 el producto también amplió los filtros de diseño de estudio, editoriales y contexto humano/animal, además del acceso a texto completo de socios editoriales cuando está disponible.
Este formato funciona bien para preguntas como “¿hay evidencia de que X mejora Y?” o “¿qué factores están asociados con Z?”. Consensus Meter analiza los principales resultados de preguntas compatibles y muestra la distribución entre posiciones como “sí”, “no”, “posiblemente” o “mixto”, con indicadores adicionales de método, actualidad, revista y citas.
La ventaja es la velocidad para orientarse. La limitación está en el mismo punto: una síntesis visual puede parecer más concluyente de lo que realmente es la literatura. La propia documentación de Consensus advierte que las clasificaciones pueden equivocarse, que se pueden perder matices específicos de la pregunta y que su base no contiene toda la producción científica. Por eso, Meter es una puerta de entrada a la lectura, no un sustituto de evaluar diseño, población, desenlaces y limitaciones de cada estudio.
Scite: más fuerte cuando la pregunta es “¿cómo se ha citado este trabajo?”
Scite informa que cubre más de 300 millones de elementos académicos y que ha indexado más de 1,6 mil millones de declaraciones de cita. Su función distintiva son las Smart Citations: en lugar de mostrar solo cuántas veces se citó un trabajo, el sistema muestra el fragmento en el que aparece la cita y clasifica esa declaración como supporting, contrasting o mentioning.
Para auditar una bibliografía ya construida, esto es especialmente útil. La función Reference Check permite analizar las referencias de un manuscrito y buscar retractaciones, avisos editoriales o citas contrastantes. La búsqueda en texto completo y Assistant amplían el uso hacia el descubrimiento, pero su valor editorial más singular sigue siendo la auditoría del recorrido de la cita.
Hay una salvedad importante: la etiqueta se aplica a una declaración de cita, no al artículo completo. Un trabajo puede citar otro favorablemente en un párrafo y discrepar de una interpretación en otro. “Supporting” tampoco significa “verdadero”; significa que ese fragmento citado fue clasificado como apoyo. Leer el contexto y el estudio original sigue siendo necesario.
Cómo hacer un benchmark justo con un pequeño gold standard en portugués
Si la decisión es importante para un laboratorio, una redacción, un curso o un grupo de investigación, vale la pena probar las tres herramientas en el propio tema. El método del estudio de cardiología puede adaptarse sin convertir la prueba en un proyecto de meses.
- Define una pregunta estrecha. Usa una pregunta real en portugués, con población, intervención/exposición y desenlace cuando tenga sentido.
- Construye un pequeño gold standard. Selecciona entre 12 y 20 referencias que especialistas del área consideren centrales. Una revisión sistemática reciente, una guía y una búsqueda bibliográfica manual pueden ayudar a componer el conjunto. Registra DOI, año y motivo de inclusión.
- Estandariza la prueba. Ejecuta la misma pregunta en portugués y, si el área publica principalmente en inglés, una versión equivalente en inglés. Usa la misma fecha, el mismo nivel de plan y un historial limpio.
- Mide recuperación y relevancia por separado. Calcula recall@10 o recall@20 como la fracción de referencias del gold standard que aparece entre los primeros resultados. Calcula relevancia@10 como la fracción de los diez primeros resultados que un evaluador juzga realmente pertinente.
- Mide la auditoría de citas en otro eje. Para los artículos clave, comprueba si la herramienta muestra el contexto en el que fueron citados, si permite localizar evidencia contrastante y si el fragmento es trazable al trabajo citante. No mezcles ese resultado con el recall de búsqueda en una sola nota.
Esta separación evita un error común: penalizar a Scite por no ser el mejor motor de descubrimiento cuando el uso deseado es la auditoría, o premiar a Elicit/Consensus por la calidad de la síntesis cuando el problema real es saber si una referencia concreta fue cuestionada después.
Cuál elegir en cada escenario
- “Estoy entrando en un área y necesito encontrar los estudios correctos.” Empieza con Elicit y después confirma cobertura y terminología en una base bibliográfica tradicional.
- “Tengo una pregunta y quiero entender rápido hacia dónde apunta la evidencia.” Consensus suele ofrecer la experiencia más directa, siempre que abras los estudios que sostienen la síntesis.
- “Ya tengo los artículos y quiero saber si mis citas están bien respaldadas.” Scite es el encaje más claro, especialmente para rastrear apoyo, contraste, retractaciones y contexto.
- “Estoy haciendo una revisión que debe ser defendible y reproducible.” Usa una base de referencia del área como eje documentado, añade Elicit o Consensus para descubrimiento complementario y emplea Scite como capa de auditoría de citas.
Qué no hacer con ninguna de las tres
- No cites una síntesis de IA sin abrir el artículo original.
- No supongas que una base propietaria contiene “toda la literatura”.
- No trates el número de citas o una etiqueta “supporting” como una medida automática de calidad.
- No cambies prompts, filtros y periodos entre herramientas y luego llames benchmark al resultado.
- No uses una lista de referencias generada por IA como sustituto silencioso de una estrategia de búsqueda documentada cuando el trabajo exige reproducibilidad.
Veredicto
Para quien necesita encontrar artículos y organizar cribado/extracción, Elicit es el encaje más completo de los tres por alcance de flujo, no porque el estudio de cardiología haya demostrado una superioridad universal sobre Consensus. Para quien quiere empezar por la pregunta y obtener un mapa rápido de la evidencia, Consensus resulta más natural. Para quien necesita verificar el contexto y la trayectoria de una cita, Scite sigue teniendo la función más específica.
El estudio de 2026 refuerza la principal cautela: el rendimiento cambia mucho según la herramienta y el problema, y ni una interfaz pulida ni un buen resumen garantizan cobertura. La elección más robusta es tratar búsqueda y verificación como etapas diferentes y mantener una base bibliográfica transparente en el centro siempre que la investigación deba ser auditable.
