Riesgos y seguridad14/09/2026Laboratório de IA8 min de lecturaActualizado el 17/09/2026

Qué propone en la práctica “We Must Pace the Frontier”: auditoría externa, pacto entre laboratorios y coordinación internacional

El ensayo de Dario Amodei combina un compromiso voluntario de Anthropic con propuestas de coordinación entre laboratorios y gobiernos. Entienda mecanismos, dependencias y límites sin confundir el manifiesto con una norma vigente.

Mesa de reunião sobre governança de IA com cérebro holográfico, documentos sob uma lupa, aperto de mãos, mapa-múndi e bandeiras internacionais ao fundo.

Publicado en septiembre de 2026, We Must Pace the Frontier, de Dario Amodei, sostiene que el avance de las capacidades de los modelos de IA de frontera debe desacelerarse de forma deliberada para dar tiempo a que la seguridad, el alineamiento, la evaluación y los controles operativos puedan seguir el ritmo. El ensayo no pide acabar con el entrenamiento de modelos. La idea de “pacing” es reducir la velocidad relativa del avance de capacidades para que las salvaguardas puedan alcanzarlo.

El ensayo cita dos motivaciones: la aceleración del uso de IA para desarrollar la siguiente generación de IA — descrita por el autor como el inicio de la auto-mejora recursiva — y lo que llama el “OpenAI-Hugging Face incident”. Esas partes deben leerse como diagnóstico y proyección del autor, no como norma pública ni como conclusión regulatoria independiente.

El punto más importante para interpretar el documento es separar tres estatus distintos: hay un compromiso voluntario anunciado por Anthropic, propuestas que dependerían de coordinación entre empresas y gobiernos y, por último, objetivos internacionales mucho más difíciles de ejecutar. Tratar las tres capas como si ya fueran política vinculante exagera lo que el ensayo realmente propone.

La respuesta corta: tres capas de gobernanza

PropuestaActor responsableMecanismoDependenciasLímites
Evaluadores externos integradosLaboratorios de IA de fronteraAcceso continuo, similar al de empleados, para verificar prácticas, informar incidentes y evaluar modelos, entrenamiento y procesosIndependencia del evaluador, acceso real a sistemas e información, reglas de confidencialidad y publicaciónAl principio es voluntario; el ensayo no define un estándar universal de auditoría ni poder sancionador
Coordinación entre laboratorios en democraciasEmpresas, gobiernos y potencialmente grupos sectorialesEstándares comunes, “checkpoints” ligados a capacidad y seguridad, regulación y acuerdos voluntariosMétricas compartidas, mediación gubernamental, compatibilidad con el derecho de competencia y adhesión de una masa crítica de empresasLos desencadenantes concretos siguen siendo ejemplos; la propuesta puede generar disputas sobre antitrust, captura regulatoria y competencia
Coordinación globalEstados Unidos, aliados y gobiernos autoritarios, especialmente China en el planteamiento del autorAcuerdos graduales, desde prohibiciones estrechas hasta límites de velocidad sobre la auto-mejora recursivaVerificación fiable, incentivos para cumplir y capacidad de detectar modelos o programas secretosCuanto más ambicioso sea el acuerdo, mayor será el riesgo de incumplimiento y más difícil la fiscalización

1. Evaluadores externos integrados: la parte más concreta

La primera capa es la única a la que Anthropic afirma comprometerse unilateralmente en el propio ensayo. La propuesta es dar a un equipo externo acceso continuo parecido al de empleados que realizan evaluaciones de riesgo. El objetivo no es solo probar un modelo terminado antes del lanzamiento, sino observar entrenamiento, despliegue, operaciones, salvaguardas e incidentes durante todo el proceso.

Cómo funcionaría ese acceso

  • El texto prevé una presencia física y operativa, con escritorios en la oficina, credenciales de acceso y portátiles de la empresa.
  • Los evaluadores tendrían acceso a espacios de trabajo, herramientas y permisos en gran medida comparables a los de equipos internos de evaluación de riesgos, con excepciones exigidas por ley, contratos y privacidad de clientes y socios.
  • El contrato debería permitir publicar hallazgos relevantes sobre riesgos, incidentes, prácticas e incluso sobre el propio acceso concedido o denegado.
  • La empresa podría redactar información dentro de categorías sensibles y estrechas, pero no ocultar una conclusión solo por ser desfavorable; los revisores podrían decir públicamente si una redacción eliminó algo importante para sus conclusiones.

En la práctica, esta capa intenta resolver el problema de la verificabilidad: los compromisos de seguridad tienen poco valor si un observador externo solo recibe informes seleccionados por la propia compañía. El ensayo cita a METR como ejemplo de una entidad que podría ejercer este tipo de función, pero no presenta un auditor definitivo ni un estándar cerrado de acreditación.

Dependencias y límites

El diseño es más fuerte que una auditoría puntual, pero todavía deja preguntas abiertas. ¿Quién elige y paga al evaluador? ¿Qué conflictos de interés impedirían una contratación? ¿Qué metodología sería común entre laboratorios? ¿Qué ocurre cuando el evaluador y la empresa discrepan sobre la gravedad de un riesgo? ¿Y quién impone consecuencias si la empresa no sigue una recomendación?

Por eso, un “evaluador integrado” no equivale automáticamente a un regulador independiente. En el documento, el mecanismo comienza como compromiso corporativo y como prototipo de algo que Amodei quiere que los gobiernos formalicen.

2. Coordinación entre laboratorios: un pacto de seguridad dentro de las democracias

La segunda capa requiere coordinación sectorial. Amodei dice preferir una regulación que alcance a todos los laboratorios de frontera de Estados Unidos, porque una regla voluntaria no cubre a las empresas que se nieguen a participar. Al mismo tiempo, sostiene que la legislación puede tardar y, por eso, las empresas deberían negociar estándares voluntarios en paralelo.

El ensayo reconoce que algunas formas de coordinación entre competidores son jurídicamente delicadas. Por ello, sugiere mediación gubernamental o una exención estrecha de las restricciones antitrust para conversaciones específicas de seguridad. También menciona la posibilidad de utilizar grupos del sector asociados con el gobierno.

Checkpoints por capacidad

La propuesta más operativa de esta capa es crear “checkpoints” vinculados a lo que un sistema puede hacer. El ejemplo del texto es: si un modelo alcanza determinada capacidad X, solo debería avanzar acompañado de evidencias de seguridad Y y Z, combinando evaluaciones, interpretabilidad y auditorías de los entornos de entrenamiento.

Amodei también admite discutir límites sobre insumos del desarrollo — como compute de entrenamiento, características de las ejecuciones y uso interno de IA para mejorar IA —, pero señala que esos indicadores pueden ser más fáciles de manipular que medir el comportamiento externo del modelo. En otras palabras, el ensayo ofrece una arquitectura de control, no una tabla lista de umbrales.

La condición geopolítica del argumento

Esta segunda capa no se presenta como un pacto abstracto de seguridad. El autor condiciona el grado de desaceleración a la ventaja tecnológica de las democracias sobre proyectos asociados al Partido Comunista Chino. Defiende controles de chips y equipos, medidas contra el contrabando y el acceso remoto a centros de datos, represión de la destilación no autorizada y mayor protección frente al robo de pesos de modelos.

Esos puntos son premisas estratégicas del argumento del autor. Ayudan a entender la lógica del documento, pero no deben confundirse con requisitos técnicos neutrales ni con reglas ya aprobadas para todos los laboratorios.

3. Coordinación internacional: del acuerdo estrecho a una desaceleración amplia

La tercera capa intenta llevar el “pacing” al plano internacional. El propio ensayo la trata como la parte más difícil, porque cualquier acuerdo amplio dependería de verificar que todos los lados cumplen realmente los límites y no mantienen modelos secretos capaces de alterar el equilibrio militar o económico.

NivelQué se negociaríaDificultad descrita en el ensayo
1Prohibir usos estrechos y claramente peligrosos, como emplear IA para producir armas biológicasSe presenta como relativamente plausible porque el daño va contra el interés de todas las partes
2Probar modelos antes del lanzamiento para riesgos agudos en ciberseguridad, biología y alineamiento, potencialmente mediante un organismo global de estándaresCrear estándares puede ser viable; verificar programas secretos sería mucho más difícil
3Aplicar un “límite de velocidad” a la auto-mejora recursivaDifícil, pero descrito como posible en el límite, porque reduciría la velocidad sin renunciar a toda la ventaja estratégica
4Desaceleración amplia o una pausa sustancial en el desarrolloEl autor apoya discutirla, pero la considera improbable a corto plazo por los fuertes incentivos para eludir el acuerdo

Qué debería comprar el “pacing”, según el ensayo

El argumento central no es desacelerar por desacelerar. Amodei sostiene que incluso uno o dos años adicionales antes de alcanzar capacidades críticas podrían aprovecharse en cuatro frentes: excelencia operativa, alineamiento, interpretabilidad y pruebas y evaluaciones más sólidas.

El razonamiento es hipotético: el ensayo no demuestra que una desaceleración coordinada vaya a crear necesariamente ese tiempo ni que ese tiempo sea suficiente. Afirma que el intervalo podría reducir riesgos si se convierte realmente en mejoras técnicas y organizativas. Esa condición — usar bien el tiempo ganado — es una parte esencial de la propuesta.

Lo que el documento no establece

  • No crea una ley, tratado o regulador con poderes de ejecución.
  • No establece un calendario universal para reducir la velocidad del entrenamiento de modelos.
  • No fija umbrales numéricos obligatorios de capacidad, compute o riesgo.
  • No define quién certificaría a todos los evaluadores externos ni cómo se resolverían disputas entre auditor y empresa.
  • No convierte los cuatro niveles internacionales en acuerdos existentes; son opciones graduales para una negociación futura.
  • No propone simplemente detener toda investigación en IA. El texto distingue el “pacing” de una interrupción general del progreso técnico.

Dónde están los límites y la controversia

La cobertura posterior al ensayo registró apoyo de algunos líderes del sector, pero también escepticismo sobre un modelo en el que las propias empresas eligen evaluadores y buscan espacio jurídico para coordinar estándares entre competidores. Críticos citados por The Guardian plantearon preocupaciones sobre autorregulación, captura regulatoria y posibles efectos sobre la competencia.

Esas críticas no eliminan el mecanismo descrito, pero ayudan a localizar su punto débil: la credibilidad depende de independencia real, transparencia suficiente, criterios comparables y consecuencias cuando se incumplen compromisos. En el plano internacional, el problema es todavía mayor, porque la propia propuesta reconoce que la verificación y el riesgo de incumplimiento limitan lo que puede negociarse.

Cómo leer el documento sin confundir opinión con norma vinculante

Una lectura documental útil separa tres columnas mentales. Compromiso: Anthropic afirma que avanzará con evaluadores externos integrados. Propuesta: Amodei pide que otros laboratorios y gobiernos formalicen estándares, checkpoints y coordinación. Aspiración: el ensayo imagina acuerdos internacionales cada vez más ambiciosos, pero admite que los niveles superiores pueden ser impracticables a corto plazo.

Este encuadre evita dos errores opuestos. El primero es tratar el ensayo como si ya hubiera creado nuevas reglas para el sector. El segundo es reducirlo a un llamado abstracto a “más seguridad”. Hay mecanismos relativamente concretos — sobre todo el acceso continuo de evaluadores y los checkpoints por capacidad —, pero su eficacia depende de gobernanza, incentivos, métricas y fiscalización que el documento todavía no cierra.

En una frase

We Must Pace the Frontier propone sustituir promesas internas de seguridad por un sistema progresivamente más verificable: primero evaluadores externos dentro de los laboratorios, después estándares coordinados entre empresas y gobiernos democráticos y, por último, acuerdos internacionales graduales. El primer paso es un compromiso corporativo anunciado; los demás siguen siendo propuestas políticas y diplomáticas, no normas vinculantes.

Fuentes: Dario Amodei — We Must Pace the Frontier; The Guardian — AI CEOs say they need to slow the pace of development. But will they?.

Temas de este artículoAnthropicDario Amodeigovernança de IAIA de fronteirainteligência artificialsegurança de IA