Gizmodo reporta que Anthropic, la empresa detrás de Claude, activó su alarma de auto-mejora recursiva: un umbral interno de seguridad que, según la compañía, ya se cruzó. No significa que la IA se mejore sola sin control, pero Anthropic dice que sus sistemas ya aceleran su investigación y desarrollo, y que ese ritmo podría aumentar aún más.
¿Qué es la auto-mejora recursiva? Gizmodo la describe como el punto teórico en el que la tecnología de inteligencia artificial puede mejorarse a sí misma: los modelos ayudarían a crear modelos mejores y ese ciclo aceleraría el progreso. Por eso Anthropic lo trata como un riesgo a vigilar, no como una función nueva.
El cambio quedó en los documentos de su salida a bolsa. Gizmodo reporta que, en la versión del 2 de noviembre de su formulario S-1 ante la SEC, Anthropic decía que podía cumplir “inminentemente” los criterios de su Política de Escalado Responsable para un “progreso dramáticamente acelerado atribuible a la IA”. En la versión del 10 de noviembre, esa frase desapareció, pero la empresa dejó constancia de que el umbral ya se cumplió.
Anthropic dice que la determinación se basa en lo que espera de los modelos futuros y en su ritmo general de progreso, no en lo que ha observado en los modelos actuales. Gizmodo subraya ese matiz: no parece un avance repentino, sino una determinación revisada, basada en una expectativa. Aun así, activa las medidas previstas en su política.
¿Qué debe hacer ahora Anthropic?
- Duplicación del ritmo de mejora: el umbral se aplica cuando Anthropic “observa o espera” un grado determinado de progreso acelerado, descrito como duplicar el ritmo base de mejora.
- Seguridad sin precedentes: la empresa debe explorar formas de lograr niveles de seguridad sin precedentes.
- “Eyes on everything”: debe alcanzar una conciencia total de lo que hacen sus modelos.
- Red teaming interno: debe ponerse a prueba a sí misma tan bien que las recompensas por encontrar errores (bug bounties) se vuelvan redundantes.
El contexto también es bursátil. Anthropic dice que sus acciones empezarían a cotizar el jueves, y Gizmodo reporta que la empresa ya publicó los documentos relevantes en su sitio de salida a bolsa. En la carta de los fundadores, advierte que construir IA de forma segura puede exigir modular el ritmo “extremadamente rápido” al que crecen las capacidades de la IA, sobre todo cuando ese impulso proviene de sistemas que se construyen a sí mismos.
Por qué importa, sin exagerar
La noticia importa porque convierte una idea teórica en una obligación interna: si el umbral está cruzado, Anthropic debe reforzar la vigilancia y la seguridad de la IA antes de que el progreso se acelere más. Pero conviene no exagerar: Gizmodo reporta que la auto-mejora recursiva no está ocurriendo como tal; lo que se activó es una alarma de política, no una IA que ya se reescriba sola sin supervisión humana.
Lo que sigue es observar si Anthropic publica más detalles sobre esas medidas y cómo las aplica a Claude y a sus próximos modelos. Mientras tanto, el mensaje es claro: el debate sobre la seguridad de la IA ya no es solo teoría, y quienes construyen estos sistemas empiezan a activar sus propios frenos.
Para más noticias de tecnología, cultura geek, gadgets y entretenimiento, visita: GeekAndLife.com.mx. Descubre más contenido en nuestras redes: Instagram | YouTube | TikTok

Fuente: Gizmodo


