Jakub Pachocki, científico jefe de OpenAI, propuso que los laboratorios compartan una métrica llamada perplejidad para coordinar límites de seguridad durante el desarrollo de inteligencia artificial. La idea, expuesta en un ensayo publicado el 22 de noviembre, busca que las empresas puedan reconocer cuándo sus modelos se acercan a capacidades que ya no pueden supervisar con suficiente confianza.
La perplejidad mide qué tan bien un modelo predice la siguiente palabra o fragmento de texto. En términos simples, una puntuación menor indica que el sistema anticipa con más precisión los datos que no vio durante el entrenamiento. Pachocki plantea usarla como una señal compartida entre compañías, junto con compromisos comunes de seguridad, y no como una medida completa de inteligencia ni como un límite universal listo para adoptarse.
Una señal técnica para conversar sobre riesgos
OpenAI publicó una curva interna que sigue la pérdida logarítmica de perplejidad en un conjunto de código reservado. En esa serie, la organización ubica a GPT‑3.5 cerca de 0.99 y a GPT‑4 alrededor de 0.91. El texto señala que, por debajo de 0.8, sus modelos empezaron a mostrar capacidades importantes en ciberseguridad y matemáticas; cerca de 0.76, uno resolvió problemas matemáticos abiertos de alto nivel.
Esos valores describen observaciones de OpenAI y no garantizan que cualquier modelo con una puntuación similar tenga las mismas habilidades. Pachocki advierte que las comparaciones entre laboratorios requieren conjuntos de evaluación compatibles. También reconoce que una sola cifra no captura todo lo que un sistema puede hacer, en especial cuando intervienen razonamiento paso a paso, herramientas externas o tareas prácticas diferentes.
La propuesta no es una predicción segura
El científico jefe anticipa que las capacidades podrían seguir avanzando con rapidez y menciona una posible aceleración de la investigación en aprendizaje profundo alrededor de 2027. Esa posibilidad es una proyección, no una fecha confirmada para una inteligencia artificial autónoma. Su preocupación central es que la IA ayude a acelerar su propio desarrollo antes de que los métodos de alineación, evaluación y monitoreo puedan seguir el mismo ritmo.
Por eso, su propuesta pide que las compañías acuerden límites de seguridad verificables y se comprometan a no cruzarlos hasta alcanzar avances concretos para entender y vigilar mejor los sistemas. El ensayo menciona como ejemplo un futuro sucesor de los monitores de cadena de pensamiento. No presenta una cifra de perplejidad como barrera definitiva, sino como un indicador técnico que podría facilitar una conversación compartida sobre el riesgo.
El debate se suma a discusiones más amplias sobre regulación, transparencia y responsabilidad de las empresas que entrenan modelos avanzados. Para que la perplejidad sirva en la práctica, los laboratorios tendrían que explicar cómo construyen sus pruebas, qué capacidades quedan fuera de la medición y cómo auditan los resultados. También tendrían que mantener evaluaciones independientes para detectar habilidades que una métrica general no refleje.
La nota de TechCrunch resume la propuesta de Pachocki. En su ensayo oficial, OpenAI detalla la métrica, sus límites y la curva de evaluación. Puedes seguir más noticias sobre OpenAI, inteligencia artificial, seguridad de IA, regulación de IA y ciberseguridad en GeekAndLife.
Para más noticias de tecnología, cultura geek, gadgets y entretenimiento, visita: GeekAndLife.com.mx
Descubre más contenido en nuestras redes: Instagram | YouTube | TikTok

Fuente: TechCrunch


