--- title: "OpenAI sacó 25,2% donde nadie pasaba de 2%: también financió el examen y era dueño de las preguntas" description: "OpenAI financió el examen FrontierMath y solo un acuerdo verbal le impedía entrenar con él. Una medición sin independencia no es realmente una medición." slug: "legal-openai-epoch-ai" url: "https://catalizadora.ai/blog/legal-openai-epoch-ai" cluster: "casos-ia" author: "Pablo Estrada" published_at: "2026-08-26T22:39:40.509+00:00" updated_at: "2026-08-27T16:06:09.025311+00:00" read_minutes: "7" lang: "es" --- # OpenAI sacó 25,2% donde nadie pasaba de 2%: también financió el examen y era dueño de las preguntas > OpenAI financió el examen FrontierMath y solo un acuerdo verbal le impedía entrenar con él. Una medición sin independencia no es realmente una medición. ## Qué pasó FrontierMath es un examen de matemáticas diseñado para medir hasta dónde llegan los modelos de inteligencia artificial. Lo construyó Epoch AI, una organización dedicada a evaluar sistemas de IA. Cuando un modelo obtiene un resultado alto ahí, ese número viaja: entra a un anuncio de producto, a una nota de prensa, a la decisión de compra de una empresa que necesita saber qué herramienta contratar. En enero de 2025, TechCrunch [reportó](https://techcrunch.com/2025/01/19/ai-benchmarking-organization-criticized-for-waiting-to-disclose-funding-from-openai/) que OpenAI había financiado ese examen y tenía visibilidad de muchos de sus problemas y de sus soluciones. Lo único que le impedía entrenar sus modelos con ese material era un «acuerdo verbal». La organización fue criticada, además, por haber tardado en revelar ese financiamiento. Nadie afirmó que OpenAI hubiera entrenado con el examen. El punto es otro, y es más incómodo: no había forma de comprobarlo. ## Los números - **300 problemas** — OpenAI los encargó, los pagó y es DUEÑO de ellos, con enunciados y soluciones - **25,2% vs 2%** — lo que sacó o3 en ese examen frente a todos los demás modelos, que no pasaban de 2% - **«acuerdo verbal»** — la única garantía de que OpenAI no entrenaría con las preguntas que compró - **50 de 300** — el único bloque cuya solución OpenAI no vio — y esos 50 también son suyos *Verificado contra [techcrunch.com](https://techcrunch.com/2024/12/20/openai-announces-new-o3-model/).* ## Por qué pasó Un examen sirve solo si quien lo toma no vio las respuestas. Es la primera regla de cualquier medición, y no tiene nada que ver con la IA: rige igual en una universidad, en una auditoría contable o en un laboratorio farmacéutico. Lo que se rompió aquí no fue el examen ni el modelo. Fue la separación entre quien mide y quien es medido. Y se rompió por una razón muy común: construir buenas evaluaciones cuesta dinero y casi nadie quiere pagarlo, salvo las empresas que serán evaluadas. La estructura de financiamiento crea el conflicto antes de que exista mala intención de nadie. El segundo problema es la naturaleza de la garantía. Un «acuerdo verbal» no es un control: es una expresión de confianza. Un control es algo que deja evidencia y que un tercero puede verificar sin pedir permiso. La diferencia entre ambos no se nota mientras todo va bien; se nota exactamente el día en que alguien pregunta "¿cómo lo sabemos?". El tercero es el silencio. Cuando el financiamiento se revela tarde, quienes ya tomaron decisiones con ese número las tomaron sin un dato que las habría cambiado. El daño no está en el resultado publicado, sino en las decisiones que se apoyaron en él. ## Dónde te puede pasar a ti Este caso parece lejano porque habla de laboratorios de IA, pero la trampa es de cualquiera que mida su propio trabajo: - El equipo que construye una automatización es el mismo que define si funcionó, y elige la métrica después de ver el resultado. - La agencia que ejecuta la campaña es la que arma el reporte de la campaña. - El proveedor que instala el bot decide qué conversaciones cuentan como "resueltas". - Las pruebas de un sistema las escribe quien lo programó, con los mismos supuestos que tenía al programarlo. - Un modelo evalúa la salida de otro modelo que comparte su mismo criterio de qué es una buena respuesta. En todos los casos el número sale alto. No porque alguien mienta, sino porque quien mide ya sabe qué quiere encontrar. ## Cómo se evita Una medición sin independencia no es una medición. Quien evalúa no puede depender de quien es evaluado. Traducido a decisiones concretas: 1. **Los criterios se fijan antes de ver el resultado.** Qué se mide, con qué umbral y qué significa fallar se escribe primero. Si se define después, se está describiendo, no midiendo. 2. **Quien construye no firma la aprobación.** Puede probar, puede corregir, pero el visto bueno lo da alguien que no tiene interés en que salga bien. 3. **Un conjunto de datos de prueba que el sistema nunca vio.** Se guarda aparte, no se usa para ajustar nada y se rota. Si el material de evaluación entra al material de construcción, el resultado deja de significar algo. 4. **El conflicto de interés se declara antes, no cuando lo preguntan.** Quién paga la evaluación es parte del resultado de la evaluación. 5. **Si no puedes verificarlo, no es una garantía.** Un compromiso que solo existe como conversación no protege a nadie. ## Cómo lo hacemos en Catalizadora Separamos construir de verificar. Cuando un sistema nuestro produce algo que hay que juzgar, quien lo juzga es un proceso distinto, con su propio criterio escrito antes de correr la prueba, y su veredicto queda archivado con evidencia. Los umbrales viven en un candado que corre solo y bloquea el avance cuando no se cumplen. No preguntamos si el equipo cree que quedó bien: preguntamos qué número dio la prueba que el equipo no pudo tocar. ## Preguntas frecuentes ### ¿Se comprobó que OpenAI entrenó sus modelos con FrontierMath? No. Lo reportado es que financió el examen, tenía visibilidad de muchos de sus problemas y soluciones, y que la única barrera era un acuerdo verbal. El punto no es afirmar que ocurrió: es que no existía forma de comprobar que no ocurriera. ### ¿Por qué importa quién financia una evaluación? Porque el resultado de esa evaluación se usa para decidir compras, comunicar avances y comparar productos. Quien toma esas decisiones necesita saber si quien mide depende de quien es medido. ### ¿Cómo se mantiene independiente una medición dentro de una misma empresa? Fijando los criterios y el umbral antes de ver los resultados, separando a quien construye de quien aprueba, y reservando un conjunto de datos de prueba que el sistema nunca vio y que no se usa para ajustar nada. ### ¿Esto aplica solo a los exámenes de modelos de IA? No. Aplica a cualquier equipo que reporte su propio desempeño: la agencia que arma el reporte de su campaña, el proveedor que define qué conversación cuenta como resuelta, o las pruebas escritas por quien programó el sistema. --- Source: https://catalizadora.ai/blog/legal-openai-epoch-ai Author: Pablo Estrada — AI Catalysts, LLC (catalizadora.ai)