Claude Mythos: ¿la IA más potente o solo hype?

Claude Mythos es el nuevo modelo de IA de Anthropic que promete ser el más potente, sobre todo en ciberseguridad, pero solo unas cuantas empresas pueden probarlo.

Anthropic muestra que el modelo encontró vulnerabilidades en Firefox 147, aunque la mayoría eran variantes de los mismos dos bugs. Si se excluyen esas repeticiones, su tasa de éxito cae por debajo de la de Opus 4.6, y algunos críticos señalan que el benchmark Cybench usado no es un reto real.

Expertos de Hugging Face replicaron los hallazgos con modelos pequeños y baratos, demostrando que no es necesario un modelo tan grande para detectar esos fallos, aunque sí ayuda al enfrentarse a vulnerabilidades más complejas.

¿realmente es la ia más potente?

Anthropic afirma que Claude Mythos supera a sus predecesores y a la competencia, pero los resultados de varios benchmarks son mixtos: destaca en algunas pruebas y en otras apenas mejora.

El índice Epoch Capabilities Index lo sitúa por encima de sus rivales, pero la ventaja no es tan grande como sugiere el anuncio.

los expertos ponen en duda sus hazañas

Ingenieros y analistas citan que los fallos hallados en Firefox eran esencialmente los mismos dos bugs, y que al eliminar esas repeticiones la efectividad del modelo disminuye notablemente.

Además, Hugging Face mostró que con fragmentos de código adecuados sus modelos pequeños replicaron los mismos exploits, lo que sugiere que el tamaño del modelo es la verdadera ventaja.

el marketing del miedo: ¿fud o realidad?

Anthropic utiliza un discurso de FUD (miedo, incertidumbre, duda) al decir que el modelo es demasiado potente para lanzar al público, una estrategia similar a la que usó OpenAI con GPT‑2.

Sin acceso público, solo podemos confiar en la información que la empresa publica, lo que dificulta verificar si Claude Mythos es realmente revolucionario.