Claude Mythos : La plus puissante IA ou juste hype ?

Claude Mythos est le nouveau modèle de IA La promesse d'Anthropic d'être le plus puissant cybersécuritéMais seulement quelques entreprises peuvent le prouver.

Anthropique montre que le modèle a trouvé des vulnérabilités dans Firefox 147, bien que la plupart étaient des variantes des mêmes deux bugs. Si ces répétitions sont exclues, leur taux de réussite est inférieur à celui de l'Opus 4.6, et certains critiques soulignent que la référence de Cybench utilisée n'est pas un véritable défi.

Les experts Hugging Face ont reproduit les résultats avec modèles petit et bon marché, démontrant qu'un tel modèle n'est pas nécessaire pour détecter de tels échecs, bien qu'il aide à remédier à des vulnérabilités plus complexes.

Est-ce vraiment l'aia le plus puissant ?

L'anthropique prétend que Claude Mythos et la concurrence, mais les résultats de plusieurs Points de référence sont mélangés: il se distingue dans certains tests et dans d'autres seulement améliorer.

L'indice des capacités d'Epoch le place au-dessus de ses rivaux, mais l'avantage n'est pas aussi grand que l'annonce suggère.

les experts remettent en question leurs actes

Ingénieurs et analystes citent que les échecs trouvés dans Firefox étaient essentiellement les mêmes deux bugs, et qu'en éliminant ces répétitions l'efficacité du modèle est significativement diminué.

En outre, Hugging Face a montré que code leurs petits modèles ont reproduit les mêmes exploits, suggérant que la taille du modèle est l'avantage réel.

la commercialisation de la peur: fude ou réalité?

Anthropique utilise un discours de FOD (peur, incertitude, doute) en disant que le modèle est trop puissant pour être lancé au public, une stratégie similaire à celle utilisée par OpenAI avec GPT-2.

Sans accès public, nous ne pouvons compter que sur les informations publiées par l'entreprise, ce qui rend difficile de vérifier si Claude Mythos est vraiment révolutionnaire.