Claude Mythos: Die mächtigste IA oder einfach nur Hype?

Claude Mythos ist das neue Modell IA Anthropos Versprechen, die mächtigsten zu sein, vor allem in Internet und Internetaber nur wenige Unternehmen können es beweisen.

Anthropic zeigt, dass das Modell Schwachstellen in Firefox 147 gefunden, obwohl die meisten waren Varianten der gleichen zwei Fehler. Wenn diese Wiederholungen ausgeschlossen sind, fällt ihre Erfolgsquote unter die von Opus 4.6, und einige Kritiker weisen darauf hin, dass der verwendete Cybench Benchmark keine echte Herausforderung ist.

Hugging Face-Experten replizierten die Ergebnisse mit kleinen und billigen Modellen, so dass ein solches großes Modell nicht notwendig ist, um solche Fehler zu erkennen, obwohl es bei der Bewältigung komplexer Schwachstellen hilft.

Ist es wirklich die mächtigste Aia?

Anthropische behauptet, dass Claude Mythos seine Vorgänger und den Wettbewerb überwindet, aber die Ergebnisse mehrerer Benchmarks werden gemischt: es zeichnet sich durch einige Tests und in anderen nur Verbesserung.

Der Epoch Capabilities Index legt es über seine Rivalen, aber der Vorteil ist nicht so groß, wie die Anzeige schlägt.

Experten fragen ihre Taten

Ingenieure und Analysten deuten darauf hin, dass die Fehler, die in Firefox gefunden wurden, im Wesentlichen die gleichen zwei Fehler waren, und dass durch die Beseitigung dieser Wiederholungen die Wirksamkeit des Modells deutlich verringert ist.

Darüber hinaus zeigte Hugging Face, dass mit Fragmenten von Code ihre kleinen Modelle replizierten die gleichen Exploits, was darauf hindeutet, dass die Größe des Modells der eigentliche Vorteil ist.

das Marketing von Angst: fud oder Realität?

Anthropic verwendet eine Rede von FOD (fear, Unsicherheit, Zweifel) indem man sagt, dass das Modell zu mächtig ist, um die Öffentlichkeit zu starten, eine Strategie ähnlich wie die von OpenAI mit GPT-2 verwendet.

Ohne Zugang öffentlich, wir können uns nur auf die Informationen verlassen, die das Unternehmen veröffentlicht, was es schwierig macht zu überprüfen, ob Claude Mythos wirklich revolutionär ist.