Aktuelles

OpenAI's Sprachmodell "Orion" - ist die Luft raus?

Die KI-Welt scheint gerade ein kleines Tief zu durchleben. OpenAI's neuestes Sprachmodell "Orion" soll seinem Vorgänger GPT-4 in Sachen Leistung kaum den Rang ablaufen. Es scheint, dass die Branche auf einer Art Plateau bei den großen Sprachmodellen (LLM) gefangen ist.

Laut The Information bringt Orion nämlich nur marginale Verbesserungen. Beim Programmieren kann es GPT-4 manchmal nicht einmal das Wasser reichen. Einzig bei Sprachkünsten zeigt es sich etwas geschickter. Und das Ganze könnte sogar teurer werden, da Orion deutlich mehr Rechenpower frisst, als sein Vorgänger.

Datenmangel bremst Fortschritt

Sie haben richtig gehört, es besteht ein Mangel an soganannten "top-notch"-Trainingsdaten, der KI gehen schlichtweg die Informationen aus - die vorhandenen Texte sind quasi ausgelutscht. OpenAI hat daher ein "Foundations Team" ins Leben gerufen, um aus weniger mehr zu machen. Synthetische Daten, also bereits von der KI generierte Trainingsdaten, sollen helfen. Dabei besteht jedoch die Gefahr, dass Orion einfach nur GPT-4 nachäffen könnte.

Die ganze Branche lahmt

Nicht nur OpenAI hadert. Googles Gemini 2.0 bleibt hinter den Erwartungen zurück, und Anthropic hat die Entwicklung seines Opus 3.5 auf Eis gelegt. Selbst Open-Source-Modelle holen auf, was zeigt, dass die Großen ihre Milliarden nicht optimal einsetzen.

Trotzdem: Zuversicht bei OpenAI

CEO Sam Altman bleibt optimistisch. Der Weg zur künstlichen allgemeinen Intelligenz (AGI) sei klar. Man müsse nur kreativer mit den bestehenden Modellen umgehen. Das neue o1-Modell könnte hierbei eine Revolution einläuten, indem es die Rechenleistung anders nutzt - davon ist Altman überzeugt.

Kritik an der KI-Blase

Google-KI-Experte François Chollet wettert jedoch gegen die pure Skalierung von Sprachmodellen. Fortschritte bei mathematischen Aufgaben als AGI-Beweis? "Besonders stumpfsinnig", meint er. Deep Learning könne keine mathematischen Probleme eigenständig lösen. Stattdessen seien systematische Suchalgorithmen nötig.

Chollet kritisiert auch den inflationären Gebrauch des Begriffs "LLM" als Marketinggag. Viele Fortschritte hätten nichts mit Sprachmodellen zu tun. Die Integration von Gemini in AlphaProof sei "im Wesentlichen kosmetischer Natur".

So bleibt die Frage: Bringt die Jagd nach immer größeren Modellen wirklich Fortschritt – oder nur höhere Rechnungen?

12.11.2024