Soofi S: Fraunhofer widerspricht Vorwurf der Überanpassung bei deutschem Sprachmodell
Ein vom KI Bundesverband koordiniertes, vom BMWK über IPCEI-CIS mitfinanziertes Konsortium (Fraunhofer IAIS/IIS, DFKI, TU Darmstadt, u.a.) veröffentlichte am 13.07. das offene Sprachmodell Soofi S (31,6 Mrd. Parameter, MoE mit nur 3,2 Mrd. aktiven pro Token), trainiert auf ~27 Billionen Token auf der Deutsche-Telekom-Cloud in München, führend bei deutschen/englischen Open-Model-Benchmarks. Am 15.07. griff The Decoder Kritik auf: Gemessen an Chinchilla-Skalierungsgesetzen (~20 Token/Parameter) sei Soofi S überanpasst. Fraunhofer-Projektleiter Fromm widersprach: Chinchilla-Skalierung gelte so nicht für MoE; er verwies auf neuere Forschung und Nvidias ähnliches MoE-Training.
Der Schlagabtausch zeigt, dass Deutschlands prominentestes staatlich gefördertes Souveränitäts-Modell technisch ernst genommen und öffentlich hinterfragt wird – ein gutes Zeichen für Sichtbarkeit, aber die Kernfrage, ob MoE-Skalierungsgesetze wirklich anders funktionieren, ist unter Fachleuten nicht geklärt, sondern eine offene Debatte.
Quellen
Weitere Recherche
Ob unabhängige Forscher:innen die MoE-Skalierungsargumentation von Fraunhofer bestätigen oder widerlegen, und ob Soofi S in produktiven industriellen Anwendungen tatsächlich erprobt wird.