Lokale Coding-Agenten im Enterprise-Einsatz bewerten: das System, nicht die Funktion

Funktionsbasierte Benchmarks bewerten, ob ein Modell eine isolierte Funktion korrekt schreibt. Im produktiven Einsatz erzeugen Coding-Agenten jedoch ganze Systeme – mit Architekturentscheidungen, Abhängigkeiten, Fehlerpfaden und Test-Integration. Das ist ein anderer Gegenstand, und er verlangt eine andere Messung.

Der Vortrag beschreibt, wie wir bei mgm in regulierten Projekten Coding-Agenten bewerten: nicht das lokale Modell allein, sondern das Gesamtsystem aus lokalem Modell, Werkzeugen und Orchestrierung. Wir erläutern die Bewertungsdimensionen – funktionale Korrektheit, Robustheit, Effizienz, Auditierbarkeit – und die Anforderung an reproduzierbare, versionierte Messläufe. Ein Erfahrungsbericht für Teams, die lokale LLMs in regulierten Umgebungen in Produktion bringen.