Das Paper „CDBench: Benchmarking the Mutation Testing Capabilities of LLMs with Code Defenders“ von Artur Romazanov, Gordon Fraser und Steffen Herbold wurde im Journal Empirical Software Engineering veröffentlicht.
In der Arbeit stellen die Forschenden mit CDBench einen neuartigen Benchmark zur Bewertung von Large Language Models (LLMs) für Softwareentwicklungsaufgaben vor. Im Gegensatz zu etablierten Benchmarks basiert CDBench auf dem Mutationstesting-Spiel Code Defenders: Dabei treten Modelle in den Rollen von Angreifern und Verteidigern gegeneinander an. Während Angreifer fehlerhafte Änderungen in Quellcode einbringen, erzeugen Verteidiger Tests, die diese Fehler aufdecken sollen. Durch diesen kompetitiven Ansatz entsteht ein dynamischer Benchmark, dessen Schwierigkeit sich automatisch an die Fähigkeiten neuer Modelle anpasst.
Die Ergebnisse zeigen, dass aktuelle LLMs zwar in der Lage sind, vielfältige Mutationen und zielgerichtete Tests zu erzeugen, gleichzeitig aber weiterhin Schwierigkeiten haben, komplexe Anweisungen zuverlässig einzuhalten. Die Studie verdeutlicht zudem das Potenzial von Zero-Sum-Spielen als Grundlage für zukünftige, robustere Evaluationsverfahren im Bereich der KI-gestützten Softwareentwicklung.
Der Artikel ist Open Access verfügbar: doi.org/10.1007/s10664-026-10901-8