lnputlab - Startup-Secure: Effektive schemabasierte Testdatengenerierung

Abstract

Der Stand der Technik im Fuzzing und in der grammatik-/schemabasierten Testdatengenerierung erzeugt häufig invalide Eingaben oder scheitert an komplexen semantischen Abhängigkeiten (z. B. Checksummen, Referenzen) in XML/JSON-Daten. Ziel des Vorhabens INPUTLAB war daher, eine automatisierte, schemabasierte Testdatengenerierung zu entwickeln, die auch anspruchsvolle Constraints erfüllt, und die Forschungsprototypen ISLa und SchemaFuzzer in industriell einsetzbare Werkzeuge zu überführen.

Methodisch erfolgte dies über iterative Entwicklung in Arbeitspaketen (u. a. effiziente Constraint-Lösung, Anreicherung mit realitätsnahen Werten, Nutzung/Mutation vorhandener Daten, systematische Grenz- und Angriffsdaten, starke Testorakel) und kontinuierliche Validierung in Pilotprojekten. Als Ergebnis wurde die technische und wirtschaftliche Machbarkeit unter industrierelevanten Bedingungen nachgewiesen (TRL 5); u. a. entstand mit „Chisel“ ein spezialisierter Demonstrator zur effizienten Lösung erweiterter Constraints und zur gezielten Er-zeugung valider sowie kontrolliert invalider Testfälle.

Die Ansätze wurden u. a. an E-Rechnungsstandards (XRechnung, ZUGFeRD) evaluiert und konnten Fehler in Open-Source- und kommerziellen Lösungen aufdecken. Anwendungsmöglichkeiten liegen insbesondere in regulierten Branchen mit hohem Bedarf an Compliance, Auditierbarkeit und verlässlichen Testdaten; als Verwertung wurden die InputLab GmbH gegründet und eine Anschlussförderung eingeworben.

The current state of the art in fuzzing and grammar/schema-based test data generation often produces invalid input or fails due to complex semantic dependencies (e.g., checksums, references) in XML/JSON data. The goal of the INPUTLAB project was therefore to develop an automated, schema-based test data generation solution that also satisfies demanding constraints and to transform the research prototypes ISLa and SchemaFuzzer into industrially deployable tools.

Methodologically, this was achieved through iterative development in work packages (including efficient constraint solutions, enrichment with realistic values, use/modification of existing data, systematic boundary and attack data, and strong test oracles) and continuous validation in pilot projects. As a result, the technical and economic feasibility under industry-relevant conditions was demonstrated (TRL 5); among other things, With "Chisel," a specialized demonstrator was developed for the efficient resolution of extended constraints and the targeted generation of valid and controlled invalid test cases.

The approaches were evaluated using e-invoicing standards (XRechnung, ZUGFeRD) and were able to uncover errors in open-source and commercial solutions. Potential applications lie particularly in regulated industries with a high demand for compliance, auditability, and reliable test data; InputLab GmbH was founded to commercialize the results, and follow-up funding was secured.