Secu-Table: Datenset für die Bewertung semantischer Tabelleninterpretation

Die Bewertung von semantischen Tabelleninterpretationssystemen (STI) – besonders solcher, die auf Large Language Models (LLMs) basieren – ist im Sicherheitsbereich stark von geeigneten Datensätzen abhängig. Bislang waren solche tabellarischen Daten jedoch nicht öffentlich zugänglich.

Mit dem neuen Secu-Table-Datensatz liefert die Forschung mehr als 1.500 Tabellen und über 15.000 Entitäten, die aus den Sicherheitsdatenbanken Common Vulnerabilities and Exposures (CVE) und Common Weakness Enumeration (CWE) extrahiert wurden. Die Tabellen wurden anschließend mit Wikidata sowie dem SEmantic Processing of Security Event Streams CyberSecurity Knowledge Graph (SEPSES CSKG) annotiert.

Der komplette Datensatz sowie sämtliche Code‑Releases stehen der Community frei zur Verfügung und werden im Rahmen der SemTab‑Challenge eingesetzt, die die Leistung von STI‑Modellen auf Basis von Open‑Source‑LLMs bewertet.

Als Basiswert wurden die Modelle Falcon‑3‑7b‑instruct, Mistral‑7B‑Instruct und GPT‑4o‑mini getestet. Die Ergebnisse liefern einen ersten Benchmark, der die Leistungsfähigkeit der aktuellen Systeme im Sicherheitskontext verdeutlicht.