Secu-Table: Datenset für die Bewertung semantischer Tabelleninterpretation
Die Bewertung von semantischen Tabelleninterpretationssystemen (STI) – besonders solcher, die auf Large Language Models (LLMs) basieren – ist im Sicherheitsbereich stark von geeigneten Datensätzen abhängig. Bislang ware…
- Die Bewertung von semantischen Tabelleninterpretationssystemen (STI) – besonders solcher, die auf Large Language Models (LLMs) basieren – ist im Sicherheitsbereich stark…
- Bislang waren solche tabellarischen Daten jedoch nicht öffentlich zugänglich.
- Mit dem neuen Secu-Table-Datensatz liefert die Forschung mehr als 1.500 Tabellen und über 15.000 Entitäten, die aus den Sicherheitsdatenbanken Common Vulnerabilities and…
Die Bewertung von semantischen Tabelleninterpretationssystemen (STI) – besonders solcher, die auf Large Language Models (LLMs) basieren – ist im Sicherheitsbereich stark von geeigneten Datensätzen abhängig. Bislang waren solche tabellarischen Daten jedoch nicht öffentlich zugänglich.
Mit dem neuen Secu-Table-Datensatz liefert die Forschung mehr als 1.500 Tabellen und über 15.000 Entitäten, die aus den Sicherheitsdatenbanken Common Vulnerabilities and Exposures (CVE) und Common Weakness Enumeration (CWE) extrahiert wurden. Die Tabellen wurden anschließend mit Wikidata sowie dem SEmantic Processing of Security Event Streams CyberSecurity Knowledge Graph (SEPSES CSKG) annotiert.
Der komplette Datensatz sowie sämtliche Code‑Releases stehen der Community frei zur Verfügung und werden im Rahmen der SemTab‑Challenge eingesetzt, die die Leistung von STI‑Modellen auf Basis von Open‑Source‑LLMs bewertet.
Als Basiswert wurden die Modelle Falcon‑3‑7b‑instruct, Mistral‑7B‑Instruct und GPT‑4o‑mini getestet. Die Ergebnisse liefern einen ersten Benchmark, der die Leistungsfähigkeit der aktuellen Systeme im Sicherheitskontext verdeutlicht.
Welche Linse du auf diese Meldung legen solltest
Dieses Thema ist relevant, weil es zeigt, wie sich KI-Produkte, Modelle oder Rahmenbedingungen in der Praxis verschieben.
Achte zuerst darauf, was sich fuer Nutzer, Builder oder Unternehmen konkret veraendert und ob daraus ein nachhaltiger Trend entsteht.