Die Verbreitung von Fake News, Hassrede und manipulierten Inhalten in sozialen Netzwerken stellt Gesellschaft, Medien und Institutionen zunehmend vor große Herausforderungen. Mit dem KI-gestützten Analysewerkzeug „DisDETECT“ hat die Informatikerin Dr. Mina Schütz, Scientist im Center for Digital Safety & Security nun ein System entwickelt, das Expertinnen und Experten dabei unterstützt, problematische Inhalte gezielt zu identifizieren und fundierter zu bewerten.
Im Rahmen ihrer Dissertation am Hochschule Darmstadt entwickelte sie am Promotionszentrum für Angewandte Informatik (PZAI) ein webbasiertes Tool, das Texte anhand von mehr als 50 Merkmalen analysiert. Anders als klassische Faktencheck-Systeme ordnet „DisDETECT“ Inhalte nicht automatisch als „wahr“ oder „falsch“ ein. Stattdessen macht das System auffällige Muster sichtbar und unterstützt Journalist:innen, Forschende sowie Fachleute aus Behörden und Organisationen dabei, potenziell kritische Inhalte effizient zu erkennen.
„Die eigentliche Einordnung bleibt immer beim Menschen“, betont Mina Schütz. Das System solle die Analyse unterstützen, jedoch keine endgültigen Entscheidungen treffen.
Das Tool analysiert große Mengen an Texten und erkennt unter anderem emotionale Sprache, Hinweise auf Hassrede, Desinformation, Verschwörungsmythen oder typische Clickbait-Muster. Die Ergebnisse werden interaktiv visualisiert und mithilfe eines Ampelsystems in vier Farbstufen dargestellt – von vertrauenswürdig bis kritisch. Im Hintergrund arbeiten 19 KI-Modelle zusammen, deren Ergebnisse kombiniert werden, um eine möglichst fundierte Einschätzung zu ermöglichen. Zusätzlich weist das System ein Konfidenzintervall aus und macht damit transparent, wie hoch die potenzielle Fehlerwahrscheinlichkeit der Analyse ist.
Besonderes Augenmerk legte Mina Schütz auf den menschenzentrierten Ansatz des Systems. Über Methoden der „Visual Analytics“ können Nutzer:innen selbst entscheiden, welche Informationen angezeigt werden und wie tief sie in die Analyse eintauchen möchten. Erste Tests mit potenziellen Anwendergruppen lieferten bereits positives Feedback. Derzeit befindet sich „DisDETECT“ allerdings noch im Prototypenstadium; für einen breiten Praxiseinsatz sind weitere Entwicklungsarbeiten erforderlich.
Die Dissertation entstand in Kooperation zwischen der Hochschule Darmstadt und dem AIT Austrian Institute of Technology. Ihre Forschung setzt Mina Schütz nun am Center for Digital Safety & Security des AIT fort, wo sie ihre Arbeiten zu KI-gestützter Analyse von Desinformation und digitalen Bedrohungen weiter vertieft.
Weiterführende Informationen: