Am AIT Austrian Institute of Technology werden Media-Intelligence-Tools entwickelt, um Menschen dabei zu unterstützen, DeepFakes und manipulierte oder generierte Medieninhalte besser zu identifizieren.
Das Forschungsfeld "Media Intelligence" im Kontext von Computer Vision befasst sich mit der Entwicklung von Algorithmen und Technologien, die es ermöglichen, multimediale Inhalte wie Bilder, Videos, Audiodateien und zugehörige Texte zu analysieren, zu interpretieren und gewonnene Informationen und Resultate verständlich zu machen.
Durch den Einsatz von Computer-Vision-Techniken werden a/uf diesem Gebiet Methoden entwickelt, um beispielsweise Objekte und Gesichter in Bildern und Videos automatisch zu erkennen und zu klassifizieren. Darüber hinaus dienen diese Methoden zur Bewertung der Authentizität multimedialer Inhalte anhand verschiedener Indikatoren (z. B. Manipulation von Bild/Ton, Erkennung von Deepfakes oder synthetischen Medien).
Neben der Analyse audiovisueller Merkmale kommen auch Verfahren des Natural Language Processing (NLP) und Explainable AI (XAI) zum Einsatz. Diese ermöglichen die automatische Klassifizierung und Bewertung von textbasierten Inhalten, die mit multimedialen Inhalten verknüpft sind. So lassen sich beispielsweise Bild- und Video-Untertitel, Social-Media-Posts, Kommentare oder Metadaten analysieren, um Aussagen über die Plausibilität, Herkunft und mögliche Manipulationen oder Widersprüche von Inhalten zu treffen. Durch die Kombination von Computer Vision, NLP und XAI können bspw. multimodale Falschinformationen besser erkannt, verständlich gemacht und kontextualisiert werden.
Zusätzlich werden Verfahren zur Kontextanreicherung genutzt, um Medieninhalte mit zusätzlichen Informationen (z. B. Aufnahmeort, zeitliche Inkonsistenzen, Quellenangaben, etc.) abzugleichen. Dies ermöglicht eine fundierte Überprüfung auf Desinformation oder gezielte Manipulationen.
Die modular und skalierbar konzipierten Methoden ermöglichen es, große Datensammlungen effizient zu verarbeiten. Dies ist besonders relevant für Anwendungen in den Bereichen digitale Forensik, Desinformationsbekämpfung, Terrorismusprävention, Open-Source-Intelligence (OSINT) und unterstützt die Analyse sicherheitskritischer Medieninhalte durch Strafverfolgungs- und Sicherheitsbehörden.
Ziele
- Entwicklung von Algorithmen zur automatischen Analyse und Interpretation multimedialer Inhalte
- Bewertung der Authentizität multimedialer Inhalte (z. B. Erkennung von Manipulationen und Deepfakes)
- Einsatz von NLP- und XAI-Techniken um Ergebnisse verständlicher zu machen
- Identifikation von Falschinformationen durch multimodale Analyse
- Kontextanreicherung zur besseren Verifikation von Medieninhalten
- Effiziente Verarbeitung großer Datensammlungen durch modulare und skalierbare Methoden
Anwendungsgebiete
- digitale Medien-Forensik
- Desinformationsbekämpfung
- Terrorismusprävention
- Open-Source-Intelligence (OSINT)
- Strafverfolgungs- und Sicherheitsbehörden
- Analyse sicherheitskritischer Medieninhalte
Links
