Big Data Analytics für die Überwachung und Analyse des Netzwerkverkehrs

Die Komplexität des Internets hat in den letzten Jahren dramatisch zugenommen, was die Entwicklung skalierbarer Anwendungen und Werkzeuge zur Überwachung und Analyse des Netzwerkverkehrs (Network Traffic Monitoring and Analysis - NTMA) zu einer immer wichtigeren Herausforderung macht. Kritische NTMA-Anwendungen wie die Erkennung von Anomalien, Netzangriffen und Eindringlingen erfordern schnelle Mechanismen für die Online-Analyse von Tausenden von Ereignissen pro Sekunde sowie effiziente Techniken für die Offline-Analyse umfangreicher historischer Daten.

Im Rahmen des Big-DAMA-Projekts wurden neue skalierbare Techniken und Big-Data-Frameworks entwickelt, mit denen sowohl Online-Netzverkehrsdatenströme als auch massive Offline-Verkehrsdatensätze analysiert werden können. Big-DAMA erforschte skalierbares Online- und Offline-Data-Mining und auf maschinellem Lernen basierende Techniken zur Überwachung und Charakterisierung extrem großer Netzwerkverkehrsdatensätze. Das Projekt trieb die Entwicklung von Big-Data-Analysetechnologien durch neuartige Rahmenwerke voran, die auf der Grundlage der am besten geeigneten Tools für die Online- und Offline-Verarbeitung von Netzwerkdaten entwickelt wurden. Dabei schöpften wir aus den Erfahrungen aus DBStream, unserer vielversprechenden Arbeit in dieser Richtung, die der Gemeinschaft als offene Software zur Verfügung steht. Big-DAMA lieferte auch einen neuen Benchmark für die Analyse großer Datenströme und ermöglichte den quantitativen und qualitativen Vergleich verfügbarer und künftiger Big-Data-Analyse-Frameworks (BDAFs) für NTMA.

Fakten:

• Projektbeginn: März 2016
• Projektdauer: 36 Monate
• Haushaltsmittel: ca. 650k EUR
• Förderung: WWTF

Webpage: https://bigdama.ait.ac.at/