Direkt zum Inhalt
Symbolfoto: Das AIT ist Österreichs größte außeruniversitäre Forschungseinrichtung

KI & Maschinelles Lernen

Künstliche Intelligenz (AI/KI) beschreibt einen fächerübergreifenden Ansatz zur Modellierung und Nachahmung von Intelligenz unter Zuhilfenahme diverser computergestützter, mathematischer und logischer Prinzipien. Das Trainieren solcher intelligenten Systeme wird üblicherweise unter dem Begriff „Maschinelles Lernen“ zusammengefasst. Unter diesen Begriff fällt eine Vielzahl unterschiedlicher Algorithmen und Techniken, die sich auf unterschiedlichste Probleme aus vielen verschiedenen wissenschaftlichen Disziplinen anwenden lassen. Seit ihrer ursprünglichen Konzipierung vor ein paar Jahrzehnten haben neuronale Netze und vergleichbare Modelltypen ihre Effektivität und Wettbewerbsfähigkeit zunehmend unter Beweis stellen können – nicht zuletzt dank eines raschen Anstiegs der verfügbaren Rechenleistung von Computern und der Menge an verfügbaren Daten in den letzten zwanzig Jahren.

Wir verknüpfen das Domänenwissen von Experten mit maschinellem Lernen, um robuste und performante Modelle zu erschaffen. Dabei sind Erklärbarkeit und Interpretierbarkeit üblicherweise nicht gegeben – deshalb liefern wir unseren Partnern die notwendigen Werkzeuge, um die Entscheidungsfindung der fertigen Modelle nachzuvollziehen. Wir beraten unsere Kunden gerne zu den unterschiedlichsten Zweigen des maschinellen Lernens und stellen für jedes Problem eine individuell abgestimmte Lösung bereit.

 

Datenmanagement &
Datenanalyse

Für maschinelles Lernen sind umfangreiche Datensätze unumgänglich. Die Daten, mit denen datengetriebene Modelle parametriert werden sollen, sind oft nicht direkt verfügbar und müssen erst erhoben werden. Das Planen der hierfür notwendigen Experimente nennt man Design of Experiments (DoE). Wir entwickeln und verbessern die dafür vorhandenen Algorithmen, indem wir Domänenwissen und problemspezifische Eigenheiten von Grund auf berücksichtigen. Daten können außerdem auf verschiedenste Weisen fehlerbehaftet sein. Einige leicht ersichtliche Fehler können während der Datenbereinigung und -vorverarbeitung behoben werden. Andere Fehler sind nur durch statistische Datenanalyse zu erkennen, zum Beispiel Mithilfe von Varianz- und Korrelationsanalysen. All diese Methoden sind in unsere Feature-Selection- und Feature-Engineering-Pipelines eingebaut, mit welchen wir den Trainingsaufwand und die Komplexität der entstehenden Modelle reduzieren und gleichzeitig ihre Genauigkeit durch Auswahl der wichtigsten Eingangsgrößen verbessern können. Darüber hinaus kategorisieren wir individuelle Problemstellungen und finden einen perfekt abgestimmten Lösungsansatz für unsere Kunden, den wir anschließend implementieren.

Reinforcement Learning & Approximate Dynamic Programming

Mehrschichtige Entscheidungsfindung lässt sich theoretisch mit dynamischer Programmierung (DP) lösen, einer Methode zum Ermitteln optimaler Regelungsstrategien basierend auf dem Optimalitätsprinzip von Bellman, deren exakte Lösung aber leider auch computergestützt nicht möglich ist. Wir benutzen Reinforcement Learning und Approximate Dynamic Programming, um diese Hürde zu überwinden. Beide Ansätze erzeugen suboptimale, aber hinreichend genaue Regelungsstrategien. Wir bieten unterschiedliche Lösungsstrategien an, die sich in ihrer Herangehensweise in der Modellierung, Näherung und Optimierung unterscheiden und je nach individueller Problemstellung ausgewählt werden müssen: Im modellfreien Reinforcement Learning lernt ein Agent basierend auf Belohnungen für die von ihm vorgeschlagenen Aktionen. Bei stochastischem Schwerpunkt des Problems lässt sich ein Markowscher Entscheidungsprozess (MDP) einsetzen, der einen zeitlich diskreten stochastischen Regelungsprozess mit teils zufälligen, teils deterministischen Ausgängen modelliert. Dabei werden Zustand und Policy üblicherweise von neuronalen Netzen approximiert, während die Gewichte durch Q- und Temporal Difference Learning ermittelt werden. Bei deterministischer Problemstellung lässt sich schließlich modellbasiertes Finite-Horizon Reinforcement Learning einsetzen, welches häufiger unter dem Namen modellprädiktive Regelung (MPC) bekannt ist.

Maschinelles Lernen für Regression, Klassifikation & Clustering

Wir liefern unseren Kunden maßgeschneiderte Software-Lösungen basierend auf datengetriebenen Methoden. Innerhalb dieses Rahmens unterscheidet man vor allem und je nach Problemstellung zwischen drei Kategorien:

  • Überwachtes Lernen wird überall dort eingesetzt, wo eine „korrekte Lösung“ eines Problems bekannt ist. Geeignete Modelle umfassen unter anderem symbolische (genetische Programmierung), Kernel- (Gaußprozess-Regression, SVMs, SVRs) und Decision-Tree-basierte Methoden (Random Forest, Gradient-Boosting), Spline-Interpolation (GAMs) sowie (tiefe) neuronale Netze. Letztere eignen sich für eine Vielzahl von Problemen wie beispielsweise Regression, Online-Lernen, Bilderkennung und Zeitreihenprognosen.
  • Halb- und Selbstüberwachtes Lernen zwingt Modelle, Einbettungen in entsprechend markierte Daten zu lernen. Erfolgreiche Beispiele sind zum Beispiel Vision Transformers und Graph Neural Networks.
  • Unüberwachtes Lernen beschäftigt sich mit Problemen wie Clusteranalyse bei unbekannten Klassen (K-Means, SVC) und Dimensionsreduktion (PCA, LDA).

Dabei erlaubt uns Auswahl und Training eines geeigneten Modells für ein gegebenes Problem das Lösen von Aufgabenstellungen wie statische oder dynamische Regression, Predictive Maintenance und Ausreißeranalyse bzw. Anomalieerkennung.

Modellauswahl &
Modellbewertung

Die Fähigkeit eines Modells, allgemeine Zusammenhänge zu verstehen, zeigt sich erst auf unabhängigen Testdaten. Zur Beurteilung der finalen Modellgüte sowie zur Modellauswahl ist gerade diese Fähigkeit maßgeblich. Wir vergleichen die Genauigkeit trainierter Modelle auf den Trainingsdaten und wählen geeignete Kandidaten nach (häufig individuell definierten) Kriterien. Wir bewerten diese Kandidaten schließlich nach ihrem Prädiktionsfehler auf unabhängigen Testdaten. Um dem Verzerrung-Varianz-Dilemma schon im Training zu begegnen, benutzen wir Algorithmen wie Bootstrapping, Boosting und Regularisierungsmethoden wie Ridge, Bridge, Lasso und Dropout. Damit lässt sich einerseits die Prädiktionsgenauigkeit, andererseits aber auch die Interpretierbarkeit der finalen Modelle verbessern. Weitere Analysetools wie beispielsweise Shapley Additive Explainers sorgen für Erklärbarkeit bei der Entscheidungsfindung und können gelegentlich neue Erkenntnisse über den zugrundeliegenden Prozess bieten.

Auslieferung & Einsatz fertiger Modelle

Häufig ist es vor dem Ausliefern eines Modells möglich, Prädiktionsgeschwindigkeit, Genauigkeit und Einsatzmöglichkeiten zu verbessern. Je nach individueller Problemstellung können wir Transfer Learning nutzen, um Teile eines gut parametrisierten Modells auf ein anderes, komplizierteres Modell zu übertragen und letztlich höhere Genauigkeit zu erzielen. Das resultierende Modell kann von zusätzlichem Training bei niedrigen Lernraten profitieren. Viele Ansätze im maschinellen Lernen resultieren in grundlegend verschiedenen Architekturen – hier können verallgemeinernde Frameworks wie ONNX ansetzen, um solche Modelle in ein Standardformat zu übertragen, welches anschließend in unterschiedlichen Programmiersprachen angesteuert werden kann, je nach Bedürfnis unserer Kunden. Gleichzeitig lässt sich mit ONNX häufig auch die Prädiktionsgeschwindigkeit erhöhen. Für manche Projekte ist es außerdem notwendig, Modelle nach Auslieferung neu oder fortlaufend zu parametrisieren – zum Beispiel, wenn neue Eingangsgrößen oder Klassen berücksichtigt werden müssen. Häufig kann solches Training auch von Vorteil sein, wenn deutlich mehr Daten oder aber Concept Drift vorliegen. Jedenfalls bieten wir im Bedarfsfall auch die Automatisierung solcher Prozesse an.

Verknüpfte Lösungen

Lösung

Robotik & Autonome Systeme

Beteiligte Forschungsgruppen