Vision Testing for Robustness

Bildverarbeitungsalgorithmen sind mit einer großen Vielfalt von Aspekten konfrontiert, welche ihr korrektes Arbeiten behindern können, z.B. Schatten, Spiegelungen, geringe Kontraste oder Verdeckungen von Objekten. Üblicherweise verwendet man daher eine große Anzahl an aufgenommenen Testbildern, um möglichst viele dieser „Kritikalitäten“ zu erhalten. Dieser Ansatz birgt jedoch einige Probleme:

  • Selbst sehr umfangreiche, real aufgenommene Testdaten garantieren nicht, dass alle für die Zielanwendung relevanten Kritikalitäten enthalten sind. Dieser Ansatz ist daher für eine Zertifizierung unzureichend.
  • Die Gewinnung der Testdaten selbst ist aufwändig und teuer, und viele Situationen können aus Sicherheits- oder Aufwandsgründen nicht real nachgestellt werden.
  • Die für die Beurteilung des Testausgangs notwendigen erwarteten Ergebnisse („Ground Truth“ oder GT genannt, einige Beispiele sind unten zu sehen) müssen manuell erstellt werden. Dies ist wiederum sehr zeitaufwändig und fehleranfällig.

Zwar stehen heute einige Testdatensätze öffentlich zur Verfügung, diese sind oft jedoch nicht speziell auf eine bestimmte Anwendung ausgerichtet. Sie lassen daher nur bedingt Schlüsse auf die Robustheit des getesteten Bildverarbeitungsverfahrens für die gewünschte Anwendung zu. Insgesamt sellt die Verwendung realer Testdaten also eine unbefriedigende Lösung dar.

Lösung

Mit VITRO erhalten Sie einen für ihre Anwendung perfekt zugeschnittenen Testdatensatz mit maximaler Aussagekraft über die Robustheit ihres Systems. Die Daten sind aus Modellen generiert und daher in sich konsistent und exakt auswertbar.

Das „Domänenmodell“ einer bestimmten Anwendung enthält sowohl dessen Anforderungen als auch aus einem umfangreichen Katalog ausgewählte Kritikalitäten, welche in der Anwendung vorkommen können. Testdaten werden so generiert, dass alle typischen Szenen und Kritikalitäten enthalten sind, wobei Redundanzen möglichst vermieden werden. Für systematische Evaluierungen können detaillierte Datensätze erzeugt werden, wie im folgenden Beispiel: