Videoanalyse (VID)
Mit Hilfe der Videoanalyse können wichtige Informationen darüber gefunden werden, was in einer Szene gezeigt wird. Hier werden grundlegende Bildinformationen extrahiert, sowie eine Segmentierung in Schnitte vorgenommen. Darauf aufbauend soll ein möglichst allgemeines Verfahren entwickelt werden, Objekte im Videostrom zu ermitteln. Ziel ist die Identifikation einzelner Objekte, deren Benennung im Anschluss als suchbarer Index zur Verfügung steht. Wegen der Vielzahl möglicher Objekte kann hier nur exemplarisch vorgegangen werden. Auf dieser Basis aufbauend, soll ein Weg gezeigt werden, weitere Objekte zu identifizieren. Ausgangspunkt ist dabei die Personenentdeckung, die wissenschaftlich schon sehr gut durchdrungen ist.
Die existierenden Ansätze müssen speziell für das verwendete Material zugeschnitten werden. Anschließend wird überprüft, inwieweit diese Verfahren verallgemeinert und auch für andere Objekte als Gesichter verwendet werden können.
Sprachanalyse (SPR)
Im Gegensatz zum rein bildlichen Retrieval kann der Einbezug der Sprachanalyse nicht nur ermitteln, was gezeigt wird, sondern worum es thematisch geht. Kommt in einer Nachrichtensendung beispielsweise ein Bild des sächsischen Landtags vor, so ist dies durch die Videoanalyse durchaus ermittelbar, die Sprachanalyse setzt das Bild in den thematischen Kontext. Geht es um eine Gesetzesinitiative, die Landtagswahl, einen Ausschuss oder einen Skandal?
Die verschiedenen Facetten sprachlicher Information werden zur Analyse herangezogen. Dies sind die Erkennungen von Schrift, Sprechern sowie Gesprochenem. Aus der Gesamtheit dieser Information lassen sich verschiedene für das Retrieval wichtige Elemente herausarbeiten.
Metadata Handling (MDH)
Die Analyse der Sprach- und Videodaten dient im Retrievalprozess der Beschreibung medialer Inhalte. Die eigentliche Suche erfolgt nicht mehr in den Originaldaten sondern in den bei der Analyse erstellten Metadaten. Aufgabe des Bereichs Metadaten Handling ist es, die Metadaten in einer sinnvollen Weise bereitzustellen. Es wird ein API-Framework definiert, das den kompletten Umgang mit den Metadaten in Grundzügen regelt. Ferner wird ein Schema erstellt, welches den Aufbau der Metadaten beschreibt.
Für die Verwaltung der Metadaten werden XML-basierte Technologien wie MPEG‑7 und XQuery herangezogen. Ziel ist die Behandlung grundsätzlicher Probleme bei der Modellierung medialer Retrievalmaschinen.
