21. April 2018 | Anmelden
 
 

Annotation & Retrieval

Video­ana­ly­se (VID)

Mit Hil­fe der Video­ana­ly­se kön­nen wich­ti­ge Infor­ma­tio­nen dar­über gefun­den wer­den, was in einer Sze­ne gezeigt wird. Hier wer­den grund­le­gen­de Bild­in­for­ma­tio­nen extra­hiert, sowie eine Seg­men­tie­rung in Schnit­te vor­ge­nom­men. Dar­auf auf­bau­end soll ein mög­lichst all­ge­mei­nes Ver­fah­ren ent­wi­ckelt wer­den, Objek­te im Video­strom zu ermit­teln. Ziel ist die Iden­ti­fi­ka­ti­on ein­zel­ner Objek­te, deren Benen­nung im Anschluss als such­ba­rer Index zur Ver­fü­gung steht. Wegen der Viel­zahl mög­li­cher Objek­te kann hier nur exem­pla­risch vor­ge­gan­gen wer­den. Auf die­ser Basis auf­bau­end, soll ein Weg gezeigt wer­den, wei­te­re Objek­te zu iden­ti­fi­zie­ren. Aus­gangs­punkt ist dabei die Per­so­nen­ent­de­ckung, die wis­sen­schaft­lich schon sehr gut durch­drun­gen ist.

Die exis­tie­ren­den Ansät­ze müs­sen spe­zi­ell für das ver­wen­de­te Mate­ri­al zuge­schnit­ten wer­den. Anschlie­ßend wird über­prüft, inwie­weit die­se Ver­fah­ren ver­all­ge­mei­nert und auch für ande­re Objek­te als Gesich­ter ver­wen­det wer­den kön­nen.

Sprach­ana­ly­se (SPR)

Im Gegen­satz zum rein bild­li­chen Retrie­val kann der Ein­be­zug der Sprach­ana­ly­se nicht nur ermit­teln, was gezeigt wird, son­dern wor­um es the­ma­tisch geht. Kommt in einer Nach­rich­ten­sen­dung bei­spiels­wei­se ein Bild des säch­si­schen Land­tags vor, so ist dies durch die Video­ana­ly­se durch­aus ermit­tel­bar, die Sprach­ana­ly­se setzt das Bild in den the­ma­ti­schen Kon­text. Geht es um eine Geset­zes­in­itia­ti­ve, die Land­tags­wahl, einen Aus­schuss oder einen Skan­dal?

Die ver­schie­de­nen Facet­ten sprach­li­cher Infor­ma­ti­on wer­den zur Ana­ly­se her­an­ge­zo­gen. Dies sind die Erken­nun­gen von Schrift, Spre­chern sowie Gespro­che­nem. Aus der Gesamt­heit die­ser Infor­ma­ti­on las­sen sich ver­schie­de­ne für das Retrie­val wich­ti­ge Ele­men­te her­aus­ar­bei­ten.

Meta­da­ta Hand­ling (MDH)

Die Ana­ly­se der Sprach- und Video­da­ten dient im Retrie­val­pro­zess der Beschrei­bung media­ler Inhal­te. Die eigent­li­che Suche erfolgt nicht mehr in den Ori­gi­nal­da­ten son­dern in den bei der Ana­ly­se erstell­ten Meta­da­ten. Auf­ga­be des Bereichs Meta­da­ten Hand­ling ist es, die Meta­da­ten in einer sinn­vol­len Wei­se bereit­zu­stel­len. Es wird ein API-Frame­work defi­niert, das den kom­plet­ten Umgang mit den Meta­da­ten in Grund­zü­gen regelt. Fer­ner wird ein Sche­ma erstellt, wel­ches den Auf­bau der Meta­da­ten beschreibt.

Für die Ver­wal­tung der Meta­da­ten wer­den XML-basier­te Tech­no­lo­gi­en wie MPEG-7 und XQue­ry her­an­ge­zo­gen. Ziel ist die Behand­lung grund­sätz­li­cher Pro­ble­me bei der Model­lie­rung media­ler Retrie­val­ma­schi­nen.

 
 
Projektgeber
Projektnehmer
Technische Universität Chemnitz sachsMedia ist eine Initiative der Professur Medieninformatik der TU Chemnitz
Kontakt
Dipl.-Inf. Jens Kürsten
Technische Universität Chemnitz
Fakultät für Informatik
Professur Medieninformatik
Straße der Nationen 62
09111 Chemnitz