Evaluation and User Studies with Respect to Video Summarization and Browsing

Contents:

  • 1. Introduction
  • 2. The benefits of thumbnails and query context
  • 3. The benefits of storyboards as visual overviews
  • 4. Temporal surrogates: storyboards with text and video skims
  • 5. Information visualization: summarizing across sets of video documents
  • 6. TRECVID as an evaluation forum for video summarization and browsing
  • 7. Difficulties in evaluating information visualization interfaces
  • 8. Reflections on Informedia user study work and future directions

Deze paper geeft een overzicht van de resultaten van de Informedia gebruikersonderzoeken die sinds 1994, met name tijdens het ENVIE project, zijn uitgevoerd naar beeldresearch in omvangrijke digitale televisiearchieven (CNN News). De onderzoeker licht toe hoe geautomatiseerde beeldanalyse en video indexering aantrekkelijke verbeteringen voor de gebruiker kunnen bieden. Meer zoekefficiëntie is te bereiken, ondanks de moeilijkheden die er zijn om goede video samenvattingen te maken.Zo blijkt bijvoorbeeld dat het tonen van de meest relevante thumbnail uit een nieuwsitem in relatie tot de zoekvraag (in plaats van de eerste still van elk gevonden item te tonen) de gebruiker aanzienlijk helpt om sneller het zoekresultaat te beoordelen en bruikbare fragmenten te vinden. Ook het samenstellen van collages (visuele overzichten) van thumbnails uit het zoekresultaat op basis van combinaties van diverse perspectieven (bijv. locatie, tijd, persoon), blijkt voor de gebruiker sneller te leiden naar een bevredigend antwoord. Wel waarschuwt de auteur dat ‘video surrogates’ die effectief blijken voor het zoeken naar een specifiek genre (nieuws), niet per se effectief hoeven te zijn voor andere genres van televisieuitzendingen.

Helder geschreven artikel waaruit duidelijk naar voren komt welke verbeteringen in beeld retrieval bereikt zijn op basis van uitkomsten van welke experimenten. De uitleg over de experimenten, met veel schermvoorbeelden, illustreert dat het zoeken naar een echt relevant, bruikbaar videofragment in omvangrijke digitale televisiearchieven geen sinecure is. Het aanbieden van ‘exploratory interfaces’ waarbij de gebruiker kan browsen in het zoekresultaat (door bijv. de tijdlijn te manipuleren), lijkt een geschikte ontwikkelrichting.