Multimodal Indexing of Digital Audio-visual Documents

Contents:

  • 1. Introduction
  • 2. Previous work
  • 3. Case study: B&G user requirements
  • 4. Multimedia Retrieval System Architecture
  • 4.1 Content-Based Audio-Visual Indexing in MIAS
  • 4.2 User Interface
  • 5. Design of User Evaluation Surveys
  • 5.1 Evaluation Tasks and Protocols
  • 6. User Evaluation Results
  • 7. Conclusions and Future Work
  • 8. Acknowledgements
  • 9. References

In het kader van het MultiMatch project is een multimediaal, multimodaal zoeksysteem ontwikkeld voor het zoeken naar digitale audiovisuele documenten in streaming media formaat. Dit artikel beschrijft de evaluatie van het ontwikkelde zoeksysteem. De informatiebehoefte van zowel professionele gebruikers van av-archieven als het brede publiek dat zoekt naar video materiaal, is als uitgangspunt genomen voor het ontwerp van deze zoekmachine. De informatiebehoefte van multimediaspecialisten die het archief van het Nederlands Instituut voor Beeld en Geluid gebruiken, is onderzocht. Een kwalitatief en kwantitatief gebruikersonderzoek bracht naar voren dat het ontworpen zoeksysteem het zoeken naar video documenten aanzienlijk vergemakkelijkt. Met name de ‘shot-aligned speech transcripts’ en een selectie van keyframes die de visuele content van de gevonden documenten samenvat, bleek behulpzaam voor de gebruikers van video om relevante video clips uit het digitaal av-archief te kunnen vinden. De accuraatheid van de automatische spraakherkenning van het in het videomateriaal gesproken woord bleek een verbeterpunt te zijn. Met name voor videos waarin meerdere talen worden gesproken. Het artikel sluit af met een bespreking van de mogelijke oplossingen hiervoor. De project partners Universiteit van Amsterdam, University of Dublin, University of Sheffield en Beeld en Geluid zijn verantwoordelijk voor de inhoud van dit rapport.

Interessant artikel voor de ontwikkelaars van zoekinterfaces voor digitale av-collecties vanwege de toepassing van contentbased video retrieval technieken die aansluiten bij de manier waarop gebruikers in dergelijke complexe content willen kunnen zoeken.Ook interessant voor degenen die zelf een gebruikersonderzoek voorbereiden voor het evalueren van een zoekinterface. Meer informatie over de manier waarop het ontwerp op basis van geconstateerde gebruikersbehoeften in dit artikel.