D15.3 State of the Art of Content Analysis Tools for Video, Audio and Speech

Contents:

  • 2 Document Scope
  • 3 Executive Summary
  • 4 Overview
  • Part A: Visual Content Analysis Tools
  • 5 Low-level Visual Features
  • 6 Spatial/Spatiotemporal Segmentation
  • 7 Shot Boundary Detection
  • 8 Video OCR
  • 10 Defect and Quality Analysis
  • Part B: Content Analysis Tools for Audio and Speech
  • 11 Low-level Audio Features
  • 12 Use of Low-Level Audio Features
  • 13 Automatic Speech Recognition (ASR)
  • Part C: Joint Audiovisual Content Analysis and Structuring Tools
  • 14 Scene/Story Segmentation
  • 15 Shot and Scene Classification
  • 16 Event Detection
  • 17 Video Content Abstraction
  • Part D: Conclusion
  • 18 Feasibility of Content Analysis Tools
  • 19 Dependencies between CA Tools
  • 20 References
  • 21 Glossary.

Dit PrestoSpace deliverable rapport geeft een overzicht van de technische mogelijkheden (tools en algoritmen) van alle vormen van automatische indexering van video in 2005. Voor een indicatie van de kwaliteit van de analyse resultaten is o.a. gebruik gemaakt van TRECVID (TREC Video Retrieval Evaluation).
In deel D komt de praktische inzetbaarheid van deze tools aan bod, de haalbaarheid om op deze wijze metadata te creëren, evenals de afhankelijkheden tussen de diverse tools.

Dit rapport is tot stand gekomen tijdens het Europese project PrestoSpace (D15.3).

Nuttig overzicht dat inzicht geeft in de toepassing en mogelijkheden van automatische indexeertools voor de ondersteuning van handmatig catalogiseren.