Technologies de l'Intelligence Artificielle

TP2 - 26 mars 2007

Annotation de documents audiovisuels

Objectif

Annoter un document audiovisuel pour pouvoir en faire une exploitation originale. On utilisera le logiciel Advene, développé au LIRIS.

Installation d'Advene

Advene est un projet de recherche mené au LIRIS depuis plusieurs années, dont l'objectif est d'étudier l'annotation audiovisuelle et les hypervidéos.

Vous trouverez le logiciel Advene sur le site du projet : http://liris.cnrs.fr/advene. Dans la section download, commencez par récupérer la version de VLC proposée, et installez-la (commencez par désinstaller l'ancienne si besoin). Téléchargez et exécutez ensuite l'installeur Advene.

Récupération de la vidéo

Le fichier audiovisuel que vous allez manipuler est disponible sur http://liris.cnrs.fr/yannick.prie/download/frank-cm3-all.mov. Enregistrez-le en local, et passez 5 minutes à l'explorer.

Découverte d'un recueil Advene

On vous fournit un recueil Advene déjà commencé, disponible sur http://liris.cnrs.fr/yannick.prie/ens/06-07/TIA/tp2.xml.

Téléchargez-le en local, ouvrez-le dans Advene (file -> open), et associez-lui le fichier vidéo (Utilisez l'icone "select movie file" pour associer le fichier). Pour vérifier que la vidéo est associée, utilisez le boutton 'play'.

Vous trouvez aussi des vidéo exemple ou de utiliser ADVENE dans :

Schémas de description et annotations

Plusieurs schémas sont déjà disponibles dans le recueil, qui définissent des types d'annotation et de relations.

Lancez une vue arbre (glisser/déplacer dans une zone d'affichage de l'interface principale) pour visualiser les types et les annotations : combien y-a-t'il de types d'annotation définis ? Combien y-a-t'il de types de relation définis ?

Lancez une vue ligne de temps (glisser/déplacer dans la zone d'affichage basse de l'interface principale). Utilisez la ligne de temps pour vous déplacer dans le flux, pour lancer le flux au niveau de certaines annotations. Editez des annotations et modifiez-en le contenu.

Vues

En plus des vues dites ad-hoc (programmées) telle que la timeline, Advene propose deux autres types de vues.

Les vues statiques affichent dans un navigateur des informations issues de la structure d'annotation et du flux audiovisuel. Visualisez la vue 'summary', éditez la description de cette vue avec la vue arborescente du recueil. Essayez d'en comprendre le fonctionnement : il s'agit de HTML, auquel on ajoute des instructions TAL (Template Attribute Language) dans les attributs.

Les vues dynamiques permettent de jouer la vidéo de façon enrichie. Lancez la vue 'Utterrances', éditez sa description, essayez d'en comprendre le fonctionnement : il s'agit d'un ensemble de règles présentées sous la forme Evénement / Condition / Action.

Annotations

Choisissez une partie du cours, et annotez-la en détail. Vous pouvez utiliser la ligne de temps, ou essayer d'utiliser l'outil de prise de notes à la volée.

Utilisez un vue statique (par exemple le 'summary') pour vérifiez l'utilisation de vos annotations.

Création de schéma

Définissez un schéma et un certain nombre de types dans ce schéma (par exemple, consacré aux erreurs de français dans le schéma "Présntation oral", aux déplacement, etc.)

Annotez la vidéo suivant ce schéma.

Concevez une vue statique ou dynamique qui utilise ces annotations.

Mini-rapport

Le rapport comprendra deux parties. Dans la première (2 pages), vous proposerez vos réflexions sur l'annotation audiovisuelle, sur les systèmes d'annotation et d'utilisation d'annotations audiovisuelles, les applications, etc. Dans la seconde, vous grouperez toutes vous réflexions sur le logiciel Advene, les points forts, les points faibles, les difficultés d'utilisation, suggestions d'amélioration, etc. Ce document sera à envoyer à Frank.Nack (a) liris.cnrs.fr pour le 02 avril.