Interpretation Systems

Those systems, aimed at scholars, teachers, etc., have in common to allow the process of interpretation building, i.e. the loose co-building of categories/models and descriptions using those categories. They can focus on video annotation, activity traces data visualisation, experience modelling from transcription, etc.

• 

  ADVENE: Annotate Digital Video, Exchange on the NEt

  Document Engineering Hypervideos Interpretation Systems Reflective Systems Video Annotations

  Project on video annotations, hypervideos, concept, models and tools for video active reading. The Open-Source Advene software runs on Windows, Linux and Mac OS. It features the Cinelab / Advene2 model for Hypervideo description and Exchange. A lot of information can be found on the website.

  Details

  Partners: Numerous
  Funding: at first no funding (2003-2007), then Cinelab project on film annotations (ANR RIAM, 2007-2008, with LIRIS, IRI Centre Pompidou, Forum des Images, Antenna Audio), then Bertrand Richard PhD thesis, and other projects (notably Cinecast on Film Digital Libraries).
  Beginning: 2002-10-01
  End: false
  Website: http://advene.org
  

  Related publications

  • Olivier Aubert, Yannick Prié, Daniel Schmitt. (2012) Advene as a Tailorable Hypervideo Authoring Tool: a Case Study in ACM Symposium on Document Engineering, Paris, sept 2012, pp. 79-82 . doi Show abstract Audiovisual documents provide a great primary material for analysis in multiple domains, such as sociology or interaction studies. Video annotation tools offer new ways of analysing these documents, beyond the conventional transcription. However, these tools are often dedicated to specific domains, putting constraints on the data model or interfaces that may not be convenient for alternative uses. Moreover, most tools serve as exploratory and analysis instruments only, not proposing export formats suitable for publication. We describe in this paper a usage of the Advene software, a versatile video annotation tool that can be tailored for various kinds of analyses: users can define their own analysis structure and visualizations, and share their analyses either as structured annotations with visualization templates, or published on the Web as hypervideo documents. We explain how users can customize the software through the definition of their own data structures and visualizations. We illustrate this adaptability through an actual usage for interview analysis.
  • Yannick Prié. (2009) Interacting with Annotated Videos in In Workshop Interacting with temporal data at CHI 2009. Boston, MA, April 2009. 4pp. Show abstract We present Advene, a project and a prototype dedicated to video active reading, i.e. inscribing annotations on a video document and taking advantage of these annotations for navigating it. Both the video and its annotations are temporal data that need to be presented and interacted with. We present some illustrative interfaces, and discuss some of the challenges related to such a complex activity.
  • Olivier Aubert, Pierre-Antoine Champin, Yannick Prié, Bertrand Richard. (2008) Canonical processes in active reading and hypervideo production in Multimedia Systems Journal, Special Issue on Canonical Processes of Media Production. 14(6):427-433, 2008 doi Show abstract Active reading of audiovisual documents is an iterative activity, dedicated to the analysis of the audiovisual source through its enrichment with structured metadata and the definition of appropriate visualisation means for this metadata, producing new multimedia objects called hypervideos. We will describe in this article the general decomposition of active reading and how it is put into practice in the Advene framework, analysing how its activities fit into the Canonical Media Processes model.
  • Bertrand Richard, Yannick Prié, Sylvie Calabretto. (2008) Towards a unified model for audiovisual active reading in Tenth IEEE International Symposium on Multimedia, Berkeley, CA, USA, dec 2008. [AR:24%] doi Show abstract Audiovisual active reading is a commonly practised activity in different fields. This creative process consists in describing, criticizing and building an analysis during the reading of a document. More and more tools aim at providing ways to perform part of this activity, built on diferent description models. However, the whole activity is lacking a full support. In this paper, we present our work on a unified model for active reading of audiovisual documents, taking into account each part of this activity. Our approach is based on active reading data and activity modeling so as to propose a pertinent, generic and adaptive model.
  • Olivier Aubert, Pierre-Antoine Champin, Yannick Prié. (2008) Advene, une plate-forme ouverte pour la construction d'hypervidéos in Ludovia 2008, Ax-les-Thermes, aug 2008, 10 pp. Show abstract Nous présentons le projet Advene et les enjeux abordés : 1/ la question du public visé et apte à s'emparer d'un nouvel outil pour construire de nouvelles pratiques ; 2/ la souplesse nécessaire pour permettre de développer des pratiques innovantes (qui pourra entrer en conflit avec la nécessaire convivialité d'un outil s'adressant à un large public) ; 3/ les enjeux soulevés par le projet qui dépassent largement des aspects techniques ou ergonomiques et posent également des questions sur le droit d'auteur.
  • Yannick Prié, Ilias Yocaris. (2007) Informatique et analyse filmique : indécidabilité et contagion sémiotique dans Epidemic de Lars von Trier in Semio 2007, 8pp. Show abstract D’un point de vue strictement technique, notre exposé vise à esquisser une méthode de travail permettant de créer de nouveaux outils stylistiques destinés à l’analyse filmique. Pour ce faire, nous nous proposons d’analyser le film de Lars Von Trier et Niels Vørsel Epidemic (1988 ; tourné en noir et blanc). Partant d’une étude détaillée du fonctionnement sémio-stylistique de ce film, nous entendons montrer : (1) Qu’il se présente comme un « système textuel » (cf. Metz 1971 : 107-108 et passim) découlant d’une série d’interactions extrêmement complexes entre différents codes sémiotiques (discursifs, picturaux, narratifs, génériques …) ; (2) Que sa dimension « pluri-codique » (Metz 1971 : 90) doit être décrite dans le cadre d’une approche résolument interdisciplinaire, permettant de conjoindre aux acquis de la sémiotique filmique une série de concepts empruntés à la stylistique textuelle (le concept riffaterrien de « convergence »), à la narratologie (le concept genettien de « métalepse narrative »), à la philosophie du langage (le concept goodmanien d’« exemplification », le concept derridien d’« indécidabilité ») etc. ; (3) Que l’efficacité d’une telle démarche d’analyse est démultipliée par l’utilisation d’outils informatiques adéquats, qui peuvent être développés ad hoc.
  • Pierre-Antoine Champin, Yannick Prié. (2007) Models for sustaining emergence of practices for hypervideo in International Workshop On Semantically Aware Document Processing And Indexing (SADPI'07), May 2007, 10pp. Show abstract The work presented in this paper aims at covering several domains: hypervideo modelling, document annotation, and practices sharing and emergence. It is based on the Advene project, providing a model and a prototype for creating, rendering and sharing annotations of audiovisual documents. After a presentation of the notion of multi-structurality in documents and a definition of hypervideos, we present the original Advene model. We then discuss some limitations observed in our model, and introduce a new model for hypervideos. We finally discuss related work with respect to our model, and raise the problem of the emergence of semantics in videos and hypervideos.
  • Olivier Aubert, Yannick Prié. (2007) Annotations de documents audiovisuels - Temporalisation et spatialisation in Atelier Interfaces pour l'annotation et la manipulation d'objets temporels : une comparaison des outils et des paradigmes dans le domaine musical et cinématographique, nov 2007, Paris. Show abstract Le prototype open-source Advene offre une plateforme pour l’intégration, la visualisation et l’échange de métadonnées sur des documents audiovisuels. Il permet aux utilisateurs de définir eux-mêmes, en fonction des tâches à effectuer, les structures des métadonnées et la manière de les visualiser. Il permet ainsi de mettre en ½uvre des pratiques de lecture active de documents audiovisuels. Nous présentons ici quelques éléments de réflexion sur la pratique d’annotation de documents temporalisés.
  • Bertrand Richard, Yannick Prié, Sylvie Calabretto. (2007) Lecture active de documents audiovisuels : organisation de connaissances personnelles par la structuration d’annotations in Ingénierie des Connaissances 2007, Grenoble, July 2007, 12 pp. Show abstract Au cours de la pratique de la lecture active, un lecteur manipule une quantité importante de connaissances, liées à sa pratique et au document étudié. Ces connaissances au coeur de l’activité sont amenées à évoluer afin de correspondre au mieux à la pratique du lecteur. Nous présentons dans cet article nos réflexions relatives à la construction et la manipulation de connaissances personnelles au cours de cette activité et à l’évolution de ces connaissances au fil de la pratique. Après étude des modèles existants, nous proposons un modèle de structuration de connaissances adapté aux contraintes de la lecture active et permettant de diffuser les différentes pratiques de la lecture active.
  • Olivier Aubert, Yannick Prié. (2007) Advene: an open-source framework for integrating and visualising audiovisual metadata in Open Source Competition: Technical presentation and overview paper, Proc. of ACM Multimedia Conference, Augsburg, sept. 2007, pp. 1005-1008. doi Show abstract The open-source Advene prototype offers a framework for integrating and visualising audiovisual metadata. It allows users to define by themselves, according to their specific tasks, the structure of the metadata as well as the different ways in which it should be visualised. By storing metadata and visualisation specifications independently from the audiovisual document, it allows to share analyses and comments on any audiovisual document. Its open nature and simple principles make it an ideal testbed for experimentation with new audiovisual metadata interaction modalities.
  • Olivier Aubert, Yannick Prié. (2006) Des vidéos aux hypervidéos : vers d'autres interactions avec les médias audiovisuels in Technique et science informatique, Vol 25, num 4, 2006, pp. 409-436, 2006. doi Show abstract La numérisation des documents permet d'en envisager des exploitations novatrices, comme la démontré le succès du web. La capacité des systèmes informatiques permet maintenant d'exploiter les documents audiovisuels, mais tous les concepts et outils ne sont pas encore présents. Afin de fournir un support à la réflexion sur les utilisations innovantes des documents audiovisuels numériques, nous présentons et discutons ici la notion d'hypervidéo, qui permet d'une part, d'analyser des instances existantes d'hypervidéos, et d'autre part, de donner un guide de construction pour des systèmes mettant en oeuvre les hypervidéos. Nous décrivons ensuite le projet Advene, qui vise à fournir une plate-forme permettant 1) la création d'hypervidéos (visualisations dynamiques et statiques de données associées à un médium audiovisuel) ; 2) l'échange des données et des vues associées, afin de permettre un travail collaboratif sur ce type de médium.
  • Olivier Aubert, Pierre-Antoine Champin and Yannick Prié. (2006) Integration of Semantic Web Technology in an Annotation-based Hypervideo System in SWAMM 2006, 1st International Workshop on Semantic Web Annotations for Multimedia, Held as part of the 15th World Wide Web Conference, May 2006, 12 pp. Show abstract This article discusses the integration of semantic web technologies (ontology and inference) into audiovisual annotation based models and systems. The Advene project, aimed at all purpose hypervideo generation from annotated audiovisual documents, is used as a testbed. Advene principles and the Advene prototype are first presented, before a discussion on how ontology and reasoning have been easily integrated into the Advene framework. Some motivating examples are proposed, and our proposals and related works are discussed.
  • Olivier Aubert, Yannick Prié. (2005) Des hypervidéos pour créer et échanger des analyses de documents audiovisuels in H2PTM 2005, Créer, jouer, échanger : expériences de réseaux, nov. 2005, Paris, 10 pp. Show abstract Les possibilités offertes par l'hypertexte ne sont pas encore très exploitées dès lors que l'on travaille avec des documents audiovisuels. Le besoin de métadonnées y est plus immédia- tement perceptible, la temporalité des documents pose des problèmes nouveaux en termes de manipulation et d'interaction, et la question des droits étant loin d'être réglée. Afin de pouvoir analyser les expérimentations novatrices actuelles dans ce domaine et éclairer la construction de nouveaux systèmes, nous présentons la notion d'hypervidéo comme cadre général mettant en évidence différentes dimensions des hypermédias à base de documents audiovisuels. Le projet open-source Advene nous permet de mener des expérimentations de mise en application des hypervidéos et fournit un support à l'innovation par le bas propice à l'émergence de nouveaux modes d'interaction audiovisuelle.
  • Olivier Aubert and Yannick Prié. (2005) Advene: Active Reading through Hypervideos in ACM Conference on Hypertext and Hypermedia 05, 2005, Salzburg, Austria, pp. 235-244. [AR:36%] doi Show abstract Active reading and hypermedia usage are an integral part of scholar daily practices, but the full exploitation of their potentialities still lies far ahead. In the search for new methods and tools, we focus in this article on the use of audiovisual material in a scholar context. One of the results of active reading applied to audiovisual material can be hypervideos, that we define as views on audiovisual documents associated with an annotation structure. The notion of hypervideo is useful to analyse existing video-based hypermedia systems as well as building new systems. The Advene project proposes an implementation of hypervideos through a framework that allows experimentations of new visualisation and interaction modalities for enriched videos.
  • Olivier Aubert, Yannick Prié. (2004) Documents audiovisuels instrumentés. Temporalités et détemporalisations dans les hypervidéos in Document numérique, numéro spécial : Temps et document, vol. 8, num. 4, pp.143-168, 2004. doi Show abstract Nous nous intéressons tout d’abord dans cet article aux documents audiovisuels et aux diverses temporalités qui leur sont liées. Après un état des lieux des possibilités actuelles des systèmes d’information audiovisuelle, nous définissons plus précisément ce que sont les hyper- vidéos, ou documents audiovisuels numériques instrumentés. Nous décrivons et illustrons alors un certain nombre des caractéristiques des objets hypervidéos en lien avec les temporalités dé- finies, qui en font des objets complexes. Nous présentons alors un début de cadre d’analyse des synchronisations entre temporalités des hypervidéos générées et vécues.
  • Olivier Aubert, Yannick Prié. (2004) From video information retrieval to hypervideo management in International Workshop on Multidisciplinary Image, Video, and Audio Retrieval and Mining. Sherbrooke-Canada, October 25-26 2004 Show abstract The digital revolution that has somehow taken place with the World-Wide Web took advantage of the availability and interoperability of tools for visualisation and manipulation of text-based data, as well as the satisfying pertinence of search engines results that makes them usable by non-expert users. If we are to undergo such a revolution in the audiovisual domain, a number of issues mainly related to the temporal nature of audiovisual documents have to be resolved. In this article, we expose our view of the current state of Audiovisual Information Systems, and suggest that they should be considered as video information management systems rather than video retrieval systems, in order to foster new uses of video information. We define the notion of hypervideo that can be used as an analysis framework for this issue. We then describe our implementation of hypervideos in the Advene framework, which is aimed at DVD material annotation and analysis. We eventually discuss how the notion of hypervideo puts video information retrieval in a somewhat different light.
  • Olivier Aubert, Pierre-Antoine Champin, Yannick Prié. (2003) Instrumentation de documents audiovisuels : temporalisations et détemporalisation dans le projet Advene in Workshop "Temps et documents numériques", Nov 2003, Grenoble, France. 2003 Show abstract Nous présentons dans cet article les différents éléments du modèle Advene pour représenter des annotations audiovisuelles, et présenter celles-ci à l’utilisateur sous la forme l’hypervidéos, documents hypermédias générés à partir du document audiovisuel original annoté et des annotations. Les hypervidéos sont des documents multimédias complexes, du fait de la part importante prise par l’élément vidéo, qui possède des temporalités particulières. Afin d’être à même de construire des hypervidéos conduisant à des utilisations novatrices du matériel audiovisuel, nous proposons un modèle d’analyse de celles-ci suivant différentes temporalités.

  Related software

  • Advene

  Additional comments

  Please use ACM Hypertext 2005 reference as main citation.

  Additional illustrations

  
• 

  Cinecast: Film enrichments and video metadata exchange

  Document Engineering Interpretation Systems Video Annotations

  Film enrichment in public film libraries and on the web. Exchange of film annotations on social networks. We worked on hypervideos models, and video annotations sharing.

  Details

  Partners: Researchers (LIRIS, IRI / Centre Pompidou, LIST / CEA, Telecom Paris Tech); major film libraries (Forum des Images, Cinémathèque française, BNF, BPI, INA); and industrial partners (NETIA, Globe Cast, Univers Ciné, lesite.tv, Jamespot, Exalead, Allociné, VodKaster).
  Funding: French Industry Ministry funding, FUI9 call
  Beginning: 2010-10-01
  End: 2012-12-31
  

  Related publications

  • Madjid Sadallah, Olivier Aubert, Yannick Prié. (2014) CHM: an Annotation- and Component-based Hypervideo Model for the Web in Multimedia Tools and Applications, 70(2), 869-903, may 2014 doi Show abstract Hypervideos are hypermedia documents that focus on video content. While they have long been deployed using specialized software or even hardware, the Web now offers a ground for them to fit into standardized languages and implementations. However, hypervideo design also currently uses very specific models limited to a single class of documents, or very generic hypermedia models that may not appropriately express their specific features. In this article we describe such features, and we introduce CHM, an annotation-driven and component-based model to conceptualize hypervideos through a high level operational specification. An extensible set of high level components is defined to emphasize the presentation and interaction features modeling, while lower level components offer more flexibility and customization opportunities. Being annotation-based, the model promotes a clear separation between video content/metadata and their various potential presentations. We also describe WebCHM, an implementation of CHM with standard Web technologies that provides a general framework to experiment with hypervideos on the Web. Two examples are provided as well as a preliminary usage study of the model and its implementation to validate our claims and proposals.
  • Yannick Prié, Vincent Puig. (2013) Nouveaux modes de perception active de films annotés in Cinéma, interactivité et société, direction, ouvrage, Université de Poitiers & CNRS, pp. 373-387. 2013 Show abstract Notre approche est à la fois théorique et technologique. Théoriquement, il s’agit de (re)penser nos rapports d’appropriation au sens large des ½uvres cinématographiques en s’appuyant sur les possibilités de perception active offertes par le numérique. Technologiquement, il s’agit alors de se donner les moyens de décrire et d’implémenter différents outils de perception active de corpus de films. La notion d’annotation audiovisuelle comme matérialisation première de toute rencontre avec celui-ci est à cet égard centrale et sert de base à la construction d’un cadre de pensée adéquat de la perception active. Nous décrivons quelques exemples d’outils de lecture active de films pour la critique et l'enseignement, ainsi que des dispositifs artistiques de restitution. Différentes questions de recherche en cours d’exploration sont enfin abordées et permettent d’illustrer la richesse des travaux en cours.
  • Madjid Sadallah, Olivier Aubert, Yannick Prié. (2011) Hypervideo and Annotations on the Web in Workshop on Multimedia on the Web 2011. Graz, Austria. Sept 2011. doi Show abstract Effective video-based Web information system deployment is still challenging, while the recent widespread of multimedia further raises the demand for new online audiovisual document edition and presentation alternatives. Hyper video, a specialization of hypermedia focusing on video, can be used on the Web to provide a basis for video-centric documents and to allow more elaborated practices of online video. In this paper, we propose an annotation-driven model to conceptualize hyper videos, promoting a clear separation between video content/metadata and their various potential presentations. Using the proposed model, features of hyper video are grafted to wider video-based Web documents in a Web standards-compliant manner. The annotation-driven hyper video model and its implementation offer a general framework to experiment with new interaction modalities for video-based knowledge communication on the Web.
  • Madjid Sadallah, Olivier Aubert, Yannick Prié. (2011) Component-based Hypervideo Model: high-level operational specification of hypervideos in ACM DocEng. Mountain View, California. pp. 53-56. Sept 2011. doi Show abstract Hypervideo offers enhanced video-centric experiences. Usually defined from a hypermedia perspective, the lack of a dedicated specification hampers hypervideo domain and concepts from being broadly investigated. This article proposes a specialized hypervideo model that addresses hypervideo specificities. Following the principles of component-based modeling and annotation-driven content abstracting, the Component-based Hypervideo Model (CHM) that we propose is a high level representation of hypervideos that intends to provide a general and dedicated hypervideo data model. Considered as a video-centric interactive document, the CHM hypervideo presentation and interaction features are expressed through a high level operational specification. Our annotation-driven approach promotes a clear separation of data from video content and document visualizations. The model serves as a basis for a Web-oriented implementation that provides a declarative syntax and accompanying tools for hypervideo document design in a Web standards-compliant manner.
  • Benoît Encelle, Pierre-Antoine Champin, Yannick Prié, Olivier Aubert. (2011) Models for Video Enrichment in Proceedings of the 11th ACM symposium on Document engineering. Mountain View, California. pp. 85-88. Sept 2011. doi Show abstract Videos are commonly being augmented with additional content such as captions, images, audio, hyperlinks, etc., which are rendered while the video is being played. We call the result of this rendering "enriched videos". This article details an annotation-based approach for producing enriched videos: enrichment is mainly composed of textual annotations associated to temporal parts of the video that are rendered while playing it. The key notion of enriched video and associated concepts is first introduced and we second expose the models we have developed for annotating videos and for presenting annotations during the playing of the videos. Finally, an overview of a general workflow for producing/viewing enriched videos is presented. This workflow particularly illustrates the usage of the proposed models in order to improve the accessibility of videos for sensory disabled people.

  Related software

  • Advene

  Additional comments

  This ambitious project was featuring a really great line up.

  Additional illustrations

  
• 

  DIADEME: Digital Instrument and Activity DEvelopMEnt

  Digital Instruments Experience analysis and modelling Interpretation Systems Trace-based Activity Analysis

  A small research program around the notion of Digital Instrument, and their co-evolution with humans, mainly related to Amaury Belin PhD thesis, as well as HdR writing. May be reactivated.

  Details

  Partners: LS2N
  Funding: Amaury Belin PhD funding, Atlanstic 2020
  Beginning: 2012-10-01
  End:
  

  Related publications

  • Amaury Belin, Yannick Prié, Aurélien Tabard. (2014) Supporting the Development of Digital Skills in Digital Intelligence, Nantes, France, sept 2014. Show abstract In a world where activities, goals and available software are rapidly changing, users must constantly adapt. In this position paper, we discuss how digital skills are different from traditional skills due to their highly dynamic na-ture, both in the tools used and the tasks to be carried out. We advocate the needs both for interdisciplinary theory to conceptualize digital skill develop-ment, and for longitudinal, large-scale and trace-based methods to observe such phenomenon. We illustrate how digital tools could better support users in the development of skills, highlighting how traces of interaction could be leveraged within reflective and skill-sharing tools.
  • Amaury Belin, Antipov Grigory, Julien Blanchard, Fabrice Guillet, Yannick Prié. (2014) Mining Users Skills Development From Interaction Traces: an exploratory study in Atelier Fouille visuelle de données temporelles, IHM 2013, Nov 2014, Bordeaux, France. 2p, 2014 Show abstract In this paper, we report an exploratory work related to the detection of user skills development from large interactions traces. We present a statistical approach to tackle the development of user's low level skills by identifying patterns of action and studying their progressive automations (i.e. as a user develops skills, they execute common subsequent actions faster) as well as their evolutions (i.e. user elaborating innovative ways to achieve a common task).
  • Amaury Belin, Yannick Prié. (2012) Towards a model for describing appropriation processes through the evolution of digital artifacts in Designing Interactive Systems DIS2012, pp. 645-654, Newcastle, June 2012. [AR:20%] doi Show abstract Appropriation of technology is a process by which users complete the work of designers by making interactive systems functional within the frame of their situated activities. While existing theories and studies about appropriation are oriented toward the psychological or organizational dimension of this process, we propose a model to describe it through evolutions of digital artifacts and information structures. We also present a case study demonstrating how this model helps to identify particular user operations, and related digital transformations, as a part of the appropriation process. These findings open perspectives to bridge scattered theoretical approaches of appropriation around a low-level, artifact-oriented, and objective way of describing appropriation. Our model could also improve the way appropriation is taken into account in design, by bringing more focus on technical aspects of interactive systems.
  • Yannick Prié. (2011) Vers une phénoménologie des inscriptions numériques. Dynamique de l’activité et des structures informationnelles dans les systèmes d’interprétation in Habilitation à Diriger des Recherches en Informatique, Université Claude Bernard Lyon 1, Nov 2011, 247 p. (Soutenue le 18 novembre 2011 à l'Université Claude Bernard Lyon 1 - Laboratoire LIRIS - UMR 5205 CNRS - École Doctorale Informatique et Information pour la Société) This study is mandatory to get a Professor position in France. The document is entitled Towards a Phenomenology of Digital Inscriptions. Dynamics of Activity and Informational Structures in Interpretation Systems. In the first chapter I first study the notion of inscription of knowledge as proposed by Bruno Bachimont. As I consider it is not sufficiently tied with human action and activity as considered by post-cognitivist theories, I propose to consider the notion of informational structures (structures informationnelles). Informational structures are digital inscriptions of knowledge that are actually manipulated by subjects during their computer-mediated activity, they can be canonical (explicitely manipulated by the system) or non canonical (but as such, they can become canonical if reified). The notion of informational structure is useful to study how digital inscriptions and activity are interwoven at different analysis levels, it is associated to the notion of information space that users enact during their activities, and enables to study at the individual level what could be called a phenomenology of digital inscriptions. In the second chapter of the document, I focus on explicit information spaces that users enact during knowledge work, and detail the notions of interpretation systems within which inscriptions of knowledge circulate. I present my work on video active reading and the Advene project. In the third chapter, I propose to define traces as inscriptions that are used during an activity as signs of the past, and I discuss the notion of interpretation systems that are dedicated to traces. I present my work on such systems, along first the Musette (Modelling Users and Tasks to Traces Experience) approach and then the mTBS (Modelled Trace-Based systems) approach.
    Examination committee: Nathalie Aussenac (Directeur de Recherche, CNRS, Toulouse; referee), Bruno Bachimont (Enseignant-Chercheur HDR, UT Compiè̀gne; referee), Sylvie Leleu-Merviel (Professeur, Université de Valenciennes; referee), Michel Beaudouin-Lafon (Professeur, Université Paris-Sud; examiner), Catherine Garbay (Directeur de Recherche, CNRS, Grenoble; examiner), Alain Mille (Professeur, Université Lyon 1; examiner), Pascal Salembier (Professeur, UT Troyes; examiner). Show abstract Ce mémoire est l'occasion de présenter nos travaux à l'Université Claude Bernard Lyon 1. Il est composé de trois parties, la première visant à proposer une thématisation originale des liens entre activité et inscriptions numériques de l'activité sous la forme de structures informationnelles, les deux suivantes étant consacrées à nos thématiques principales de recherche qui sont, d'une part la lecture active audiovisuelle et les systèmes d'interprétation, et d'autre part les systèmes à base de traces modélisées.
    Le premier chapitre est consacré à l'exploration des liens entre l'activité informatiquement médiée et les représentations qui y sont impliquées. Une première étude critique décrit la notion d'inscription de connaissances proposée par B. Bachimont au sein d'une théorie du support pour permettre de penser la rencontre ou l’expérience qu’une conscience fait des dispositifs technologiques et des inscriptions. Cette proposition vise à thématiser la numéricité des inscriptions et nous intéresse donc à ce titre, mais elle se révèle à notre sens insuffisante pour penser un individu actif engagé dans un processus de manipulation d'inscriptions. Une seconde étude est alors consacrée aux liens entre action, activité et inscriptions dans les théories dites « post-cognitivistes » de la cognition. Les inscriptions soutiennent l'activité et la sous-tendent tout à la fois, et nous nous intéresserons particulièrement aux inscriptions dans leur perception et leur manipulation par un être humain suivant la théorie instrumentale. Cependant, les inscriptions en tant qu'elles peuvent être numériques ne sont que peu thématisées. Notre dernière étude est orientée autour de la proposition de penser la notion de structure informationnelle et les instruments associés comme permettant d'articuler le monde numérique à l'activité humaine et l'activité humaine au monde numérique. Une structure informationnelle est une inscription numérique en acte, objectivable, mais non obligatoirement canonique, c'est-à-dire manipulée explicitement par le système. Cette proposition permet de penser le côté humain de l'activité instrumentée tout en conservant le calcul et les représentations associées comme préoccupation informatique. Nous présentons également la notion d'espace informationnel qu'un utilisateur énacte, et les directions de recherche ouvertes par nos propositions.
    Le deuxième chapitre est principalement consacré à la présentation de nos travaux sur les systèmes de lecture active audiovisuelle. Nous proposons d'abord une étude rapide sur le cadre général des technologies intellectuelles comme soutenant le travail intellectuel, l'activité ouverte d'interprétation et de manipulation d'inscriptions de connaissances personnelles. De telles inscriptions et réinscriptions se font au sein de ce que nous proposons d'appeler des systèmes d'interprétation qui offrent aux utilisateurs la possibilité de manipuler consciemment des structures informationnelles de toutes sortes, par exemple sous la forme de données, de schémas ou de feuilles de style et de formulaires, et de partager celles-ci comme réifications de pratiques. La lecture active audiovisuelle est une activité intellectuelle qui s'effectue dans un système d'interprétation permettant de construire des hypervidéos à partir d'annotations. Nous présentons alors nos travaux autour du projet Advene (Annotate Digital Video, Exchange on the NEt), notamment les modèles associés, l'outil générique Advene pour l'annotation et la construction d'hypervidéos, ainsi que quelques applications de lecture active associées à l'analyse des interactions et la critique filmique. Nous pouvons alors tirer un bilan des presque dix ans de ce projet et proposer quelques directions pour la suite.
    Le troisième et dernier chapitre présente essentiellement nos travaux sur les traces numériques. Nous définissons d'abord la notion de trace en général comme inscription permettant de viser le passé au cours d'une interprétation et présentons comment les traces d'activité médiées sont largement utilisées au sein de systèmes variés allant de l'analyse à la réflexivité. Nous considérons que l'enjeu est de manipuler des traces numérique explicites définies comme « inscriptions canoniques temporellement orientées » dans des systèmes d'interprétation orientés trace. Nous pouvons alors présenter la notion de trace modélisée comme un certain type de trace explicite, ainsi que nos travaux dans ce cadre depuis plus de dix ans : l'approche Musette, le cadre général des systèmes de base de traces modélisées (SBTm) ainsi que la formalisation des traces et des transformations pour construire des systèmes de gestion de bases de traces (SGBT). Différents travaux applicatifs sont ensuite présentés qui permettent d'illustrer les différentes utilisations des traces modélisées dans des contextes applicatifs variés, visant notamment le support à l'awareness, à la remémoration, à la réflexivité, à la redocumentation et au partage, ou encore à la reprise d'activité.

  Related software

  • GVMT
• 

  EPISTEME: Transdisciplinary epistemology of digital technologies

  Data Visualization Digital Instruments Interpretation Systems Reflective Systems Trace-based Activity Analysis

  Work on data analysis of astrophysical research activity, producing datavisualizations that highligh different processes related to observations, the organization of working groups, as well as the software "black boxes".

  Details

  Partners: IRI Centre Pompidou, LINA, LIRIS, CHS Paris 1, CEA Irfu, France Televisions, Mediapart
  Funding: French National Research Agency (ANR)
  Beginning: 2014-10-01
  End: 2018-02-28
  Website: https://projet-episteme.org/
  

  Additional comments

  The aim of this transdisciplinary program EPISTEME is first to identify the most characteristic aspects of the transformation of two chosen disciplines (astrophysics, history) in their relations to their objects under the effect of digital formalization. The other goal is to design instruments for the scientific communities of peers that allow contributive categorization, to support debates and controversies, based on the concept of transindividuation, and to articulate bottom-up -stemming from individual research activities- and top down processes -more or less local, laboratory-, school- or discipline-wide certification processes from peer community debates.

  We developed the Herschel Mission Explorer. We are currently working on a second version that will feature a general design overhaul.

  Additional illustrations

  
• 

  PAPM: Progressive Analytics and Pattern Mining

  Data Visualization Interpretation Systems Progressive analytics

  The project concentrates on the main difficulty of interactive mining, which is not post-mining interaction, nor pre-interaction mining, rather interaction and mining occurring at the same time. We focus on interaction for progressive analytics, our application is in progressive pattern mining of frequent event sequences of user activity traces.

  Details

  Partners: LS2N
  Funding: PhD funding
  Beginning: 2015-10-01
  End: 2018-12-31
  

  Related publications

  • Vincent Raveneau, Julien Blanchard, Yannick Prié. (2018) Progressive sequential pattern mining: steerable visual exploration of patterns with PPMT in Visualization in Data Science (VDS at IEEE VIS 2018), Berlin, Germany, 2018. [AR:30%] Show abstract The progressive visual analytics (PVA) paradigm has been proposed to describe visual analytics systems whose main goal is to reach a thorough coupling between the analyst and her system by getting rid of waiting periods classically encountered during data processing. PVA systems use algorithms that both provide intermediate results throughout their execution, and are steerable by the analyst to change the strategy used to perform the remaining computation. Our focus is on progressive sequential pattern mining, as in the seminal work of Stolper et al. (2014). Here we go further mainly by considering the temporal nature of patterns related to their occurrences. We propose a pattern-oriented data model, a pattern analysis task model, and guidelines for designing progressive pattern mining algorithms. We introduce PPMT, a tool to support an analyst progressively explore activity traces, based on a modification of the GSP algorithm. We evaluate our proposal on the technical performances of our progressive algorithm, and on the effect of steering on analysts' performances.
  • Vincent Raveneau, Julien Blanchard, Yannick Prié. (2016) Towards an open-source tool for pattern-based progressive analytics on interaction traces in Workshop "Event Event" at IEEE VIS 2016, Baltimore. 3p. Show abstract Due to the ever increasing use of data analysis tools, their performance has become an important scientific question, notably regarding the tools’ ability to assist the analyst using them. We present our first proposals toward building a data analysis tool allowing an analyst to interact with his pattern mining algorithm, while working with interaction traces. First, we present an architecture for such a system, based on the ideas of progressive analytics. We then present our work toward a first implementation of this architecture
  • Katy Tcha-Tokey, Toinon Vigier, Yannick Prié. (2016) Towards an Affordance-Based Approach for Scenario Modeling and Experience Assessment in VR in IEEE VIS 2016, Baltimore. oct. 2016. 2p (Poster) Show abstract Due to the ever increasing use of data analysis tools, their performance has become an important scientific question, notably regarding the tools’ ability to assist the analyst using them. We present our first proposals toward building a data analysis tool allowing an analyst to interact with his data mining algorithm, while working with interaction traces. First, we present an architecture for such a system, based on the ideas of progressive analytics. We then present the challenges that will need to be faced in future work.

  Related software

  • PPMT

  Additional illustrations

  

Select another theme:    Accessibility Affordances Data Visualization Digital Instruments Document Engineering Experience analysis and modelling Hypervideos Immersive Analytics Interpretation Systems Knowledge Engineering Learning Analytics Patient Experience Progressive analytics Reflective Systems Technology-Enhanced Learning Trace-based Activity Analysis Trace-based Systems VR and Psychotherapy Video Annotations Virtual Reality