Vous êtes ici : UVSQ RechercheDoctoratSoutenances de thèse

'Architecture sémantique d'interaction multimodale pour l'intelligence ambiante' par Sébastien Dourlens

Présentée par : Sébastien Dourlens Discipline : Génie Informatique, Automatique et Traitement du signal Laboratoire : LISV

Résumé :
Il existe encore de nombreux domaines dans lesquels des moyens doivent être explorés pour améliorer l'interaction homme-système. Ces systèmes doivent avoir la capacité de tirer avantage de l'environnement pour améliorer l'interaction. Et ceci afin d'étendre les capacités du système (machine ou robot) dans le but de se rapprocher du langage naturel utilisé par les êtres humains. Nous proposons une méthodologie pour résoudre le problème d'interaction multimodale adaptée aux différents contextes en définissant et modélisant une architecture distribuée qui s'appuie sur les standards du W3C et des services Web (agents sémantiques et services d'entrée / sortie) qui travaillent dans un environnement d'intelligence ambiante. Cette architecture est réalisée en utilisant le modèle des systèmes multi-agents. Afin d'atteindre cet objectif, nous avons besoin de modéliser l'environnement en utilisant un langage de représentation des connaissances et de communication (EKRL, Ontologie). Le modèle de l'environnement obtenu est utilisé dans deux principaux processus d'inférence sémantique: la fusion et la fission des événements à différents niveaux d'abstraction. Ces opérations sont sensibles au contexte. Le système de fusion interprète, comprend l'environnement et détecte le scénario qui se passe. Le système de fission interprète le scénario, le divise en tâches élémentaires et exécute les tâches qui nécessitent la découverte, la sélection et la composition de services appropriés dans l'environnement pour répondre aux différents objectifs. L'adaptation au contexte de l’environnement est basée sur la technique d'apprentissage par renforcement multi-niveaux. L'architecture globale de fusion et fission est validée et développée dans notre framework (agents, services, concentrateurs EKRL) par l'analyse de différentes performances sur des cas d'utilisation tels que la surveillance et l'assistance dans les activités quotidiennes à la maison et en ville.

Abstract :
There still exist many fields in which ways are to be explored to improve the human-system interaction. These systems must have the capability to take advantage of the environment in order to improve interaction. This extends the capabilities of system (machine or robot) to better reach natural language used by human beings. We propose a methodology to solve the multimodal interaction problem adapted to several contexts by defining and modelling a distributed architecture relying on W3C standards and web services (semantic agents and input/output services) working in ambient intelligence environment. This architecture is embedded in a multi-agent system modelling technique. In order to achieve this goal, we need to model the environment using a knowledge representation and communication language (EKRL, Ontology). The obtained semantic environment model is used in two main semantic inference processes: fusion and fission of events at different levels of abstraction. They are considered as two context-aware operations. The fusion operation interprets and understands the environment and detects the happening scenario. The multimodal fission operation interprets the scenario, divides it into elementary tasks, and executes these tasks which require the discovery, selection and composition of appropriate services in the environment to accomplish various aims. The adaptation to environmental context is based on multilevel reinforcement learning technique. The overall architecture of fusion and fission is validated under our framework (agents, services, EKRL concentrator), by developing different performance analysis on some use cases such as monitoring and assistance in daily activities at home and in the town.
Informations complémentaires
Alain ABRAN, Professeur des Universités, à l’Ecole de Technologie Supérieure (ETS) - Montréal (Canada) - Rapporteur
Flavio OQUENDO, Professeur des Universités, à l’Université de Bretagne-Sud - Vannes - Rapporteur
Amar RAMDANE-CHERIF, Professeur des Universités, à l’Université de Versailles Saint-Quentin-en-Yvelines /Laboratoire d’Ingénierie et des Systèmes de Versailles (LISV) - Velizy - Directeur de thèse
Yasuhisa HIRATA, Professeur Associé, à l’Université de Tohoku - Sendai (Japon) - Examinateur
Nicole LEVY, Professeur des Universités, au Conservatoire National des Arts et Métiers (CNAM) - Paris - Examinateur
Frédéric MIGEON, Maître de Conférences, à l’Université Paul Sabatier/Institut de Recherche en Informatique de Toulouse (IRIT) - UMR 5505 - Toulouse - Examinateur
Jean-Denis MULLER, Chercheur au CEA - Examinateur
Contact :
dredval service FED :