Internal Seminars
Sofiane Boucenna, 13 décembre 2013
ISIR, UPMC
Extraction of social signatures during an imitation game between a robot and a human
Nous proposons un modèle permettant de comprendre comment un robot peut développer de manière autonome la reconnaissance d'un ensemble de postures. Le robot apprend la tâche à travers un jeu d'imitation avec l'humain. Durant la période d'apprentissage, le robot produit des postures et l'humain l'imite. A la manière d'un bébé humain, être imité permet au robot d'apprendre à associer ce qu'il fait avec ce qu'il voit, puisqu'il voit l'autre (le partenaire humain) réaliser ses propres actions. Il est ainsi possible d'apprendre cette tâche grâce à une architecture sensori-motrice. D'autre part, nous souhaitons évaluer l'effet de plusieurs groupes de partenaires (adultes, enfants typiques et enfants avec autismes) sur l'apprentissage du robot. Plusieurs métriques ont été utilisées pour montrer l'impact des différents groupes de partenaires sur l'apprentissage du robot. Les résultats montrent que le robot réagit différemment selon le partenaire interagissant avec lui.
Stéphane Michelet, 13 décembre 2013
ISIR, UPMC
Unsupervised imitation measurement in a dyadic interaction
La détection d’événements sociaux comme l'imitation est une des clés de voûte du développement de robots socialement adaptés. Dans cette présentation, nous proposons une approche non supervisée afin de mesurer l’imitation asynchrone entre deux partenaires. Le modèle proposé se décompose en deux étapes : la détection/caractérisation de points d'intérêts et l'évaluation de la similarité entre les actions. Tout d'abord, des points spatio-temporels sont détectés afin de sélectionner les informations les plus importantes dans les vidéos. Puis des modèles "bag-of-word" sont construits afin de décrire le contenu visuel des vidéos. Enfin la similarité est calculée entre les bag-of-words grâce à une mesure dynamique, le dynamic-time-warping, permettant d'avoir une mesure de l'imitation entre les partenaires. Les résultats expérimentaux démontrent l'efficacité de la méthode permettant de différencier l'imitation de la non-imitation.
Anne-Claire Conneau, 13 décembre 2013
LTCI, Telecom ParisTech
Feature extraction for emotion recognition from EEG
Le choix de caractéristiques appropriées pour la reconnaissance automatique des émotions basée sur des signaux électro-encéphalographiques (EEG) reste à ce jour une question de recherche ouverte. Dans nos travaux, nous explorons un large éventail de caractéristiques qui pourraient être utiles en les comparants aux propositions précédentes par une évaluation expérimentale rigoureuse en utilisant un protocole de validation croisée strict. Dans le but de discriminer les émotions positives et négatives, nous évaluons l'efficacité des nouvelles caractéristiques spectrales, tant dans des configurations EEG multi-canaux que canal unique. L'évaluation est réalisée sur la base de données ENTERFACE'06 qui nous permet d'étudier le comportement des caractéristiques sur différents sujets. Nos résultats démontrent l'utilité de nouvelles caractéristiques spectrales, même dans les systèmes mono-canal. Nous observons également que la sélection optimale des caractéristiques est très dépendante au sujet. Enfin, en combinant différents groupes de caractéristiques, nous trouvons que la précision de la reconnaissance suivant la valence peut s’élever à 78%.
Jérémy Nicolle, 13 décembre 2013
Automatic prediction of emotions from audio-visual flow
ISIR, UPMC
Différentes représentations sont utilisées pour caractériser les émotions. Elles peuvent être très descriptives (les Action-Units correspondent à des mouvements musculaires faciaux), ou plus interprétées (les six émotions basiques d'Ekman, par exemple).
Dans le cadre d'AVEC'12 (Audio/Visual Emotion Challenge), qui visait à prédire de manière automatique les émotions dans un espace continu à partir de vidéos d'interactions humain-avatar, nous avons proposé un système basé sur des descripteurs dynamiques obtenant des résultats prometteurs. Nous extrayons dans un premier temps des descripteurs caractérisant la dynamique des mouvements faciaux, ainsi que des descripteurs audio. Une sélection intégrant une modélisation de la latence lors des annotations est ensuite effectuée, puis des régressions par noyaux sont réalisées avant une étape de fusion des différentes modalités.
Brian Ravenet, 13 décembre 2013
Modeling the social attitude of a conversational agent through his non-verbal behavior
LTCI, Telecom ParisTech
Suivant l'attitude que nous souhaitons exprimer, notre comportement non-verbal change. Une attitude amicale se traduira par une distance plus proche avec notre interlocuteur, plus de contacts, de regards ou de sourire par exemple. A l'inverse, une attitude hostile se traduira par moins de gestes, plus d'évitements de regards et d'expressions faciales négatives. En partant des travaux en Sciences Humaines et Sociales, nous avons développé un modèle computationnel, construit sur la perception qu'a un utilisateur d'un agent, qui influence le comportement non-verbal de celui-ci en fonction de l'attitude qu'il exprime.
Sabrina Campano, 13 décembre 2013
Alignment and engagement in an interaction between a human and a Conversational Agent
LTCI, Telecom ParisTech
Les Agents Conversationnels Animés (ACAs) sont des personnages virtuels dotés de capacités leur permettant de communiquer (par exemple : parole, expressions faciales). Un ACA est généralement conçu pour remplir un objectif, comme inciter le visiteur d’un musée à regarder plusieurs œuvres d’art. Afin que l’ACA puisse atteindre cet objectif, il est essentiel que l’utilisateur humain reste engagé, c’est-à-dire impliqué, dans l’interaction avec l’ACA. Il faut pour cela savoir mesurer l’engagement de l’utilisateur et le favoriser. Dans une conversation humain-humain, l’engagement pourrait dépendre du phénomène d’alignement. L’alignement désigne par exemple le fait qu’un participant de la conversation reprenne les mêmes mots ou effectue les mêmes gestes que l’autre participant. Dans cette présentation, nous aborderons les travaux réalisés à ce sujet dans l’équipe GRETA, dans le cadre du projet européen A1 :1. Dans notre travail, nous faisons l’hypothèse que l’alignement peut être un indice et un facteur de l’engagement dans une conversation humain-agent. Nous expliquerons quelles sont les méthodes possibles pour mesurer l’alignement, et quelles peuvent être les stratégies pour le favoriser dans une interaction humain-agent.
Chloë Leclère, Marie Avril, 13 décembre 2013
Modeling and computational analysis of synchrony in early mother-child interactions with a severe emotional neglect
ISIR, UPMC
SYNED-PSY est un projet pluridisciplinaire, à l'interface de la pédopsychiatrie, de la psychologie du développement, du traitement des signaux sociaux et des neurosciences computationnelles. Il aspire à développer des outils d'ingénierie pour détecter et évaluer la synchronie et la dyssynchronie entre des partenaires impliqués dans des interactions pendant les premiers temps de développements pathologiques.
Notre recherche vise spécifiquement à modéliser la synchronie dans les interactions précoces mère-enfant (1-3 ans) en situation de négligence émotionnelle sévère. Ces situations sont caractérisées par une absence ou une perturbation des interactions de l’enfant avec au moins un fournisseur de soins en mesure d’identifier et d’interpréter ses signaux correctement et d’y répondre de manière attentive et adaptée (Wotherspoon, Gough, 2008).
A partir d'un protocole vidéo, le développement d'un système d'acquisition et de traitement computationnel multimodal de la synchronie permettra d'aboutir à une modélisation qui sera justifiée cliniquement. Cela offrira aux cliniciens un nouvel outil pour l'étude clinique des interactions.
Floriane Dardart, 13 décembre 2013
Multimodal analysis of musical scenes and interaction with an emotional agent
LTCI, Telecom ParisTech
Ce travail s'articule autour de l'analyse et de la reconnaissance automatique des émotions transmises dans un flux musical audio-visuel, et de leur intégration dans un système d’interaction humain- machine. Il s'agit de développer un système de classification émotionnelle permettant aux robots de réagir à la performance d'un musicien selon son expressivité. Deux étapes de ce processus : en premier lieu, la modélisation des émotions transmises. Tout comme le robot utiliserait uniquement ses capteurs, l'analyse d'émotions sera effectuée à partir de mesures non intrusives, grâce à des caméras ou à des capteurs de mouvement, ainsi que des microphones. Ces données hétérogènes seront fusionnées de manière à entraîner un classificateur multimodal. En deuxième lieu, l'étude des émotions induites par le musicien et la réaction émotionnelle du robot à ce flux. Une attention particulière sera accordée à la manière d'exprimer les réactions émotionnelles par les robots, qui sera un « feedback » au musicien et lui permettra de décider de l'évolution de sa performance. Cette situation pourra alors se généraliser à n'importe quelle autre situation audio-visuelle, par exemple des vidéos musicales, en modifiant la base de données d'apprentissage des émotions.
Hao Li, 13 décembre 2013
Human aware motion planner
ISIR, UPMC
La navigation est une fonction préalable pour les applications de robots mobiles. Un robot mobile, qui navigue d'un point départ à un point but, doit faire attention à certains critériums opérationelles telles que l'efficacité et la sécurité de navigation. Une traditionelle planificateur de movement robot ("robot motion planner" en anglais) vise souvent à chercher un trajet le plus court qui connecte le point départ au point but et qui est libre de collisions d'obstacles. A mesure que les robots mobiles entrent de plus en plus dans notre vie, on a besoin de planificateurs de mouvement plus avantageuses qui peuvent bien tenir compte de l'existence de humains dans l'environnement et ne les traitent pas simplement de "obstacles" à éviter. En d'autres termes, on a besoin de planificateurs de mouvement conscientes de humains ("human aware motion planner" en anglais).
Dans ma présentation, je vais présenter une état de l'art sur la planification de mouvement consciente de humains. D'ailleurs, je vais faire remarquer un défaut qu'ont la plupart de méthodes existantes et je vais communiquer notre tentative envisagée pour régler ce défaut.
Serena Ivaldi, 13 décembre 2013
Engagement in social tasks with iCub: preliminary results and experiments planned within EDHHI
ISIR, UPMC
Jules Françoise, 13 décembre 2013
Action-Sound interaction
STMS, IRCAM