Vision-based human action recognition for home assistance robotics
Reconnaissance d’actions humaines par vision pour la robotique d’assistance à l’autonomie à domicile
Résumé
In recent years, the development of robotics has enabled the use of robots in active assisted living (AAL). They are used at various levels to help vulnerable individuals, due to age, illness, or disability, achieve a certain level of autonomy. They can be used, for example, to assist with daily tasks or to alert caregivers or family members in case of dangerous or abnormal situations. Falls or immobility on the floor are important examples of such dangerous or abnormal situations.
Our thesis falls within the field of computer vision, and in particular that of human action recognition, which could be deployed in the context of home assistance robotics. We propose an approach for human action recognition based on semantic segmentation of human body parts, with a focus on the human body to address partial or slow movements and immobility. Indeed, in the context of home assistance robotics, it is essential to consider the movements of individuals, periods of immobility, as well as camera movements caused by the robot’s motion. The literature pays little attention to immobility and camera movements.
As part of validating our approach, many datasets for human action recognition are available, covering a wide range of general or daily activities, but they provide less coverage for abnormal situations. When specific actions are available, they are often not adapted to the context of home assistance robotics. To validate our approach, we also propose a new dataset that covers specific situations useful in the context of home assistance.
In our thesis, we investigate the optimal pairing of input modalities and architectures for human action recognition in the context of home assistance robotics. Our study resembles an optimization problem, where each architecture is associated with a subset of input modalities. Our goal is to maximize the accuracy of the action recognition system. Optimization is based on an objective function that evaluates the performance of each modality-architecture combination in terms of accuracy. In this process, we take into account the specificities of different architectures. Our experimental study will allow us to determine the best modality architecture combinations, thus contributing to the development of a robust and efficient solution for home assistance robotics.
Ces dernières années, le développement de la robotique a permis l’utilisation de robots dans l’assistance au maintien à domicile (AAD). Ils sont utilisés à différents niveaux pour permettre aux personnes vulnérables, en raison de leur âge, d’une maladie ou d’un handicap, d’acquérir un certain niveau d’autonomie. Ils peuvent être utilisés, par exemple, pour aider à accomplir des tâches quotidiennes ou pour alerter les soignants ou les membres de la famille en cas de situation dangereuse ou anormale. La chute ou l’immobilité sur le sol sont des exemples importants de ces situations dangereuses ou anormales.
Notre thèse s’inscrit dans le domaine de la vision par ordinateur, et en particulier dans celui de la reconnaissance des actions humaines qui serait déployé à terme dans le contexte de la robotique d’assistance au maintien à domicile. Nous proposons une approche pour la reconnaissance des actions humaines basée sur la segmentation sémantique des parties du corps humain, afin de se concentrer sur le corps humain et de traiter les mouvements partiels ou lents ainsi que l’immobilité. En effet, dans le contexte de la robotique d’assistance au maintien à domicile, il est essentiel de considérer les mouvements des personnes, les périodes d’immobilité, ainsi que les mouvements de la caméra provoqués par le déplacement du robot. La littérature accorde peu d’attention aux immobilisations et aux mouvements de caméra.
Dans le cadre de la validation de notre approche, de nombreux ensembles de données destinés à la reconnaissance des actions humaines sont disponibles et couvrent un large éventail d’activités générales ou quotidiennes, mais ils couvrent moins le cas des situations anormales. Lorsque des actions spécifiques sont disponibles, elles ne sont souvent pas adaptées au contexte de la robotique d’assistance. Pour valider notre approche, nous proposons également un nouveau jeu de données qui couvre certaines situations spécifiques utiles dans le contexte de l’assistance au maintien à domicile.
Dans notre thèse, nous étudions le meilleur couplage entre les modalités d’entrée et les architectures de reconnaissance d’actions humaines pour une application dans un robot d’assistance au maintien à domicile. Notre étude s’apparente à un problème d’optimisation, où chaque architecture est associée à un sous-ensemble de modalités d’entrée. Notre objectif est de maximiser la précision du système de reconnaissance d’actions. L’optimisation repose sur une fonction objectif évaluant les performances de chaque combinaison modalité-architecture en termes de précision. Dans ce processus, nous prenons en considération les spécificités des différentes architectures. Notre étude expérimentale nous permettra de déterminer les meilleures associations modalité-architecture, contribuant ainsi à la création d’une solution robuste et efficace pour la robotique d’assistance au maintien à domicile.
Origine : Fichiers produits par l'(les) auteur(s)