Ceci est une ancienne révision du document !
Table des matières
Décomposition par bloc
- Lien scène et lunette
- Estimation de la pose des lunettes dans la scène (localisation)
- Restitution 3D de la scène (cartographie)
- Reconnaître et suivre des objets d’intérêt
- Reconnaître les types de scène, l'associer à une situation, des activités.
- Lien tête/yeux et lunette
- Estimation de la position et l'orientation de la tête ou des yeux par rapport aux lunettes
- Affichage sur les lunettes
- Affichage 3D d'éléments sur les verres/filtres devant les yeux
- Affichage avec contrôle de la distance de focalisation
- Affichage d'éléments en contexte (luminosité et texture de la scène)
- Environnement sonore
- Acquisition de l'environnement sonore 3D (localisation)
- Reconnaissance des types de son
- Reconnaissance de voix et du contenu du dialogue
- Restitution 3D d'un son
Entrée et sortie des blocs
- Lien scène et lunette
- Fonction localisation des lunettes
- Entrée : scène 3D (nuage de points)
- Sortie : pose des lunettes (R,t)
- Fonction Cartographie de la scène
- Entrée : /
- Sortie : scène 3D (nuage de points)
- Fonction reconnaître et suivre des objets d'intérêt
- Entrée : type de scène, scène 3D (nuage de points), commande/action de l'utilisateur
- Sortie : nature de l'objet d'intérêt et leur position dans la scène
- Fonction reconnaitre le type de scène
- Entrée : scène 3D (nuage de points)
- Sortie : type de scène
- Lien tête/yeux et lunette
- Fonction localisation de la tête ou des yeux
- Entrée : /
- Sortie : pose des yeux (R,t)
- Affichage sur les lunettes
- Fonction affichage d'éléments 3D
- Entrée : pose des yeux (R,t), pose des lunettes (R,t), position dans la scène de l'élément à afficher
- Sortie : position de l'élément à afficher sur les deux verres (u1,v1) et (u2,v2)
- Fonction contrôle de la distance de focalisation lors de l'affichage d'éléments
- Entrée : pose des lunettes (R,t), position dans la scène de l'élément à afficher, position de l'élément à afficher sur les deux verres (u1,v1) et (u2,v2)
- Sortie : distance de focalisation ajustée en fonction de la distance entre l'élément et la lunette
- Fonction affichage d'éléments en contexte (luminosité et texture de la scène)
- Entrée : scène 3D (nuage de points, couleurs, contraste et texture locale), position dans la scène de l'élément à afficher, position de l'élément à afficher sur les deux verres (u1,v1) et (u2,v2)
- Sortie : Affichage d'éléments en contexte, intégré à l'environnement.
- Environnement sonore
- Non traité pour le moment
Cas limites, risques et tests à effectuer
à compléter
- Lien scène et lunette
- A partir de quelle erreur d'estimation de la pose de la lunette, le porteur de lunette remarque une différence ?
- Lien tête/yeux et lunette
- A partir de quelle erreur d'estimation de la pose de la tête (ou des yeux) par rapport à la lunette, le porteur de lunette remarque une différence ?
- Affichage sur les lunettes
- Répondre à la résolution limite de l’œil (~1 arcmin)
- Quel est l'effet ressenti par le porteur de lunette, lorsque la distance de focalisation de l'élément affiché ne correspond pas à sa position dans la scène ?
- Quel est l'effet ressenti par le porteur de lunette, lorsque la texture ou le contraste de l'élément affiché ne correspond pas au reste de la scène ?
- Quel est l'effet ressenti par le porteur de lunette, lorsque des éléments apparaissent ou disparaissent soudainement de la scène ?
- Quel est l'effet ressenti par le porteur de lunette, lorsque des éléments restent constamment dans le champs de vision ?
- Quel est l'impacte de la direction du regard sur l'affichage des éléments sur les verres ? Est-ce que la position et l'orientation des yeux a une importance ou est-ce que la position seulement suffit ?
- Environnement sonore
- Non traité pour le moment
Implémentation possible
à compléter
- Lien scène et lunette
- Fonction localisation des lunettes
- Outils hardware :
- vicon
- système monoculaire
- système binoculaire
- système RGBD
- IMU (accéléromètre, gyromètre, magnétomètre)
- Outils software/algorithmique :
- SLAM, SLAM visuel, filtre de Kalman
- Ordre d'implémentation, rapidité (déjà sur étagère) et simplicité d'implémentation :
- position de la tête fixe et connue
- vicon (déjà sur étagère, grande précision sur l'estimation de pose)
- Système RGBD (ou système binoculaire) + IMU
- Fonction cartographie de la scène
- Outils Hardware :
- idem
- Outils Software/algorithmique :
- idem
- Ordre d'implémentation, rapidité (déjà sur étagère) et simplicité d'implémentation :
- position d'élément de la scène fixe et connue
- système RGBD (ou système binoculaire) + IMU
- Fonction reconnaître et suivre des objets d'intérêt
- Outils hardware : idem
- Outils software/algorithmique : filtre de Kalman pour l'estimation de la pose des objets
- Ordre d'implémentation, rapidité (déjà sur étagère) et simplicité d'implémentation :
- idem
- Fonction reconnaitre le type de scène
- Non traité pour le moment
- Lien tête/yeux et lunette
- Fonction localisation de la tête ou des yeux
- Outils hardware : eye tracker
- Outils software/algorithmique : pas à notre charge
- Ordre d'implémentation, rapidité (déjà sur étagère) et simplicité d'implémentation :
- pose de la tête ou des yeux fixe et connue
- eye tracker (Il faut être capable de récupérer R et t de la pose de la tête ou des yeux relativement à la lunette)
- Affichage sur les lunettes
- Fonction affichage d'éléments 3D
- Outils hardware :
- filtre : afficheur LCD démonté
- lunette avec verre transparent et projection d'hologramme
- lunette immersive où on restitue en fond de scène l'environnement réel
- Outils software/algorithmique : géométrie projective, modèle de caméra trou d'épingle, homographie entre différent repère de travail (scène, lunette/filtre, œil)
- Fonction contrôle de la distance de focalisation lors de l'affichage d'éléments
- Non traité pour le moment
- Fonction affichage d'éléments en contexte (luminosité et texture de la scène)
- Non traité pour le moment
- Environnement sonore
- Non traité pour le moment
Lien scène et lunette : exemple de matériel
camera stereo ueye
ToF (time of light) camera
Kinect (issue de Microsoft, hardware design par PrimeSenze racheté par Apple)
Creative senz3d (portée de 15 à 99 cm) : http://fr.creative.com/p/web-cameras/creative-senz3d
Depth Senze 325 (par Sorftkinetic, protée de 15 à 100 cm) : http://www.softkinetic.com/Store/tabid/579/ProductID/6/language/fr-BE/Default.aspx
Camboard (par pmdtechnologies, portée 20 à 100 cm) : http://pmdtec.com/products_services/reference_design_pico_pico_s.php
lens array camera
Pelican camera par Pelican imaging (rachetée par Nokia, 16 lens array camera) : http://www.pelicanimaging.com/technology/camera.html
Lien tête/yeux et lunette : exemple de matériel
eye tracker
Affichage sur les lunettes : exemple de matériel
écran LCD avec électronique déportable
nécessite une nappe pour deporter l'electronique: http://nicelcd.en.ec21.com/HAMI_8_TFT_LCD_TV--1111736_1112457.html
exemple de vp avec le hami 8: http://www.allinbox.com/vinzz/vinzz.htm
différents vp avec tft: http://www.allinbox.com/retrotft.php et http://www.allinbox.com/DIY_AUDVID/DIY_AUDVID.php
écran 7“ pour raspberry pi et convertisser HDMI/VGA: http://www.sainsmart.com/7-inch-tft-lcd-monitor-for-raspberry-pi-touch-screen-driver-board-hdmi-vga-2av-1.html
écran 128*64 pixel N/B: http://fr.farnell.com/jsp/search/browse.jsp?N=2014+202998&Ntk=gensearch&Ntt=lcd+graphique+128&Ntx=mode+matchallpartial
http://fr.farnell.com/midas/mc128064c6w-fptlw/lcd-128x64-fstn-blanc-b-l/dp/2063191