Outils pour utilisateurs

Outils du site


Action disabled: diff
protolunette

Ceci est une ancienne révision du document !


Décomposition par bloc

  1. Lien scène et lunette
    1. Estimation de la pose des lunettes dans la scène (localisation)
    2. Restitution 3D de la scène (cartographie)
    3. Reconnaître et suivre des objets d’intérêt
    4. Reconnaître les types de scène, l'associer à une situation, des activités.
  2. Lien tête/yeux et lunette
    1. Estimation de la position et l'orientation de la tête ou des yeux par rapport aux lunettes
  3. Affichage sur les lunettes
    1. Affichage 3D d'éléments sur les verres/filtres devant les yeux
    2. Affichage avec contrôle de la distance de focalisation
    3. Affichage d'éléments en contexte (luminosité et texture de la scène)
  4. Environnement sonore
    1. Acquisition de l'environnement sonore 3D (localisation)
    2. Reconnaissance des types de son
    3. Reconnaissance de voix et du contenu du dialogue
    4. Restitution 3D d'un son

Entrée et sortie des blocs

  1. Lien scène et lunette
    1. Fonction localisation des lunettes
      1. Entrée : scène 3D (nuage de points)
      2. Sortie : pose des lunettes (R,t)
    2. Fonction Cartographie de la scène
      1. Entrée : /
      2. Sortie : scène 3D (nuage de points)
    3. Fonction reconnaître et suivre des objets d'intérêt
      1. Entrée : type de scène, scène 3D (nuage de points), commande/action de l'utilisateur
      2. Sortie : nature de l'objet d'intérêt et leur position dans la scène
    4. Fonction reconnaitre le type de scène
      1. Entrée : scène 3D (nuage de points)
      2. Sortie : type de scène
  2. Lien tête/yeux et lunette
    1. Fonction localisation de la tête ou des yeux
      1. Entrée : /
      2. Sortie : pose des yeux (R,t)
  3. Affichage sur les lunettes
    1. Fonction affichage d'éléments 3D
      1. Entrée : pose des yeux (R,t), pose des lunettes (R,t), position dans la scène de l'élément à afficher
      2. Sortie : position de l'élément à afficher sur les deux verres (u1,v1) et (u2,v2)
    2. Fonction contrôle de la distance de focalisation lors de l'affichage d'éléments
      1. Entrée : pose des lunettes (R,t), position dans la scène de l'élément à afficher, position de l'élément à afficher sur les deux verres (u1,v1) et (u2,v2)
      2. Sortie : distance de focalisation ajustée en fonction de la distance entre l'élément et la lunette
    3. Fonction affichage d'éléments en contexte (luminosité et texture de la scène)
      1. Entrée : scène 3D (nuage de points, couleurs, contraste et texture locale), position dans la scène de l'élément à afficher, position de l'élément à afficher sur les deux verres (u1,v1) et (u2,v2)
      2. Sortie : Affichage d'éléments en contexte, intégré à l'environnement.
  4. Environnement sonore
    1. Non traité pour le moment

Cas limites, risques et tests à effectuer

à compléter

  1. Lien scène et lunette
    1. A partir de quelle erreur d'estimation de la pose de la lunette, le porteur de lunette remarque une différence ?
  2. Lien tête/yeux et lunette
    1. A partir de quelle erreur d'estimation de la pose de la tête (ou des yeux) par rapport à la lunette, le porteur de lunette remarque une différence ?
  3. Affichage sur les lunettes
    1. Répondre à la résolution limite de l’œil (~1 arcmin)
    2. Quel est l'effet ressenti par le porteur de lunette, lorsque la distance de focalisation de l'élément affiché ne correspond pas à sa position dans la scène ?
    3. Quel est l'effet ressenti par le porteur de lunette, lorsque la texture ou le contraste de l'élément affiché ne correspond pas au reste de la scène ?
    4. Quel est l'effet ressenti par le porteur de lunette, lorsque des éléments apparaissent ou disparaissent soudainement de la scène ?
    5. Quel est l'effet ressenti par le porteur de lunette, lorsque des éléments restent constamment dans le champs de vision ?
    6. Quel est l'impacte de la direction du regard sur l'affichage des éléments sur les verres ? Est-ce que la position et l'orientation des yeux a une importance ou est-ce que la position seulement suffit ?
  4. Environnement sonore
    1. Non traité pour le moment

Implémentation possible

à compléter

  1. Lien scène et lunette
    1. Fonction localisation des lunettes
      1. Outils hardware :
        1. vicon
        2. système monoculaire
        3. système binoculaire
        4. système RGBD
        5. IMU (accéléromètre, gyromètre, magnétomètre)
      2. Outils software/algorithmique :
        1. SLAM, SLAM visuel, filtre de Kalman
      3. Ordre d'implémentation, rapidité (déjà sur étagère) et simplicité d'implémentation :
        1. position de la tête fixe et connue
        2. vicon (déjà sur étagère, grande précision sur l'estimation de pose)
        3. Système RGBD (ou système binoculaire) + IMU
    2. Fonction cartographie de la scène
      1. Outils Hardware :
        1. idem
      2. Outils Software/algorithmique :
        1. idem
      3. Ordre d'implémentation, rapidité (déjà sur étagère) et simplicité d'implémentation :
        1. position d'élément de la scène fixe et connue
        2. système RGBD (ou système binoculaire) + IMU
    3. Fonction reconnaître et suivre des objets d'intérêt
      1. Outils hardware : idem
      2. Outils software/algorithmique : filtre de Kalman pour l'estimation de la pose des objets
      3. Ordre d'implémentation, rapidité (déjà sur étagère) et simplicité d'implémentation :
        1. idem
    4. Fonction reconnaitre le type de scène
      1. Non traité pour le moment
  2. Lien tête/yeux et lunette
    1. Fonction localisation de la tête ou des yeux
      1. Outils hardware : eye tracker
      2. Outils software/algorithmique : pas à notre charge
      3. Ordre d'implémentation, rapidité (déjà sur étagère) et simplicité d'implémentation :
        1. pose de la tête ou des yeux fixe et connue
        2. eye tracker (Il faut être capable de récupérer R et t de la pose de la tête ou des yeux relativement à la lunette)
  3. Affichage sur les lunettes
    1. Fonction affichage d'éléments 3D
      1. Outils hardware :
        1. filtre : afficheur LCD démonté
        2. lunette avec verre transparent et projection d'hologramme
        3. lunette immersive où on restitue en fond de scène l'environnement réel
      2. Outils software/algorithmique : géométrie projective, modèle de caméra trou d'épingle, homographie entre différent repère de travail (scène, lunette/filtre, œil)
    2. Fonction contrôle de la distance de focalisation lors de l'affichage d'éléments
      1. Non traité pour le moment
    3. Fonction affichage d'éléments en contexte (luminosité et texture de la scène)
      1. Non traité pour le moment
  4. Environnement sonore
    1. Non traité pour le moment

Lien scène et lunette : exemple de matériel

camera stereo ueye

ToF (time of light) camera

Kinect (issue de Microsoft, hardware design par PrimeSenze racheté par Apple)

Creative senz3d (portée de 15 à 99 cm) : http://fr.creative.com/p/web-cameras/creative-senz3d

Camboard (porté 20 à 100 cm) : http://pmdtec.com/products_services/reference_design_pico_pico_s.php

lens array camera

Pelican camera par Pelican imaging (rachetée par Nokia, 16 lens array camera) : http://www.pelicanimaging.com/technology/camera.html

Lien tête/yeux et lunette : exemple de matériel

eye tracker

Affichage sur les lunettes : exemple de matériel

écran LCD avec électronique déportable

protolunette.1414486308.txt.gz · Dernière modification : 2014/10/28 09:51 de jcombier