Outils pour utilisateurs

Outils du site


protolunette

Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentes Révision précédente
Dernière révision Les deux révisions suivantes
protolunette [2014/10/28 10:06]
jcombier [Lien scène et lunette : exemple de matériel]
protolunette [2014/10/30 10:52]
jcombier
Ligne 1: Ligne 1:
 +Ci dessous, la fonction principale d'une lunette de réalité augmentée, "faire apparaitre des éléments virtuels dans l'​environnement réel visible par le porteur de lunette",​ est décomposée par bloc puis en sous fonction et chaque fonction est analysée.
 +
 ===== Décomposition par bloc ===== ===== Décomposition par bloc =====
 +
 +Cette fonction principale peut être décomposée en 4 blocs. Tout d'​abord,​ il faut localiser les lunettes dans la scène cartographiée. C'est le premier bloc nommé ici "lien scène et lunette"​. Pour ajouter des éléments virtuels en relation avec la scène, il est nécessaire de reconnaître des éléments présents dans l'​environnement réel. Cette recherche d'​éléments peut être facilitée si l'on connaît déjà le type de scène (cuisine, voiture, rue), ou la commande de l'​utilisateur ("lui apporter une assistance pour monter un meuble"​ par exemple).
 +
 +Puis il est nécessaire de connaître la position des yeux et leur direction pour déterminer sur quelle partie du verre il faut faire apparaitre l'​élément virtuel. Ce bloc est nommé ici "Lien yeux et lunette"​.
 +
 +Le troisième bloc, "​Affichage sur les lunettes",​ concerne l'​affichage 3D dans la scène des éléments virtuels. Cette affichage 3D, doit respecter la capacité de convergence de la vision humaine (lunette binoculaire),​ la faculté d’accommodation des cristallins (distance de focalisation variable) et la luminosité et le contraste de la scène.
 +
 +Le dernier bloc concerne l'​environnement sonore. Cette partie ne sera pas développée ici.
  
   - Lien scène et lunette   - Lien scène et lunette
Ligne 5: Ligne 15:
     - Restitution 3D de la scène (cartographie)     - Restitution 3D de la scène (cartographie)
     - Reconnaître et suivre des objets d’intérêt     - Reconnaître et suivre des objets d’intérêt
-    - Reconnaître les types de scène, l'​associer à une situation, des activités. +    - Reconnaître les types de scène, l'​associer à une situation, des activités. ​(Ceci permet de savoir quels types d'​objet sont à trouver ou à reconnaitre dans la scène) 
-  - Lien tête/yeux et lunette +  - Lien yeux et lunette 
-    - Estimation de la position et l'​orientation ​de la tête ou des yeux par rapport aux lunettes+    - Estimation de la position et l'​orientation des yeux par rapport aux lunettes
   - Affichage sur les lunettes   - Affichage sur les lunettes
     - Affichage 3D d'​éléments sur les verres/​filtres devant les yeux     - Affichage 3D d'​éléments sur les verres/​filtres devant les yeux
     - Affichage avec contrôle de la distance de focalisation     - Affichage avec contrôle de la distance de focalisation
-    - Affichage d'​éléments en contexte (luminosité et texture ​de la scène)+    - Affichage d'​éléments en contexte (luminosité et contraste ​de la scène)
   - Environnement sonore   - Environnement sonore
     - Acquisition de l'​environnement sonore 3D (localisation)     - Acquisition de l'​environnement sonore 3D (localisation)
Ligne 20: Ligne 30:
  
 ===== Entrée et sortie des blocs ===== ===== Entrée et sortie des blocs =====
 +
 +On répertorie ensuite pour chaque fonction les informations nécessaires en entrée et les données en sorties.
  
   - Lien scène et lunette   - Lien scène et lunette
Ligne 34: Ligne 46:
       - Entrée : scène 3D (nuage de points)       - Entrée : scène 3D (nuage de points)
       - Sortie : type de scène       - Sortie : type de scène
-  - Lien tête/yeux et lunette +  - Lien yeux et lunette 
-    - Fonction localisation ​de la tête ou des yeux+    - Fonction localisation des yeux
       - Entrée : /       - Entrée : /
       - Sortie : pose des yeux (R,t)       - Sortie : pose des yeux (R,t)
Ligne 45: Ligne 57:
       - Entrée : pose des lunettes (R,t), position dans la scène de l'​élément à afficher, position de l'​élément à afficher sur les deux verres (u1,v1) et (u2,v2)       - Entrée : pose des lunettes (R,t), position dans la scène de l'​élément à afficher, position de l'​élément à afficher sur les deux verres (u1,v1) et (u2,v2)
       - Sortie : distance de focalisation ajustée en fonction de la distance entre l'​élément et la lunette       - Sortie : distance de focalisation ajustée en fonction de la distance entre l'​élément et la lunette
-    - Fonction affichage d'​éléments en contexte (luminosité et texture ​de la scène) +    - Fonction affichage d'​éléments en contexte (luminosité et contraste ​de la scène) 
-      - Entrée : scène 3D (nuage de points, ​couleurscontraste ​et texture locale), position dans la scène de l'​élément à afficher, position de l'​élément à afficher sur les deux verres (u1,v1) et (u2,v2) +      - Entrée : scène 3D (nuage de points, ​position et intensité des sources lumineusescouleurs ​et contraste), position dans la scène de l'​élément à afficher, position de l'​élément à afficher sur les deux verres (u1,v1) et (u2,v2) 
-      - Sortie : Affichage d'​éléments en contexte, ​intégré à l'environnement.+      - Sortie : Affichage d'​éléments en contexte ​(prise en compte de l'​intensitéla direction et la couleur de l'éclairage de la scène).
   - Environnement sonore   - Environnement sonore
     - //Non traité pour le moment//     - //Non traité pour le moment//
Ligne 56: Ligne 68:
 ===== Cas limites, risques et tests à effectuer ===== ===== Cas limites, risques et tests à effectuer =====
  
-//à compléter//​+Pour chaque bloc, on recense les limites et les contraintes des sous fonctions. Des tests seront ​à réaliser pour chacune de ces remarques. 
   - Lien scène et lunette   - Lien scène et lunette
     - A partir de quelle erreur d'​estimation de la pose de la lunette, le porteur de lunette remarque une différence ?     - A partir de quelle erreur d'​estimation de la pose de la lunette, le porteur de lunette remarque une différence ?
-  - Lien tête/yeux et lunette +  - Lien yeux et lunette 
-    - A partir de quelle erreur d'​estimation de la pose de la tête (ou des yeuxpar rapport à la lunette, le porteur de lunette remarque une différence ?+    - A partir de quelle erreur d'​estimation de la pose des yeux par rapport à la lunette, le porteur de lunette remarque une différence ?
   - Affichage sur les lunettes   - Affichage sur les lunettes
     - Répondre à la résolution limite de l’œil (~1 arcmin)     - Répondre à la résolution limite de l’œil (~1 arcmin)
-    - Quel est l'effet ressenti par le porteur de lunette, lorsque ​la distance de focalisation de l'​élément affiché ​ne correspond pas à sa position dans la scène ​+    - Quel peut être l'erreur limite acceptable sur la distance de focalisation de l'​élément affiché ? 
-    - Quel est l'effet ressenti par le porteur de lunette, lorsque la texture ou le contraste ​de l'​élément ​affiché ne correspond pas au reste de la scène ? +    - Quels sont les différents cas possibles où il est nécessaire de retravailler ​l'aspect ​de l'​élément ​à afficher (fort contraste, ombres, lumière colorée qui filtre les couleurs ​de la scène
-    - Quel est l'​effet ressenti par le porteur de lunette, lorsque ​des éléments apparaissent ou disparaissent soudainement de la scène ​?+    - Quel peut être la tolérance du porteur de lunette ​à voir des objets apparaître et disparaître ​?
     - Quel est l'​effet ressenti par le porteur de lunette, lorsque des éléments restent constamment dans le champs de vision ?     - Quel est l'​effet ressenti par le porteur de lunette, lorsque des éléments restent constamment dans le champs de vision ?
-    - Quel est l'​impacte de la direction du regard sur l'​affichage des éléments sur les verres ? Est-ce que la position et l'​orientation des yeux a une importance ou est-ce que la position seulement ​suffit ​?+    - Est-ce que la position et l'​orientation des yeux a une importance ​sur l'​affichage des éléments sur le verre ou est-ce que la position seulement ​importe ​?
   - Environnement sonore   - Environnement sonore
     - //Non traité pour le moment//     - //Non traité pour le moment//
Ligne 74: Ligne 87:
 ===== Implémentation possible ===== ===== Implémentation possible =====
  
-//à compléter//​+Pour chacune des sous fonctions, on indique les matériels et les algorithmes possibles. Puis on répertorie les implémentations de chaque fonction par ordre de complexité (en prenant en compte que certaines des solutions sont déjà disponibles au sein du laboratoire). 
   - Lien scène et lunette   - Lien scène et lunette
     - Fonction localisation des lunettes     - Fonction localisation des lunettes
Ligne 84: Ligne 98:
         - IMU (accéléromètre,​ gyromètre, magnétomètre)         - IMU (accéléromètre,​ gyromètre, magnétomètre)
       - Outils software/​algorithmique :       - Outils software/​algorithmique :
-        - SLAM, SLAM visuel, filtre de Kalman +        - SLAM visuel, filtre de Kalman 
-      - Ordre d'​implémentation,​ rapidité (déjà sur étagère) et simplicité ​d'​implémentation :+      - Ordre d'​implémentation :
         - position de la tête fixe et connue         - position de la tête fixe et connue
         - vicon (déjà sur étagère, grande précision sur l'​estimation de pose)         - vicon (déjà sur étagère, grande précision sur l'​estimation de pose)
Ligne 94: Ligne 108:
       - Outils Software/​algorithmique :       - Outils Software/​algorithmique :
         - idem         - idem
-      - Ordre d'​implémentation,​ rapidité (déjà sur étagère) et simplicité ​d'​implémentation :+      - Ordre d'​implémentation :
         - position d'​élément de la scène fixe et connue         - position d'​élément de la scène fixe et connue
         - système RGBD (ou système binoculaire) + IMU         - système RGBD (ou système binoculaire) + IMU
Ligne 100: Ligne 114:
       - Outils hardware : idem       - Outils hardware : idem
       - Outils software/​algorithmique : filtre de Kalman pour l'​estimation de la pose des objets       - Outils software/​algorithmique : filtre de Kalman pour l'​estimation de la pose des objets
-      - Ordre d'​implémentation,​ rapidité (déjà sur étagère) et simplicité ​d'​implémentation :+      - Ordre d'​implémentation :
         - idem         - idem
     - Fonction reconnaitre le type de scène     - Fonction reconnaitre le type de scène
       - //Non traité pour le moment//       - //Non traité pour le moment//
-  - Lien tête/yeux et lunette +  - Lien yeux et lunette 
-    - Fonction localisation ​de la tête ou des yeux+    - Fonction localisation des yeux
       - Outils hardware : eye tracker       - Outils hardware : eye tracker
       - Outils software/​algorithmique : pas à notre charge       - Outils software/​algorithmique : pas à notre charge
-      - Ordre d'​implémentation,​ rapidité (déjà sur étagère) et simplicité ​d'​implémentation : +      - Ordre d'​implémentation : 
-        - pose de la tête ou des yeux fixe et connue +        - pose des yeux fixe et connue 
-        - eye tracker (Il faut être capable de récupérer R et t de la pose de la tête ou des yeux relativement à la lunette)+        - eye tracker (Il faut être capable de récupérer R et t de la pose des yeux relativement à la lunette)
   - Affichage sur les lunettes   - Affichage sur les lunettes
     - Fonction affichage d'​éléments 3D     - Fonction affichage d'​éléments 3D
Ligne 120: Ligne 134:
     - Fonction contrôle de la distance de focalisation lors de l'​affichage d'​éléments     - Fonction contrôle de la distance de focalisation lors de l'​affichage d'​éléments
       - //Non traité pour le moment//       - //Non traité pour le moment//
-    - Fonction affichage d'​éléments en contexte (luminosité et texture ​de la scène)+    - Fonction affichage d'​éléments en contexte (luminosité et contraste ​de la scène)
       - //Non traité pour le moment//       - //Non traité pour le moment//
   - Environnement sonore   - Environnement sonore
Ligne 145: Ligne 159:
  
 Pelican camera par Pelican imaging (rachetée par Nokia, 16 lens array camera) : http://​www.pelicanimaging.com/​technology/​camera.html Pelican camera par Pelican imaging (rachetée par Nokia, 16 lens array camera) : http://​www.pelicanimaging.com/​technology/​camera.html
-==== Lien tête/yeux et lunette : exemple de matériel ====+ 
 +==== Lien yeux et lunette : exemple de matériel ====
  
 ===eye tracker=== ===eye tracker===
protolunette.txt · Dernière modification: 2014/10/30 11:26 par jcombier