Restitution vidéo stéréoscopique maîtrisée: application à la Réalité Virtuelle.

Accueil || Parcours || Recherche || S'enregistrer || Mon Compte || Contacts || Aide || Langues

Goslin, Fabien (2010) Restitution vidéo stéréoscopique maîtrisée: application à la Réalité Virtuelle. Doctorat Informatique, ENSAM 2010ENAM0001 p.139.

Plein texte disponible en tant que : - memoire.pdf ( 7816 Kb )

Licence: Copyright

Résumé

La capture en relief d'une scène réelle peut être réalisée grâce à un couple de caméras vidéo (banc stéréoscopique). La capture de ces images vidéo stéréoscopiques et leur restitution sur des systèmes de projection en relief sont à l'interface entre les domaines de la réalité virtuelle, de la vision par ordinateur, et du cinéma en relief. Placé au sein de cette très vaste thématique, ce travail concerne la projection en relief, sur des systèmes de Réalité Virtuelle, d'images issues d'une capture par un banc stéréoscopique fixe. De très nombreuses contraintes (limitations des configurations de capture et des conditions de restitution notamment) ont restreint l'utilisation de cette technologie. Dans ce mémoire de thèse, nous détaillons les améliorations que nous avons apportées à certaines étapes de la chaîne de transmission stéréoscopique, afin de maîtriser la restitution de vidéos stéréoscopiques. Pour atteindre cet objectif, nous avons réalisé une modélisation mathématique détaillée des caméras, et des différentes configurations de capture et de restitution que nous utilisons. Disposer d'images stéréoscopiques les moins déformées possibles était un point de départ indispensable à la suite de notre travail. Dans ce but, nous avons développé un algorithme de rectification d'images vidéo stéréoscopiques. Afin d'assurer une rectification temps réel, nous avons implémenté cet algorithme sur processeur de carte graphique (GPU ou Graphics Processing Unit), en mettant en place une technique à base de table de référence. La distance interoculaire de l'utilisateur est un paramètre important pour assurer une bonne restitution des images sur les systèmes de Réalité Virtuelle. Pourtant par commodité, la valeur moyenne de cet écart est souvent prise comme référence, alors que d'importantes différences existent d'un utilisateur à l'autre. Afin d'améliorer la restitution en fixant plus précisément ce paramètre critique, nous avons développé une méthode de calibration de la distance interoculaire de l'utilisateur. Enfin, alors que les spectateurs des salles de cinéma en relief sont assis dans une zone bien définie devant l'écran, le déplacement des utilisateurs devant le système de projection d'images stéréoscopiques est une caractéristique des systèmes de Réalité Virtuelle. Pour palier aux problèmes que l'on rencontre lors de la projection d'images issues d'un banc stéréoscopique fixe pour un utilisateur en mouvement, nous proposons une méthode pour maitriser la restitution de la profondeur perçue par cet utilisateur, en nous basant sur une segmentation en profondeur de la scène.

Références Bibliographiques

Three-dimensional Television System Technologies. 3D Data Processing

Visualization and Transmission, International Symposium on, vol. 0,

page 313, 2002.

[Rocchini 02] C. Rocchini, P. Cignoni, C. Montani, P. Pingi & R. Scopigno. A low

cost 3D scanner based on structured light. EG Proceedings, vol. 20,

pages 299308, 2002.

[Rusinkiewicz 02] S. Rusinkiewicz, O. Hall-Holt & M. Levoy. Real-Time 3D Model Acquisition.

ACM Transactions on Graphics (Proc. SIGGRAPH), vol. 21,

no. 3, pages 438446, Juillet 2002.

[Saito 08] H. Saito, H. Kimura, S. Shimada, T. Naemura, J. Kayahara, S. Jarusirisawad,

V. Nozick, H. Ishikawa, T. Murakami, J. Aoki, A. Asano,

T. Kimura, M. Kakehata, F. Sasaki, H. Yashiro, M. Mori, K. Torizuka

& K. Ino. Laser-plasma scanning 3D display for putting digital contents

in free space. Dans Society of Photo-Optical Instrumentation Engineers

(SPIE) Conference Series, volume 6803 of Society of Photo-Optical Instrumentation

Engineers (SPIE) Conference Series, Mars 2008.

[Scharstein 02] D. Scharstein & R. Szeliski. A taxonomy and evaluation of dense twoframe

stereo correspondence algorithms. International Journal of Computer

Vision, vol. 47, pages 742, 2002.

[Scharstein 03] D. Scharstein & R. Szeliski. High-Accuracy Stereo Depth Maps Using

Structured Light. Computer Vision and Pattern Recognition, IEEE

Computer Society Conference on, vol. 1, page 195, 2003.

[Schreer 05] O. Schreer, P. Kau & T. Sikora. 3d videocommunication : Algorithms,

concepts and real-time systems in human centred communication. John

Wiley & Sons, 2005.

[Schreer 06] O. Schreer, C. Fehn, N. Atzpadin, M. Muller, A. Smolic, R. Tanger

& P. Kau. A Flexible 3D TV System for Dierent Multi-Baseline

Geometries. Dans ICME, pages 18771880. IEEE, 2006.

[Seuntiëns 06] P. J. H. Seuntiëns. Visual experience of 3D TV. Thèse de doctorat,

Eindhoven University, Eindhoven, The Netherlands, 2006.

[Stavrakis 08] E. Stavrakis & M. Gelautz. Interactive tools for image-based stereoscopic

artwork. Dans Stereoscopic displays and applications XIX, volume

6803, pages 111, January 2008.

[Wallace 06] A.M. Wallace, R.C.W. Sung, G.S. Buller, R.D. Harkins, R.E. Warburton

& R.A. Lamb. Detecting and characterising returns in a pulsed

ladar system. IEEE proceedings. Vision, image and signal processing,

vol. 153, no. 2, pages 160172, April 2006.

[Wartell 99] Z. Wartell, L. Hodges & W. Ribarsky. Balancing fusion, image depth

and distortion in stereoscopic head-tracked displays. Dans SIGGRAPH

'99 : Proceedings of the 26th annual conference on Computer graphics

and interactive techniques, pages 351358, New York, NY, USA, 1999.

ACM Press/Addison-Wesley Publishing Co.

BIBLIOGRAPHIE 127

[Wartell 02] Z. Wartell, L.. Hodges & W. Ribarsky. An Analytic Comparison of

Alpha-False Eye Separation, Image Scaling and Image Shifting in Stereoscopic

Displays. IEEE Transactions on Visualization and Computer

Graphics, vol. 8, pages 129143, 2002.

[Weise 07] T. Weise, B. Leibe & L. Van Gool. Fast 3D Scanning with Automatic

Motion Compensation. Dans IEEE Conference on Computer Vision

and Pattern Recognition (CVPR'07), June 2007.

[Wheatstone 38] C. Wheatstone. Contributions to the physiology of visionPart the

rst. On some remarkable, and hitherto unobserved, phenomena of binocular

vision. Philosophical Transactions of the Royal Society of London,

pages 371394, 1838.

[Wong 02] K. Wong & R. Cipolla. Reconstruction of Outdoor Sculptures from Silhouettes

under Approximate Circular Motion of an Uncalibrated Hand-

Held Camera. Dans IAPR Workshop on Machine Vision Applications,

pages 459462, 2002.

[Woodham 80] R.J. Woodham. Photometric Method for Determining Surface Orientation

from Multiple Images. OptEng, vol. 19, no. 1, pages 139144,

January 1980.

[Woods 93] A. Woods, T. Docherty & R. Koch. Image Distortions in Stereoscopic

Video Systems. Dans Proceedings of the SPIE Volume 1915, Stereoscopic

Displays and Applications IV, pages 3647, 1993.

[Yamanoue 97] H. Yamanoue. The relation between size distortion and shooting conditions

for stereoscopic images. Journal of the SMPTE, pages 225232,

1997.

[Yang 04] R.G. Yang, M. Pollefeys, H. Yang & G. Welch. A Unied Approach To

Real-time, Multi-resolution, Multi-baseline 2d View Synthesis And 3d

Depth Estimation Using Commodity Graphics Hardware. IJIG, vol. 4,

no. 4, pages 627651, October 2004.

[Yang 06] R. Yang, L. Wang, G. Welch & M. Pollefeys. Stereovision on GPU.

Dans 2006 Workshop on Edge Computing Using New Commodity Architectures

(EDGE 2006), May 2006.

[Yemez 07] Yemez & Wetherilt. A volumetric fusion technique for surface reconstruction

from silhouettes and range data. Comput. Vis. Image Underst.,

vol. 105, no. 1, pages 3041, 2007.

[Zhang 02] L. Zhang, B. Curless & S. M. Seitz. Rapid Shape Acquisition Using

Color Structured Light and Multi-pass Dynamic Programming. 3D Data

Processing Visualization and Transmission, International Symposium

on, vol. 0, page 24, 2002.

[Zheng 00] W. Zheng, Y. Kanatsugu, Y. Shishikui & Y. Tanaka. Robust Depthmap

Estimation from Image Sequences with Precise Camera Operation

Parameters. Dans ICIP00, pages Vol II : 764767, 2000.

[Zheng 03] C. Zheng & H. Hile. Stereo Video Processing for Depth Map. On his

course site, 2003.

128 BIBLIOGRAPHIE

[Zhu 08] J. Zhu, L. Wang, R. Yang & J. Davis. Fusion of time-of-ight depth

and stereo for high accuracy depth maps. Computer Vision and Pattern

Recognition, IEEE Computer Society Conference on, vol. 0, pages 18,

2008.

Table des Matières

1 Introduction 7

1.1 Contexte de ce travail - 9

1.2 Organisation du mémoire - 10

1.3 Rappels historiques - 11

2 Etat de l'art technologique 15

2.1 Acquisition de données 3D - 17

2.1.1 Les méthodes actives d'acquisition - 18

2.1.2 Les méthodes passives d'acquisition - 21

2.2 Projection en relief - 22

2.2.1 Achage avec lunettes - 22

2.2.2 Achage sans lunettes - 23

2.3 Utilisation de la projection en relief - 26

2.3.1 Cinéma 3D - 26

2.3.2 Télévision 3D - 27

2.3.3 Réalité Virtuelle - 28

2.3.4 Jeux vidéo - 29

3 Modélisation 31

3.1 Vision en relief chez l'homme - 33

3.1.1 Description du système de vision humain - 33

3.1.2 Les indices visuels humains - 33

3.1.3 Perception de la profondeur à partir d'images projetées - 38

3.1.4 Visualisation d'images stéréoscopiques et inconfort visuel - 40

3.2 Modèle de caméra monoscopique - 42

3.2.1 Modèle de caméra du sténopé - 43

3.2.2 Modélisation des déformations - 43

3.2.3 Modèle de caméra canonique - 45

3.3 Modèle de caméra vidéo stéréoscopique - 46

3.3.1 Banc stéréoscopique : modèle général - 47

3.3.2 Banc stéréoscopique : modèle canonique - 47

3.4 Images stéréoscopiques - 48

3.4.1 Deux congurations de capture d'images - 48

3.4.2 Capture d'images dans un environnement virtuel - 49

3.4.3 Capture d'images dans un environnement réel - 50

1

2 TABLE DES MATIÈRES

4 Modélisation de la transmission stéréoscopique 53

4.1 Deux congurations de capture - 57

4.1.1 Caméras en conguration parallèle - 57

4.1.2 Caméras en conguration convergente - 58

4.2 Achage vidéo stéréoscopique - 62

4.2.1 Achage des images - 62

4.2.2 Calcul de la parallaxe - 63

4.2.3 Ajustement de la restitution - 63

4.3 Perception de la profondeur - 65

4.4 Synthèse de la transmission stéréoscopique - 68

4.4.1 Cas de la conguration caméras parallèles - 68

4.4.2 Cas de la conguration caméras convergentes - 69

5 Identication des paramètres pour la restitution 71

5.1 Paramètres de rectication temps réel d'images vidéo stéréoscopiques . . . 74

5.1.1 Rectication en temps réél - 74

5.1.2 Résultats expérimentaux - 76

5.2 Détermination des paramètres visuels de l'utilisateur - 83

5.2.1 Principe - 84

5.2.2 Préliminaires à l'expérimentation - 85

5.2.3 Etude de la sensibilité de notre calibration - 90

5.2.4 Résultats expérimentaux - 99

6 Réglages des paramètres de la restitution 103

6.1 Restitution ortho-stéréoscopique - 105

6.1.1 Paramétrage du cas ortho-stéréoscopique - 105

6.1.2 Expérimentation du cas ortho-stéréoscopique - 106

6.1.3 Problème d'un utilisateur mobile - 107

6.2 Adapter les paramètres de la restitution - 108

6.2.1 Problème posé par le mouvement de la tête - 108

6.2.2 Adaptation des paramètres de la restitution - 108

6.2.3 Solution proposée - 115

7 Conclusions & perspectives 119

Publications 128

Statistiques de consultation

Administrateurs de l'archive uniquement : éditer cet enregistrement