Stworzenie nowej metody estymacji map głębi przeznaczonej dla systemów telewizji swobodnego widzenia jest głównym celem przedstawionych badań. W telewizji swobodnego punktu widzenia możliwości widza są rozszerzone poprzez możliwość kontroli aktualnie oglądanego przez niego punktu widzenia sceny. Nowa metoda estymacji map głębi zaproponowana przez autora składa się z trzech części: przestrzennie spójnej estymacji map głębi opartej na segmentacji widoków, metodzie zwiększenia spójności czasowej map głębi zmniejszającej złożoność obliczeniową estymacji oraz nową metodę zrównoleglania procesu optymalizacji opartego na wykorzystaniu grafów.
Słowa kluczowe: mapa głębi, segmentacja obrazu, telewizja swobodnego punktu widzenia
Abstract
The development of a novel depth estimation method for free viewpoint television systems is the main goal of presented research. In free viewpoint television the functionalities offered to a viewer are extended by the possibility of controlling the displayed viewpoint of a scene. The novel method for depth estimation proposed by the author of the dissertation consists of three parts: the interview consistent segment-based depth estimation method, the temporal consistency enhancement that simultaneously increases temporal consistency of depth maps and reduces the complexity of estimation, and a new method of parallelisation for graph based depth estimation methods.
Keywords: depth map, image segmentation, free-viewpoint television
1. WSTĘP Telewizja swobodnego punktu widzenia (ang. free-viewpoint television - FTV) [5], [11], [15] umożliwia swobodną nawigację poprzez naturalną trójwymiarową scenę. Użytkownik systemu FTV może oglądać nie tylko widoki zarejestrowane przez rzeczywiste kamery - idea swobodnej nawigacji zakłada możliwość oglądania sceny z dowolnego miejsca i kierunku obserwacji. Tak zwane widoki wirtualne mogą być umieszczone nawet między lub przed rzeczywistymi kamerami systemu. Po pierwsze, wiele widoków sceny jest rejestrowanych synchronicznie przez kamery systemu FTV. Następnie, trójwymiarowa reprezentacja sceny jest estymowana i używana, razem z rzeczywistymi widokami, do syntezy widoków wirtualnych [1], [2]. Najczęściej wykorzystywaną reprezentacją sceny w systemach FTV jest MVD (ang. multiview plus depth), w której scena jest reprezentowana jako zbiór widoków i odpowiadających im map głębi. Przykład takiej reprezentacji dla jednej z testowych sekwencji został przedstawiony na rys. 1. Mapa głębi to sekwencja macierzy próbek głębi dla każdego punktu danego widoku. Dla uproszczenia, macierze te są zazwyczaj wizualizowane jako obrazy w skali szarości. Widok 0 Widok 1 Widok 2 Mapa głębi dla widoku 0 Mapa głębi dla widoku 1 Mapa głębi dla widoku 2 Rys. 1. Przykład reprezentacji MVD dla sekwencji testowej "Poznań Fencing2". Mapy głębi mogą być estymowane algorytmicznie z użyciem wielu widoków zarejestrowanej sceny. Głębia punktu jest wyliczana na podstawie poszukiwania punktu odpowiadającego, czyli punktu, który reprezentuje tą samą część sceny w innym widoku. Estymacja głębi na podstawie widoków zarejestrowanych przez kamery systemu FTV jest głównym problemem rozpatrywanym przez autora. Jakość map głębi ma bezpośredni wpływ na jakość syntezowanych widoków wirtualnych [9], a zatem również na jakość końcowego wrażenia nawigowania przez scenę. Stworzenie nowej oryginalnej metody estymacji map głębi, która zapewnia wysoką jakość wi [...]


Metoda płatności: Płatności elektroniczne (karta kredytowa, przelew elektroniczny) | |
Dostęp do publikacji (format pdf): 6.00 zł
|
|
Dostęp do Wirtualnej Czytelni - archiwalne e-zeszyty czasopisma (format swf) - 1h: 24.60 zł | |
Dostęp do Wirtualnej Czytelni - archiwalne e-zeszyty czasopisma (format swf) - 4h: 43.05 zł | |
Dostęp do Wirtualnej Czytelni - archiwalne e-zeszyty czasopisma (format swf) - 12h: 73.80 zł | |
Prenumerata
Bibliografia
[1] Ceulemans B., Lu S., Lafruit G., Munteanu A. 2018.
“Robust Multiview Synthesis For Wide-Baseline
Camera Arrays". IEEE Transactions on Multimedia
20(9): 2235-2248.
[2] Dziembowski A., Grzelka A., Mieloch D., Stankiewicz
O., Wegner K., Domański M. 2016. “Multiview
synthesis — Improved view synthesis for virtual
navigation". 2016 Picture Coding Symposium
(PCS): 1-5.
[3] HEVC reference codec. Dokumentacja i implementacja
dostępna online: https://hevc.hhi.
fraunhofer.de/svn/svn_HEVCSoftware/.
[4] Kolmogorov V., Zabin R. 2004. “What energy functions
can be minimized via graph cuts?". IEEE
Transactions on Pattern Analysis and Machine Intelligence
26(2): 147-159.
[5] Lafruit G., Domański M., Wegner K., Grajek T.,
Senoh T., Jung J., Kovács P., Goorts P., Jorissen L.,
Munteanu A., Ceulemans B., Carballeira P., García
S., Tanimoto M. 2016. “New visual coding exploration
in MPEG: Super-MultiView and Free Navigation
in Free viewpoint TV". 2016 Proceedings of the
Electronic Imaging Conference: Stereoscopic Displays
and Application, San Francisco: 1-9.
[6] Li L., Zhang S., Yu X., Zhang L. 2018. “PMSC:
PatchMatch-Based Superpixel Cut for Accurate Stereo
Matching". IEEE Transactions on Circuits and
Systems for Video Technology 28(3): 679-692.
[7] Mieloch D. 2018. "Depth Estimation in Free-Viewpoint
television". Praca doktorska.
[8] Mieloch D., Dziembowski A., Grzelka A. 2016.
“Segmentacja obrazu w estymacji map głębi". Przegląd
Telekomunikacyjny 88(6): 241-244.
[9] Nur G., Dogan S., Arachchi H., Kondoz A. 2010.
“Impact of depth map spatial resolution on 3D video
quality and depth perception". 3DTV-Conference:
The True Vision - Capture, Transmission and Display
of 3D Video: 1-4.
[10] Seo D., Jo K. 2017. “Multi-layer superpixel-based
MeshStereo for accurate stereo matching". 10th International
Conference on Human System Interactions
(HSI): 242-245.
[11] Stankiewicz O., Domański M., Dziembowski A.,
Grzelka A., Mieloch D., Samelak J. 2018. “A Freeviewpoint
Television System for Horizontal Virtual
Navigation". IEEE Transactions on Multimedia
20(8): 2182-2195.
[12] Stankiewicz O., Domański M., Wegner K. 2015.
“Estimation of temporally-consistent depth maps
from video with reduced noise". 3DTV-Conference:
The True Vision - Capture, Transmission and Display
of 3D Video (3DTV-CON): 1-4.
[13] Stankiewicz O., Wegner K., Tanimoto M., Domański
M. 2013. “Enhanced Depth Estimation Reference
Software (DERS) for Free-viewpoint Television".
Dokument ISO/IEC JTC1/SC29/WG11
MPEG M31518.
[14] Stankiewicz O., Wegner K., Tanimoto M., Domański
M. 2013. “Enhanced view synthesis reference
software (VSRS) for Free-viewpoint Television".
Dokument ISO/IEC JTC 1/SC 29/WG 11, MPEG
M31520.
[15]Tanimoto M. 2014. “FTV standardization in
MPEG.". 2014 3DTV-Conference: The True Vision
- Capture, Transmission and Display of 3D Video
(3DTV-CON): 1-4.
[16]Yao C., Tillo T., Zhao Y., Xiao J., Bai H., Lin C.
2014. “Depth Map Driven Hole Filling Algorithm
Exploiting Temporal Correlation Information".
IEEE Transactions on Broadcasting 60(2): 394-404.
[17]Zhu H., Wang Q., Yu J. 2017 “Occlusion-Model
Guided Antiocclusion Depth Estimation in Light
Field". IEEE Journal of Selected Topics in Signal
Processing 11(7): 965-978.