Wyniki 1-8 spośród 8 dla zapytania: authorDesc:"Adrian Dziembowski"

SYNTEZA WIDOKÓW WIRTUALNYCH W RZADKICH SYSTEMACH WIELOKAMEROWYCH DLA ZASTOSOWAŃ W SWOBODNEJ NAWIGACJI DOI:10.15199/59.2019.6.59


  1. WPROWADZENIE Referat dotyczy syntezy widoków wirtualnych dla celów systemów swobodnej nawigacji, a więc systemów, w których użytkownik ma możliwość wirtualnej nawigacji w zarejestrowanej scenie [3, 20, 21]. W takim systemie widz sam może ustalać swój punkt widzenia i kierunek patrzenia. Swobodne przemieszczanie się w scenie wymaga jednak płynnego wirtualnego ruchu widza, a więc pula punktów widzenia, jaką on dysponuje nie może być ograniczona wyłącznie do widoków zarejestrowanych przez kamery systemu wielokamerowego. Widz musi mieć możliwość oglądania sceny również z innych, dowolnie wybranych pozycji (rys. 1: kolorem czarnym oznaczono rzeczywiste kamery systemu wielokamerowego, kolorem pomarańczowym - kamerę wirtualną, z której użytkownik systemu ogląda obraz i której pozycję może on w dowolny sposób zmieniać). W celu umożliwienia widzowi płynnego wirtualnego przemieszczania się w zarejestrowanej scenie należy stworzyć (zsyntezować) dodatkowe widoki (widoki wirtualne). Widoki te są tworzone na podstawie widoków rzeczywistych, czyli widoków zarejestrowanych przez rzeczywiste kamery systemu wielokamerowego. Co więcej, oczekuje się, że różnica jakości pomiędzy widokami rzeczywistymi i wirtualnymi będzie jak najmniejsza, by widz nie był w stanie stwierdzić, czy ogląda obrazy zarejestrowane przez kamery, czy też obrazy syntetyczne. Rys. 1. Ilustracja idei swobodnej nawigacji Synteza widoków wirtualnych w rzadkich systemach wielokamerowych jest zdecydowanie trudniejsza niż w przypadku systemów gęstych. Zwiększona trudność spowodowana jest znacznie większą odległością pomiędzy poszczególnymi kamerami lub większym kątem pomiędzy ich osiami optycznymi. Skutkuje to trzema podstawowymi problemami charakterystycznymi dla rzadkich systemów wielokamerowych [7]: 1. Mniejszy obszar sceny jest widoczny jednocześnie w różnych widokach rzeczywistych, co skutkuje powstawaniem odsłonięć w widoku wirtualnym. 2. Ograniczona rozdzielczoś[...]

SZYBKA SYNTEZA WIDOKÓW WIRTUALNYCH DLA SYSTEMÓW TELEWIZJI SWOBODNEGO PUNKTU WIDZENIA DOI:10.15199/59.2018.6.41


  1. WSTĘP Głównym założeniem telewizji swobodnego punktu widzenia (FTV - free-viewpoint television) jest udostepnienie użytkownikowi możliwości płynnej zmiany punktu i kierunku widzenia [5], [15]. W przypadku wyboru punktu widzenia, którego położenie nie pokrywa się z położeniem którejkolwiek z kamer, konieczna jest synteza widoku wirtualnego (rys. 1). W związku z powyższym, opracowanie szybkiego i wydajnego algorytmu syntezy widoków wirtualnych jest kluczowe dla systemów telewizji swobodnego punktu widzenia. Rys. 1. Widok wirtualny względem widoków rzeczywistych 2. OPIS ALGORYTMU W celu uzyskania najwyższej możliwej jakości syntezowanych widoków wirtualnych, w zaproponowanym algorytmie użyto hybrydowej metody syntezy, łączącej zalety syntezy w przód (forward synthesis) [3] i wstecz (backward synthesis) [4], [7] Synteza wstecz pozwala na przefiltrowanie głębi widoku wirtualnego przed rzutowaniem informacji o kolorze, redukując tym samym wpływ niepoprawnie wyznaczonych, niespójnych map głębi. Wymaga ona jednak dwukrotnego rzutowania punktów - raz z widoków rzeczywistych na widok wirtualny i raz w stronę przeciwną. Synteza w przód wymaga wyłącznie jednego rzutowania każdego punktu, przez co jest operacją szybszą. W zaproponowanym hybrydowym podejściu punkty rzutowane są wyłącznie raz, a dzięki zapamiętaniu dokładnych pozycji, z których były one rzutowane możliwe jest uzyskanie podobnego efektu, jaki dałaby filtracja mapy głębi widoku wirtualnego. 2.1. Rzutowanie i łączenie głębi Każdy punkt w dowolnym widoku rzeczywistym może być reprezentowany poprzez wektor m=[x y z 1], gdzie x i y wyrażają pozycję danego punktu w widoku rzeczywistym, a z stanowi odpowiadającą mu wartość głębi. Podczas rzutowania głębi każdy punkt widoku rzeczywistego jest rzutowany do widoku wirtualnego zgodnie ze wzorem: 𝐦𝐕 = 𝐦 ⋅ 𝐏𝐕 ⋅ 𝐏𝐑 -1 , (1) gdzie mV = [xv yv zv 1] jest wektor[...]

WIELOWIDOKOWA SYNTEZA W SYSTEMACH TELEWIZJI SWOBODNEGO PUNKTU WIDZENIA DOI:10.15199/59.2016.6.14


  MULTIVIEW SYNTHESIS IN FREE-VIEWPOINT TELEVISION SYSTEMS Streszczenie: W artykule opisano metodę syntezy widoków wirtualnych wykorzystującą informację o teksturze i głębi z wielu widoków rzeczywistych. Przedstawione wyniki eksperymentalne potwierdzają znaczącą poprawę jakości syntezy w porównaniu do algorytmów wykorzystujących jedynie dwa sąsiednie widoki. Abstract: In the article we described a method of virtual view synthesis, which uses texture and depth information from multiple real views. Presented results confirm significant quality improvement compared to algorithms based on two neighboring real views only. Słowa kluczowe: synteza widoków wirtualnych, telewizja swobodnego punktu widzenia, swobodna nawigacja, system wielokamerowy Keywords: virtual view synthesis, free-viewpoint television, free navigation, multicamera system 1. WSTĘP Telewizja swobodnego punktu widzenia (ang. Free- Viewpoint Television - FTV) jest usługą pozwalającą widzowi na swobodną nawigację wokół sceny zarejestrowanej przy użyciu odpowiedniego systemu wielokamerowego. Systemy tego rodzaju mogą zawierać nawet kilkaset kamer [10], jednakże powszechniejsze i zdecydowanie praktyczniejsze są systemy liczące kilka do kilkunastu kamer [4],[5]. W celu zapewnienia w pełni swobodnej nawigacji użytkownika, wybór jego punktu widzenia, czyli punktu, z którego obserwuje on scenę, nie może ograniczać się wyłącznie do fizycznych pozycji kamer (zwłaszcza w systemach, w których odległości pomiędzy kamerami są znaczne). Rys. 1. Idea systemu telewizji swobodnego punktu widzenia Aby umożliwić płynny ruch widza wokół sceny, konieczne jest stworzenie (synteza) pośrednich, wirtualnych widoków - obrazów, które byłyby zarejestrowane przez kamery stojące pomiędzy rzeczywistymi urządzeniami. Ideę tę pokazano na rys. 1. Widoki wirtualne w systemach telewizji swobodnego punktu widzenia tworzone są na podstawie przestrzennego modelu sceny, zazwyczaj danego w postaci e[...]

SEGMENTACJA OBRAZU W ESTYMACJI MAP GŁĘBI DOI:10.15199/59.2016.6.16


  IMAGE SEGMENTATION IN ESTIMATION OF DEPTH MAPS Streszczenie: W artykule przedstawiono metodę wykorzystania segmentacji obrazu używając superpikselizacji w estymacji map głębi. Odpowiednie dobieranie współczynnika gładkości na podstawie lokalnej charakterystyki obrazu pozwala na jednoczesne zmniejszenie czasu estymacji map oraz zwiększenie dokładności ich optymalizacji. Pozwala to na uzyskanie dobrej jakości wirtualnych widoków w celach swobodnej nawigacji między kamerami systemu telewizji swobodnego punktu widzenia. Abstract: In this paper method of depth map estimation using superpixel image segmentation is presented. Optimal selection of smoothing coefficient, based on local image characteristics, simultaneously decreases time of depth map estimation and improves its accuracy. Better quality of depth maps allows to calculate proper virtual views for free navigation in free-viewpoint television systems. Słowa kluczowe: mapa głębi, segmentacja obrazu, superpiksele, telewizja swobodnego punktu widzenia Keywords: depth map, image segmentation, superpixels, free-viewpoint television 1. WSTĘP Podstawową cechą systemów telewizji swobodnego punktu widzenia jest możliwość swobodnej nawigacji wokół zarejestrowanej sceny. Systemy takie składają się zazwyczaj z co najmniej 10 kamer rozmieszczonych na łuku, bądź tak aby ich osie optyczne były równoległe [1]. W celu umożliwienia swobodnej nawigacji konieczna jest synteza widoków wirtualnych znajdujących się w miejscach innych niż pozycje kamer rzeczywistych. Badania nad systemami FTV stanowią obecnie jeden z najchętniej opisywanych zagadnień dotyczących telewizji, co ma odzwierciedlenie w działalności utworzonej podgrupy MPEG-FTV międzynarodowej grupy standaryzacyjnej MPEG [2]. Najczęściej przedstawiane proponowane zastosowania takich systemów obejmują transmisje z wydarzeń sportowych (stadiony piłkarskie, hale sportowe), czy kulturalnych. Synteza widoków wirtualnych oparta jest n[...]

ZWIĘKSZANIE ROZDZIELCZOŚCI OBRAZU I MAPY GŁĘBI W CELU POPRAWY JAKOŚCI SYNTEZY WIDOKÓW WIRTUALNYCH DOI:10.15199/59.2017.6.57


  Telewizja swobodnego punktu widzenia (ang. Free- Viewpoint Television, FTV) umożliwia widzowi wirtualne przemieszczanie się w zarejestrowanej przy pomocy systemu wielokamerowego scenie. Istniejące systemy wielokamerowe liczyć mogą do kilkuset kamer [14], jednakże wyklucza to ich użyteczność w kontekście rejestracji jakichkolwiek nieeksperymentalnych materiałów, jak choćby transmisji wydarzeń sportowych. Praktyczny system charakteryzuje się zdecydowanie mniejszymi rozmiarami, licząc od kilku do kilkunastu kamer [1,5,8]. Ażeby zapewnić widzowi płynną nawigację, nie można swobody jego ruchu ograniczyć wyłącznie do pozycji rzeczywistych kamer wchodzących w skład systemu wielokamerowego - należy umożliwić widzowi spoglądanie na scenę również z pozycji pośrednich. Implikuje to konieczność syntezy widoków wirtualnych, czyli stworzenia obrazów rejestrowanych przez wirtualne kamery, znajdujące się pomiędzy rzeczywistymi urządzeniami. Rys. 1. Idea systemu telewizji swobodnego punktu widzenia Idea systemu telewizji swobodnego punktu widzenia przedstawiona została na rys. 1, gdzie kolorem pomarańczowym oznaczono rzeczywiste kamery tworzące system wielokamerowy, a kolorem szarym przykładowe widoki wirtualne. 2. SYNTEZA WIDOKÓW WIRTUALNYCH Najbardziej rozpowszechniona metoda syntezy widoków wirtualnych bazuje na reprezentacji "głębia - obraz" (ang. Depth-Image-Based Rendering, DIBR) [13]. Rozwiązanie takie jest szeroko stosowane chociażby w kompresji obrazu wielowidokowego [2], czy też w uznanym, powszechnie stosowanym oprogramowaniu odniesienia, tworzonym przez grupę normalizacyjną MPEG - VSRS (View Synthesis Reference Software) [12]. Metoda odniesienia stworzona została na potrzeby prostych systemów wielokamerowych, w których to kamery ustawione są równolegle, a przetwarzanie obrazu jest zdecydowanie prostsze. Pomimo zaadaptowania VSRS do dowolnego (np. łukowego) ustawienia kamer, istnieją lepsze metody syntezy, jak choćby zapropo[...]

ESTYMACJA GŁĘBI DLA SYSTEMÓW WIELOWIDOKOWYCH DOI:10.15199/59.2017.6.75


  Nowe zastosowania trójwymiarowej reprezentacji zarejestrowanych scen, takie jak telewizja swobodnego punktu widzenia [1][12], czy systemy rzeczywistości wirtualnej, pokazują znaczenie i konieczność dalszego rozwoju metod tworzenia treści trójwymiarowej. Jedną z najpowszechniejszych reprezentacji takich treści jest użycie widoków zarejestrowanych przez kamery wraz z odpowiadającymi im mapami głębi. Mapy głębi, najczęściej reprezentowane jako obrazy w skali szarości, przedstawiają odległość punktów zarejestrowanej sceny od płaszczyzny przetwornika kamery. W tym artykule rozważana będzie estymacja głębi na podstawie widoków zarejestrowanych przez kamery systemu wielokamerowego. Mapy głębi mogą być estymowane dla każdej kamery niezależnie, korzystając jedynie z sąsiednich widoków (lewego i prawego). Taka metoda nie zapewnia jednak odpowiedniej spójności przestrzennej, ponieważ głębia pewnych obiektów może być wtedy różna dla sąsiednich widoków. Różnice w głębi w różnych widokach są jedną z przyczyn błędnie tworzonych widoków wirtualnych, stanowiących podstawę swobodnej nawigacji dookoła sceny. Tworzenie map głębi podczas estymacji wielowidokowej, wykorzystującej wszystkie zarejestrowane widoki, zapewnia spójność głębi obiektów w sąsiednich widokach. Jednakże, taka estymacja jest bardzo czasochłonna, szczególnie jeżeli kamery systemu są swobodnie rozstawione dookoła sceny i nie przyjęto żadnych założeń dotyczących ich położenia i liczby. Dla przykładu, metoda [14] pozwala na tworzenie map głębi w czasie rzeczywistym. Niestety, konieczne jest jednak zastosowanie czterech kamer o równoległych osiach optycznych i ściśle określonym rozstawieniu, co zmniejsza liczbę ewentualnych zastosowań takiego systemu. Czas estymacji jest również ściśle powiązany z rozdzielczością zarejestrowanych widoków. Możliwe jest tworzenie map głębi dla zdecymowanych obrazów wejściowych, co znacząco skraca czas estymacji, a następnie zwiększenie mapy g[...]

Realizacja eksperymentalnego systemu telewizji swobodnego punktu widzenia z łukowym ustawieniem kamer


  Telewizja swobodnego punktu widzenia (Free Viewpoint Television - FTV) jest w ostatnim czasie tematem intensywnych prac prowadzonych na całym świecie [5]. Możliwości przez nią oferowane sprawiają, że interesują się nią największe firmy związane z usługami telewizyjnymi. Pomimo że nie ma jeszcze w pełni gotowego i komercyjnie dostępnego systemu FTV, wiele zespołów badawczych tworzy własne systemy eksperymentalne. Również zespół z Katedry Telekomunikacji Multimedialnej i Mikroelektroniki Politechniki Poznańskiej (KTMiM) od lat pracuje nad systemami FTV. Składają się one zazwyczaj z kilku lub kilkunastu kamer rozmieszczonych wokół pewnej sceny (rys. 1) - boiska, placu, ringu itp. Widz może swobodnie zmieniać swój punkt obserwacji sceny i nie jest ograniczony tylko do widoków, które zarejestrowały rzeczywiste kamery. Aby osiągnąć efekt swobodnego przemieszczania się po scenie, w systemach takich stosuje się proces syntezy wielu widoków pośrednich. Widoki te tworzy się z pewnego modelu przestrzennego obserwowanej sceny, który jest estymowany na podstawie zarejestrowanych obrazów. CHARAKTERYSTYKA SYSTEMU W skład systemu telewizji swobodnego punktu widzenia zaprojektowanego przez zespół z KTMiM wchodzi dziesięć wolno stojących stanowisk kamerowych. Każde z nich zawiera wysokiej klasy kamerę i oprzyrządowanie pomocnicze, umieszczone we wspólnej, specjalnie zaprojektowanej dla potrzeb systemu, klatce kamerowej (rys. 2). Stanowisko kamerowe Do stworzenia systemu użyto dziesięciu kamer tego samego modelu - Canon XH G1. Ponadto wszystkie kamery pochodzą z tej samej serii produkcyjnej, aby zapewnić powtarzalność parametrów kamer. Pomimo tego, charakterystyka optyczna poszczególnych urządzeń jest nieco różna. Różnice te są kom-pensowane w wyniku zastosowania przetwarzania wstępnego opisanego dalej. W celu zapewnienia mobilności systemu, wszystkie połączenia kablowe w systemie zostały wyeliminowane i zastąpione komunikacją bezprzewodową.[...]

Telewizja swobodnego punktu widzenia - nowa usługa czy futurystyczna wizja?


  TELEWIZJA SWOBODNEGO PUNKTU WIDZENIA Systemy telewizji swobodnego punktu widzenia (Free- Viewpoint Television - FTV) umożliwiają pokazywanie sceny z punktów widzenia i z kierunków widzenia płynnie zmienianych przez widza podczas oglądania programu [1-3]. Widz samodzielnie wybiera punkt widzenia i w każdym kolejnym wybranym punkcie ogląda wirtualny widok wyliczony z odpowiedniej reprezentacji dynamicznej sceny. Ta reprezentacja jest przedtem wyznaczona z obrazów uzyskanych z pewnej liczby kamer rozmieszczonych wokół sceny (rys. 1). Należy jednak podkreślić, że w wyborze kolejnych punktów patrzenia na scenę widz nie jest ograniczony do widoków z rzeczywistych kamer, ale zazwyczaj ogląda widoki wirtualne (rys. 2), uzyskane w procesie syntezy. Syntezy wirtualnych widoków dokonuje się na podstawie wspomnianej odpowiedniej reprezentacji sceny, którą można nazwać obrazem swobodnego punktu widzenia. W badanych obecnie systemach najczęściej wykorzystuje się reprezentację w formacie "obraz wielowidokowy plus głębia" (Multiview plus Depth - MVD), składającą się z pewnej liczby widoków oraz map głębi, czyli tablic przedstawiających odległości poszczególnych punktów obrazu od kamery. Telewizja swobodnego punktu widzenia może być stosowana do transmisji zawodów sportowych, na przykład zapasów, judo, walk sumo lub bokserskich. Podczas transmisji będzie ona dawała każdemu miłośnikowi tych sportów możliwość obejrzenia poszczególnych akcji z takiego kierunku, który go najbardziej interesuje. Podobne zastosowania można przewidywać na przykład dla konkursów tanecznych, sztuk teatralnych czy rejestrowanych za pomocą kamer przedstawień dziecięcych, oglądanych przez poszczególne rodziny najchętniej z kierunku, z którego aktualnie najlepiej widać dziecko z tej rodziny. Potencjalne zastosowania obejmują także różne instrukcje i materiały szkoleniowe, a nawet filmy fabularne i dokumentalne. Obecnie trwają badania, mające na celu opracowanie systemó[...]

 Strona 1