Czasopismo | ELEKTRONIKA - KONSTRUKCJE, TECHNOLOGIE, ZASTOSOWANIA | Rocznik 2017 - zeszyt 4

Śledzenie mówcy wykorzystujące obraz i dźwięk

10.15199/13.2017.4.1

nr katalogowy: 105317
10.15199/13.2017.4.1

W artykule przedstawiono eksperymentalne urządzenie do śledzenia poruszającego się mówcy. Urządzenie wykorzystuje informację audio-wideo uzyskaną z kamery i mikrofonów. W obrazie z kamery wykrywana jest twarz i jej położenie. Dwie pary mikrofonów pozwalają na estymację kierunku nadejścia dźwięku przy użyciu uogólnionej metody korelacji wzajemnej. W artykule przedstawiono wyniki eksperymentów. Słowa kluczowe: śledzenie mówcy, system audio-wideo, kierunek nadejścia dźwięku, GCC, PHAT.Potrzeba śledzenia poruszających się obiektów występuje w wielu sytuacjach. Charakteryzują się one występowaniem wielu obiektów, które bez względu czy współdziałają ze sobą czy nie, wykorzystują wspólną przestrzeń. Wzajemne śledzenie wymagane jest do unikania kolizji lub nawiązywania komunikacji. Przy konstruowaniu autonomicznych urządzeń wykonujących różne zadania tzw. robotów, człowiek i jego zachowanie to często wzór do naśladowania przy określaniu mechanizmów ich funkcjonowania. Czynności wykonywane przez człowieka charakteryzują się dużą złożonością związaną z przetwarzaniem bodźców zewnętrznych w celu podjęcia decyzji o sekwencji ruchów do wykonania (np. rękami, nogami lub głową). Naśladowanie ludzkich umiejętności, w tym inteligencji, jest ciągle dużym wyzwaniem. Roboty jako urządzenia mechaniczne charakteryzują się mniejszą możliwością adaptacji do zmieniających się warunków w porównaniu z ciałem człowieka. Procesory do przetwarzania danych multimedialnych nie są tak wydajne jak mechanizmy ludzkich zmysłów. Możliwości mechanicznych konstrukcji przewyższają ludzkie możliwości w sytuacjach, kiedy zakres stosowania jest znacząco ograniczony. Wykorzystując tę specyfikę można próbować rozkładać czynności człowieka na czynności składowe o mniejszej złożoności z punktu widzenia maszynowego naśladowania. W niniejszym artykule przedstawiono eksperyment, w którym urządzenie śledzi położenie poruszającego się mówcy. Funkcjonowanie urządzenia wynika [...]

Bibliografia

[1] M. Poggendorf, C. Walter, F. Penzlin and N. Elkmann, (2010) “Towards Multi-Modal Distributed Attention for Service Robotics", 11th European Conference on Computer Vision (ECCV 2010), 5-11 Spetember, 2010.
[2] M. Rothbucher, D. Kronmüller, M. Durkovic, T. Habigt and K. Diepold (2011). “HRTF Sound Localization", Advances in Sound Localization, Dr. Pawel Strumillo (Ed.), In- Tech, DOI: 10.5772/14773. Available from: http://www.intechopen.com/books/advances- in-sound-localization/hrtf-sound-localization .
[3] F. Keyrouz, K. Diepold, S. Keyrouz, (2007) “Humanoid Binaural Sound Tracking Using Kalman Filtering and HRTFs", K. Kozłowski (Ed.), Robot Motion and Control 2007, LNCIS 360, pp 329-340, DOI: 10.1007/978- 1-84628-974-3_30, Available from: http:// dx.doi.org/10.1007/978-1-84628-974-3_30 .
[4] H. Sayoud, S. Ouamour, S. Khennouf, (2011) “Automatic speaker tracking by camera using two-channel-based sound source localization", Internat. Journal of Intelligent Computing and Cybernetics 2011 4:1, 40-60.
[5] A. BruttiEmail, M. Omologo and P. Svaizer,(2010) “Multiple Source Localization Based on Acoustic Map De-Emphasis", EURASIP Journal on Audio, Speech, and Music Processing 2010, DOI: 10.1155/2010/147495.
[6] L. Sun, Q. Cheng, (2014) “Indoor multiple sound source localization using a novel data selection scheme", Information Sciences and Systems (CISS), 2014 48th Annual Conference on, DOI: 10.1109/CISS.2014.6814189.
[7] B Lee, J. Choi, (2010) “Multi-source sound localization using the competitive k-means clustering", Emerging Technologies and Factory Automation (ETFA), 2010 IEEE Conference on, DOI: 10.1109/ETFA.2010.5641169.
[8] I. D. Gebru, S. Ba, G. Evangelidis, R. Horaud, (2015)"Audio-Visual Speech-Turn Detection and Tracking", The 12-th International Conference on Latent Variable Analysis and Signal Separation, Aug 2015, Liberec, Czech Republic, pp.143-151, 2015, http:// link.springer.com/chapter/10.1007/978-3-319-22482-4_17, DOI: 10.1007/978-3-319-22482-4_17.
[9] C. Knapp, G. C. Carter, (1976) “The generalized correlation method for estimation of time delay", Acoustics, Speech and Signal Processing, IEEE Transactions on , vol.24, no.4, pp.320,327, Aug 1976.
[10] D. Cetnarowicz, A. Dąbrowski,(2013) "Enhancement of time-delay of arrival estimation", SIGNAL PROCESSING SPA’2013, Poland Section, Chapter Circuits and Systems IEEE, p. 323-326, Poznań, Poland, September 26-28 2013.

Jeśli masz wykupiony/przyznany dostęp - zaloguj się. Skorzystaj z naszych propozycji zakupu!

Publikacja


e-Publikacja (format pdf) - nr 105317 "Śledzenie mówcy wykorzyst..." licencja: Osobista Produkt cyfrowy	10.00 zł

Zeszyt


ELEKTRONIKA - KONSTRUKCJE, TECHNOLOGIE, ZASTOSOWANIA - e-zeszyt (pdf) 2017-4 licencja: Osobista Produkt cyfrowy	35.00 zł

Prenumerata

ELEKTRONIKA - KONSTRUKCJE, TECHNOLOGIE, ZASTOSOWANIA - prenumerata cyfrowa
licencja: Osobista

Produkt cyfrowy
Nowość

420.00 zł

ELEKTRONIKA - KONSTRUKCJE, TECHNOLOGIE, ZASTOSOWANIA - papierowa prenumerata roczna + wysyłka
licencja: Osobista

Szczegóły pakietu

Nazwa
ELEKTRONIKA - KONSTRUKCJE, TECHNOLOGIE, ZASTOSOWANIA - papierowa prenumerata roczna	528.00 zł brutto 488.89 zł netto 39.11 zł VAT (stawka VAT 8%)
ELEKTRONIKA - KONSTRUKCJE, TECHNOLOGIE, ZASTOSOWANIA - pakowanie i wysyłka	42.00 zł brutto 34.15 zł netto 7.85 zł VAT (stawka VAT 23%)

570.00 zł

ELEKTRONIKA - KONSTRUKCJE, TECHNOLOGIE, ZASTOSOWANIA - PAKIET prenumerata PLUS
licencja: Osobista

Szczegóły pakietu

Nazwa
ELEKTRONIKA - KONSTRUKCJE, TECHNOLOGIE, ZASTOSOWANIA - PAKIET prenumerata PLUS (Prenumerata papierowa + dostęp do portalu sigma-not.pl + e-prenumerata)	636.00 zł brutto 588.89 zł netto 47.11 zł VAT (stawka VAT 8%)

636.00 zł

Zeszyt

2017-4

Twój Koszyk

Publikacja

Zeszyt

Prenumerata

Zeszyt

Czasopisma