Czasopismo | PRZEGLĄD TELEKOMUNIKACYJNY - WIADOMOŚCI TELEKOMUNIKACYJNE | Rocznik 2016 - zeszyt 8-9

KORPUS MOWY ANGIELSKIEJ DO CELÓW MULTIMODALNEGO AUTOMATYCZNEGO ROZPOZNAWANIA MOWY

10.15199/59.2016.8-9.74

nr katalogowy: 101927
10.15199/59.2016.8-9.74

W referacie zaprezentowano audiowizualny korpus mowy zawierający 31 godzin nagrań mowy w języku angielskim. Korpus dedykowany jest do celów automatycznego audiowizualnego rozpoznawania mowy. Korpus zawiera nagrania wideo pochodzące z szybkoklatkowej kamery stereowizyjnej oraz dźwięk zarejestrowany przez matrycę mikrofonową i mikrofon komputera przenośnego. Dzięki uwzględnieniu nagrań zarejestrowanych w warunkach szumowych korpus może być wykorzystany do badania wpływu zakłóceń na skuteczność rozpoznawania mowy. Abstract: An audiovisual corpus containing 31 hours of English speech recordings is presented. The new corpus was created in order to assist the development of audiovisual speech recognition systems (AVSR). The corpus includes high-framerate stereoscopic video streams and audio recorded by both microphone array and a microphone built in a mobile computer. Owing to the inclusion of recordings made in noisy conditions, the corpus can be used to assess the robustness of speech recognition systems in the presence of acoustic noise. Słowa kluczowe: rozpoznawanie mowy, korpus MODALITY, AVSR Keywords: speech recognition, MODALITY corpus, AVSR 1. WSTĘP Dzięki postępom w dziedzinie mikroelektroniki, nawet niewielkie urządzenia elektroniki użytkowej, takie jak smartfony czy tablety, mogą być wyposażone w funkcje rozpoznawania mowy. Wynik rozpoznawania może podlegać transmisji, np. w postaci wiadomości tekstowej. Jednak podczas wykorzystywania tych funkcji w warunkach rzeczywistych, do sygnału mowy mogą zostać wprowadzone zewnętrzne zakłócenia, wpływając negatywnie na skuteczność jej rozpoznawania. Oprócz współwystępujących źródeł dźwięku (szum otoczenia, inni mówcy), skuteczność rozpoznawania może ulec pogorszeniu w wyniku występowania zjawiska pogłosu w rejestrowanej mowie. Analogicznie do sposobu postrzegania mowy przez człowieka, charakteryzującego się multimodalnością [6], dodatkowe dane pochodzące z modalności wizy[...]

Bibliografia

[1] Chibelushi, C C, S Gandon, J S D Mason, F Deravi, and R D Johnston. 1996. “Design Issues for a Digital Audio-Visual Integrated Database." Integrated Audio-Visual Processing for Recognition, Synthesis and Communication (Digest No: 1996/213)
[2] Czyzewski, Andrzej, Bozena Kostek, Tomasz Ciszewski, and Dorota Majewicz. 2013. “Language Material for English Audiovisual Speech Recognition System Development." J. Acoust. Soc. Am. 134(5), 4069.
[3] Dalka, Piotr, Piotr Bratoszewski, and Andrzej Czyzewski. 2014. “Visual Lip Contour Detection for the Purpose of Speech Recognition.", ICSES2014.
[4] Kashiwagi, Y, M Suzuki, N Minematsu, and K Hirose. 2012. “Audio-Visual Feature Integration Based on Piecewise Linear Transformation for Noise Robust Automatic Speech Recognition." Spoken Language Technology Workshop (SLT).
[5] Kunka, Bartosz, Adam Kupryjanow, Piotr Dalka, Piotr Bratoszewski, Maciej Szczodrak, Paweł Spaleniak, Marcin Szykulski, and Andrzej Czyzewski. 2013. “Multimodal English Corpus for Automatic Speech Recognition.", 17th IEEE SPA 2013.
[6] McGurk Henry, MacDonald John, 1976. “Hearing lips and seeing voices," Nature, vol. 264.
[7] Nguyen, Q D, and M Milgram. 2009. “Semi Adaptive Appearance Models for Lip Tracking." 2009 16th IEEE ICIP.
[8] Potamianos, Gerasimos, Chalapathy Neti, and Sabine Deligne. 2003. “Joint Audio-Visual Speech Processing for Recognition and Enhancement." In Proceedings of AVSP, 95-104.
[9] http://www.intel.com/content/www/us/en/architectu re-and-technology/realsense-overview.html

Jeśli masz wykupiony/przyznany dostęp - zaloguj się. Skorzystaj z naszych propozycji zakupu!

Publikacja


e-Publikacja (format pdf) - nr 101927 "KORPUS MOWY ANGIELSKIEJ D..." licencja: Osobista Produkt cyfrowy	10.00 zł

Zeszyt


PRZEGLĄD TELEKOMUNIKACYJNY - e-zeszyt (pdf) 2016-8-9 licencja: Osobista Produkt cyfrowy	30.50 zł

Prenumerata

PRZEGLĄD TELEKOMUNIKACYJNY - prenumerata cyfrowa
licencja: Osobista

Produkt cyfrowy
Nowość

300.00 zł

PRZEGLĄD TELEKOMUNIKACYJNY - papierowa prenumerata roczna + wysyłka
licencja: Osobista

Szczegóły pakietu

Nazwa
PRZEGLĄD TELEKOMUNIKACYJNY - papierowa prenumerata roczna	348.00 zł brutto 322.22 zł netto 25.78 zł VAT (stawka VAT 8%)
PRZEGLĄD TELEKOMUNIKACYJNY - pakowanie i wysyłka	21.00 zł brutto 17.07 zł netto 3.93 zł VAT (stawka VAT 23%)

369.00 zł

PRZEGLĄD TELEKOMUNIKACYJNY - PAKIET prenumerata PLUS
licencja: Osobista

Szczegóły pakietu

Nazwa
PRZEGLĄD TELEKOMUNIKACYJNY - PAKIET prenumerata PLUS (Prenumerata papierowa + dostęp do portalu sigma-not.pl + e-prenumerata)	450.00 zł brutto 416.67 zł netto 33.33 zł VAT (stawka VAT 8%)

450.00 zł

Zeszyt

2016-8-9

Twój Koszyk

Publikacja

Zeszyt

Prenumerata

Zeszyt

Czasopisma