Czasopismo | PRZEGLĄD TELEKOMUNIKACYJNY - WIADOMOŚCI TELEKOMUNIKACYJNE | Rocznik 2024 - zeszyt 4

BADANIE CROWDSOURCINGOWE JAKOŚCI SEKWENCJI WIZYJNYCH

A CROWDSOURCING STUDY OF VIDEO QUALITY

10.15199/59.2024.4.72

nr katalogowy: 150611
10.15199/59.2024.4.72

Streszczenie

Niniejsze badanie bada ocenę subiektyw- nej jakości wizyjnej za pomocą krótkich sekwencji wizyj- nych na platformie crowdsourcingowej. Łącznie 47 uczest- ników oceniło 170 krótkich sekwencji wizyjnych, korzy- stając z skali Absolute Category Rating (ACR). Mimo że wszystkie krótkie sekwencje wizjne były w pełnej roz- dzielczości HD, sekwencje wizyjne o jakości „dostatecz- nej” skutkowały dłuższym czasem odpowiedzi (1867,19 ms), przekraczającym inne kategorie przy limicie 5000 ms. Eksperyment przeprowadzono wyłącznie w przeglądarce Google Chrome w trybie incognito, aby wyeliminować ze- wnętrzne zakłócenia. Użycie automatycznego sekwencyj- nego odtwarzania umożliwiło efektywne zbieranie danych, co pozwolało użytkownikowi zakończyć eksperyment w około 55 minut. Wyniki wskazują, że sekwencje wizyj- ne o jakości „dostatecznej” regularnie otrzymywały oceny po upływie dłuższego czasu, co sugeruje obecność poten- cjalnych stronniczości w subiektywnych ocenach. Badanie podkreśla znaczenie uwzględniania zmiennych konteksto- wych, takich jak rozdzielczość monitora i projekt ekspery- mentu, podczas oceny jakości sekwencji wizyjnych. Wyni- ki poprawiają nasze zrozumienie sposobu, w jaki użytkow- nicy postrzegają jakość sekwencji wizyjnych, i dostarcza- ją cennych wniosków na przyszłe badania nad technologią multimedialną.

Abstract

This study investigates the evaluation of sub- jective video quality utilizing short video clips on a crowd- sourcing platform. A total of 47 participants provided ra- tings for 170 short videos using the Absolute Category Ra- ting (ACR) scale. Although all short videos are in full HD, clips of fair quality resulted in lengthier response times (1867.19 ms), exceeding other categories within a 5000 ms limit. The experiment was only conducted on Google Chrome in incognito mode to eliminate extraneous inter- ference. The use of automated sequential playing allowed for efficient data collection, resulting in the completion of the experiment in around 55 minutes. The results indi- cate that videos of Fair quality regularly received higher timings, suggesting the presence of potential biases in sub- jective evaluations. The study emphasizes the significance of taking into account contextual variables, such as moni- tor resolution and experimental design, when evaluating video quality. The findings improve our understanding of how users perceive video quality and provide valuable in- sights for future research on multimedia technology.

Słowa kluczowe

Keywords

Bibliografia

[1] M. Grega, L. Janowski, M. Leszczuk, P. Romaniak, and Z. Papir, 2008, “Quality of experience evalu- ation for multimedia services,” Przeglad Telekomu- nikacyjny I Wiadomosci Telekomunikacyjne, vol. 81, pp. 142–153, 01 .
[2] T. Hoßfeld, C. Keimel, M. Hirth, B. Gardlo, J. Habigt, K. Diepold, and P. Tran-Gia, 2014, “Best practices for qoe crowdtesting: Qoe assessment with crowdsourcing,” IEEE Transactions on Multimedia, vol. 16, no. 2, pp. 541–558.
[3] A. Dutta, M. Leszczuk, D. Juska, M. Grega, 2023, "Subjective Quality Assessment of Video Summari- zation Algorithms: A Crowdsourcing Approach" vol. 96, no. 4, pp. 333-336, Przegląd Telekomunikacyjny + Wiadomości Telekomunikacyjne.
[4] P. Romaniak, M. Muy, A. Mauthe, S. D’Antonio, and M. Leszczuk, 2011, “Framework for the integrated vi- deo quality assessment,” Multimedia Tools and Ap- plications, vol. 61, 12.
[5] M. Leszczuk, M. Grega, A. Kozbiał, J. Gliwski, K. Wasieczko, and K. Smaıli, 2017, “Video summari- zation framework for newscasts and reports – work in progress,” in Multimedia Communications, Servi- ces and Security, A. Dziech and A. Czyzewski, Eds. Cham: Springer International Publishing, pp. 86–97.
[6] W.-T. Tsai, L. Zhang, S. Hu, Z. Fan, and Q. Wang, 2023, “Crowdtesting practices and models: An empi- rical approach,” Information and Software Technolo- gy, vol. 154, p. 107103.
[7] M. Shahid, J. Søgaard, J. Pokhrel, K. Brunnstrom, K. Wang, S. Tavakoli, and N. Gracia, 2014, “Crowd- sourcing based subjective quality assessment of ad- aptive video streaming,” in 2014 Sixth International Workshop on Quality of Multimedia Experience (Qo- MEX), pp. 53–54.
[8] S.-Y. Wu, R. Thawonmas, and K.-T. Chen, 2011, “Video summarization via crowdsourcing,” in CHI ’11 Extended Abstracts on Human Factors in Com- puting Systems, ser. CHI EA ’11. New York, NY, USA: Association for Computing Machinery, p. 1531–1536.
[9] M. Leszczuk, L. Janowski, J. Nawała, and M. Grega, 2022, “User-generated content (ugc)/in-the-wild vi- deo content recognition,” in Intelligent Information and Database Systems, N. T. Nguyen, T. K. Tran, U. Tukayev, T.-P. Hong, B. Trawinski, and E. Szczer- bicki, Eds. Cham: Springer Nature Switzerland, pp. 356–368.
[10] P. Romaniak, L. Janowski, M. Leszczuk, and Z. Papir, 2012, “Perceptual quality assessment for h.264/avc compression,” in IEEE Consumer Commu- nications and Networking Conference (CCNC), pp. 597–602.
[11] ITU-T. Recommendations: ITU-T P.910: Methods for the subjective assessment of video quality, audio quality and audio-visual quality of Internet video and distribution quality television in any environment, International Telecommunication Union, 2016.
[12] K. Borchert, A. Seufert, E. Gamboa, M. Hirth, and T. Hossfeld, 2021, “In vitro vs in vivo: Does the stu- dy’s interface design influence crowdsourced video qoe?” Quality and User Experience, vol. 6, 12.

Jeśli masz wykupiony/przyznany dostęp - zaloguj się. Skorzystaj z naszych propozycji zakupu!

Publikacja


PRZEGLĄD TELEKOMUNIKACYJNY - WIADOMOŚCI TELEKOMUNIKACYJNE- e-publikacja (pdf) z zeszytu 2024-4 , nr katalogowy 150611 licencja: Osobista Produkt cyfrowy Nowość	10.00 zł

Prenumerata

PRZEGLĄD TELEKOMUNIKACYJNY - prenumerata cyfrowa
licencja: Osobista

Produkt cyfrowy
Nowość

300.00 zł

PRZEGLĄD TELEKOMUNIKACYJNY - papierowa prenumerata roczna + wysyłka
licencja: Osobista

Szczegóły pakietu

Nazwa
PRZEGLĄD TELEKOMUNIKACYJNY - papierowa prenumerata roczna	348.00 zł brutto 322.22 zł netto 25.78 zł VAT (stawka VAT 8%)
PRZEGLĄD TELEKOMUNIKACYJNY - pakowanie i wysyłka	21.00 zł brutto 17.07 zł netto 3.93 zł VAT (stawka VAT 23%)

369.00 zł

PRZEGLĄD TELEKOMUNIKACYJNY - PAKIET prenumerata PLUS
licencja: Osobista

Szczegóły pakietu

Nazwa
PRZEGLĄD TELEKOMUNIKACYJNY - PAKIET prenumerata PLUS (Prenumerata papierowa + dostęp do portalu sigma-not.pl + e-prenumerata)	450.00 zł brutto 416.67 zł netto 33.33 zł VAT (stawka VAT 8%)

450.00 zł

Zeszyt

2024-4

Twój Koszyk

Publikacja

Prenumerata

Zeszyt

Czasopisma