Czasopismo | PRZEGLĄD TELEKOMUNIKACYJNY - WIADOMOŚCI TELEKOMUNIKACYJNE | Rocznik 2017 - zeszyt 6

Metody oceny wyników testów subiektywnych Quality of Experience

Methodology of subjective scores analysis for Quality of Experience research

10.15199/59.2017.6.5

Lucjan Janowski

nr katalogowy: 106243
10.15199/59.2017.6.5

Streszczenie

Paradygmat jakości postrzeganej przez użytkownika QoE (Quality of Experience) umożliwia optymalizowanie zarządzania zasobami sieci wielousługowej tak, aby średnia postrzegana jakość usług świadczonych przez te sieci była najwyższa z możliwych. W zależności od typu usługi lub nawet szczegółowego sposobu z niej korzystania można zmieniać wolumen dostarczonych danych (na przykład przesyłać strumień wideo o mniejszej rozdzielczości) przy minimalnej zmianie jakości postrzeganej przez użytkownika. Zaoszczędzone zasoby mogą zostać wykorzystane w celu poprawy jakości postrzeganej przez innych użytkowników. Takie podejście umożliwia zarządzanie siecią skierowane na jakość postrzeganą przez użytkowników, a nie na parametry QoS, takie jak przepustowość. Badanie opinii użytkowników rodzi naturalne pytanie, na ile uzyskanie wiarygodnego modelu QoE, umożliwiającego stwierdzenie, że niższa rozdzielczość lub silniejsza kompresja nie zmniejszy istotnie postrzeganej jakości, czyni niezbędnymi testy, a w ich wyniku, co można zrobić, aby odpowiedzi były dokładniejsze. W artykule podsumowano narzędzia analityczne umożliwiające ocenę testów subiektywnych. Daje ona możliwość porównania dwóch testów pod względem precyzji uzyskanych wyników, dokładności odpowiedzi uczestników czy trudności oceny danego zniekształcenia.

Abstract

Quality of Experience can be used to optimize the network management. The target of QoE driven network management is to obtain maximum quality of experience for all users. The basic concept behind QoE management is just noticeable difference. If a quality is just noticeable different for a service settings requiring less bandwidth, such settings should be used. Using setting requesting higher bandwidth than a user can notice consumes resources which could be spend on improving quality for other service or user. The proposed solution is based on QoE instead of QoS measurement. Nevertheless, the system can work only if QoE can be automatically measured by an objective metric. In order to estimate an objective metric a subjective experiment is needed. In this paper I presented the methodology of analyzing subjective scores obtained in a subjective experiment.

Słowa kluczowe

Keywords

Bibliografia

[1] Finley B., E. Boz, K. Kilkki, J. Manner, A. Oulasvirta, H. Hämmäinen, “Does network quality matter? A field study of mobile user satisfaction?", Pervasive and Mobile Computing, Available online 10 September
[2] (5 maja 2017). Cisco visual networking index: Global mobile data traffic forecast update, 2016-2021.
[Online]. Dostępny: http://www.cisco. com/c/en/us/solutions/collateral/service-provider/visual-networking- -index-vni/mobile-white-paper-c11-520862.pdf.
[3] Suznjevic M., L. Skorin-Kapov and M. Matijasevic, “The impact of user, system, and context factors on gaming QoE: A case study involving MMORPGs", 2013 12th Annual Workshop on Network and Systems Support for Games (NetGames), Denver, CO, USA, 2013, pp. 1-6.
[4] Qualcomm white paper, Making Immersive Virtual Reality Possible in Mobile, March 2016.
[5] Sackl A., R. Schatz & A.Raake, (2017). “More than I ever wanted or just good enough? User expectations and subjective quality perception in the context of networked multimedia services". Quality and User Experience, 2 (1), 3.
[6] Mościchowska I., B. Rogoś-Turek, Badania jako podstawa projektowania User Experience, Wydawnictwo Naukowe PWN, Warszawa 2015
[7] Pinson M. H., L. Janowski and Z. Papir, “Video Quality Assessment: Subjective testing of entertainment scenes," in IEEE Signal Processing Magazine, vol. 32, no. 1, pp. 101-114, Jan. 2015.
[8] Huynh-Thu Q., M. N. Garcia, F. Speranza, P. Corriveau and A. Raake, “Study of Rating Scales for Subjective Quality Assessment of High- Definition Video," in IEEE Transactions on Broadcasting, vol. 57, no. 1, pp. 1-14, March 2011.
[9] Aaron A., Z. Li, M. Manohara, J. De Cock, D. Ronca, “Per-Title Encode Optimization", The NETFLIX tech blog, 14 Grudnia 2015.
[10] Maxwell, S. E., H. D. Delaney, Designing Experiment and Analyzing Data: a Model Comparison Perspective (2nd ed.), Mahwah, New Jersey 2003, USA: LawrenceErlbaum Associates, Inc.
[11] Staelens N., D. Deschrijver, E. Vladislavleva, B. Vermeulen, T. Dhaene, P. Demeester, “Constructing a No-Reference H.264/AVC Bitstreambased Video Quality Metric using Genetic Programming-based Symbolic Regression", IEEE Transactions on Circuits and Systems for Video Technology, Issue 99, 2013, Early Access Article.
[12] Keimel C., J. Habigt, M. Klimpke, K. Diepold, “Design of no-reference video quality metrics with multiway partial least squares regression", International Workshop on Quality of Multimedia Experience (QoMEX), pp.49,54, 7-9 Sept. 2011.
[13] Singh K.D., G. Rubino, No-reference Quality of Experience monitoring in DVB-H networks, Wireless Telecommunications Symposium (WTS), pp.1-6, 21-23 April 2010.
[14] Winters B., A very basic tutorial for performing linear mixed effects University of California 2016.
[15] Janowski L. and Z. Papir, “Modeling subjective tests of quality of experience with a Generalized Linear Model", International Workshop on Quality of Multimedia Experience (QoMEX), 29-31 Jul. 2009.
[16] Janowski L., P. Romaniak, Z. Papir, “Content driven QoE assessment for video frame rate and frame resolution reduction" Multimedia tools and applications, Dec 2012.
[17] Romaniak P., L. Janowski, M. Leszczuk and Z. Papir, “Perceptual quality assessment for H.264/AVC compression," 2012 IEEE Consumer Communications and Networking Conference (CCNC), Las Vegas, NV, 2012, pp. 597-602.
[18] Cermak G. et al., “Final report from the video quality experts group on the validation of objective models of multimedia quality assessment, phase I", Mar. 28 2008. Available: https://www.vqeg.org
[19] Pinson M. H. et al., “The Influence of Subjects and Environment on Audiovisual Subjective Tests: An International Study" in IEEE Journal of Selected Topics in Signal Processing, vol. 6, no. 6, pp.
[20] Janowski L., M. Pinson, “The Accuracy of Subjects in a Quality Experiment: A Theoretical Subject Model", in IEEE Transactions on Multimedia, vol. 17, no. 12, pp. 2210-2224, Dec. 2015.
[21] Janowski L., M. Pinson, “Subject bias: Introducing a theoretical user model", 2014 Sixth International Workshop on Quality of Multimedia Experience (QoMEX), Singapore, 2014, pp. 251-256.

Jeśli masz wykupiony/przyznany dostęp - zaloguj się. Skorzystaj z naszych propozycji zakupu!

Publikacja


e-Publikacja (format pdf) - nr 106243 "Metody oceny wyników test..." licencja: Osobista Produkt cyfrowy	10.00 zł

Zeszyt


PRZEGLĄD TELEKOMUNIKACYJNY - e-zeszyt (pdf) 2017-6 licencja: Osobista Produkt cyfrowy	30.50 zł

Prenumerata

PRZEGLĄD TELEKOMUNIKACYJNY - prenumerata cyfrowa
licencja: Osobista

Produkt cyfrowy
Nowość

300.00 zł

PRZEGLĄD TELEKOMUNIKACYJNY - papierowa prenumerata roczna + wysyłka
licencja: Osobista

Szczegóły pakietu

Nazwa
PRZEGLĄD TELEKOMUNIKACYJNY - papierowa prenumerata roczna	348.00 zł brutto 322.22 zł netto 25.78 zł VAT (stawka VAT 8%)
PRZEGLĄD TELEKOMUNIKACYJNY - pakowanie i wysyłka	21.00 zł brutto 17.07 zł netto 3.93 zł VAT (stawka VAT 23%)

369.00 zł

PRZEGLĄD TELEKOMUNIKACYJNY - PAKIET prenumerata PLUS
licencja: Osobista

Szczegóły pakietu

Nazwa
PRZEGLĄD TELEKOMUNIKACYJNY - PAKIET prenumerata PLUS (Prenumerata papierowa + dostęp do portalu sigma-not.pl + e-prenumerata)	450.00 zł brutto 416.67 zł netto 33.33 zł VAT (stawka VAT 8%)

450.00 zł

Zeszyt

2017-6

Twój Koszyk

Publikacja

Zeszyt

Prenumerata

Zeszyt

Czasopisma