Czasopismo | PRZEGLĄD TELEKOMUNIKACYJNY - WIADOMOŚCI TELEKOMUNIKACYJNE | Rocznik 2018 - zeszyt 4

Metryki oceny jakości klasyfikacji

Classification evaluation metrics

10.15199/59.2018.4.3

Cezary Jankowski

nr katalogowy: 113302
10.15199/59.2018.4.3

Streszczenie

Ilość gromadzonych przez ludzkość danych ciągle rośnie. Wiedza z nich otrzymywana ma kluczowe znaczenie. Dużą wagę przywiązuje się zatem do oceny jakości budowanych modeli. W artykule przedstawiono powszechnie stosowane metryki oceny jakości klasyfikacji. Opisano między innymi miary oparte na macierzy błędów, miary o graficznej reprezentacji oraz funkcję log loss. Przedstawiono podstawowe właściwości metryk, ze szczególnym uwzględnieniem możliwości zastosowania w zagadnieniach wieloklasowych.

Abstract

The amount of data collected by humanity is constantly increasing. The knowledge that could be discovered is crucial. Therefore, great attention is paid to the quality of built models. This work presents commonly used classification evaluation metrics. Metrics based on confusion matrix, graphical representations measures, and log loss function have been described among others. The basic properties of the metrics have been presented with emphasis on their applicability in multiclass problems.

Słowa kluczowe

Keywords

Bibliografia

[1] Bouckaert R.: Choosing between two learning algorithms based on calibrated tests, ICML 2003, 2003.
[2] Carletta J.: "Assessing agreement on classification tasks: the kappa statistic", Journal Computational Linguistics, vol. 22: 249-254, 1996.
[3] Cohen J., A coefficient of agreement for nominal scales, Educational and Psychological Measurement, 10,3746, 1960.
[4] Fatourechi M. et al.: Comparison of evaluation metrics in classification applications with imbalanced datasets, Seventh International Conference on Machine Learning and Applications, 2008. ICMLA'08., IEEE, 2008.
[5] Fawcett T.: “An introduction to ROC analysis", Pattern recognition letters, 2006, pp. 861 874.
[6] Hand D., R. Till: “A simple generalisation of the area under the ROC curve for multiple class classification problems", Machine learning 45.2: 171-186, 2011.
[7] Kirui C., L. Hong, W. Cheruiyot, H. Kirui: "Predicting Customer Churn in Mobile Telephony Industry Using Probabilistic Classifiers in Data Mining", International Journal of Computer Science Issues, 2013.
[8] Landgrebe T., R. Duin: "Approximating the multiclass ROC by pairwise analysis", Pattern recognition letters 28.13: 1747-1758, 2007.
[9] Lichtenstein S., B. Fischhoff, L. Phillips: Calibration of probabilities: The state of the art, Decision making and change in human affairs, Springer Netherlands, pp. 275-324, 1977.
[10] Pedregosa F. (et al.): Scikit-learn: Machine Learning in Python, JMLR 12, 2011, pp. 2825-2830.
[11] Powers, D.: "Evaluation: From Precision, Recall and F-Measure to ROC, Informedness, Markedness & Correlation", Journal of Machine Learning Technologies. 2 (1): 37-63, 2011.
[12] Salzberg, S.: “On comparing classifiers: Pitfalls to avoid and a recommended approach", Data Mining and Knowledge Discovery, 1, 317-328, 1997.
[13] Tsoumakas G., I. Katakis, "Multi-label classification: An overview", International Journal of Data Warehousing and Mining, 3.3, 2006.
[14] Verbeke W., K. Dejaeger, D. Martens, J. Hur, B. Baesens: "New insights into churn prediction in the telecommunication sector: A profit driven data mining approach", European Journal of Operational Research, 2012.
[15] Viera A. J., Garrett J.M.: "Understanding interobserver agreement: the kappa statistic", Family Medicine, vol. 37, no. 5, 2005, pp. 360-363.
[16] Weiss G.: Data Mining in the Telecommunications Industry, Encyclopedia of Data Warehousing and Mining, Second Edition, Chapter 76, 2009, pp. 486-491
[17] Zadrozny B., Elkan C.: "Transforming classifier scores into accurate multiclass probability estimates", Proceedings of the eighth ACM SIGKDD international conference on Knowledge discovery and data mining. ACM, 2002
[18] http://info.cern.ch/hypertext/WWW/TheProject.html, dostęp 10.11.2017

Jeśli masz wykupiony/przyznany dostęp - zaloguj się. Skorzystaj z naszych propozycji zakupu!

Publikacja


e-Publikacja (format pdf) - nr 113302 "Metryki oceny jakości kla..." licencja: Osobista Produkt cyfrowy	10.00 zł

Zeszyt


PRZEGLĄD TELEKOMUNIKACYJNY - e-zeszyt (pdf) 2018-4 licencja: Osobista Produkt cyfrowy	30.50 zł

Prenumerata

PRZEGLĄD TELEKOMUNIKACYJNY - prenumerata cyfrowa
licencja: Osobista

Produkt cyfrowy
Nowość

300.00 zł

PRZEGLĄD TELEKOMUNIKACYJNY - papierowa prenumerata roczna + wysyłka
licencja: Osobista

Szczegóły pakietu

Nazwa
PRZEGLĄD TELEKOMUNIKACYJNY - papierowa prenumerata roczna	348.00 zł brutto 322.22 zł netto 25.78 zł VAT (stawka VAT 8%)
PRZEGLĄD TELEKOMUNIKACYJNY - pakowanie i wysyłka	21.00 zł brutto 17.07 zł netto 3.93 zł VAT (stawka VAT 23%)

369.00 zł

PRZEGLĄD TELEKOMUNIKACYJNY - PAKIET prenumerata PLUS
licencja: Osobista

Szczegóły pakietu

Nazwa
PRZEGLĄD TELEKOMUNIKACYJNY - PAKIET prenumerata PLUS (Prenumerata papierowa + dostęp do portalu sigma-not.pl + e-prenumerata)	450.00 zł brutto 416.67 zł netto 33.33 zł VAT (stawka VAT 8%)

450.00 zł

Zeszyt

2018-4

Twój Koszyk

Publikacja

Zeszyt

Prenumerata

Zeszyt

Czasopisma