Czasopismo | PRZEGLĄD ELEKTROTECHNICZNY | Rocznik 2019 - zeszyt 2

Detection of outliers in data streams using grouping methods

Wykrywanie wyjątków w strumieniach danych przy użyciu metod grupowania

nr katalogowy: 118386

Streszczenie

Efficient processing of data streams usually requires their initial processing, including on the removal of anomalies caused by, for example, measuring errors. Such errors may result in misinterpretation of the phenomena being analyzed .The literature describes several methods for detecting exceptions in data streams. Each of them requires proper selection of operating parameters. In addition, the effectiveness of methods may vary depending on the data set being analyzed. The article describes current methods for detecting exceptions in data streams and analyzed their operation on gas consumption data.

Abstract

Przedmiotem niniejszej pracy jest wykrywanie wyjątków w strumieniach danych przy użyciu metod grupowania. Przetwarzanie strumieni danych wymaga wstępnej analizy a przede wszystkim usuwania wszelkiego rodzaju anomalii spowodowanych błędami pomiarowymi. Błędy te prowadzą do niewłaściwej interpretacji analizowanych zjawisk. W literaturze można odnaleźć metody wykrywania wyjątków w strumieniach danych oparte na metodach statystycznych, grupowaniu danych. Każda metoda wymaga odpowiedniego doboru parametrów operacyjnych. Skuteczność jest uzależniona od analizowanego zestawu strumienia. W pracy podano kilka metod grupowania używanych do detekcji wyjątków w strumieniach danych. Metody te sprawdzono dla strumieni dotyczących zużycia gazu.

Słowa kluczowe

Keywords

Bibliografia

[1] Aggarwal, Charu C., Outlier Analysis, Springer, 2013.
[2] Barnett, V., Lewis, T., Outliers in statistical data, Wiley, 1994.
[3] A. Duraj A., P.S. Szczepaniak, Information Outliers and Their Detection in: M. Burgin and W. Hofkirchner (Eds.): Information Studies and the Quest for Transdisciplinarity World Scientific Publishing Company, Vol.9, Chapter 15, pp. 413—436
[4] A. Duraj,Outlier Detection in Medical Data Using Linguistic Summaries, 2017 IEEE International Conference on INnovations in Intelligent SysTems and Applications INISTA 2017, Gdynia, Poland, 3-5 July 2017.
[5] Ł. Chomątek, A. Duraj,Multiobjective Genetic Algorithm for Outliers Detection, 2017 IEEE International Conference on INnovations in Intelligent SysTems and Applications INISTA 2017, Gdynia, Poland, 3-5 July 2017, pp. 379-384
[6] A.Duraj., Ł.Chomątek, Outlier Detection Using the Multiobjective Genetic Algorithm, Journal of applied computer science, Institute of Information Technology, pp. 29-42, 10p.
[7] A. Duraj, A.Niewiadomski, P.S. Szczepaniak, Outlier detection using linguistically quantified statements, International Journal of Intelligent Systems, Vol.33, No 8, pp.1590-1601
[8] A.Duraj, Ł.Chomątek,Outlier Detection Using the Multiobjective Genetic Algorithm, Journal of Applied Computer Science, Vol.25, No 1, pp.29-42
[9] Berndt D.J, Clifford J. (1994) Using dynamic time warping to find patterns in time series.KDD Workshop.
[10] Suchwałko, A. i Zagdański, A. Analiza i prognozowanie szeregów czasowych. Praktyczne wprowadzenie na podstawie śodowiska R. Wydawnictwo Naukowe PWN. 2016 Warszawa
[11] Vallis, O., Hochenbaum, J., & Kejariwal, A. A Novel Technique for Long-Term Anomaly Detection in the Cloud. 2014.
[12] López-de-Lacalle, J. Tsoutliers. 27 Maj 2017. https://cran.rproject. org/web/packages/tsoutliers/tsoutliers.pdf
[13] Yanchang, Z. R and Data Mining. Examples and Case Studies Academic Press. 2013
[14] Lebioda, M.; Rymaszewski, J.; Korzeniewska, E., Simulation of Thermal Processes in Superconducting Pancake Coils Cooled by GM Cryocooler, MICROTHERM' 2013 - MICROTECHNOLOGY AND THERMAL PROBLEMS IN ELECTRONICS Book Series:Journal of Physics Conference Series Volume:494Article number:012018 Published:2014
[15] Rymaszewski, Jacek; Lebioda, Marcin; Korzeniewska, Ewa, Simulation of the loss of superconductivity in a threedimensional model of the metal-superconductor connection, PRZEGLAD ELEKTROTECHNICZNY, Volume:88, Issue:12B, Pages:183-186, Published:2012.
[16] Puchala, D.: Approximating the klt by maximizing the sum of fourthordermoments. IEEE Signal Processing Letters 20(3) (2013) 193-196
[17] Puchala, D., Yatsymirskyy, M.: Joint compression and encryption ofvisual data using orthogonal parametric transforms. Bulletin of thePolish Academy of Sciences Technical Sciences 64(2) (2016) 373-382
[18] Kejariwal, A. Introducing practical and robust anomaly detection in a time series. Access: Nov, 22, 2018, blog.twitter.com: https://blog.twitter.com/engineering/en_us/a/2015/introducingpractical- and-robust-anomaly-detection-in-a-time-series.html
[19] Shadan, M. Manipulating Time Series Data with xts. Access: Nov, 22, 2018, RPubs: https://rpubs.com/mohammadshadan/288218
[20] Hyndman, Rob J. Highest Density Regions and Conditional Density Estimation,Access: Nov, 22, 2018, z cran.r-project.org: https://cran.r-project.org/web/packages/hdrcde/hdrcde.pdf
[21] Venturini, Andrea Time Series Outlier Detection: A New Non- Parametric Methodology (Washer). 2011. Access: Nov, 22, 2018, https://rivistastatistica. unibo.it/article/viewFile/3617/2968
[22] Rosner, Bernard On the detection of many outliers. Technometrics 1975, Issue 2, Volume 17, Pages 221-227
[23] Chan, Liu Journal of the American Statistical Association, 1993, No. 421, Volume 88, Pages 284-297, Access: Nov, 22, 2018, istat.it: https://www.istat.it/it/files/2014/06/Joint- Estimation-of-Model-Parameters-and-Outlier-Effects-in-Time- Series.pdf
[24] Hyndman, Rob J. Computing and Graphing Highest Density Regions. The American Statistician, May 1996, No. 2, Vol. 50, Pages 120-126,Access: Nov, 22, 2018, webpages.uidaho.edu: http://www.webpages.uidaho.edu/~stevel/517/Computing%20a nd%20Graphing%20HDR.pdf

Jeśli masz wykupiony/przyznany dostęp - zaloguj się. Skorzystaj z naszych propozycji zakupu!

Publikacja


e-Publikacja (format pdf) - nr 118386 "Detection of outliers in ..." licencja: Osobista Produkt cyfrowy	10.00 zł

Zeszyt


PRZEGLĄD ELEKTROTECHNICZNY - e-zeszyt (pdf) 2019-2 licencja: Osobista Produkt cyfrowy	55.00 zł

Prenumerata

PRZEGLĄD ELEKTROTECHNICZNY - prenumerata cyfrowa
licencja: Osobista

Produkt cyfrowy
Nowość

762.00 zł

PRZEGLĄD ELEKTROTECHNICZNY - PAKIET prenumerata PLUS
licencja: Osobista

Szczegóły pakietu

Nazwa
PRZEGLĄD ELEKTROTECHNICZNY - PAKIET prenumerata PLUS (Prenumerata papierowa + dostęp do portalu sigma-not.pl + e-prenumerata)	1002.00 zł brutto 927.78 zł netto 74.22 zł VAT (stawka VAT 8%)

1002.00 zł

PRZEGLĄD ELEKTROTECHNICZNY - papierowa prenumerata roczna + wysyłka
licencja: Osobista

Szczegóły pakietu

Nazwa
PRZEGLĄD ELEKTROTECHNICZNY - papierowa prenumerata roczna	960.00 zł brutto 888.89 zł netto 71.11 zł VAT (stawka VAT 8%)
PRZEGLĄD ELEKTROTECHNICZNY - pakowanie i wysyłka	42.00 zł brutto 34.15 zł netto 7.85 zł VAT (stawka VAT 23%)

1002.00 zł

Zeszyt

2019-2

Twój Koszyk

Publikacja

Zeszyt

Prenumerata

Zeszyt

Czasopisma