Czasopismo | PRZEGLĄD ELEKTROTECHNICZNY | Rocznik 2017 - zeszyt 1

Classic and convex non-negative matrix visualization in clustering two benchmark data

10.15199/48.2017.01.14

Anna M. BARTKOWIAK

nr katalogowy: 103186
10.15199/48.2017.01.14

Both the classic and the convex NMF (Nonnegative Matrix Factorization) yield a parsimonious, lower rank representation of the data. They may yield also an indication on a soft clustering of the data vectors, We analyze two sets of diagnostic data, wine and sonar, for which the classic and convex nonnegative matrix factorization (NMF) behave differently when indicating group membership of the data vectors. The data are given as mxn matrices, with columns denoting objects, and rows - their attributes. We assess the clustering by multivariate graphical visualization methods. Streszczenie. Dla wybranych danych 'wine' i 'sonar' znajdujemy - za pomoc¸a NMF (nieujemna faktoryzacja macierzy) - ukryt ¸a struktur ¸e tych macierzy oraz wskazania co do klasteryzacji obiektów przedstawianych w kolumnach danych. Otrzyman¸a klasteryzacj¸e potwierdzamy trzema metodami wielozmiennej wizualizacji wektorów danych. (Klasteryzacja przy u˙zyciu klasycznej i typu convex nieujemnej faktoryzacji macierzy na przykładzie dwóch zbiorów danych) Keywords: non-negative matrix factorization, matrix approximation, reduction of dimensionality, multivariate data space, multivariate graphical visualization, clustering of data vectors Słowa kluczowe: nieujemna faktoryzacja macierzy, aproksymacja macierzy, redukcja wymiarowo´sci,wielozmienna przestrze´n danych, wizualizacja graficzna wielozmiennych danych, wyznaczanie skupie´n wektorów danych 1. Introduction We consider a size m×n data matrix Xcomposed from n column data vectors denoting objects or individuals: X = [x1, . . . , xn] with xj ∈ Rm, j = 1, . . . n. Each data vector xi is considered as an object (individual, data sample) characterized by m attributes. The same data vector xi may be also viewed as a data point in the mdimensional data space Rm. The specific assumption about the data matrix X is that its elements are nonnegative: X ≥ 0; which, equivalently, is indicated by the [...]

Bibliografia

[1] Bartkowiak A.M. , Zimroz R., NMF and PCA as applied to gearbox data, K. Jackowski, et al., (Eds): Intelligent Data Engineering and Automated Learning - IDEAL 2015 LNCS 9375, pp. 199-206, 2015.
[2] Bartkowiak A. and Szustalewicz A., Kernel Discriminant Analysis - a Practice Using the UCI Wine Data. In: J. Hartmann, J. Michalek, Eds, Biometricke metody a modely w soucasne vede a vyskumu, Sbornik referatu. UKZUZ Brno, 2006, pp. 45-56. ISBN 80-86548-89-9.
[3] Cichocki A., Zdunek R., Phan A.H., Amari Sh.: Nonnegative matrix and tensor factorizations. Applications to exploratory multi-way data analysis and blind source separation. Wiley, Chichester U.K. 2009.
[4] Ding C., He X.: Matrix factorization and spectral clustering. Proceed. SIAM Data Mining Conf., 2005.
[5] Ding C., Li T., Jordan MI: Convex and semi-nonnegative matrix factorizations. IEEE Trans. on Pattern Analysis and Machine Intelligence (TPAMI), 32, pp. 45-55, 2010.
[web page]
[6] Everitt B.S. and Dunn G.: Aplied Multivariate Data Analysis. Arnold, New York, Toronto 1991.
[7] Fevotte C., Bertin N., Durrieu J-L.: Nonnegative matrix factorization with the Itakura-Saito divergence. With application to music analysis. Neural Computation 21 (3),pp. 793-830, 2009.
[8] Gillis N.: The why and how of nonnegative matrix factorization. In: J.A.K. Suykens et al. (Eds), Regularization, Optimization, Kernels and Support Machines. Chapman & HallCRC, Chapter 1, pp. 3-39, 2014.
[9] Gorman R.P., Sejnowski T.L.: Analysis of Hidden Units in a Layered Neural Network Trained to Classify Sonar Targets. Neural Networks, Vol. 1,pp. 75-89, 1988
[10] Gorman R.P., Sejnowski T.J.: Learned Classification on Sonar Targets Using a Massively Parallel Network. IEEE Trans. on Acoustics, speech, and Signal Processing, 16(7), pp. 1135- 1140, July 1988.
[11] Hoyer P.O.: Non-negative matrix factorization with sparseness constraints. Journal of Machine Learning Research, 5, 1457- 1469, 2004.
[12] Kohonen T.: Self-organizing Maps, Springer, Heidelberg, Third Extended Edition 2001, 501 pages.
[13] Krzy´sko M., Wolynski W., et.al.: Systemy ucz¸ace si ¸e, rozpoznawanie wzorców, analiza skupie´n i redukcja wymiarowo´sci (Self-learning systems, pattern recognition, cluster analysis and reduction of dimensionality), WNT, Warszawa, 2008.
[14] Lachenbruch P.: Discriminant Analysis, Hafner Press, London, 1975.
[15] Lee D.D., Seung H.S.: Learning the parts of objects by nonnegative matrix factorization. Nature 401, 788-791, 1999.
[16] Lee H., Cichocki A., Choi S.: Kernel nonnegativematrix factorization for spectral EEG feature extraction. Neurocomputing 72, pp. 3182-3190, 2009.
[17] Li T.,Ding C.: The relationships among various non-negative matrix factorization methods for clustering. Proceedings of the Sixth Int. Conf. on Data Mining, c IEEE, pp. 362-371, 2006.
[18] Li Y., Ngom A.: The non-negative matrix factorization toolbox for biological data mining. BMC Source Code for Biology and Medicine, 8:(10), pp. 1-15, 2013.
[web page] https://sites.google.com/site/nmftool/.
[Accessed on 28 Oct. 2016.]
[19] Mannevaara M., Jilderin J.: Experiments on Gorman and Sejnowski sonar data. Manuscript 2001.
[web page] https://notendur.hi.is/benedict/Courses/sonar.pdf.
[Accessed on 16 Oct. 2016.]
[20] Marsland S.: Machine Learning, An Algorithmic Perspective. CRC Press, Taylor & Francis Group, Boca Raton London New York, Chapman & Hall, 2009.
[21] Okun O.G.: Non-negative matrix factorization and classifiers: experimental study. Proc. Intrn. Conf. on Visualisation, Imaging, and Image Processing (VIIP2004) Marbella, Spain, 2004.
[22] Tujaka A., Sparseness and locality in Nonnegative Matrix Factorization. Polish J. of Environ. Stud. 16, no. 5B, pp. 286-293, 2007.
[23] van der Maaten L., Hinton G., Visualizing data using t-SNE, Journal of Machine Learning Research 1, pp. 1-48, 2008.
[24] Vesanto J., et al., SOM Toolbox for Matlab 5, Som Toolbox Team, HUT, Finland. Libella Oy, Espoo, Version 0beta 2.0, pp. 1-54 November 2001.
[25] Zdunek R.: Nieujemna faktoryzacja macierzy i tensorów: Zastosowanie do klasyfikacji i przetwarzania sygnałów (Nonnegative matrix and tensor factorization, Application in classification and signal processing.) Oficyna Wydawnicza Politechniki Wrocławskiej, Wrocław 2014.
[26] Zdunek R.: Convex non-negative matrix factorization with Rank-1 update for clustering. L. Rutkowski et al. (Eds.): ICAISC 2015, LNAI 9120, pp. 59U˝ -68, Springer-Verlag Berlin Heidelberg (2015).
[27] Zurada J.M., Ensari T., Asi E.H., Chorowski J.: Nonnegative matrix factorization and its application to pattern recognition and text mining. Proc. of the 13th Federated Conference on Computer Science and Information Systems, Cracow pp. 11- 16, 2013.

Jeśli masz wykupiony/przyznany dostęp - zaloguj się. Skorzystaj z naszych propozycji zakupu!

Publikacja


e-Publikacja (format pdf) - nr 103186 "Classic and convex non-ne..." licencja: Osobista Produkt cyfrowy	10.00 zł

Zeszyt


PRZEGLĄD ELEKTROTECHNICZNY - e-zeszyt (pdf) 2017-1 licencja: Osobista Produkt cyfrowy	55.00 zł
PRZEGLĄD ELEKTROTECHNICZNY - e-zeszyt (pdf) 2017-10 licencja: Osobista Produkt cyfrowy	55.00 zł
PRZEGLĄD ELEKTROTECHNICZNY - e-zeszyt (pdf) 2017-11 licencja: Osobista Produkt cyfrowy	55.00 zł
PRZEGLĄD ELEKTROTECHNICZNY - e-zeszyt (pdf) 2017-12 licencja: Osobista Produkt cyfrowy	55.00 zł

Prenumerata

PRZEGLĄD ELEKTROTECHNICZNY - prenumerata cyfrowa
licencja: Osobista

Produkt cyfrowy
Nowość

762.00 zł

PRZEGLĄD ELEKTROTECHNICZNY - PAKIET prenumerata PLUS
licencja: Osobista

Szczegóły pakietu

Nazwa
PRZEGLĄD ELEKTROTECHNICZNY - PAKIET prenumerata PLUS (Prenumerata papierowa + dostęp do portalu sigma-not.pl + e-prenumerata)	1002.00 zł brutto 927.78 zł netto 74.22 zł VAT (stawka VAT 8%)

1002.00 zł

PRZEGLĄD ELEKTROTECHNICZNY - papierowa prenumerata roczna + wysyłka
licencja: Osobista

Szczegóły pakietu

Nazwa
PRZEGLĄD ELEKTROTECHNICZNY - papierowa prenumerata roczna	960.00 zł brutto 888.89 zł netto 71.11 zł VAT (stawka VAT 8%)
PRZEGLĄD ELEKTROTECHNICZNY - pakowanie i wysyłka	42.00 zł brutto 34.15 zł netto 7.85 zł VAT (stawka VAT 23%)

1002.00 zł

Zeszyt

2017-1

Twój Koszyk

Publikacja

Zeszyt

Prenumerata

Zeszyt

Czasopisma