Czasopismo | PRZEGLĄD TELEKOMUNIKACYJNY - WIADOMOŚCI TELEKOMUNIKACYJNE | Rocznik 2018 - zeszyt 5

Głębokie sieci neuronowe i ich zastosowania w eksploracji danych

Deep neural networks in application to data mining

10.15199/59.2018.5.2

Stanisław OSOWSKI

nr katalogowy: 113632
10.15199/59.2018.5.2

Streszczenie

Artykuł dotyczy podstaw działania typowych sieci neuronowych głębokich, do których zalicza się sieci konwolucyjne (CNN), autoenkoder czy sieć LSTM. Omówiono struktury tych sieci, ich algorytmy uczenia oraz dokonano przeglądu podstawowych zastosowań owych sieci w rozwiązywaniu różnego rodzaju zadań eksploracji danych, między innymi klasyfikacji, regresji, segmentacji danych, rekonstrukcji danych i wielu innych. Przedstawiono między innymi wyniki prac dotyczących bioinżynierii, w szczególności rozpoznawanie i klasyfikację obrazów mammograficznych.

Abstract

The paper presents the theoretical fundamentals of deep neural networks. The basic deep structures are discussed. They include convolutional neural networks (CNN), autoencoder (AE) and recurrent network called LSTM (Long short-term memory). This paper is concerned on presentation of their typical structures and learning algorithms. The review of some chosen applications of these solutions in such tasks as classification, regression, segmentation of data, reconstruction, text and speech recognition, etc., are discussed. Some chosen numerical results concerning classification problems will be also presented and discussed.

Słowa kluczowe

Keywords

Bibliografia

[1] Fukushima K.: “Neocognitron - a self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position". Biological Cybernetics 1980, vol.. 36, No 4, pp. 193-202. doi:10.1007/ bf00344251.
[2] LeCun Y., Y. Bengio: “Convolutional networks for images, speech, and time-series". 1995, in Arbib M. A. (editor), The Handbook of Brain Theory and Neural Networks. MIT Press, Massachusetts.
[3] Goodfellow I., Y. Bengio, A. Courville : Deep learning 2016, MIT Press, Massachusetts.
[4] Schmidhuber J.: Deep learning in neural networks: An overview. Neural Networks 2015, vol. 61, pp. 85-117.
[5] Hinton G. E, S. Osindero, and Y. W. Teh,: A fast learning algorithm for deep belief nets. Neural Computation 2006, vol. 18, pp. 1527-1554.
[6] Lecture CS231n. CS231n: Convolutional Neural. 2017, Stanford Vision Lab, Stanford University.
[7] Krizhevsky A., I. Sutskever, G. Hinton: Image net classification with deep convolutional neural networks. Advances in Neural Information Processing Systems 2012, vol. 25, pp. 1-9.
[8] Matlab 2017b, Math Works, Natick, USA, 2017.
[9] Zeiler M. D., R. Fergus: Visualizing and Understanding Convolutional Networks. 2013, pp. 1-11, https://arxiv.org/abs/1311.2901.
[10] Simonyan K., A. Zisserman: Very Deep Convolutional Networks for Large-Scale Image Recognition. 2014, pp. 1-14, arXiv:1409.1556.
[11] He K., X. Zhang, S. Ren, J. Sun: Deep Residual Learning for Image Recognition. 2015, http://arxiv.org/abs/1512.03385.
[12] Ronneberger O., P. Fischer, T. Brox: U-Net: Convolutional Networks for Biomedical Image Segmentation. 2015, arXiv:1505.04597.
[13] Graves A.: Supervised sequence labelling with recurrent neural networks. 2016 (preprint).
[14] Greff K., R. K. Srivastava, J. Koutník, B. R. Steunebrink, J. Schmidhuber: " LSTM: A search space odyssey". IEEE Transactions on Neural Networks and Learning Systems 2017, vol. 28, No 10, pp. 2222-2232.
[15] Shi Y.: Understanding LSTM and its diagrams. 2016, https://medium. com/mlreview/understanding-lstm-and-its-diagrams-37e...
[16] https://github.com/BVLC/caffe/tree/master/models/bvlc_googlenet.
[17] Heath D. K. M., K.W. Bowyer: “Current status of the digital database for screening mammography". 1998, Proceedings of the Fourth International Workshop on Digital Mammography, Kluwer Academic Publishers, Amsterdam, pp. 457-460.
[18] Świderski B., J. Kurek, S. Osowski, M. Kruk, W. Barhoumi.: “Deep learning and non-negative matrix factorization in recognition of mammograms". Proc. SPIE10225B 2017, Eighth Int. Conf. Graphic and Image Processing, 2017; doi:10.1117/12.2266335, http://dx.doi. org/10.1117/12.2266335.
[19] Cichocki A., R. Zdunek, A. H. Phan, S. I. Amari: Nonnegative matrix and tensor factorizations: applications to exploratory multi-way data analysis and blind source separation. 2009 Wiley, New York.
[20] Siwek K., S. Osowski: "Deep neural networks and classical approach to face recognition - comparative analysis". Przegląd Elektrotechniczny 2018, R. 94, No 4, pp. 1-4.
[21] http://www.yaronhadad.com/deep-learning-most-amazing-applications/
[22] http://hi.cs.waseda.ac.jp/~iizuka/projects/colorization/en/

Jeśli masz wykupiony/przyznany dostęp - zaloguj się. Skorzystaj z naszych propozycji zakupu!

Publikacja


e-Publikacja (format pdf) - nr 113632 "Głębokie sieci neuronowe ..." licencja: Osobista Produkt cyfrowy	10.00 zł

Zeszyt


PRZEGLĄD TELEKOMUNIKACYJNY - e-zeszyt (pdf) 2018-5 licencja: Osobista Produkt cyfrowy	30.50 zł

Prenumerata

PRZEGLĄD TELEKOMUNIKACYJNY - prenumerata cyfrowa
licencja: Osobista

Produkt cyfrowy
Nowość

300.00 zł

PRZEGLĄD TELEKOMUNIKACYJNY - papierowa prenumerata roczna + wysyłka
licencja: Osobista

Szczegóły pakietu

Nazwa
PRZEGLĄD TELEKOMUNIKACYJNY - papierowa prenumerata roczna	348.00 zł brutto 322.22 zł netto 25.78 zł VAT (stawka VAT 8%)
PRZEGLĄD TELEKOMUNIKACYJNY - pakowanie i wysyłka	21.00 zł brutto 17.07 zł netto 3.93 zł VAT (stawka VAT 23%)

369.00 zł

PRZEGLĄD TELEKOMUNIKACYJNY - PAKIET prenumerata PLUS
licencja: Osobista

Szczegóły pakietu

Nazwa
PRZEGLĄD TELEKOMUNIKACYJNY - PAKIET prenumerata PLUS (Prenumerata papierowa + dostęp do portalu sigma-not.pl + e-prenumerata)	450.00 zł brutto 416.67 zł netto 33.33 zł VAT (stawka VAT 8%)

450.00 zł

Zeszyt

2018-5

Twój Koszyk

Publikacja

Zeszyt

Prenumerata

Zeszyt

Czasopisma