Czasopismo | PRZEGLĄD TELEKOMUNIKACYJNY - WIADOMOŚCI TELEKOMUNIKACYJNE | Rocznik 2019 - zeszyt 12

Optymalizacja treningu i wnioskowania sieci neuronowych

Optimization of neural networks training and inference

10.15199/59.2019.12.6

nr katalogowy: 123861
10.15199/59.2019.12.6

System binarny jest podstawą reprezentacji wartości liczbowych w systemach cyfrowych. Zapis liczb w pamięci komputera za pomocą zer i jedynek wprowadza istotne ograniczenia co do maksymalnego zakresu wartości i ich precyzji. Kwestia ta jest szczególnie istotna w przypadku zapisu liczb w formacie zmiennoprzecinkowym. Duża złożoność obliczeń przeprowadzanych w tym formacie powoduje zwiększone zapotrzebowanie na pamięć i moc obliczeniową [4]. Liczba bitów dostępna do zapisu zmiennej zmiennoprzecinkowej ma istotny wpływ na czas i precyzję przeprowadzanych obliczeń. Ograniczając liczbę bitów wykorzystywanych do przedstawienia wykładnika i mantysy, redukuje się zakres możliwych do przedstawienia w danym formacie wartości zmiennoprzecinkowych, jednak jednocześnie zmniejsza się złożoność wspomnianych operacji. Rys. 1 obrazuje podział symulacja procesów wnioskowania mózgu za pomocą złożonych struktur matematycznych. Jednym z przykładów takich struktur jest wielowarstwowa sieć neuronowa przedstawiona na rys. 2. Podobnie jak mózg, wspomniana sieć wymaga stosownego uczenia, czyli treningu, aby następnie przetwarzać wejściowe informacje. Oba te procesy, w zależności od problemu, do którego rozwiązania dana sieć jest projektowana, mogą wymagać znacznej pamięci i mocy obliczeniowej. ??Rys. 1. Przedstawienie formatu zapisu 16-bitowej liczby zmiennoprzecinkowej 16-bitowej zmiennej zmiennoprzecinkowej, w którym wyróżniono grupy bitów przeznaczone do zapisu znaku, wykładnika i mantysy. Wartość tak zapisanej liczby zmiennoprzecinkowej można obliczyć za pomocą następującego wzoru [5]: x = Z . M . BW (1) gdzie: x - wartość liczby zmiennoprzecinkowej, Z - znak liczby, M - mantysa, B - podstawa systemu liczbowego, W - wykładnik. Zagadnienie złożoności obliczeń zmiennoprzecinkowych ma bezpośredni wpływ na sieci neuronowe, których zadaniem jest ??Rys. 2. Wielowarstwowa sieć neuronowa z jedną warstwą ukrytą [6] Jednym z obecnych problemów dotyczą[...]

Bibliografia

[1] Schmidhuber J. 2015. "Deep learning in neural networks: An overview". Neural networks, 61, 85-117.
[2] Liu W., Z. Wang, X. Liu, N. Zeng, Y. Liu, F. E. Alsaadi. 2017. "A survey of deep neural network architectures and their applications". Neurocomputing, 234, 11-26.
[3] De Sa C., M. Leszczynski, J. Zhang, A. Marzoev, C. R. Aberger, K. Olukotun, C. Ré. 2018. High-accuracy low-precision training. arXiv preprint arXiv:1803.03383.
[4] Swartzlander E. E., C. E. Lemonds (Eds.). 2015. Computer Arithmetic: Volume III (Vol. 3). World Scientific.
[5] Goldberg D. 1991. "What every computer scientist should know about floating-point arithmetic". ACM Computing Surveys (CSUR), 23(1), 5-48.
[6] LeNail A. 2019. NN-SVG: "Publication-Ready Neural Network Architecture Schematics". Journal of Open Source Software, 4(33), 747, https://doi.org/10.21105/joss.00747
[7] Ioffe S., C. Szegedy. 2015. Batch normalization: Accelerating deep network training by reducing internal covariate shift. arXiv preprint arXiv:1502.03167.
[8] Courbariaux M., Y. Bengio, J. P. David. 2014. Training deep neural networks with low precision multiplications. arXiv preprint arXiv:1412.7024.
[9] Rosenblatt F.. 1958. "The perceptron: a probabilistic model for information storage and organization in the brain". Psychological review 65.6 1958: 386.
[10] Nwankpa C., W. Ijomah, A. Gachagan, S. Marshall. 2018. Activation functions: Comparison of trends in practice and research for deep learning. arXiv preprint arXiv:1811.03378.
[11] Cloud TPU. Google Cloud. 2019. Uzyskane z https://cloud.google. com/tpu/.
[12] Gupta S., A. Agrawal, K. Gopalakrishnan, P. Narayanan. 2015, June. Deep learning with limited numerical precision. In International Conference on Machine Learning (pp. 1737-1746).
[13] Goodfellow I. J., D. Warde-Farley, M. Mirza, A. Courville, Y. Bengio. 2013. Maxout networks. arXiv preprint arXiv:1302.4389.
[14] LeCun Y., C. Cortes, C. Burges. 2019. The MNIST Database, Uzyskane z http://yann.lecun.com/exdb/mnist/.
[15] Krizhevsky A., G. Hinton. 2009. "Learning multiple layers of features from tiny images" (Vol. 1, No. 4, p. 7). Technical report, University of Toronto.
[16] Ortiz M., A. Cristal, E. Ayguadé, M. Casas. 2018. Low-precision floating-point schemes for neural network training. arXiv preprint arXiv:1804.05267.
[17] Courbariaux M., Y. Bengio. 2016. Binarized Neural Networks: Training Neural Networks with Weights and Activations Constrained to+ 1 or - 1. arXiv preprint arXiv:1602.02830.
[18] Rastegari M., V. Ordonez, J. Redmon, A. Farhadi. 2016, October. Xnor-net: Imagenet classification using binary convolutional neural networks. In European Conference on Computer Vision (pp. 525- 542). Springer, Cham.
[19] Hubara I., M. Courbariaux, D. Soudry, R. El-Yaniv, Y. Bengio. 2017. "Quantized neural networks: Training neural networks with low precision weights and activations". The Journal of Machine Learning Research, 18(1), 6869-6898.
[20] Sutskever I., G. E. Hinton, A. Krizhevsky. 2012. Imagenet classification with deep convolutional neural networks. Advances in neural information processing systems, 1097-1105.
[21] Lee J., C. Kim, S. Kang, D. Shin, S. Kim, H. J. Yoo. 2018, February. UNPU: A 50.6 TOPS/W unified deep neural network accelerator with 1b-to-16b fully-variable weight bit-precision. In 2018 IEEE International Solid-State Circuits Conference (ISSCC) (pp. 218-220). IEEE.
[22] Intel® Compute Stick. 2019. Uzyskane z https://www.intel.pl/content/ www/pl/pl/products/boards-kits/compute-stick.html.
[23] LeCun Y., L. Bottou, Y. Bengio, P. Haffner. 1998. "Gradient-based learning applied to document recognition " . Proceedings of the IEEE, 86(11), 2278-2324.
[24] TensorFlow. 2019. Uzyskane z https://www.tensorflow.org/.
[25] PyTorch. 2019. Uzyskane z https://pytorch.org/.

Jeśli masz wykupiony/przyznany dostęp - zaloguj się. Skorzystaj z naszych propozycji zakupu!

Publikacja


e-Publikacja (format pdf) - nr 123861 "Optymalizacja treningu i ..." licencja: Osobista Produkt cyfrowy	10.00 zł

Zeszyt


PRZEGLĄD TELEKOMUNIKACYJNY - e-zeszyt (pdf) 2019-12 licencja: Osobista Produkt cyfrowy	30.50 zł

Prenumerata

PRZEGLĄD TELEKOMUNIKACYJNY - prenumerata cyfrowa
licencja: Osobista

Produkt cyfrowy
Nowość

300.00 zł

PRZEGLĄD TELEKOMUNIKACYJNY - papierowa prenumerata roczna + wysyłka
licencja: Osobista

Szczegóły pakietu

Nazwa
PRZEGLĄD TELEKOMUNIKACYJNY - papierowa prenumerata roczna	348.00 zł brutto 322.22 zł netto 25.78 zł VAT (stawka VAT 8%)
PRZEGLĄD TELEKOMUNIKACYJNY - pakowanie i wysyłka	21.00 zł brutto 17.07 zł netto 3.93 zł VAT (stawka VAT 23%)

369.00 zł

PRZEGLĄD TELEKOMUNIKACYJNY - PAKIET prenumerata PLUS
licencja: Osobista

Szczegóły pakietu

Nazwa
PRZEGLĄD TELEKOMUNIKACYJNY - PAKIET prenumerata PLUS (Prenumerata papierowa + dostęp do portalu sigma-not.pl + e-prenumerata)	450.00 zł brutto 416.67 zł netto 33.33 zł VAT (stawka VAT 8%)

450.00 zł

Zeszyt

2019-12

Twój Koszyk

Publikacja

Zeszyt

Prenumerata

Zeszyt

Czasopisma