Czasopismo | PRZEGLĄD ELEKTROTECHNICZNY | Rocznik 2019 - zeszyt 1

Efektywne przetwarzanie i integracja dużych zbiorów danych w środowisku Hadoop

Effective processing and integration of large data sets in the Hadoop environment

10.15199/48.2019.01.08

nr katalogowy: 117945
10.15199/48.2019.01.08

Streszczenie

Rozwój nowych kanałów elektronicznej wymiany informacji przyczynia się do powstania coraz większej ilości danych. Dane te są często zróżnicowane, niejednorodne i składowane bez ściśle zdefiniowanej struktury. W ciągu ostatnich 2 lat przyrosło 90% danych, jakie zostały wygenerowane od początku istnienia ludzkości. W artykule zaprezentowano architekturę i możliwości środowiska Hadoop powstałego w celu efektywnego przetwarzania i integracji dużych zbiorów danych. Przedstawiono cechy tej platformy oraz jej skalowalność. Omówiono metodę działania systemu plików HDFS oraz odporności na błędy składowania tego systemu. Zaprezentowano ideę współpracy węzłów klastra Hadoop oraz wykonywania działań typu Map – Reduce.

Abstract

The development of new channels of electronic information exchange contributes to the emergence of more and more data. These data are often diverse, heterogeneous and stored without a strictly defined structure. Over the past two years, 90% of the data has been generated since the beginning of human civilization. The article presents the architecture and possibilities of the Hadoop environment for the effective processing and integration of large data sets. It also presents the features of this platform and its scalability as well as discussed the method of operation in the HDFS file system and the resistance to storage errors of this system. The scheme of cooperation of the Hadoop cluster nodes to perform MapReduce operation was presented.

Słowa kluczowe

Keywords

Bibliografia

[1] Docs http://hadoop.apache.org/docs/current/
[2] IBM Data source: https://developer.ibm.com/hadoop/
[3] T. White : Hadoop: The Definitive Guide, Fourth Edition, O'REILLY 2015,
[4] Rymaszewski J., Lebioda M., Korzeniewska E Simulation of the loss of superconductivity in a three-dimensional model of the metal-superconductor, Przegląd Elektrotechniczny, 2012 R.88, nr 12B, s. 183-186.
[5] Stempien Z., Kozicki M., Pawlak R. Korzeniewska E., Owczarek G., Poscik A., Sajna D. , Ammonia gas sensors ink-jet printed on textile substrates, Conference: 15th IEEE Sensors, Orlando, FL Date: OCT 30-NOV 03, 2016

Jeśli masz wykupiony/przyznany dostęp - zaloguj się. Skorzystaj z naszych propozycji zakupu!

Publikacja


e-Publikacja (format pdf) - nr 117945 "Efektywne przetwarzanie i..." licencja: Osobista Produkt cyfrowy	10.00 zł

Zeszyt


PRZEGLĄD ELEKTROTECHNICZNY - e-zeszyt (pdf) 2019-1 licencja: Osobista Produkt cyfrowy	55.00 zł
PRZEGLĄD ELEKTROTECHNICZNY - e-zeszyt (pdf) 2019-10 licencja: Osobista Produkt cyfrowy	55.00 zł
PRZEGLĄD ELEKTROTECHNICZNY - e-zeszyt (pdf) 2019-11 licencja: Osobista Produkt cyfrowy	55.00 zł
PRZEGLĄD ELEKTROTECHNICZNY - e-zeszyt (pdf) 2019-12 licencja: Osobista Produkt cyfrowy	55.00 zł

Prenumerata

PRZEGLĄD ELEKTROTECHNICZNY - prenumerata cyfrowa
licencja: Osobista

Produkt cyfrowy
Nowość

762.00 zł

PRZEGLĄD ELEKTROTECHNICZNY - PAKIET prenumerata PLUS
licencja: Osobista

Szczegóły pakietu

Nazwa
PRZEGLĄD ELEKTROTECHNICZNY - PAKIET prenumerata PLUS (Prenumerata papierowa + dostęp do portalu sigma-not.pl + e-prenumerata)	1002.00 zł brutto 927.78 zł netto 74.22 zł VAT (stawka VAT 8%)

1002.00 zł

PRZEGLĄD ELEKTROTECHNICZNY - papierowa prenumerata roczna + wysyłka
licencja: Osobista

Szczegóły pakietu

Nazwa
PRZEGLĄD ELEKTROTECHNICZNY - papierowa prenumerata roczna	960.00 zł brutto 888.89 zł netto 71.11 zł VAT (stawka VAT 8%)
PRZEGLĄD ELEKTROTECHNICZNY - pakowanie i wysyłka	42.00 zł brutto 34.15 zł netto 7.85 zł VAT (stawka VAT 23%)

1002.00 zł

Zeszyt

2019-1

Twój Koszyk

Publikacja

Zeszyt

Prenumerata

Zeszyt

Czasopisma