Czasopismo | PRZEGLĄD PIEKARSKI I CUKIERNICZY | Rocznik 2024 - zeszyt 11

Różnice między Hadoop a Spark. Historia, zastosowania i wyzwania w analizie big data

Wojciech Moszczyński

nr katalogowy: 151391

Hadoop i Spark to dwa kluczowe narzędzia w świecie analizy wielkich zbiorów danych (big data). Każde z nich ma swoją unikatową historię i różne cele, które wpływają na sposób, w jaki jest używane. Hadoop został stworzony przez Douga Cuttinga i Mike’a Cafarellę w 2005 roku jako część projektu Apache. Inspiracją do powstania Hadoop było stworzenie open- -source’owego systemu, który mógłby obsługiwać ogromne ilości danych, bazując na pracy Google nad systemem plików (Google File System) oraz MapReduce – modelem programowania do przetwarzania danych. Hadoop szybko stał się standardem w przetwarzaniu big data dzięki swojemu systemowi plików HDFS (Hadoop Distributed File System) i modelowi MapReduce. Z kolei Apache Spark, stworzony został przez Matei Zaharię w 2009 roku na Uniwersytecie Kalifornijskim w Berkeley; powstał jako odpowiedź na niektóre ograniczenia Hadoop, szczególnie związane z wydajnością. Zaharia i jego zespół chcieli stworzyć narzędzie, które mogłoby przetwarzać dane w pamięci, a nie tylko na dysku, co znacznie przyspieszyłoby analizy. Jak wiadomo sczytywanie danych z dysku twardego, zwłaszcza w tamtych czasach, trwało wieki. Naturalną drogą było więc wrzucenie dużej ilości danych do systemu pamięci operacyjnej. Spark początkowo był rozwijany jako projekt badawczy w AMPLab, a następnie stał się również częścią ekosystemu Apache. Do czego służą Hadoop i Spark? Hadoop jest rozproszonym systemem do przechowywania i przetwarzania ogromnych zbiorów danych. Jego kluczowymi komponentami są HDFS – system plików rozproszonych oraz MapReduce – model programowania, który dzieli zadania obliczeniowe na mniejsze części, przetwarza je równolegle na różnych węzłach (komputerach), a następnie łączy wyniki. Hadoop jest idealny do przetwarzania danych zapisanych na dysku, co sprawia, że jest bardziej efektywny w analizach wsadowych (batch processing) niż w przetwarzaniu w czasie rzeczywistym. Innymi słowy mówiąc hadoop lepie[...]

Jeśli masz wykupiony/przyznany dostęp - zaloguj się. Skorzystaj z naszych propozycji zakupu!

Publikacja


PRZEGLĄD PIEKARSKI I CUKIERNICZY- e-publikacja (pdf) z zeszytu 2024-11 , nr katalogowy 151391 licencja: Osobista Produkt cyfrowy Nowość	10.00 zł

Zeszyt


PRZEGLĄD PIEKARSKI I CUKIERNICZY- e-zeszyt (pdf) 2024-11 licencja: Osobista Produkt cyfrowy Nowość	32.00 zł

Prenumerata

PRZEGLĄD PIEKARSKI I CUKIERNICZY - prenumerata cyfrowa
licencja: Osobista

Produkt cyfrowy
Nowość

264.00 zł

PRZEGLĄD PIEKARSKI I CUKIERNICZY - papierowa prenumerata roczna + wysyłka
licencja: Osobista

Szczegóły pakietu

Nazwa
PRZEGLĄD PIEKARSKI I CUKIERNICZY - papierowa prenumerata roczna	336.00 zł brutto 311.11 zł netto 24.89 zł VAT (stawka VAT 8%)
PRZEGLĄD PIEKARSKI I CUKIERNICZY - pakowanie i wysyłka	42.00 zł brutto 34.15 zł netto 7.85 zł VAT (stawka VAT 23%)

378.00 zł

PRZEGLĄD PIEKARSKI I CUKIERNICZY - PAKIET prenumerata PLUS
licencja: Osobista

Szczegóły pakietu

Nazwa
PRZEGLĄD PIEKARSKI I CUKIERNICZY - PAKIET prenumerata PLUS (Prenumerata papierowa + dostęp do portalu sigma-not.pl + e-prenumerata)	432.00 zł brutto 400.00 zł netto 32.00 zł VAT (stawka VAT 8%)

432.00 zł

Zeszyt

2024-11

Twój Koszyk

Publikacja

Zeszyt

Prenumerata

Zeszyt

Czasopisma