जैसा की आप सब जानते है यह युग डिजिटल युग है और इस डिजिटल युग में डाटा का अपना एक अहम योगदान रहा है इसकी बढ़ते रूप के चलते इसको एनालाइज करना एक बहुत बड़ा चैलेंज हो गया है। बात अगर डाटा का करे तो वह डाटा किसी पर्सनल व्यक्ति का हो सकता है या फिर वह डाटा किसी एप्लीकेशन और सॉफ्टवेयर का हो सकता है यह डाटा यही तक सिमित नही है यह डाटा किसी छोटी कंपनीज या फिर किसी बड़े कंपनी का भी हो सकता है।
डाटा के इसी विशालतम रूप को बिग डाटा कहा जाता है और इसी बिग डाटा को समझने, प्रोसेस करने और एनालाइज करने के लिए HADOOP का आवश्यकता पड़ता है जिसके बारे में आज विस्तार से बात करेंगे और जानेंगे HADOOP क्या है और HADOOP के फायदे क्या है?
HADOOP क्या है.
HADOOP डाटा को स्टोर करने और एप्लीकेशन को चलाने के लिए एक ओपन सोर्स सॉफ्टवेयर फ्रेमवर्क है यह किसी भी प्रकार के डाटा के लिए स्टोर, पॉवर और कार्यो को सँभालने के लिए क्षमता प्रदान करता है। इसका प्रयोग डाटा प्रोसेसिंग और एप्लीकेशन डेवलपमेंट के लिए भी किया जाता है इसका महत्वपूर्ण मकसद डाटा को मैनेज करना था।
HADOOP, APACHE का एक ओपन सोर्स सॉफ्टवेयर फ्रेमवर्क है यही कारण इसे APACHE HADOOP भी कहा जाता है।
HADOOP किसी भी बड़े डाटा को बहुत सरलतम तरीके से प्रोसेस, मैनेज और एनालाइज करता है इसका फ्रेमवर्क JAVA लैंग्वेज में लिखा हुआ है पहले डाटा को मैनेज करना बहुत ही मुस्किल भरा होता था लेकिन इसके आ जाने से डाटा को आसानी से प्रोसेस किया जाता है।
HADOOP ARCHITECTURE क्या है.
HADOOP ARCHITECTURE, MASTER और SLAVE दो तरह के NODE पर कार्य करता है जिसे MASTER-SLAVE टोपोलॉजी कहा जाता है। मास्टर नोड का कार्य सारे स्लेव नोड को इंस्ट्रक्शन प्रदान करना और रिसोर्स प्रदान करना होता है और उसी के अनुसार स्लेव नोड डाटा को प्रोसेस और कंप्यूट करता है। HADOOP ARCHITECTURE में मास्टर नोड के पास मेटा डाटा मौजूद होता है वही स्लेव नोड के पास ओरिजिनल डाटा मौजूद रहता है।
HADOOP ARCHITECTURE के मुख्य रूप से तीन चरण होते है-
- HDFS - HADOOP DISTRIBUTED FILE SYSTEM
- YARN - YET ANOTHER RESOURCE NEGOTIATOR
- MAP REDUCE
HDFS:-
HDFS का पूरा नाम HADOOP DISTRIBUTED FILE SYSTEM होता है यह HADOOP सिस्टम का एक महत्वपूर्ण पार्ट है जो डाटा को अलग अलग तरीके से स्टोर करता है। HDFS में दो नोड होते है पहला जो DATANODE कहलाता है और दूसरा NAMENODE कहलाता है।
NAMENODE
- यह HDFS में विध्यमान LOCATION को संभालता है।
- इसका कार्य META डाटा को सुरक्षित रखना होना है।
- यह स्लेव को इंस्ट्रक्शन प्रदान करता है।
- NAMENODE रियल डाटा को स्टोर नही रखता है।
DATANODE
- DATANODE को स्लेव नोड भी कहा जाता है।
- इसी के द्वारा डाटा का प्रोसेसिंग किया जाता है।
- DATANODE रियल डाटा को स्टोर करता है।
MAP REDUCE:-
MAP REDUCE का काम किसी को टास्क से जुड़ी इंस्ट्रक्शन प्रदान करना होता है इसी के द्वारा डाटा को प्रोसेस किया है यह किसी को उसके टास्क से रिलीज़ करने का आप्शन भी रखता है।
YARN:-
YARN का पूरा नाम YET ANOTHER RESOURCE NEGOTIATOR होता है यह HADOOP में रिसोर्स मेनेजर की तरह कार्य करता है इसका एक और कार्य रिसोर्स को मॉनिटर करना होता है।
HADOOP के फायदे.
HADOOP के कुछ फायदे निम्नलिखित है-
- इसका स्टोरेज कैपेसिटी बहुत अधिक होता है।
- यह एक ओपन सोर्स सॉफ्टवेयर फ्रेमवर्क है जिसके चलते यह आसानी से उपलब्ध हो जाता है।
- ओपन सोर्स सॉफ्टवेयर फ्रेमवर्क होने के कारण इसका COST भी बहुत कम होता है।
- यह डाटा को बहुत तेजी से संसाधित करता है।
- इसमें जितना अधिक कंप्यूटिंग नोड्स होता है उतना अधिक इसका प्रोसेसिंग पॉवर होता है।
- यह स्ट्रक्चर्ड और अनस्ट्रक्चर्ड दोनों तरह के डाटा को स्वीकारता है।
- इसका कंप्यूटिंग पॉवर भी काफी अधिक होता है।
HADOOP के नुकसान.
HADOOP के फायदे के साथ साथ कुछ नुकसान भी है जिसके बारे में निचे बताया गया है-
- इसका इस्तेमाल बड़े डाटा को प्रोसेस करने के लिए बनाया गया था इसी कारण यह छोटे डाटा को आसानी से प्रोसेस नही कर पाता है।
- इसमें सुरक्षा को लेकर एक चुनौती बना हुआ है जिसके उपकरण धीरे धीरे आ रहे है परन्तु अभी भी यह एक समस्या बना हुआ है।
- HADOOP में डाटा प्रबंधन और मेटा डाटा को लेकर आसान और सुविधा वाले उपकरण अभी भी उपलब्ध नही है।
- इसके लिए एक्सपर्ट जावा प्रोग्रामर की आवश्यकता होता है जिसे ढूँढना बहुत ही मुस्किल होता है इसके तुलना में SQL प्रोग्रामर को ढूँढना ज्यादा आसान होता है।
HADOOP का इतिहास.
सन 2000 के करीब में वर्ल्ड वाइड वेब का विकास हुआ और टेक्स्ट, ऑडियो, विडियो आदि को सर्च करने के लिए सर्च इंजन बनाये गये और इस तरह डाटा छोटे से विशाल रूप में आने लगा इसी समस्या को सुलझाने के लिए सन 2002 में DOUG CUTTING और MIKE CAFFARELLA ने HADOOP का शुरुआत किया।
जब DOUG CUTTING और MIKE CAFFARELLA ने HADOOP का खोज किया उस समय तक दोनों गूगल के लिए काम कर रहे थे, लेकिन करीब 2006 में DOUG CUTTING ने गूगल को छोड़ YAHOO से जुड़ गये और HADOOP को HDFS के साथ सबके सामने पेश किया। ठीक इसी वर्ष HADOOP का संस्करण नंबर एक 0.1.0 लांच किया गया।
निष्कर्ष
दोस्तों आज के इस पोस्ट में हम सब ने HADOOP के बारे में जाना इस आर्टिकल में हम सब ने HADOOP क्या है, HADOOP ARCHITECTURE क्या है, इसके फायदे-नुकसान और इसके इतिहास के बारे में विस्तार से जाना। मुझे उम्मीद है की आपको यह पोस्ट पसंद आया होगा यदि आपको यह पोस्ट पसंद आया हो तो शेयर करे और कुछ त्रुटि रह गया हो तो कमेन्ट करके जरुर बताये।