హడూప్ 2.0 క్లస్టర్ ఆర్కిటెక్చర్ ఫెడరేషన్ యొక్క అవలోకనం

హడూప్ 2.0 క్లస్టర్ ఆర్కిటెక్చర్ ఫెడరేషన్

పరిచయం:

ఈ బ్లాగులో, నేను హడూప్ 2.0 క్లస్టర్ ఆర్కిటెక్చర్ ఫెడరేషన్‌లోకి లోతుగా డైవ్ చేస్తాను. అపాచీ హడూప్ 1.x విడుదలైనప్పటి నుండి అపాచీ హడూప్ చాలా అభివృద్ధి చెందింది. నా మునుపటి బ్లాగ్ నుండి మీకు తెలిసినట్లు మాస్టర్ / స్లేవ్ టోపోలాజీని అనుసరిస్తుంది, ఇక్కడ నేమ్‌నోడ్ మాస్టర్ డెమోన్‌గా పనిచేస్తుంది మరియు డేటానోడ్స్ అని పిలువబడే ఇతర బానిస నోడ్‌లను నిర్వహించడానికి బాధ్యత వహిస్తుంది. ఈ పర్యావరణ వ్యవస్థలో, ఈ సింగిల్ మాస్టర్ డెమోన్ లేదా నేమ్‌నోడ్ ఒక అవరోధంగా మారుతుంది మరియు దీనికి విరుద్ధంగా, కంపెనీలు నేమ్‌నోడ్‌ను కలిగి ఉండాలి, ఇవి అధికంగా లభిస్తాయి. ఈ కారణం HDFS ఫెడరేషన్ ఆర్కిటెక్చర్ యొక్క పునాదిగా మారింది HA (హై ఎవైలబిలిటీ) ఆర్కిటెక్చర్ .

ఈ బ్లాగులో నేను కవర్ చేసిన విషయాలు ఈ క్రింది విధంగా ఉన్నాయి:

• ప్రస్తుత HDFS ఆర్కిటెక్చర్
• ప్రస్తుత HDFS ఆర్కిటెక్చర్ యొక్క పరిమితులు
• HDFS ఫెడరేషన్ ఆర్కిటెక్చర్

ప్రస్తుత HDFS ఆర్కిటెక్చర్ యొక్క అవలోకనం:

పై చిత్రంలో మీరు చూడగలిగినట్లుగా, ప్రస్తుత HDFS కి రెండు పొరలు ఉన్నాయి:

• HDFS నేమ్‌స్పేస్ (NS): డైరెక్టరీలు, ఫైల్స్ మరియు బ్లాక్‌ల నిర్వహణకు ఈ పొర బాధ్యత వహిస్తుంది. ఇది ఫైల్‌లను లేదా ఫైల్ డైరెక్టరీలను సృష్టించడం, తొలగించడం లేదా సవరించడం వంటి నేమ్‌స్పేస్‌కు సంబంధించిన అన్ని ఫైల్ సిస్టమ్ ఆపరేషన్‌ను అందిస్తుంది.
• నిల్వ పొర: ఇది రెండు ప్రాథమిక భాగాలను కలిగి ఉంటుంది.
  1. బ్లాక్ నిర్వహణ : ఇది క్రింది కార్యకలాపాలను చేస్తుంది:
     • డేటానోడ్స్ యొక్క హృదయ స్పందనలను క్రమానుగతంగా తనిఖీ చేస్తుంది మరియు ఇది క్లస్టర్‌కు డేటానోడ్ సభ్యత్వాన్ని నిర్వహిస్తుంది.
     • బ్లాక్ నివేదికలను నిర్వహిస్తుంది మరియు బ్లాక్ స్థానాన్ని నిర్వహిస్తుంది.
     • బ్లాక్ స్థానాన్ని సృష్టించడం, సవరించడం, తొలగించడం మరియు కేటాయించడం వంటి బ్లాక్ ఆపరేషన్లకు మద్దతు ఇస్తుంది.
     • క్లస్టర్ అంతటా ప్రతిరూపణ కారకాన్ని స్థిరంగా నిర్వహిస్తుంది.

2. భౌతిక నిల్వ : ఇది డేటాను నిల్వ చేయడానికి బాధ్యత వహించే డేటానోడ్స్ చేత నిర్వహించబడుతుంది మరియు తద్వారా HDFS లో నిల్వ చేయబడిన డేటాకు రీడ్ / రైట్ యాక్సెస్ అందిస్తుంది.

కాబట్టి, ప్రస్తుత HDFS ఆర్కిటెక్చర్ క్లస్టర్ కోసం ఒకే నేమ్‌స్పేస్‌ను కలిగి ఉండటానికి మిమ్మల్ని అనుమతిస్తుంది. ఈ నిర్మాణంలో, నేమ్‌స్పేస్‌ను నిర్వహించడానికి ఒకే నేమ్‌నోడ్ బాధ్యత వహిస్తుంది. ఈ నిర్మాణం చాలా సౌకర్యవంతంగా ఉంటుంది మరియు అమలు చేయడం సులభం. అలాగే, ఇది చిన్న ఉత్పత్తి క్లస్టర్ యొక్క అవసరాలను తీర్చడానికి తగిన సామర్థ్యాన్ని అందిస్తుంది.

తరగతి మార్గాన్ని linux లో సెట్ చేయండి

ప్రస్తుత HDFS యొక్క పరిమితులు:

ఇంతకుముందు చర్చించినట్లుగా, ప్రస్తుత హెచ్‌డిఎఫ్‌ఎస్ ఒక చిన్న ఉత్పత్తి క్లస్టర్ యొక్క అవసరాలకు మరియు వినియోగ కేసులకు సరిపోతుంది. కానీ, హెచ్‌డిఎఫ్‌ఎస్ క్లస్టర్ విపరీతంగా పెరిగేకొద్దీ యాహూ, ఫేస్‌బుక్ వంటి పెద్ద సంస్థలు కొన్ని పరిమితులను కనుగొన్నాయి. కొన్ని పరిమితులను శీఘ్రంగా చూద్దాం:

1. నేమ్‌స్పేస్ కొలవలేనిది కాదు డేటానోడ్స్ వంటివి. అందువల్ల, ఒకే నేమ్‌నోడ్ నిర్వహించగల క్లస్టర్‌లో డేటానోడ్‌ల సంఖ్యను మాత్రమే మనం కలిగి ఉండవచ్చు.
2. రెండు పొరలు, అనగా నేమ్‌స్పేస్ పొర మరియు నిల్వ పొర గట్టిగా కపుల్డ్ ఇది నేమ్‌నోడ్ యొక్క ప్రత్యామ్నాయ అమలును చాలా కష్టతరం చేస్తుంది.
3. మొత్తం హడూప్ సిస్టమ్ యొక్క పనితీరు ఆధారపడి ఉంటుంది నిర్గమాంశ నేమ్నోడ్ యొక్క. అందువల్ల, అన్ని HDFS కార్యకలాపాల యొక్క మొత్తం పనితీరు ఒక నిర్దిష్ట సమయంలో నేమ్‌నోడ్ ఎన్ని పనులను నిర్వహించగలదో దానిపై ఆధారపడి ఉంటుంది.
4. నేమ్‌నోడ్ వేగవంతమైన ప్రాప్యత కోసం మొత్తం నేమ్‌స్పేస్‌ను RAM లో నిల్వ చేస్తుంది. ఇది పరంగా పరిమితులకు దారితీస్తుంది మెమరీ పరిమాణం అనగా ఒకే నేమ్‌స్పేస్ సర్వర్ భరించగల నేమ్‌స్పేస్ వస్తువుల సంఖ్య (ఫైల్‌లు మరియు బ్లాక్‌లు).
5. HDFS విస్తరణ కలిగిన అనేక సంస్థలు (విక్రేత), బహుళ సంస్థలను (అద్దెదారు) వారి క్లస్టర్ నేమ్‌స్పేస్‌ను ఉపయోగించడానికి అనుమతిస్తుంది. కాబట్టి, నేమ్‌స్పేస్‌ను వేరు చేయడం లేదు మరియు అందువల్ల ఉంది ఒంటరిగా లేదు క్లస్టర్‌ను ఉపయోగిస్తున్న అద్దె సంస్థలో.

HDFS ఫెడరేషన్ ఆర్కిటెక్చర్:

• HDFS ఫెడరేషన్ ఆర్కిటెక్చర్లో, పేరు సేవ యొక్క క్షితిజ సమాంతర స్కేలబిలిటీ మాకు ఉంది. అందువల్ల, మనకు బహుళ నేమ్‌నోడ్‌లు ఉన్నాయి, అవి సమాఖ్య, అంటే ఒకదానికొకటి స్వతంత్రంగా ఉంటాయి.
• డేటానోడ్లు దిగువన ఉన్నాయి, అనగా అంతర్లీన నిల్వ పొర.
• ప్రతి డేటానోడ్ క్లస్టర్‌లోని అన్ని నేమ్‌నోడ్‌లతో నమోదు చేస్తుంది.
• డేటానోడ్లు ఆవర్తన హృదయ స్పందనలను ప్రసారం చేస్తాయి, నివేదికలను బ్లాక్ చేస్తాయి మరియు నేమ్‌నోడ్‌ల నుండి ఆదేశాలను నిర్వహిస్తాయి.

HDFS ఫెడరేషన్ ఆర్కిటెక్చర్ యొక్క చిత్ర ప్రాతినిధ్యం క్రింద ఇవ్వబడింది:

ముందుకు వెళ్ళే ముందు, పై నిర్మాణ చిత్రం గురించి క్లుప్తంగా మాట్లాడతాను:

• బహుళ నేమ్‌స్పేస్‌లు (NS1, NS2,…, NSn) ఉన్నాయి మరియు వాటిలో ప్రతి దాని సంబంధిత నేమ్‌నోడ్ చేత నిర్వహించబడుతుంది.
• ప్రతి నేమ్‌స్పేస్‌కు దాని స్వంత బ్లాక్ పూల్ ఉంది (NS1 కు పూల్ 1 ఉంది, NSk కి పూల్ k ఉంది మరియు మొదలైనవి).
• చిత్రంలో చూపినట్లుగా, పూల్ 1 (స్కై బ్లూ) నుండి బ్లాక్స్ డేటానోడ్ 1, డేటానోడ్ 2 మరియు మొదలైన వాటిలో నిల్వ చేయబడతాయి. అదేవిధంగా, ప్రతి బ్లాక్ పూల్ నుండి అన్ని బ్లాక్స్ అన్ని డేటానోడ్లలో ఉంటాయి.

ఇప్పుడు, HDFS ఫెడరేషన్ ఆర్కిటెక్చర్ యొక్క భాగాలను వివరంగా అర్థం చేసుకుందాం:

బ్లాక్ పూల్:

బ్లాక్ పూల్ అనేది ఒక నిర్దిష్ట నేమ్‌స్పేస్‌కు చెందిన బ్లాక్‌ల సమితి తప్ప మరొకటి కాదు. కాబట్టి, మాకు బ్లాక్ పూల్ యొక్క సేకరణ ఉంది, ఇక్కడ ప్రతి బ్లాక్ పూల్ మరొకటి నుండి స్వతంత్రంగా నిర్వహించబడుతుంది. ప్రతి బ్లాక్ పూల్ స్వతంత్రంగా నిర్వహించబడే ఈ స్వాతంత్ర్యం ఇతర నేమ్‌స్పేస్‌లతో సమన్వయం లేకుండా కొత్త బ్లాక్‌ల కోసం బ్లాక్ ఐడిలను సృష్టించడానికి నేమ్‌స్పేస్‌ను అనుమతిస్తుంది. అన్ని బ్లాక్ పూల్‌లో ఉన్న డేటా బ్లాక్‌లు అన్ని డేటానోడ్‌లలో నిల్వ చేయబడతాయి. సాధారణంగా, బ్లాక్ పూల్ ఒక సంగ్రహణను అందిస్తుంది, అంటే డేటానోడ్స్‌లో నివసించే డేటా బ్లాక్‌లను (సింగిల్ నేమ్‌స్పేస్ ఆర్కిటెక్చర్‌లో వలె) ఒక నిర్దిష్ట నేమ్‌స్పేస్‌కు అనుగుణంగా సమూహపరచవచ్చు.

నేమ్‌స్పేస్ వాల్యూమ్:

నేమ్‌స్పేస్ వాల్యూమ్ దాని బ్లాక్ పూల్‌తో పాటు నేమ్‌స్పేస్ తప్ప మరొకటి కాదు. కాబట్టి, HDFS ఫెడరేషన్‌లో మనకు బహుళ నేమ్‌స్పేస్ వాల్యూమ్‌లు ఉన్నాయి. ఇది నిర్వహణ యొక్క స్వీయ-నియంత్రణ యూనిట్, అనగా ప్రతి నేమ్‌స్పేస్ వాల్యూమ్ స్వతంత్రంగా పనిచేయగలదు. నేమ్‌నోడ్ లేదా నేమ్‌స్పేస్ తొలగించబడితే, డేటానోడ్‌లలో నివసించే సంబంధిత బ్లాక్ పూల్ కూడా తొలగించబడుతుంది.

డెమో ఆన్ హడూప్ 2.0 క్లస్టర్ ఆర్కిటెక్చర్ ఫెడరేషన్ | ఎడురేకా

ఇప్పుడు, HDFS ఫెడరేషన్ ఆర్కిటెక్చర్ గురించి మీకు మంచి ఆలోచన ఉందని నేను ess హిస్తున్నాను. ఇది సైద్ధాంతిక భావన యొక్క ఎక్కువ మరియు ప్రజలు దీనిని సాధారణంగా ఆచరణాత్మక ఉత్పత్తి వ్యవస్థలో ఉపయోగించరు. హెచ్‌డిఎఫ్‌ఎస్ ఫెడరేషన్‌తో కొన్ని అమలు సమస్యలు ఉన్నాయి, వీటిని అమలు చేయడం కష్టమవుతుంది. అందువలన, ది HA (హై ఎవైలబిలిటీ) ఆర్కిటెక్చర్ సింగిల్ పాయింట్ ఆఫ్ ఫెయిల్యూర్ సమస్యను పరిష్కరించడానికి ప్రాధాన్యత ఇవ్వబడింది. నేను కవర్ చేసాను HDFS HA ​​ఆర్కిటెక్చర్ నా తదుపరి బ్లాగులో.

ఇప్పుడు మీరు హడూప్ HDFS ఫెడరేషన్ ఆర్కిటెక్చర్ అర్థం చేసుకున్నారు, చూడండి ప్రపంచవ్యాప్తంగా విస్తరించి ఉన్న 250,000 మందికి పైగా సంతృప్తికరమైన అభ్యాసకుల నెట్‌వర్క్‌తో విశ్వసనీయ ఆన్‌లైన్ లెర్నింగ్ సంస్థ ఎడురేకా చేత. రిటైల్, సోషల్ మీడియా, ఏవియేషన్, టూరిజం, ఫైనాన్స్ డొమైన్‌లో రియల్ టైమ్ యూజ్ కేసులను ఉపయోగించి హెచ్‌డిఎఫ్‌ఎస్, నూలు, మ్యాప్‌రెడ్యూస్, పిగ్, హైవ్, హెచ్‌బేస్, ఓజీ, ఫ్లూమ్ మరియు స్కూప్‌లో నిపుణులు కావడానికి ఎడురేకా బిగ్ డేటా హడూప్ సర్టిఫికేషన్ ట్రైనింగ్ కోర్సు సహాయపడుతుంది.

మాకు ప్రశ్న ఉందా? దయచేసి దీన్ని వ్యాఖ్యల విభాగంలో పేర్కొనండి మరియు మేము మిమ్మల్ని సంప్రదిస్తాము.