హడూప్ యార్న్ వివిధ ప్రాసెసింగ్ సాధనాలతో హడూప్ యొక్క నిల్వ యూనిట్‌ను అల్లింది, అనగా హెచ్డిఎఫ్ఎస్ (హడూప్ డిస్ట్రిబ్యూటెడ్ ఫైల్ సిస్టమ్). ఈ అంశానికి పూర్తిగా క్రొత్తగా ఉన్న మీ కోసం, YARN అంటే “ వై మరియు TO నోథర్ ఆర్ మూలం ఎన్ egotiator ”. మీరు మా గుండా వెళ్లాలని నేను సూచిస్తాను మరియు మీరు అపాచీ హడూప్ యార్న్ నేర్చుకోవటానికి ముందు. ఈ బ్లాగ్ చివరిలో హడూప్ యార్న్ గురించి మీ అవగాహన స్పష్టంగా ఉందని నిర్ధారించుకోవడానికి నేను ఈ క్రింది విషయాలను ఇక్కడ వివరిస్తాను.
- ఎందుకు YARN?
- హడూప్ YARN పరిచయం
- YARN యొక్క భాగాలు
- YARN లో అప్లికేషన్ సమర్పణ
- హడూప్ YARN లో అప్లికేషన్ వర్క్ఫ్లో
ఎందుకు YARN?
MRV1 (మ్యాప్‌రెడ్యూస్ వెర్షన్ 1) అని కూడా పిలువబడే హడూప్ వెర్షన్ 1.0 లో, మ్యాప్‌రెడ్యూస్ ప్రాసెసింగ్ మరియు రిసోర్స్ మేనేజ్‌మెంట్ ఫంక్షన్లను ప్రదర్శించింది. ఇది సింగిల్ మాస్టర్ అయిన జాబ్ ట్రాకర్‌ను కలిగి ఉంది. జాబ్ ట్రాకర్ వనరులను కేటాయించింది, షెడ్యూలింగ్ నిర్వహించింది మరియు ప్రాసెసింగ్ ఉద్యోగాలను పర్యవేక్షించింది. ఇది టాస్క్ ట్రాకర్స్ అని పిలువబడే అనేక అధీన ప్రక్రియలపై మ్యాప్‌ను కేటాయించింది మరియు పనులను తగ్గిస్తుంది. టాస్క్ ట్రాకర్స్ క్రమానుగతంగా వారి పురోగతిని జాబ్ ట్రాకర్‌కు నివేదించారు.
ఈ డిజైన్ ఒకే జాబ్ ట్రాకర్ కారణంగా స్కేలబిలిటీ అడ్డంకికి దారితీసింది.యాహూ! ప్రకారం, అటువంటి రూపకల్పన యొక్క ఆచరణాత్మక పరిమితులు 5000 నోడ్ల క్లస్టర్‌తో మరియు 40,000 పనులు ఏకకాలంలో నడుస్తున్నాయని ఐబిఎం తన వ్యాసంలో పేర్కొంది.ఈ పరిమితి కాకుండా, గణన వనరుల వినియోగం MRV1 లో అసమర్థంగా ఉంది. అలాగే, హడూప్ ఫ్రేమ్‌వర్క్ మ్యాప్‌రెడ్యూస్ ప్రాసెసింగ్ ఉదాహరణకి మాత్రమే పరిమితం అయింది.
ఈ సమస్యలన్నింటినీ అధిగమించడానికి, YARN ను హడూప్ వెర్షన్ 2.0 లో 2012 సంవత్సరంలో యాహూ మరియు హోర్టన్ వర్క్స్ ప్రవేశపెట్టాయి. రిసోర్స్ మేనేజ్‌మెంట్ మరియు జాబ్ షెడ్యూలింగ్ బాధ్యతను స్వీకరించడం ద్వారా మ్యాప్‌రెడ్యూస్ నుండి ఉపశమనం పొందడం YARN వెనుక ఉన్న ప్రాథమిక ఆలోచన. హడూప్ ఫ్రేమ్‌వర్క్‌లో మ్యాప్‌రెడ్ కాని ఉద్యోగాలను అమలు చేయగల సామర్థ్యాన్ని హడూప్‌కు YARN ఇవ్వడం ప్రారంభించింది.
మీరు క్రింద ఉన్న వీడియోను కూడా చూడవచ్చు నిపుణుడు YARN భావనలను చర్చిస్తున్నారు & ఇది నిర్మాణాన్ని వివరంగా తెలియజేస్తుంది.
హడూప్ నూలు ట్యుటోరియల్ | హడూప్ నూలు నిర్మాణం | ఎడురేకా
YARN పరిచయంతో, ది పూర్తిగా విప్లవాత్మకమైనది. ఇది మరింత సరళమైనది, సమర్థవంతమైనది మరియు కొలవదగినది. 2013 మొదటి త్రైమాసికంలో యాహూ YARN తో ప్రత్యక్ష ప్రసారం చేసినప్పుడు, సంస్థ తన హడూప్ క్లస్టర్ పరిమాణాన్ని 40,000 నోడ్ల నుండి 32,000 నోడ్లకు కుదించడానికి సహాయపడింది. కానీ ఉద్యోగాల సంఖ్య నెలకు 26 మిలియన్లకు పెరిగింది.
హడూప్ YARN పరిచయం
ఇప్పుడు నేను మీకు YARN అవసరాన్ని తెలిపాను, హడూప్ v2.0 యొక్క ప్రధాన భాగాన్ని మీకు పరిచయం చేద్దాం, YARN . గ్రాఫ్ ప్రాసెసింగ్, ఇంటరాక్టివ్ ప్రాసెసింగ్, స్ట్రీమ్ ప్రాసెసింగ్ అలాగే బ్యాచ్ ప్రాసెసింగ్ వంటి విభిన్న డేటా ప్రాసెసింగ్ పద్ధతులను HDFS లో నిల్వ చేసిన డేటాను అమలు చేయడానికి మరియు ప్రాసెస్ చేయడానికి YARN అనుమతిస్తుంది. అందువల్ల YARN మ్యాప్‌రెడ్యూస్‌కు మించిన ఇతర రకాల పంపిణీ అనువర్తనాలకు హడూప్‌ను తెరుస్తుంది.
వంటి వివిధ రకాల సాధనాలను ఉపయోగించడం ద్వారా అవసరానికి అనుగుణంగా ఆపరేషన్లు చేయడానికి వినియోగదారులను YARN ఎనేబుల్ చేసింది రియల్ టైమ్ ప్రాసెసింగ్ కోసం, అందులో నివశించే తేనెటీగలు SQL కోసం, HBase NoSQL మరియు ఇతరుల కోసం.
రిసోర్స్ మేనేజ్‌మెంట్ కాకుండా, YARN జాబ్ షెడ్యూలింగ్ కూడా చేస్తుంది. వనరులను కేటాయించడం మరియు పనులను షెడ్యూల్ చేయడం ద్వారా YARN మీ అన్ని ప్రాసెసింగ్ కార్యకలాపాలను నిర్వహిస్తుంది. అపాచీ హడూప్ YARN ఆర్కిటెక్చర్ కింది ప్రధాన భాగాలను కలిగి ఉంటుంది:
- రిసోర్స్ మేనేజర్ : మాస్టర్ డెమోన్‌పై నడుస్తుంది మరియు క్లస్టర్‌లో వనరుల కేటాయింపును నిర్వహిస్తుంది.
- నోడ్ మేనేజర్: అవి బానిస డెమోన్‌లపై నడుస్తాయి మరియు ప్రతి డేటా నోడ్‌లో ఒక పనిని అమలు చేయడానికి బాధ్యత వహిస్తాయి.
- అప్లికేషన్ మాస్టర్: వ్యక్తిగత అనువర్తనాల వినియోగదారు ఉద్యోగ జీవితచక్రం మరియు వనరుల అవసరాలను నిర్వహిస్తుంది. ఇది నోడ్ మేనేజర్‌తో కలిసి పనిచేస్తుంది మరియు పనుల అమలును పర్యవేక్షిస్తుంది.
- కంటైనర్: ఒకే నోడ్‌లో RAM, CPU, నెట్‌వర్క్, HDD మొదలైన వాటితో సహా వనరుల ప్యాకేజీ.
YARN యొక్క భాగాలు
మీరు YARN ను మీ హడూప్ పర్యావరణ వ్యవస్థ యొక్క మెదడుగా పరిగణించవచ్చు. క్రింద ఉన్న చిత్రం YARN నిర్మాణాన్ని సూచిస్తుంది.
ది మొదటి భాగం YARN ఆర్కిటెక్చర్,
రిసోర్స్ మేనేజర్
- వనరుల కేటాయింపులో ఇది అంతిమ అధికారం .
- ప్రాసెసింగ్ అభ్యర్థనలను స్వీకరించినప్పుడు, ఇది సంబంధిత ప్రాసెసింగ్ జరిగే చోట సంబంధిత నోడ్ నిర్వాహకులకు అభ్యర్థనల భాగాలను పంపుతుంది.
- ఇది క్లస్టర్ వనరుల మధ్యవర్తి మరియు పోటీ అనువర్తనాల కోసం అందుబాటులో ఉన్న వనరుల కేటాయింపును నిర్ణయిస్తుంది.
- సామర్థ్య హామీలు, సరసత మరియు SLA లు వంటి వివిధ పరిమితులకు వ్యతిరేకంగా అన్ని వనరులను ఎప్పటికప్పుడు ఉపయోగంలో ఉంచడం వంటి క్లస్టర్ వినియోగాన్ని ఆప్టిమైజ్ చేస్తుంది.
- ఇది రెండు ప్రధాన భాగాలను కలిగి ఉంది:ఎ) షెడ్యూలర్బి)అప్లికేషన్ మేనేజర్
ఎ) షెడ్యూలర్
- సామర్థ్యాలు, క్యూలు మొదలైన వాటి పరిమితులకు లోబడి వివిధ రన్నింగ్ అనువర్తనాలకు వనరులను కేటాయించే బాధ్యత షెడ్యూలర్.
- దీనిని రిసోర్స్ మేనేజర్‌లో స్వచ్ఛమైన షెడ్యూలర్ అని పిలుస్తారు, అంటే ఇది అనువర్తనాల కోసం స్థితి యొక్క పర్యవేక్షణ లేదా ట్రాకింగ్‌ను నిర్వహించదు.
- అనువర్తన వైఫల్యం లేదా హార్డ్‌వేర్ వైఫల్యం ఉంటే, విఫలమైన పనులను పున art ప్రారంభించడానికి షెడ్యూలర్ హామీ ఇవ్వదు.
- అనువర్తనాల వనరుల అవసరాల ఆధారంగా షెడ్యూల్ చేస్తుంది.
- ఇది ప్లగ్ చేయగల పాలసీ ప్లగ్-ఇన్‌ను కలిగి ఉంది, ఇది వివిధ అనువర్తనాల మధ్య క్లస్టర్ వనరులను విభజించడానికి బాధ్యత వహిస్తుంది. అలాంటి రెండు ప్లగిన్లు ఉన్నాయి: సామర్థ్య షెడ్యూలర్ మరియు సరసమైన షెడ్యూలర్ , ప్రస్తుతం రిసోర్స్ మేనేజర్‌లో షెడ్యూలర్లుగా ఉపయోగించబడుతున్నాయి.
బి) అప్లికేషన్ మేనేజర్
- ఉద్యోగ సమర్పణలను అంగీకరించే బాధ్యత ఇది.
- అప్లికేషన్ నిర్దిష్ట అప్లికేషన్ మాస్టర్‌ను అమలు చేయడానికి రిసోర్స్ మేనేజర్ నుండి మొదటి కంటైనర్‌తో చర్చలు జరుపుతుంది.
- అప్లికేషన్ మాస్టర్‌లను క్లస్టర్‌లో అమలు చేయడాన్ని నిర్వహిస్తుంది మరియు వైఫల్యంపై అప్లికేషన్ మాస్టర్ కంటైనర్‌ను పున art ప్రారంభించడానికి సేవను అందిస్తుంది.
వస్తోంది రెండవ భాగం ఏది:
నోడ్ మేనేజర్
- ఇది హడూప్ క్లస్టర్‌లోని వ్యక్తిగత నోడ్‌లను జాగ్రత్తగా చూసుకుంటుంది మరియుఇచ్చిన నోడ్‌లో వినియోగదారు ఉద్యోగాలు మరియు వర్క్ఫ్లో నిర్వహిస్తుంది.
- ఇది రిసోర్స్ మేనేజర్‌తో నమోదు చేస్తుంది మరియు నోడ్ యొక్క ఆరోగ్య స్థితితో హృదయ స్పందనలను పంపుతుంది.
- రిసోర్స్ మేనేజర్ కేటాయించిన అప్లికేషన్ కంటైనర్లను నిర్వహించడం దీని ప్రాథమిక లక్ష్యం.
- ఇది రిసోర్స్ మేనేజర్‌తో తాజాగా ఉంటుంది.
- అప్లికేషన్ మాస్టర్ కేటాయించిన కంటైనర్‌ను నోడ్ మేనేజర్ నుండి కంటైనర్ లాంచ్ కాంటెక్స్ట్ (సిఎల్‌సి) పంపడం ద్వారా అభ్యర్థిస్తుంది, ఇది అమలు చేయడానికి అనువర్తనానికి అవసరమైన ప్రతిదాన్ని కలిగి ఉంటుంది. నోడ్ మేనేజర్ అభ్యర్థించిన కంటైనర్ ప్రాసెస్‌ను సృష్టించి దాన్ని ప్రారంభిస్తుంది.
- వ్యక్తిగత కంటైనర్ల వనరుల వినియోగాన్ని (మెమరీ, CPU) పర్యవేక్షిస్తుంది.
- లాగ్ నిర్వహణను నిర్వహిస్తుంది.
- రిసోర్స్ మేనేజర్ నిర్దేశించిన విధంగా ఇది కంటైనర్‌ను కూడా చంపుతుంది.
ది మూడవ భాగం అపాచీ హడూప్ యార్న్,
అప్లికేషన్ మాస్టర్
- అప్లికేషన్ అనేది ఫ్రేమ్‌వర్క్‌కు సమర్పించిన ఒకే ఉద్యోగం. అటువంటి ప్రతి అనువర్తనం దానితో అనుబంధించబడిన ప్రత్యేకమైన అప్లికేషన్ మాస్టర్‌ను కలిగి ఉంటుంది, ఇది ఫ్రేమ్‌వర్క్ నిర్దిష్ట సంస్థ.
- ఇది క్లస్టర్‌లో అనువర్తనం అమలును సమన్వయం చేసే ప్రక్రియ మరియు లోపాలను కూడా నిర్వహిస్తుంది.
- రిసోర్స్ మేనేజర్ నుండి వనరులను చర్చించడం మరియు నోడ్ మేనేజర్‌తో కలిసి కాంపోనెంట్ టాస్క్‌లను అమలు చేయడం మరియు పర్యవేక్షించడం దీని పని.
- రిసోర్స్ మేనేజర్ నుండి తగిన రిసోర్స్ కంటైనర్లను చర్చించడం, వాటి స్థితిని ట్రాక్ చేయడం మరియు పురోగతిని పర్యవేక్షించడం దీని బాధ్యత.
- ప్రారంభించిన తర్వాత, దాని ఆరోగ్యాన్ని ధృవీకరించడానికి మరియు దాని వనరుల డిమాండ్ల రికార్డును నవీకరించడానికి ఇది క్రమానుగతంగా హృదయ స్పందనలను రిసోర్స్ మేనేజర్‌కు పంపుతుంది.
ది నాల్గవ భాగం ఇది:
కంటైనర్
- ఇది ఒకే నోడ్‌లోని RAM, CPU కోర్లు మరియు డిస్క్‌ల వంటి భౌతిక వనరుల సమాహారం.
- YARN కంటైనర్లు కంటైనర్ ప్రయోగ సందర్భం ద్వారా నిర్వహించబడతాయి, ఇది కంటైనర్ లైఫ్-సైకిల్ (CLC). ఈ రికార్డ్‌లో పర్యావరణ వేరియబుల్స్, రిమోట్‌గా ప్రాప్యత చేయగల నిల్వలో నిల్వ చేయబడిన డిపెండెన్సీలు, భద్రతా టోకెన్లు, నోడ్ మేనేజర్ సేవలకు పేలోడ్ మరియు ప్రక్రియను సృష్టించడానికి అవసరమైన ఆదేశం ఉన్నాయి.
- ఇది ఒక నిర్దిష్ట హోస్ట్‌లో నిర్దిష్ట మొత్తంలో వనరులను (మెమరీ, సిపియు మొదలైనవి) ఉపయోగించడానికి అనువర్తనానికి హక్కులను ఇస్తుంది.
YARN లో అప్లికేషన్ సమర్పణ
చిత్రాన్ని చూడండి మరియు హడూప్ యార్న్ యొక్క అప్లికేషన్ సమర్పణలో ఉన్న దశలను చూడండి:
1) ఉద్యోగాన్ని సమర్పించండి
2)అప్లికేషన్ ఐడిని పొందండి
3) అప్లికేషన్ సమర్పణ సందర్భం
4 ఎ) కంటైనర్ ప్రారంభించండిప్రారంభించండి
బి) అప్లికేషన్ మాస్టర్ ప్రారంభించండి
5) వనరులను కేటాయించండి
6 ఎ) కంటైనర్
ప్రోగ్రామ్‌ను ముగించడానికి జావా కోడ్
బి) ప్రారంభించండి
హడూప్ YARN లో అప్లికేషన్ వర్క్ఫ్లో
ఇచ్చిన చిత్రాన్ని చూడండి మరియు అపాచీ హడూప్ YARN యొక్క అప్లికేషన్ వర్క్ఫ్లో పాల్గొన్న క్రింది దశలను చూడండి:
- క్లయింట్ ఒక దరఖాస్తును సమర్పించాడు
- అప్లికేషన్ మేనేజర్‌ను ప్రారంభించడానికి రిసోర్స్ మేనేజర్ ఒక కంటైనర్‌ను కేటాయిస్తుంది
- అప్లికేషన్ మేనేజర్ రిసోర్స్ మేనేజర్‌తో నమోదు చేస్తారు
- అప్లికేషన్ మేనేజర్ రిసోర్స్ మేనేజర్ నుండి కంటైనర్లను అడుగుతుంది
- కంటైనర్లను ప్రారంభించటానికి అప్లికేషన్ మేనేజర్ నోడ్ మేనేజర్‌కు తెలియజేస్తుంది
- అప్లికేషన్ కోడ్ కంటైనర్‌లో అమలు చేయబడుతుంది
- అప్లికేషన్ యొక్క స్థితిని పర్యవేక్షించడానికి క్లయింట్ పరిచయాలు రిసోర్స్ మేనేజర్ / అప్లికేషన్ మేనేజర్
- అప్లికేషన్ మేనేజర్ రిసోర్స్ మేనేజర్‌తో నమోదు చేయదు
ఇప్పుడు మీకు అపాచీ హడూప్ యార్న్ తెలుసు, చూడండి ప్రపంచవ్యాప్తంగా విస్తరించి ఉన్న 250,000 మందికి పైగా సంతృప్తికరమైన అభ్యాసకుల నెట్‌వర్క్‌తో విశ్వసనీయ ఆన్‌లైన్ లెర్నింగ్ సంస్థ ఎడురేకా చేత. రిటైల్, సోషల్ మీడియా, ఏవియేషన్, టూరిజం, ఫైనాన్స్ డొమైన్‌లో రియల్ టైమ్ యూజ్ కేసులను ఉపయోగించి హెచ్డిఎఫ్ఎస్, నూలు, మ్యాప్‌రెడ్యూస్, పిగ్, హైవ్, హెచ్‌బేస్, ఓజీ, ఫ్లూమ్ మరియు స్కూప్‌లో నిపుణులు కావడానికి ఎడురేకా బిగ్ డేటా హడూప్ సర్టిఫికేషన్ ట్రైనింగ్ కోర్సు సహాయపడుతుంది.
మాకు ప్రశ్న ఉందా? దయచేసి దీన్ని వ్యాఖ్యల విభాగంలో పేర్కొనండి మరియు మేము మిమ్మల్ని సంప్రదిస్తాము.