బిగ్ డేటాకు పెరుగుతున్న డిమాండ్, మరియు అపాచీ హడూప్వద్దవిప్లవం యొక్క హృదయం, ఇది మేము డేటాను నిర్వహించే మరియు లెక్కించే విధానాన్ని మార్చింది. సంస్థలు తమ వ్యాపార అవసరాలకు అనుగుణంగా హడూప్‌ను సమలేఖనం చేయవలసిన అవసరం వాణిజ్య పంపిణీల ఆవిర్భావానికి ఆజ్యం పోసింది. వాణిజ్య హడూప్ పంపిణీలు సాధారణంగా లక్షణాలతో ప్యాక్ చేయబడతాయి, ఇవి హడూప్ యొక్క విస్తరణను క్రమబద్ధీకరించడానికి రూపొందించబడ్డాయి. క్లౌడెరా హడూప్ పంపిణీ స్కేలబుల్, సౌకర్యవంతమైన, ఇంటిగ్రేటెడ్ ప్లాట్‌ఫామ్‌ను అందిస్తుంది, ఇది మీ సంస్థలో వేగంగా పెరుగుతున్న వాల్యూమ్‌లను మరియు వివిధ రకాల డేటాను నిర్వహించడం సులభం చేస్తుంది.
క్లౌడెరా హడూప్ పంపిణీలోని ఈ బ్లాగులో, మేము ఈ క్రింది అంశాలను కవర్ చేస్తాము:
క్లౌడెరా హడూప్: హడూప్ పరిచయం
హడూప్ అనేది అపాచీ ఓపెన్-సోర్స్ ఫ్రేమ్‌వర్క్, ఇది పంపిణీ చేసిన వాతావరణంలో బిగ్ డేటాను నిల్వ చేస్తుంది మరియు ప్రాసెస్ చేస్తుందిఅంతటాసాధారణ ప్రోగ్రామింగ్ నమూనాలను ఉపయోగించి క్లస్టర్. పంపిణీ చేసిన నిల్వ పైన హడూప్ సమాంతర గణనను అందిస్తుంది.హడూప్ గురించి మరింత వివరంగా తెలుసుకోవడానికి మీరు దీన్ని సూచించవచ్చు
హడూప్‌కు ఈ చిన్న పరిచయం తరువాత, ఇప్పుడు వివిధ రకాల హడూప్ పంపిణీని వివరిస్తాను.
క్లౌడెరా హడూప్: హడూప్ పంపిణీలు
అపాచీ హడూప్ ఓపెన్ సోర్స్ కాబట్టి, చాలా కంపెనీలు అసలు ఓపెన్ సోర్స్ కోడ్‌కు మించిన పంపిణీలను అభివృద్ధి చేశాయి. ఇది రెడ్‌హాట్, ఫెడోరా మరియు ఉబుంటు వంటి లైనక్స్ పంపిణీలకు చాలా పోలి ఉంటుంది. ప్రతి లైనక్స్ పంపిణీలు దాని స్వంత కార్యాచరణలను మరియు ఉబుంటులోని వినియోగదారు-స్నేహపూర్వక GUI వంటి లక్షణాలకు మద్దతు ఇస్తాయి. అదేవిధంగా, Red Hat సంస్థలలో ఇది ప్రాచుర్యం పొందింది, ఎందుకంటే ఇది మద్దతును అందిస్తుంది మరియు సిస్టమ్ యొక్క ఏ భాగానికి అయినా ఇష్టానుసారం మార్పులు చేయడానికి భావజాలాన్ని అందిస్తుంది. సాఫ్ట్‌వేర్ అనుకూలత సమస్యల నుండి Red Hat మిమ్మల్ని ఉపశమనం చేస్తుంది. ఇది సాధారణంగా వినియోగదారులకు పెద్ద సమస్యవిండోస్ నుండి పరివర్తన చెందుతున్న వారు.
అదేవిధంగా, 3 ప్రధాన రకాల హడూప్ పంపిణీలు ఉన్నాయి, ఇవి దాని స్వంత కార్యాచరణలు మరియు లక్షణాలను కలిగి ఉన్నాయి మరియు ఇవి బేస్ HDFS క్రింద నిర్మించబడ్డాయి.
క్లౌడెరా vs మ్యాప్ఆర్ వర్సెస్ హార్టన్వర్క్స్
అంజీర్: మ్యాప్ఆర్ వర్సెస్ హార్టన్వర్క్స్ వర్సెస్ క్లౌడెరా
క్లౌడెరా హడూప్ పంపిణీ
క్లౌడెరా హడూప్ ప్రదేశంలో మార్కెట్ ధోరణి మరియు వాణిజ్య హడూప్ పంపిణీని విడుదల చేసిన మొదటిది. “అపాచీ హడూప్ ఏమి అందిస్తుంది” మరియు “సంస్థలకు ఏమి కావాలి” - మధ్య అంతరాన్ని తగ్గించడానికి ఇది కన్సల్టింగ్ సేవలను అందిస్తుంది.
క్లౌడెరా పంపిణీ:
- వ్యాపారం కోసం వేగంగా : విశ్లేషణల నుండి డేటా సైన్స్ మరియు మధ్యలో ఉన్న ప్రతిదీ వరకు, క్లౌడెరా మీకు అపరిమిత డేటా యొక్క సామర్థ్యాన్ని అన్‌లాక్ చేయడానికి అవసరమైన పనితీరును అందిస్తుంది.
- హడూప్‌ను నిర్వహించడం సులభం చేస్తుంది : క్లౌడెరా మేనేజర్‌తో, స్వయంచాలక విజార్డ్‌లు స్కేల్ లేదా డిప్లాయ్‌మెంట్ వాతావరణంతో సంబంధం లేకుండా మీ క్లస్టర్‌ను త్వరగా అమలు చేయడానికి మిమ్మల్ని అనుమతిస్తాయి.
- రాజీ లేకుండా సురక్షితం: వ్యాపార చురుకుదనాన్ని త్యాగం చేయకుండా కఠినమైన డేటా భద్రత మరియు సమ్మతి అవసరాలను తీరుస్తుంది. క్లౌడెరా డేటా భద్రత మరియు పాలనకు సమగ్ర విధానాన్ని అందిస్తుంది.
హోర్టన్-వర్క్స్ పంపిణీ
హోర్టన్-వర్క్స్ డేటా ప్లాట్‌ఫాం (హెచ్‌డిపి) పూర్తిగా ఓపెన్ సోర్స్ ప్లాట్‌ఫామ్, ఇది అనేక మూలాలు మరియు ఫార్మాట్‌ల నుండి డేటాను ఉపాయించడానికి రూపొందించబడింది. ఈ ప్లాట్‌ఫారమ్‌లో హడూప్ డిస్ట్రిబ్యూటెడ్ ఫైల్ సిస్టమ్ (హెచ్డిఎఫ్ఎస్), మ్యాప్‌రెడ్యూస్, జూకీపర్, హెచ్బేస్, పిగ్, హైవ్ మరియు అదనపు భాగాలు వంటి వివిధ హడూప్ సాధనాలు ఉన్నాయి.
ఇది వంటి లక్షణాలకు కూడా ఇది మద్దతు ఇస్తుంది:
- HDP అందులో నివశించే తేనెటీగలు చేస్తుంది వేగంగా దాని కొత్త స్ట్రింగర్ ప్రాజెక్ట్ ద్వారా.
- HDP విక్రేత లాక్-ఇన్‌ను నివారిస్తుంది హడూప్ యొక్క ఫోర్క్డ్ వెర్షన్‌కు ప్రతిజ్ఞ చేయడం ద్వారా.
- HDP మెరుగుపరచడంపై దృష్టి పెట్టింది వినియోగం హడూప్ ప్లాట్‌ఫాం.
మ్యాప్ఆర్ పంపిణీ
మ్యాప్ఆర్ అనేది హోర్టన్ వర్క్స్ మరియు క్లౌడెరా మాదిరిగానే ప్లాట్‌ఫాం-ఫోకస్డ్ హడూప్ సొల్యూషన్స్ ప్రొవైడర్. మ్యాప్ఆర్ తన సొంత డేటాబేస్ వ్యవస్థను అనుసంధానిస్తుంది, దీనిని హడూప్ పంపిణీ సేవలను అందిస్తున్నప్పుడు మ్యాప్ఆర్-డిబి అని పిలుస్తారు. మ్యాప్ఆర్-డిబి స్టాక్ హడూప్ డేటాబేస్ కంటే నాలుగు నుండి ఏడు రెట్లు వేగంగా ఉందని, అనగా హెచ్బేస్, ఇతర పంపిణీలలో అమలు చేయబడుతుంది.
ఇది దాని చమత్కార లక్షణాలను కలిగి ఉంది:
- మ్యాప్ఆర్-ఫైల్ సిస్టమ్‌పై ఆధారపడటం వలన - జావా డిపెండెన్సీలు లేకుండా పిగ్, హైవ్ మరియు స్క్వూప్‌లను కలిగి ఉన్న ఏకైక హడూప్ పంపిణీ ఇది.
- మ్యాప్ఆర్ చాలా ఉత్పత్తికి సిద్ధంగా ఉన్న హడూప్ పంపిణీ, ఇది చాలా యూజర్ ఫ్రెండ్లీ, వేగవంతమైన మరియు నమ్మదగినదిగా చేస్తుంది.
ఇప్పుడు క్లౌడెరా హడూప్ పంపిణీని లోతుగా చర్చిద్దాం.
క్రొత్త నవీకరణలను పొందడానికి మా YouTube ఛానెల్‌కు సభ్యత్వాన్ని పొందండి ...
క్లౌడెరా హడూప్: క్లౌడెరా పంపిణీ
మొట్టమొదటి వాణిజ్య హడూప్ పంపిణీని విడుదల చేసిన హడూప్ ప్రదేశంలో క్లౌడెరా బాగా తెలిసిన ఆటగాడు.
అంజీర్: క్లౌడెరా హడూప్ పంపిణీ
క్లౌడెరా హడూప్ పంపిణీ ఈ క్రింది లక్షణాలకు మద్దతు ఇస్తుంది:
- క్లౌడెరా యొక్క CDH అన్ని ఓపెన్ సోర్స్ భాగాలను కలిగి ఉంటుంది, ఎంటర్ప్రైజ్-క్లాస్ విస్తరణలను లక్ష్యంగా చేసుకుంటుంది మరియు ఇది అత్యంత ప్రజాదరణ పొందిన వాణిజ్య హడూప్ పంపిణీలలో ఒకటి.
- ఆవిష్కరణలకు పేరుగాంచిన క్లౌడెరా మొట్టమొదటిసారిగా అందించింది SQL-for-Hadoop దానితో ఇంపాలా ప్రశ్న ఇంజిన్.
- నిర్వహణ కన్సోల్ - క్లౌడెరా మేనేజర్ , అన్ని క్లస్టర్ సమాచారాన్ని వ్యవస్థీకృత మరియు శుభ్రమైన మార్గంలో ప్రదర్శించే గొప్ప వినియోగదారు ఇంటర్‌ఫేస్‌తో ఉపయోగించడం మరియు అమలు చేయడం సులభం.
- CDH లో మీరు ఎటువంటి అంతరాయం లేకుండా అప్ మరియు రన్నింగ్ క్లస్టర్‌కు సేవలను జోడించవచ్చు.
- క్లౌడెరా యొక్క ఇతర చేర్పులలో భద్రత, వినియోగదారు ఇంటర్‌ఫేస్ మరియు మూడవ పక్ష అనువర్తనాలతో అనుసంధానం కోసం ఇంటర్‌ఫేస్‌లు ఉన్నాయి.
- CDH అందిస్తుంది నోడ్ టెంప్లేట్లు అనగా ఇది విభిన్న ఆకృతీకరణతో హడూప్ క్లస్టర్‌లో నోడ్‌ల సమూహాన్ని సృష్టించడానికి అనుమతిస్తుంది. ఇది హడూప్ క్లస్టర్ అంతటా ఒకే కాన్ఫిగరేషన్ వాడకాన్ని నిర్మూలిస్తుంది.
- ఇది కూడా మద్దతు ఇస్తుంది:
- విశ్వసనీయత
హడూప్ విక్రేతలు బగ్ కనుగొనబడినప్పుడల్లా ప్రతిస్పందనగా పనిచేస్తారు. వాణిజ్య పరిష్కారాలను మరింత స్థిరంగా చేయాలనే ఉద్దేశ్యంతో, పాచెస్ మరియు పరిష్కారాలను వెంటనే అమలు చేస్తారు. మద్దతు
క్లౌడెరా హడూప్ విక్రేతలు సాంకేతిక మార్గదర్శకత్వం మరియు సహాయాన్ని అందిస్తారు, ఇది వినియోగదారులకు సంస్థ స్థాయి పనులు మరియు మిషన్-క్లిష్టమైన అనువర్తనాల కోసం హడూప్‌ను స్వీకరించడం సులభం చేస్తుంది.పరిపూర్ణత
హడూప్ విక్రేతలు వారి పంపిణీలను వివిధ ఇతర యాడ్-ఆన్ సాధనాలతో జతచేస్తారు, ఇది వినియోగదారులకు వారి నిర్దిష్ట పనులను పరిష్కరించడానికి హడూప్ అనువర్తనాన్ని అనుకూలీకరించడానికి సహాయపడుతుంది.చెఫ్ మరియు తోలుబొమ్మల మధ్య వ్యత్యాసం
- విశ్వసనీయత
క్లౌడెరా పంపిణీలు 2 రకాల ఎడిషన్లతో వస్తాయి.
- క్లౌడెరా ఎక్స్‌ప్రెస్ ఎడిషన్
- క్లౌడెరా ఎంటర్ప్రైజ్ ఎడిషన్
ఇప్పుడు వాటి మధ్య తేడాలు చూద్దాం.
| లక్షణాలు | క్లౌడెరా-ఎక్స్‌ప్రెస్ | క్లౌడెరా-ఎంటర్ప్రైజ్ |
| క్లస్టర్ నిర్వహణ | ||
| 1. బహుళ-క్లస్టర్ నిర్వహణ | అవును | అవును |
| 2. వనరుల నిర్వహణ | అవును | అవును |
| విస్తరణ | ||
| 1. సిడిహెచ్ 4 మరియు 5 లకు మద్దతు | అవును | అవును |
| 2. సిడిహెచ్ యొక్క రోలింగ్ అప్‌గ్రేడ్ | లేదు | అవును |
| సేవ మరియు ఆకృతీకరణ నిర్వహణ | ||
| 1. HDFS, MapReduce, YARN, ఇంపాలా, HBase, అందులో నివశించే తేనెటీగలు, రంగు, ఓజీ, జూకీపర్, సోల్ర్, స్పార్క్ మరియు అక్యుములో సేవలను నిర్వహించండి | అవును | అవును |
| 2. రోలింగ్ సేవల పున art ప్రారంభం | లేదు | అవును |
| భద్రత | ||
| 1. LDAP ప్రామాణీకరణ | లేదు | అవును |
| 2. SAML ప్రామాణీకరణ | లేదు | అవును |
| పర్యవేక్షణ మరియు విశ్లేషణలు | ||
| 1. ఆరోగ్య చరిత్ర | అవును | అవును |
| హెచ్చరిక నిర్వహణ | ||
| 1. ఇమెయిల్ ద్వారా హెచ్చరిక | అవును | అవును |
| 2. SNMP ద్వారా హెచ్చరిక | లేదు | అవును |
| అధునాతన నిర్వహణ లక్షణాలు | ||
| 1. ఆటోమేటెడ్ బ్యాకప్ మరియు రికవరీ | లేదు | అవును |
| 2. ఫైల్ బ్రౌజింగ్ మరియు శోధించడం | లేదు | అవును |
| 3. మ్యాప్‌రెడ్యూస్, ఇంపాలా, హెచ్బేస్, నూలు వినియోగ నివేదికలు | లేదు | అవును |
క్లౌడెరా హడూప్: క్లౌడెరా మేనేజర్
క్లౌడెరా ప్రకారం, క్లౌడెరా మేనేజర్ ఉత్తమ మార్గం ఇన్‌స్టాల్ చేయండి , కాన్ఫిగర్ చేయండి , నిర్వహించడానికి , మరియు మానిటర్ హడూప్ స్టాక్.
ఇది అందిస్తుంది:
- స్వయంచాలక విస్తరణ మరియు ఆకృతీకరణ
- అనుకూలీకరించదగిన పర్యవేక్షణ మరియు రిపోర్టింగ్
- అప్రయత్నంగా బలమైన ట్రబుల్షూటింగ్
- జీరో - డౌన్‌టైమ్ నిర్వహణ
క్లౌడెరా హడూప్ మరియు దాని వివిధ సాధనాల గురించి లోతైన జ్ఞానం పొందండి
క్లౌడెరా మేనేజర్ యొక్క ప్రదర్శన
క్లౌడెరా మేనేజర్‌ను అన్వేషించండి.
1. క్లౌడెరా మేనేజర్‌లో ప్రస్తుతం నడుస్తున్న సేవల సంఖ్యను క్రింద ఉన్న బొమ్మ చూపిస్తుంది. మీరు క్లస్టర్ CPU వినియోగం, డిస్క్ IO వినియోగం మొదలైన వాటి గురించి చార్టులను చూడవచ్చు.
అంజీర్: క్లౌడెరా మేనేజర్ యొక్క హోమ్ పేజీ
2. క్రింద ఉన్న చిత్రం HBase క్లస్టర్‌ను ప్రదర్శిస్తుంది. ఇది ప్రస్తుతం నడుస్తున్న HBase REST సర్వర్ యొక్క ఆరోగ్య పరిస్థితుల గురించి మీకు పటాలు మరియు గ్రాఫ్లను ఇస్తుంది.
అంజీర్: HBase సర్వర్ యొక్క ఆరోగ్య పరిస్థితులు
3. ఇప్పుడు, మీరు స్థితి మరియు IP కాన్ఫిగరేషన్‌ను తనిఖీ చేయగల HBase క్లస్టర్ యొక్క ఉదాహరణల ట్యాబ్‌ను చూద్దాం.
అంజీర్: HBase క్లస్టర్ యొక్క హోస్ట్ సర్వర్ యొక్క స్థితి మరియు IP చిరునామా
4. తరువాత, మీకు కాన్ఫిగరేషన్ టాబ్ ఉంది. ఇక్కడ మీరు అన్ని కాన్ఫిగరేషన్ పారామితులను చూడవచ్చు మరియు వాటి విలువలను మార్చవచ్చు.
అంజీర్: HBase క్లస్టర్ యొక్క కాన్ఫిగరేషన్
ఇప్పుడు, క్లౌడెరాలోని పార్సెల్స్ ఏమిటో అర్థం చేసుకుందాం.
క్లౌడెరా హడూప్: పొట్లాలు
పార్శిల్ అనేది క్లౌడెరా మేనేజర్ ఉపయోగించే అదనపు మెటాడేటాతో పాటు ప్రోగ్రామ్ ఫైళ్ళను కలిగి ఉన్న బైనరీ పంపిణీ ఆకృతి.
పొట్లాలను స్వీయ-కలిగి మరియు సంస్కరణ డైరెక్టరీలో ఇన్‌స్టాల్ చేస్తారు, అంటే ఇచ్చిన సేవ యొక్క బహుళ వెర్షన్లు పక్కపక్కనే ఇన్‌స్టాల్ చేయబడతాయి.
పార్సెల్ ఉపయోగించడం వల్ల కలిగే ప్రయోజనాలు క్రింద ఉన్నాయి:
ఇది సిడిహెచ్ యొక్క పంపిణీని ఒకే వస్తువుగా అందిస్తుంది, అనగా సిడిహెచ్ యొక్క ప్రతి భాగానికి ప్రత్యేక ప్యాకేజీని కలిగి ఉండటానికి బదులుగా, పొట్లాలను వ్యవస్థాపించడానికి ఒకే వస్తువు ఉంటుంది.
ఇది అంతర్గత అనుగుణ్యతను అందిస్తుంది (పూర్తి సిడిహెచ్ ఒకే పార్శిల్‌గా పంపిణీ చేయబడినందున, అన్ని సిడిహెచ్ భాగాలు సరిపోలినవి మరియు సిడిహెచ్ యొక్క వేర్వేరు వెర్షన్ల నుండి వచ్చే వివిధ భాగాల ప్రమాదం ఉండదు).
మీరు కొన్ని క్లిక్‌లను ఉపయోగించి CDH లో పొట్లాలను ఇన్‌స్టాల్ చేయవచ్చు, అప్‌గ్రేడ్ చేయవచ్చు, డౌన్గ్రేడ్ చేయవచ్చు, పంపిణీ చేయవచ్చు మరియు సక్రియం చేయవచ్చు.
ఇప్పుడు, పార్సెల్‌లను ఉపయోగించి CDH లో కాఫ్కా సేవను ఎలా ఇన్‌స్టాల్ చేయాలి మరియు సక్రియం చేయాలో చూద్దాం.
- క్రింద చూపిన విధంగా క్లౌడెరా మేనేజర్ హోమ్‌పేజీకి వెళ్ళండి >> హోస్ట్‌లు >> పొట్లాలు
అంజీర్: అతిధేయల నుండి పొట్లాలను ఎంచుకోవడం
2. మీరు పొట్లాల జాబితాలో కాఫ్కాను చూడకపోతే, మీరు పార్శిల్‌ను జాబితాకు చేర్చవచ్చు.
- మీరు ఉపయోగించాలనుకుంటున్న కాఫ్కా వెర్షన్ యొక్క పార్శిల్‌ను కనుగొనండి. మీరు చూడకపోతే, మీరు పార్సెల్ రిపోజిటరీని జాబితాకు జోడించవచ్చు.
- మీరు ఇన్‌స్టాల్ చేయదలిచిన కాఫ్కా వెర్షన్ కోసం పార్శిల్‌ను కనుగొనండి - అపాచీ కాఫ్కా వెర్షన్ల క్లౌడెరా పంపిణీ .
క్రింద ఉన్న బొమ్మ అదే చూపిస్తుంది.
అంజీర్: పార్శిల్ కోసం రిపోజిటరీ మార్గం.
3. పై చిత్రంలో చూపిన విధంగా లింక్‌ను కాపీ చేసి, క్రింద చూపిన విధంగా రిమోట్ పార్సెల్ రిపోజిటరీకి జోడించండి.
అంజీర్: రిపోజిటరీ నుండి కాఫ్కా మార్గాన్ని చేర్చడం
నాలుగు.మార్గాన్ని జోడించిన తరువాత, కాఫ్కా డౌన్‌లోడ్ చేయడానికి సిద్ధంగా ఉంటుంది. మీరు డౌన్‌లోడ్ బటన్ పై క్లిక్ చేసి కాఫ్కాను డౌన్‌లోడ్ చేసుకోవచ్చు.
అంజీర్: కాఫ్కాను డౌన్‌లోడ్ చేస్తోంది
5. కాఫ్కా డౌన్‌లోడ్ అయిన తర్వాత, మీరు చేయాల్సిందల్లా దానిని పంపిణీ చేసి సక్రియం చేయడమే.
అంజీర్: కాఫ్కాను సక్రియం చేస్తోంది
ఇది సక్రియం అయిన తర్వాత, మీరు ముందుకు వెళ్లి క్లౌడెరా మేనేజర్‌లోని సేవల ట్యాబ్‌లో కాఫ్కాను చూడవచ్చు.
అత్తి: కాఫ్కా సేవ
క్లౌడెరా హడూప్: ఓజీ వర్క్ఫ్లో సృష్టిస్తోంది
XML కోడ్‌ను మాన్యువల్‌గా వ్రాసి, ఆపై దాన్ని అమలు చేయడం ద్వారా వర్క్ఫ్లో సృష్టించడం క్లిష్టంగా ఉంటుంది. మీరు దీన్ని సూచించవచ్చు ఓజీ జాబ్ షెడ్యూల్ సాంప్రదాయ విధానం గురించి తెలుసుకోవడానికి బ్లాగ్.
జావాలో ఫైబొనాక్సీ సిరీస్ కోడ్
మీరు దిగువ చిత్రాన్ని చూడవచ్చు, ఇక్కడ మేము ఒక సాధారణ ఓజీ వర్క్ఫ్లో సృష్టించడానికి ఒక XML ఫైల్ను వ్రాసాము. అంజీర్: సాంప్రదాయ పద్ధతిని ఉపయోగించి ఓజీ వర్క్ఫ్లో సృష్టించడం
సరళమైన ఓజీ షెడ్యూలర్‌ను సృష్టించడానికి కూడా మీరు చూడగలిగినట్లుగా, మేము భారీ XML కోడ్‌ను వ్రాయవలసి వచ్చింది, ఇది సమయం తీసుకుంటుంది మరియు ప్రతి పంక్తిని డీబగ్ చేయడం గజిబిజిగా మారుతుంది. దీన్ని అధిగమించడానికి, క్లౌడెరా మేనేజర్ అనే కొత్త ఫీచర్‌ను ప్రవేశపెట్టారు రంగు ఇది ఓజీ వర్క్‌ఫ్లోస్‌ను సృష్టించడానికి మరియు అమలు చేయడానికి GUI మరియు సరళమైన డ్రాగ్ అండ్ డ్రాప్ లక్షణాలను అందిస్తుంది.
ఇప్పుడు హ్యూ అదే పనిని ఎలా సరళంగా చేస్తాడో చూద్దాం.
వర్క్ఫ్లో సృష్టించే ముందు, మొదట ఇన్‌పుట్ ఫైల్‌లను సృష్టించండి, అనగా clickstream.txt మరియు user.txt.
User.txt ఫైల్‌లో, క్రింద చూపిన విధంగా మనకు యూజర్ ఐడి, పేరు, వయసు, దేశం, లింగం ఉన్నాయి. యూజర్ ఐడి ఆధారంగా యూఆర్ఎల్ (క్లిక్‌స్ట్రీమ్ ఫైల్‌లో పేర్కొన్నది) పై యూజర్ గణనలు మరియు క్లిక్‌లను తెలుసుకోవడానికి మాకు ఈ యూజర్ ఫైల్ అవసరం.
అంజీర్: టెక్స్ట్ ఫైల్ను సృష్టిస్తోంది
ప్రతి URL లోని వినియోగదారు చేసిన క్లిక్‌ల సంఖ్యను తెలుసుకోవడానికి, మనకు యూజర్ ఐడి మరియు URL ఉన్న క్లిక్‌స్ట్రీమ్ ఉంది.
అంజీర్: క్లిక్‌స్ట్రీమ్ ఫైల్
స్క్రిప్ట్ ఫైల్‌లో ప్రశ్నలను వ్రాద్దాం.
అంజీర్: స్క్రిప్ట్ ఫైల్
యూజర్ ఫైల్, క్లిక్ స్ట్రీమ్ ఫైల్ మరియు స్క్రిప్ట్ ఫైల్ను తరువాత సృష్టించిన తరువాత, మనం ముందుకు వెళ్లి ఓజీ వర్క్ఫ్లో సృష్టించవచ్చు.
1. చిత్రంలో చూపిన విధంగా మీరు ఓజీ వర్క్‌ఫ్లోను లాగండి మరియు వదలవచ్చు.
అంజీర్: ఓజీ వర్క్ఫ్లో సృష్టించే లక్షణాన్ని లాగండి
2. మీ చర్యను వదిలివేసిన వెంటనే మీరు స్క్రిప్ట్ ఫైల్‌కు మార్గాలను పేర్కొనాలి మరియు స్క్రిప్ట్ ఫైల్‌లో పేర్కొన్న పారామితులను జోడించాలి. ఇక్కడ మీరు OUTPUT, CLICKSTREAM మరియు USER పారామితులను జోడించాలి మరియు ప్రతి పారామితులకు మార్గాన్ని పేర్కొనాలి.
డెవోప్స్ టూల్స్ యొక్క ఆవర్తన పట్టిక
అంజీర్: చర్యను అమలు చేయడానికి స్క్రిప్ట్ ఫైల్ మరియు అవసరమైన పారామితులను కలుపుతోంది
3. మీరు మార్గాలను పేర్కొనండి మరియు పారామితులను జోడించిన తర్వాత, ఇప్పుడు దిగువ చిత్రంలో చూపిన విధంగా వర్క్‌ఫ్లోను సేవ్ చేసి సమర్పించండి.
అంజీర్: ఓజీ చర్యను సేవ్ చేయడం మరియు సమర్పించడం
4. మీరు పనిని సమర్పించిన తర్వాత, మీ ఉద్యోగం పూర్తవుతుంది. ఎగ్జిక్యూషన్ మరియు ఇతర చర్యలు హ్యూ చేత జాగ్రత్త తీసుకోబడతాయి.
అంజీర్: ఓజీ ఉద్యోగం యొక్క అమలు స్థితి
5.ఇప్పుడు మేము ఓజీ ఉద్యోగాన్ని అమలు చేసాము, చర్య టాబ్‌ను పరిశీలిద్దాం. ఇది యూజర్ ఐడి మరియు వర్క్ఫ్లో యొక్క స్థితిని కలిగి ఉంటుంది. ఇది లోపం సంకేతాలు ఏదైనా ఉంటే, చర్య అంశం యొక్క ప్రారంభ మరియు ముగింపు సమయం కూడా చూపిస్తుంది.
అంజీర్: ఓజీ వర్క్ఫ్లో యొక్క చర్య ట్యాబ్‌లో ఉన్న అంశాలు
6. చర్య టాబ్ పక్కన వివరాల ట్యాబ్ ఉంది. దీనిలో, మేము ప్రారంభ సమయం మరియు ఉద్యోగం యొక్క చివరి మార్పు చేసిన సమయాన్ని చూడవచ్చు.
అంజీర్: ఓజీ వర్క్ఫ్లో వివరాలు.
7. వివరాల ట్యాబ్ పక్కన, మాకు వర్క్ఫ్లో కాన్ఫిగరేషన్ టాబ్ ఉంది.
అంజీర్: ఓజీ వర్క్ఫ్లో కాన్ఫిగరేషన్ సెట్టింగులు
7. చర్య అంశాన్ని అమలు చేస్తున్నప్పుడు, ఏదైనా లోపాలు ఉంటే, అది లాగ్ టాబ్‌లో జాబితా చేయబడుతుంది. మీరు దోష ప్రకటనలను సూచించవచ్చు మరియు తదనుగుణంగా డీబగ్ చేయవచ్చు.
అంజీర్: దోష సంకేతాలు మరియు దోష ప్రకటనలను కలిగి ఉన్న లాగ్ ఫైల్
8. వర్క్ఫ్లో యొక్క XML కోడ్ ఇక్కడ స్వయంచాలకంగా హ్యూ ద్వారా ఉత్పత్తి అవుతుంది.
అంజీర్: ఓజీ వర్క్ఫ్లో యొక్క XML కోడ్
9.1. దశ 2 లో అవుట్పుట్ డైరెక్టరీ కోసం మీరు ఇప్పటికే పేర్కొన్న విధంగా, ఇక్కడ మీరు క్రింద చూపిన విధంగా HDFS బ్రౌజర్లో అవుట్పుట్ డైరెక్టరీని కలిగి ఉన్నారు.
అంజీర్: HDFS బ్రౌజర్ యొక్క అవుట్పుట్ డైరెక్టరీ
9.2 మీరు అవుట్పుట్ డైరెక్టరీపై క్లిక్ చేసిన తర్వాత, మీరు output.txt అని పిలువబడే టెక్స్ట్ ఫైల్ను కనుగొంటారు మరియు ఆ టెక్స్ట్ ఫైల్ క్రింద ఉన్న చిత్రంలో చూపిన విధంగా వాస్తవ అవుట్పుట్ను కలిగి ఉంటుంది.
అంజీర్: తుది అవుట్పుట్ టెక్స్ట్
ఓజీ వర్క్ఫ్లో సృష్టించడానికి డ్రాగ్ అండ్ డ్రాప్ ఎంపికలను అందించడం ద్వారా హ్యూ మా పనిని సులభతరం చేస్తుంది.
క్లౌడెరా పంపిణీ మరియు విభిన్న క్లౌడెరా భాగాలను అర్థం చేసుకోవడానికి ఈ బ్లాగ్ ఉపయోగపడిందని నేను ఆశిస్తున్నాను.
బిగ్ డేటా విప్లవంలో పాల్గొనాలనుకుంటున్నారా?ఇప్పుడు మీరు క్లౌడెరా హడూప్ పంపిణీని అర్థం చేసుకున్నారు ప్రపంచవ్యాప్తంగా విస్తరించి ఉన్న 250,000 మందికి పైగా సంతృప్తికరమైన అభ్యాసకుల నెట్‌వర్క్‌తో విశ్వసనీయ ఆన్‌లైన్ లెర్నింగ్ సంస్థ ఎడురేకా చేత. రిటైల్, సోషల్ మీడియా, ఏవియేషన్, టూరిజం, ఫైనాన్స్ డొమైన్‌లో రియల్ టైమ్ యూజ్ కేసులను ఉపయోగించి హెచ్డిఎఫ్ఎస్, నూలు, మ్యాప్‌రెడ్యూస్, పిగ్, హైవ్, హెచ్బేస్, ఓజీ, ఫ్లూమ్ మరియు స్కూప్‌లో నిపుణులు కావడానికి ఎడురేకా బిగ్ డేటా హడూప్ సర్టిఫికేషన్ ట్రైనింగ్ కోర్సు సహాయపడుతుంది.
మాకు ప్రశ్న ఉందా? దయచేసి వ్యాఖ్యల విభాగంలో పేర్కొనండి మరియు మేము మిమ్మల్ని సంప్రదిస్తాము.