హడూప్‌ను ఇన్‌స్టాల్ చేయండి: సింగిల్ నోడ్ హడూప్ క్లస్టర్‌ను ఏర్పాటు చేస్తోంది

హడూప్‌ను ఇన్‌స్టాల్ చేయండి: సింగిల్ నోడ్ హడూప్ క్లస్టర్‌ను ఏర్పాటు చేస్తోంది

మా మునుపటి బ్లాగుల నుండి , హడూప్, హెచ్‌డిఎఫ్‌ఎస్ మరియు దాని నిర్మాణం గురించి మీకు సైద్ధాంతిక ఆలోచన ఉండాలి.కానీ పొందడానికి మీకు మంచి జ్ఞానం అవసరం.మా మునుపటి బ్లాగును మీరు ఇష్టపడ్డారని నేను ఆశిస్తున్నాను , ఇప్పుడు నేను మిమ్మల్ని హడూప్ మరియు హెచ్‌డిఎఫ్‌ఎస్ గురించి ఆచరణాత్మక జ్ఞానం ద్వారా తీసుకువెళతాను. మొదటి దశ హడూప్‌ను ఇన్‌స్టాల్ చేయడం.

హడూప్‌ను ఇన్‌స్టాల్ చేయడానికి రెండు మార్గాలు ఉన్నాయి, అనగా. సింగిల్ నోడ్ మరియు బహుళ నోడ్ .

సింగిల్ నోడ్ క్లస్టర్ ఒకే మెషీన్‌లో ఒకే నేమ్‌నోడ్, డేటానోడ్, రిసోర్స్ మేనేజర్ మరియు నోడ్ మేనేజర్‌ను సెట్ చేయడం ఒక డేటానోడ్ మాత్రమే. ఇది అధ్యయనం మరియు పరీక్షా ప్రయోజనాల కోసం ఉపయోగించబడుతుంది. ఉదాహరణకు, ఆరోగ్య సంరక్షణ పరిశ్రమలో సెట్ చేయబడిన నమూనా డేటాను పరిశీలిద్దాం. కాబట్టి, డేటాను సరైన క్రమంలో సేకరించడం, సమగ్రపరచడం, నిల్వ చేయడం మరియు ప్రాసెస్ చేయడం వంటి అన్ని ప్రక్రియలను ఓజీ ఉద్యోగాలు షెడ్యూల్ చేశాయా అని పరీక్షించడానికి, మేము సింగిల్ నోడ్ క్లస్టర్‌ని ఉపయోగిస్తాము. వందలాది యంత్రాలలో పంపిణీ చేయబడిన టెరాబైట్ల డేటాను కలిగి ఉన్న పెద్ద వాతావరణాలతో పోలిస్తే ఇది చిన్న వాతావరణంలో సీక్వెన్షియల్ వర్క్‌ఫ్లోను సులభంగా మరియు సమర్థవంతంగా పరీక్షించగలదు.

ఒక బహుళ నోడ్ క్లస్టర్ , ఒకటి కంటే ఎక్కువ డేటానోడ్ రన్నింగ్ ఉన్నాయి మరియు ప్రతి డేటానోడ్ వేర్వేరు యంత్రాలలో నడుస్తున్నాయి. మల్టీ నోడ్ క్లస్టర్ బిగ్ డేటాను విశ్లేషించడానికి సంస్థలలో ఆచరణాత్మకంగా ఉపయోగించబడుతుంది. పై ఉదాహరణను పరిశీలిస్తే, నిజ సమయంలో మేము పెటాబైట్ల డేటాతో వ్యవహరించేటప్పుడు, ప్రాసెస్ చేయడానికి వందలాది యంత్రాలలో పంపిణీ చేయాలి. ఈ విధంగా, ఇక్కడ మనం మల్టీ నోడ్ క్లస్టర్‌ని ఉపయోగిస్తాము.

ఈ బ్లాగులో, ఒకే నోడ్ క్లస్టర్‌లో హడూప్‌ను ఎలా ఇన్‌స్టాల్ చేయాలో నేను మీకు చూపిస్తాను.

ముందస్తు అవసరాలు

• VIRTUAL BOX : ఇది ఆపరేటింగ్ సిస్టమ్‌ను ఇన్‌స్టాల్ చేయడానికి ఉపయోగించబడుతుంది.
• ఆపరేటింగ్ సిస్టమ్ : మీరు Linux ఆధారిత ఆపరేటింగ్ సిస్టమ్స్‌లో హడూప్‌ను ఇన్‌స్టాల్ చేయవచ్చు. ఉబుంటు మరియు సెంటొస్ చాలా సాధారణంగా ఉపయోగిస్తారు. ఈ ట్యుటోరియల్‌లో, మేము సెంటొస్‌ను ఉపయోగిస్తున్నాము.
• జావా : మీరు మీ సిస్టమ్‌లో జావా 8 ప్యాకేజీని ఇన్‌స్టాల్ చేయాలి.
• హడూప్ : మీకు హడూప్ 2.7.3 ప్యాకేజీ అవసరం.

హడూప్‌ను ఇన్‌స్టాల్ చేయండి

దశ 1: ఇక్కడ నొక్కండి జావా 8 ప్యాకేజీని డౌన్‌లోడ్ చేయడానికి. ఈ ఫైల్‌ను మీ హోమ్ డైరెక్టరీలో సేవ్ చేయండి.

దశ 2: జావా తారు ఫైల్ను సంగ్రహించండి.

ఆదేశం : tar -xvf jdk-8u101-linux-i586.tar.gz

అంజీర్: హడూప్ ఇన్స్టాలేషన్ - జావా ఫైళ్ళను సంగ్రహిస్తుంది

దశ 3: హడూప్ 2.7.3 ప్యాకేజీని డౌన్‌లోడ్ చేయండి.

ఆదేశం : wget https://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3.tar.gz

జావాలో ప్యాకేజీని ఎలా సృష్టించాలి

అంజీర్: హడూప్ ఇన్‌స్టాలేషన్ - హడూప్‌ను డౌన్‌లోడ్ చేస్తోంది

దశ 4: హడూప్ తారు ఫైల్ను సంగ్రహించండి.

ఆదేశం : tar -xvf hadoop-2.7.3.tar.gz

అంజీర్: హడూప్ సంస్థాపన - హడూప్ ఫైళ్ళను సంగ్రహిస్తుంది

దశ 5: బాష్ ఫైల్ (.bashrc) లో హడూప్ మరియు జావా మార్గాలను జోడించండి.

తెరవండి . bashrc ఫైల్. ఇప్పుడు, క్రింద చూపిన విధంగా హడూప్ మరియు జావా మార్గాన్ని జోడించండి.

ఆదేశం : vi .bashrc

అంజీర్: హడూప్ ఇన్స్టాలేషన్ - ఎన్విరాన్మెంట్ వేరియబుల్ సెట్టింగ్

అప్పుడు, బాష్ ఫైల్ను సేవ్ చేసి దాన్ని మూసివేయండి.

ప్రస్తుత టెర్మినల్‌కు ఈ మార్పులన్నింటినీ వర్తింపజేయడానికి, సోర్స్ ఆదేశాన్ని అమలు చేయండి.

ఆదేశం : మూలం .bashrc

అంజీర్: హడూప్ ఇన్స్టాలేషన్ - రిఫ్రెష్ ఎన్విరాన్మెంట్ వేరియబుల్స్

మీ సిస్టమ్‌లో జావా మరియు హడూప్ సరిగ్గా ఇన్‌స్టాల్ చేయబడిందని మరియు టెర్మినల్ ద్వారా యాక్సెస్ చేయవచ్చని నిర్ధారించుకోండి, ఇజావా -వర్షన్ మరియు హడూప్ వెర్షన్ ఆదేశాలను xecute చేయండి.

ఆదేశం : జావా-సంస్కరణ: Telugu

అంజీర్: హడూప్ ఇన్‌స్టాలేషన్ - జావా వెర్షన్‌ను తనిఖీ చేస్తోంది

ఆదేశం : హడూప్సంస్కరణ: Telugu

అంజీర్: హడూప్ ఇన్‌స్టాలేషన్ - హడూప్ వెర్షన్‌ను తనిఖీ చేస్తోంది

దశ 6 : సవరించండి .

ఆదేశం: cd hadoop-2.7.3 / etc / hadoop /

ఆదేశం: ls

అన్ని హడూప్ కాన్ఫిగరేషన్ ఫైళ్లు ఉన్నాయి hadoop-2.7.3 / etc / hadoop దిగువ స్నాప్‌షాట్‌లో మీరు చూడగలిగే డైరెక్టరీ:

అంజీర్: హడూప్ ఇన్స్టాలేషన్ - హడూప్ కాన్ఫిగరేషన్ ఫైల్స్

దశ 7 : తెరవండి core-site.xml మరియు కాన్ఫిగరేషన్ ట్యాగ్ లోపల క్రింద పేర్కొన్న ఆస్తిని సవరించండి:

core-site.xml క్లస్టర్‌లో నేమ్‌నోడ్ నడుస్తున్న హడూప్ డెమోన్‌కు తెలియజేస్తుంది. ఇది HDFS & MapReduce కు సాధారణమైన I / O సెట్టింగులు వంటి హడూప్ కోర్ యొక్క కాన్ఫిగరేషన్ సెట్టింగులను కలిగి ఉంది.

ఆదేశం : vi core-site.xml

అంజీర్: హడూప్ ఇన్‌స్టాలేషన్ - కోర్-సైట్.ఎక్స్.ఎమ్

ఓవర్లోడింగ్ vs ఓవర్రైడింగ్ సి ++

fs.default.name hdfs: // localhost: 9000

దశ 8: సవరించండి hdfs-site.xml మరియు కాన్ఫిగరేషన్ ట్యాగ్ లోపల క్రింద పేర్కొన్న ఆస్తిని సవరించండి:

hdfs-site.xml HDFS డెమోన్‌ల కాన్ఫిగరేషన్ సెట్టింగులను కలిగి ఉంటుంది (అనగా నేమ్‌నోడ్, డేటానోడ్, సెకండరీ నేమ్‌నోడ్). ఇది HDFS యొక్క ప్రతిరూపణ కారకం మరియు బ్లాక్ పరిమాణాన్ని కూడా కలిగి ఉంటుంది.

ఆదేశం : vi hdfs-site.xml

అంజీర్: హడూప్ ఇన్‌స్టాలేషన్ - hdfs-site.xml ను కాన్ఫిగర్ చేస్తోంది

dfs.replication 1 dfs.permission false

దశ 9 : సవరించండి mapred-site.xml కాన్ఫిగరేషన్ ట్యాగ్ లోపల క్రింద పేర్కొన్న ఆస్తిని ఫైల్ చేయండి మరియు సవరించండి:

mapred-site.xml మ్యాప్‌రెడ్యూస్ అప్లికేషన్ యొక్క కాన్ఫిగరేషన్ సెట్టింగులను సమాంతరంగా అమలు చేయగల JVM సంఖ్య, మ్యాపర్ యొక్క పరిమాణం మరియు తగ్గించే ప్రక్రియ, ఒక ప్రక్రియకు అందుబాటులో ఉన్న CPU కోర్లు మొదలైనవి ఉన్నాయి.

కొన్ని సందర్భాల్లో, mapred-site.xml ఫైల్ అందుబాటులో లేదు. కాబట్టి, మేము మ్యాప్రెడ్-సైట్.ఎక్స్ఎమ్ ఫైల్ను సృష్టించాలిmapred-site.xml టెంప్లేట్ ఉపయోగించి.

ఆదేశం : cp mapred-site.xml.template mapred-site.xml

ఆదేశం : మేము mapred-సైట్.xml.

అంజీర్: హడూప్ ఇన్‌స్టాలేషన్ - మ్యాప్రెడ్-సైట్.ఎక్స్.ఎమ్

mapreduce.framework.name నూలు

దశ 10: సవరించండి yarn-site.xml మరియు కాన్ఫిగరేషన్ ట్యాగ్ లోపల క్రింద పేర్కొన్న ఆస్తిని సవరించండి:

yarn-site.xml అప్లికేషన్ మెమరీ నిర్వహణ పరిమాణం, ప్రోగ్రామ్ & అల్గోరిథం వంటి ఆపరేషన్ వంటి రిసోర్స్ మేనేజర్ మరియు నోడ్ మేనేజర్ యొక్క కాన్ఫిగరేషన్ సెట్టింగులను కలిగి ఉంటుంది.

ఆదేశం : vi yarn-site.xml

అంజీర్: హడూప్ ఇన్‌స్టాలేషన్ - నూలు-సైట్.ఎక్స్.ఎమ్

yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.auxservices.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler

దశ 11: సవరించండి hadoop-env.sh మరియు క్రింద పేర్కొన్న విధంగా జావా మార్గాన్ని జోడించండి:

hadoop-env.sh జావా హోమ్ పాత్ వంటి హడూప్‌ను అమలు చేయడానికి స్క్రిప్ట్‌లో ఉపయోగించే ఎన్విరాన్మెంట్ వేరియబుల్స్ ఉన్నాయి.

ఆదేశం : మేము హడూప్-env.sh

అంజీర్: హడూప్ ఇన్‌స్టాలేషన్ - hadoop-env.sh ను కాన్ఫిగర్ చేస్తోంది

దశ 12: హడూప్ హోమ్ డైరెక్టరీకి వెళ్లి నేమ్‌నోడ్‌ను ఫార్మాట్ చేయండి.

ఆదేశం : సిడి

ఆదేశం : cd hadoop-2.7.3

ఆదేశం : బిన్ / హడూప్ ప్రయోజనం-ఫార్మాట్

అంజీర్: హడూప్ ఇన్‌స్టాలేషన్ - ఫార్మాటింగ్ నేమ్‌నోడ్

ఇది నేమ్‌నోడ్ ద్వారా HDFS ను ఫార్మాట్ చేస్తుంది. ఈ ఆదేశం మొదటిసారి మాత్రమే అమలు అవుతుంది. ఫైల్ సిస్టమ్‌ను ఫార్మాట్ చేయడం అంటే dfs.name.dir వేరియబుల్ పేర్కొన్న డైరెక్టరీని ప్రారంభించడం.

హడూప్ ఫైల్‌సిస్టమ్‌ను ఎప్పుడూ ఫార్మాట్ చేయవద్దు. మీరు HDFS లో నిల్వ చేసిన మీ మొత్తం డేటాను కోల్పోతారు.

దశ 13: నేమ్‌నోడ్ ఆకృతీకరించిన తర్వాత, హడూప్ -2.7.3 / ఎస్‌బిన్ డైరెక్టరీకి వెళ్లి అన్ని డెమోన్‌లను ప్రారంభించండి.

ఆదేశం: cd hadoop-2.7.3 / sbin

గాని మీరు అన్ని డెమోన్‌లను ఒకే ఆదేశంతో ప్రారంభించవచ్చు లేదా వ్యక్తిగతంగా చేయవచ్చు.

ఆదేశం: ./ start-all.sh

పై ఆదేశం కలయిక start-dfs.sh, start-yarn.sh & mr-jobhistory-daemon.sh

లేదా మీరు అన్ని సేవలను ఈ క్రింది విధంగా ఒక్కొక్కటిగా అమలు చేయవచ్చు:

నేమ్‌నోడ్‌ను ప్రారంభించండి:

నేమ్‌నోడ్ ఒక HDFS ఫైల్ సిస్టమ్ యొక్క కేంద్ర భాగం. ఇది HDFS లో నిల్వ చేయబడిన అన్ని ఫైళ్ళ యొక్క డైరెక్టరీ ట్రీని ఉంచుతుంది మరియు క్లస్టర్‌లో నిల్వ చేసిన అన్ని ఫైల్‌లను ట్రాక్ చేస్తుంది.

ఆదేశం: ./hadoop-daemon.sh ప్రారంభ ప్రయోజనం

అంజీర్: హడూప్ ఇన్‌స్టాలేషన్ - నేమ్‌నోడ్ ప్రారంభిస్తోంది

డేటానోడ్ ప్రారంభించండి:

ప్రారంభంలో, డేటానోడ్ నేమ్నోడ్కు అనుసంధానిస్తుంది మరియు ఇది వేర్వేరు ఆపరేషన్ల కోసం నేమ్నోడ్ నుండి వచ్చిన అభ్యర్థనలకు ప్రతిస్పందిస్తుంది.

ఆదేశం: ./hadoop-daemon.sh ప్రారంభ డేటానోడ్

అంజీర్: హడూప్ ఇన్‌స్టాలేషన్ - డేటానోడ్ ప్రారంభిస్తోంది

రిసోర్స్ మేనేజర్‌ను ప్రారంభించండి:

రిసోర్స్ మేనేజర్ అనేది అందుబాటులో ఉన్న అన్ని క్లస్టర్ వనరులను మధ్యవర్తిత్వం చేసే మాస్టర్ మరియు తద్వారా YARN సిస్టమ్‌లో నడుస్తున్న పంపిణీ అనువర్తనాలను నిర్వహించడానికి సహాయపడుతుంది. ప్రతి నోడ్ మేనేజర్లను మరియు ప్రతి అప్లికేషన్ యొక్క అప్లికేషన్ మాస్టర్‌ను నిర్వహించడం దీని పని.

ఆదేశం: ./ యార్న్-daemon.sh ప్రారంభ వనరుల నిర్వాహకుడు

అంజీర్: హడూప్ ఇన్‌స్టాలేషన్ - రిసోర్స్ మేనేజర్‌ను ప్రారంభిస్తోంది

నోడ్ మేనేజర్ ప్రారంభించండి:

ప్రతి మెషీన్ ఫ్రేమ్‌వర్క్‌లోని నోడ్‌మేనేజర్ కంటైనర్‌లను నిర్వహించడం, వాటి వనరుల వినియోగాన్ని పర్యవేక్షించడం మరియు రిసోర్స్ మేనేజర్‌కు నివేదించడం వంటి బాధ్యత కలిగిన ఏజెంట్.

ఆదేశం: ./ యార్న్-daemon.sh నోడ్ మేనేజర్‌ని ప్రారంభించండి

అంజీర్: హడూప్ ఇన్‌స్టాలేషన్ - నోడ్ మేనేజర్‌ను ప్రారంభిస్తోంది

జాబ్ హిస్టరీ సర్వర్ ప్రారంభించండి:

క్లయింట్ నుండి ఉద్యోగ చరిత్రకు సంబంధించిన అన్ని అభ్యర్థనలను అందించడానికి జాబ్ హిస్టరీ సర్వర్ బాధ్యత వహిస్తుంది.

ఆదేశం : ./mr-jobhistory-daemon.sh చరిత్ర చరిత్రను ప్రారంభించండి

దశ 14: అన్ని హడూప్ సేవలు నడుస్తున్నాయో లేదో తనిఖీ చేయడానికి, క్రింది ఆదేశాన్ని అమలు చేయండి.

ఆదేశం: jps

అంజీర్: హడూప్ ఇన్‌స్టాలేషన్ - డెమోన్‌లను తనిఖీ చేస్తోంది

ఉదాహరణతో జావాలో బహుళ వారసత్వం

దశ 15: ఇప్పుడు మొజిల్లా బ్రౌజర్ తెరిచి వెళ్ళండి లోకల్ హోస్ట్ : 50070 / dfshealth.html నేమ్‌నోడ్ ఇంటర్‌ఫేస్‌ను తనిఖీ చేయడానికి.

అంజీర్: హడూప్ ఇన్‌స్టాలేషన్ - వెబ్‌యూఐ ప్రారంభిస్తోంది

అభినందనలు, మీరు ఒకే నోడ్ హడూప్ క్లస్టర్‌ను ఒకేసారి విజయవంతంగా ఇన్‌స్టాల్ చేసారు.యొక్క మా తదుపరి బ్లాగులో , మల్టీ నోడ్ క్లస్టర్‌లో హడూప్‌ను ఎలా ఇన్‌స్టాల్ చేయాలో కూడా మేము కవర్ చేస్తాము.

హడూప్‌ను ఎలా ఇన్‌స్టాల్ చేయాలో ఇప్పుడు మీరు అర్థం చేసుకున్నారు, చూడండి ప్రపంచవ్యాప్తంగా విస్తరించి ఉన్న 250,000 మందికి పైగా సంతృప్తికరమైన అభ్యాసకుల నెట్‌వర్క్‌తో విశ్వసనీయ ఆన్‌లైన్ లెర్నింగ్ సంస్థ ఎడురేకా చేత. రిటైల్, సోషల్ మీడియా, ఏవియేషన్, టూరిజం, ఫైనాన్స్ డొమైన్‌లో రియల్ టైమ్ యూజ్ కేసులను ఉపయోగించి హెచ్‌డిఎఫ్‌ఎస్, నూలు, మ్యాప్‌రెడ్యూస్, పిగ్, హైవ్, హెచ్‌బేస్, ఓజీ, ఫ్లూమ్ మరియు స్కూప్‌లో నిపుణులు కావడానికి ఎడురేకా బిగ్ డేటా హడూప్ సర్టిఫికేషన్ ట్రైనింగ్ కోర్సు సహాయపడుతుంది.

మాకు ప్రశ్న ఉందా? దయచేసి దీన్ని వ్యాఖ్యల విభాగంలో పేర్కొనండి మరియు మేము మిమ్మల్ని సంప్రదిస్తాము.