అందులో నివశించే తేనెటీగలు & నూలు స్పార్క్ ద్వారా విద్యుదీకరణ పొందండి

ఈ బ్లాగులో, నిర్దిష్ట హడూప్ వెర్షన్ కోసం స్పార్క్ను ఎలా నిర్మించాలో చూద్దాం.

HIVE మరియు YARN తో స్పార్క్ ఎలా నిర్మించాలో కూడా మేము నేర్చుకుంటాము.

జావాలో పద్ధతి ఓవర్‌లోడింగ్ యొక్క ప్రయోజనాలు

మీరు కలిగి ఉన్నారని పరిశీలిస్తే హడూప్, జెడికె, ఎంవిఎన్ మరియు వెళ్ళండి మీ సిస్టమ్‌లో ముందే ఇన్‌స్టాల్ చేయబడి, ముందే కాన్ఫిగర్ చేయబడింది.

తెరవండి మొజిల్లా బ్రౌజర్ మరియు డౌన్‌లోడ్ స్పార్క్ దిగువ లింక్ ఉపయోగించి.

https://edureka.wistia.com/medias/k14eamzaza/

టెర్మినల్ తెరవండి.

ఆదేశం: tar -xvf డౌన్‌లోడ్‌లు / స్పార్క్ -1.1.1.tgz

ఆదేశం: ls

స్పార్క్ -1.1.1 డైరెక్టరీని తెరవండి.

మీరు తెరవవచ్చు pom.xml ఫైల్. ఈ ఫైల్ మీకు అన్ని గురించి సమాచారాన్ని ఇస్తుంది డిపెండెన్సీలు నీకు అవసరం.

ఇబ్బందులకు దూరంగా ఉండటానికి దాన్ని సవరించవద్దు.

ఆదేశం: సిడి స్పార్క్ -1.1.1 /

ఆదేశం: sudo gedit sbt / sbt-launch-lib.bash

ఫైల్‌ను స్నాప్‌షాట్ క్రింద ఉన్నట్లుగా సవరించండి, దాన్ని సేవ్ చేసి మూసివేయండి.

దిగువ స్నాప్‌షాట్‌లో పేర్కొన్న విధంగా ఆబ్జెక్ట్ హీప్ స్పేస్ సమస్యను నివారించడానికి మేము మెమరీని తగ్గిస్తున్నాము.

ఇప్పుడు, HIVE మరియు YARN తో హడూప్ 2.2.0 కోసం స్పార్క్ నిర్మించడానికి టెర్మినల్‌లో క్రింది ఆదేశాన్ని అమలు చేయండి.

ఆదేశం: ./sbt/sbt -P నూలు -పి అందులో నివశించే తేనెటీగలు -ఫాడూప్ -2.2 -డి hadoop.version = 2.2.0 -డి skipTests అసెంబ్లీ

గమనిక: నా హడూప్ వెర్షన్ 2.2.0, మీరు మీ హడూప్ వెర్షన్ ప్రకారం మార్చవచ్చు.

ఇతర హడూప్ సంస్కరణల కోసం

# అపాచీ హడూప్ 2.0.5-ఆల్ఫా

-దాడూప్.వర్షన్ = 2.0.5-ఆల్ఫా

# క్లౌడెరా సిడిహెచ్ 4.2.0

-దాడూప్.వర్షన్ = 2.0.0-సిడిహెచ్ 4.2.0

# అపాచీ హడూప్ 0.23.x

-ఫాడూప్ -0.23 -దాడూప్.వర్షన్ = 0.23.7

# అపాచీ హడూప్ 2.3.ఎక్స్

-ఫాడూప్ -2.3 -దాడూప్.వర్షన్ = 2.3.0

# అపాచీ హడూప్ 2.4. ఎక్స్

-ఫాడూప్ -2.4 -దాడూప్.వర్షన్ = 2.4.0

కంపైల్ చేయడానికి మరియు ప్యాకేజింగ్ చేయడానికి కొంత సమయం పడుతుంది, దయచేసి అది పూర్తయ్యే వరకు వేచి ఉండండి.

రెండు జాడి స్పార్క్-అసెంబ్లీ -1.1.1-హడూప్ 2.2.0.జార్ మరియు స్పార్క్-ఉదాహరణలు -1.1.1-హడూప్ 2.2.0.జార్ సృష్టించబడుతుంది.

యొక్క మార్గం స్పార్క్-అసెంబ్లీ -1.1.1-హడూప్ 2.2.0.జార్ : /home/edureka/spark-1.1.1/assembly/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar

యొక్క మార్గం స్పార్క్-ఉదాహరణలు-1.1.1-హడూప్ 2.2.0.జార్: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar

అభినందనలు, మీరు హైవ్ & నూలు కోసం స్పార్క్ను విజయవంతంగా నిర్మించారు.

మాకు ప్రశ్న ఉందా? దయచేసి వాటిని వ్యాఖ్యల విభాగంలో పేర్కొనండి మరియు మేము మిమ్మల్ని సంప్రదిస్తాము.

సంబంధిత పోస్ట్లు:

హడూప్‌తో అపాచీ స్పార్క్-ఎందుకు ఇది ముఖ్యం?