స్పార్క్లో అందులో నివశించే తేనెటీగలు మరియు నూలు ఉదాహరణలు

ఎలా చేయాలో నేర్చుకున్నాము స్పార్క్లో అందులో నివశించే తేనెటీగలు మరియు నూలును నిర్మించండి . ఇప్పుడు స్పార్క్లో హైవ్ మరియు నూలు ఉదాహరణలను ప్రయత్నిద్దాం.

స్పార్క్లో హైవ్ ఉదాహరణ

మేము హైవ్ ఆన్ స్పార్క్ యొక్క ఉదాహరణను అమలు చేస్తాము. మేము ఒక పట్టికను సృష్టిస్తాము, ఆ పట్టికలో డేటాను లోడ్ చేస్తాము మరియు సాధారణ ప్రశ్నను అమలు చేస్తాము. అందులో నివశించే తేనెటీగలు పనిచేసేటప్పుడు, తప్పక నిర్మించాలి a హైవ్కాంటెక్స్ట్ ఇది వారసత్వంగా SQLC కాంటెక్స్ట్ .

ఆదేశం: సిడి స్పార్క్ -1.1.1

ఆదేశం: ./bin/spark-shell

ఇన్‌పుట్ ఫైల్‌ను సృష్టించండి 'నమూనా' మీ హోమ్ డైరెక్టరీలో స్నాప్‌షాట్ క్రింద (టాబ్ వేరు).

ఆదేశం: val sqlContext = క్రొత్త org.apache.spark.sql.hive.HiveContext (sc)

ఆదేశం: sqlContext.sql (“పరీక్ష లేకపోతే టేబుల్‌ను సృష్టించండి (పేరు STRING, ర్యాంక్ INT) వరుస ఫార్మాట్ ద్వారా నిర్ణయించబడిన ఫీల్డ్‌లు‘ ‘ద్వారా నిర్ణయించబడిన పంక్తులు‘
‘”)

ఆదేశం: sqlContext.sql (“లోడ్ డేటా లోకల్ ఇన్‌పాత్‘ / హోమ్ / ఎడురేకా / నమూనా ’టేబుల్ పరీక్షలో”)

డబుల్ ను పూర్ణాంక జావాగా మార్చడం ఎలా

ఆదేశం: sqlContext.sql (“పరీక్ష నుండి ఎంచుకోండి * ర్యాంక్ ఎక్కడ ఉంది<5”).collect().foreach(println)

స్పార్క్ పై నూలు ఉదాహరణ

మేము నూలుపై స్పార్క్పి ఉదాహరణను అమలు చేస్తాము. మేము క్లార్క్ మోడ్ మరియు క్లయింట్ మోడ్ అనే రెండు మోడ్లలో నూలును స్పార్క్లో అమర్చవచ్చు. నూలు-క్లస్టర్ మోడ్‌లో, క్లార్క్‌లో నూలుచే నిర్వహించబడే అప్లికేషన్ మాస్టర్ ప్రాసెస్‌లో స్పార్క్ డ్రైవర్ నడుస్తుంది మరియు అప్లికేషన్‌ను ప్రారంభించిన తర్వాత క్లయింట్ వెళ్లిపోవచ్చు. నూలు-క్లయింట్ మోడ్‌లో, డ్రైవర్ క్లయింట్ ప్రాసెస్‌లో నడుస్తుంది మరియు నూలు నుండి వనరులను అభ్యర్థించడానికి మాత్రమే అప్లికేషన్ మాస్టర్ ఉపయోగించబడుతుంది.

ఆదేశం: సిడి స్పార్క్ -1.1.1

ఆదేశం: SPARK_JAR =. / అసెంబ్లీ / టార్గెట్ / స్కేలా -2.10 / స్పార్క్-అసెంబ్లీ-1.1.1-హడూప్ 2.2.0.జార్. స్పార్క్పి-నమ్-ఎగ్జిక్యూటర్స్ 1 -డ్రైవర్-మెమరీ 2 గ్రా –ఎక్సిక్యూటర్-మెమరీ 1 జి –ఎక్సిక్యూటర్-కోర్స్ 1 ఉదాహరణలు / లక్ష్యం / స్కేలా -2.10 / స్పార్క్-ఉదాహరణలు -1.1.1-హడూప్ 2.2.0.జార్

మీరు పై ఆదేశాన్ని అమలు చేసిన తర్వాత, దయచేసి మీరు వచ్చే వరకు కొంతకాలం వేచి ఉండండి విజయవంతమైంది సందేశం.

బ్రౌజ్ చేయండి లోకల్ హోస్ట్: 8088 / క్లస్టర్ మరియు స్పార్క్ అప్లికేషన్ పై క్లిక్ చేయండి.

జావాలో ప్రాథమిక డేటా నిర్మాణాలు

నొక్కండి లాగ్లు .

నొక్కండి stdout అవుట్పుట్ తనిఖీ చేయడానికి.

క్లయింట్ మోడ్‌లో స్పార్క్‌లో నూలును అమర్చడానికి, తయారు చేయండి –డెప్లాయ్-మోడ్ గా “క్లయింట్”. ఇప్పుడు, స్పార్క్లో హైవ్ మరియు నూలును ఎలా నిర్మించాలో మీకు తెలుసు. మేము వాటిపై ప్రాక్టికల్స్ కూడా చేసాము.

మాకు ప్రశ్న ఉందా? దయచేసి వాటిని వ్యాఖ్యల విభాగంలో పేర్కొనండి మరియు మేము మిమ్మల్ని సంప్రదిస్తాము.

సంబంధిత పోస్ట్లు

హడూప్‌తో అపాచీ స్పార్క్-ఎందుకు ఇది ముఖ్యం?

అందులో నివశించే తేనెటీగలు & నూలు స్పార్క్ ద్వారా విద్యుదీకరణ పొందండి