పిగ్ ప్రోగ్రామింగ్: మీ మొదటి అపాచీ పిగ్ స్క్రిప్ట్‌ను సృష్టించండి

పిగ్ ప్రోగ్రామింగ్: మీ మొదటి అపాచీ పిగ్ స్క్రిప్ట్‌ను సృష్టించండి

మా లో , అపాచీ పిగ్ స్క్రిప్ట్‌ను ఎలా సృష్టించాలో ఇప్పుడు మనం నేర్చుకుంటాము. అపాచీ పిగ్ స్క్రిప్ట్‌లను సమిష్టిగా అపాచీ పిగ్ ఆదేశాలను అమలు చేయడానికి ఉపయోగిస్తారు. పిగ్ ప్రోగ్రామింగ్‌లో దీన్ని చేస్తున్నప్పుడు ప్రతి ఆదేశాన్ని మాన్యువల్‌గా వ్రాయడానికి మరియు అమలు చేయడానికి పెట్టుబడి పెట్టే సమయం మరియు కృషిని తగ్గించడంలో ఇది సహాయపడుతుంది.ఇది కూడా ఒక అంతర్భాగం .మీ మొదటి అపాచీ పిగ్ స్క్రిప్ట్‌ను రూపొందించడంలో మీకు సహాయపడటానికి ఈ బ్లాగ్ స్టెప్ బై స్టెప్.

అపాచీ పిగ్ స్క్రిప్ట్ ఎగ్జిక్యూషన్ మోడ్లు

స్థానిక స్థితి : ‘లోకల్ మోడ్’లో, మీరు స్థానిక ఫైల్ సిస్టమ్‌లో పిగ్ స్క్రిప్ట్‌ను అమలు చేయవచ్చు. ఈ సందర్భంలో, మీరు హడూప్ HDFS ఫైల్ సిస్టమ్‌లో డేటాను నిల్వ చేయవలసిన అవసరం లేదు, బదులుగా మీరు స్థానిక ఫైల్ సిస్టమ్‌లో నిల్వ చేసిన డేటాతో పని చేయవచ్చు.

మ్యాప్‌రెడ్యూస్ మోడ్ : ‘మ్యాప్‌రెడ్యూస్ మోడ్’లో, డేటాను హెచ్‌డిఎఫ్‌ఎస్ ఫైల్ సిస్టమ్‌లో నిల్వ చేయాల్సిన అవసరం ఉంది మరియు మీరు డేటాను పిగ్ స్క్రిప్ట్ సహాయంతో ప్రాసెస్ చేయవచ్చు.

మ్యాప్‌రెడ్యూస్ మోడ్‌లో అపాచీ పిగ్ స్క్రిప్ట్

డేటా ఫైల్ నుండి డేటాను చదవడం మరియు టెర్మినల్‌లో అవసరమైన విషయాలను అవుట్‌పుట్‌గా ప్రదర్శించడం మా పని అని చెప్పండి.

నమూనా డేటా ఫైల్ క్రింది డేటాను కలిగి ఉంది:

టెక్స్ట్ ఫైల్‌ను ‘information.txt’ పేరుతో సేవ్ చేయండి

నమూనా డేటా ఫైల్ ఐదు నిలువు వరుసలను కలిగి ఉంది మొదటి పేరు , చివరి పేరు , మొబైల్ లేదు , నగరం , మరియు వృత్తి ద్వారా వేరు టాబ్ కీ . HDFS నుండి ఈ ఫైల్ యొక్క కంటెంట్‌ను చదవడం మరియు ఈ రికార్డుల యొక్క అన్ని నిలువు వరుసలను ప్రదర్శించడం మా పని.

పిగ్ ఉపయోగించి ఈ డేటాను ప్రాసెస్ చేయడానికి, ఈ ఫైల్ అపాచీ హడూప్ HDFS లో ఉండాలి.

ఆదేశం : hadoop fs –copyFromLocal /home/edureka/information.txt / edureka

దశ 1: పిగ్ స్క్రిప్ట్ రాయడం

ఎడిటర్‌లో అపాచీ పిగ్ స్క్రిప్ట్ ఫైల్‌ను సృష్టించండి మరియు తెరవండి (ఉదా. గెడిట్).

ఆదేశం : sudo gedit /home/edureka/output.pig

ఈ ఆదేశం ఎడురేకా యూజర్ యొక్క హోమ్ డైరెక్టరీ లోపల ‘output.pig’ ఫైల్‌ను సృష్టిస్తుంది.

Output.pig ఫైల్‌లో కొన్ని PIG ఆదేశాలను వ్రాద్దాం.

భారతదేశంలో జావా డెవలపర్ల జీతం

A = LOAD '/edureka/information.txt' పిగ్‌స్టోరేజ్ ('') ను ఉపయోగించి (FName: chararray, LName: chararray, MobileNo: chararray, City: chararray, Profession: chararray) B = FOREACH ఒక ఉత్పత్తి FName, MobileNo, Profession DUMP బి

ఫైల్ను సేవ్ చేసి మూసివేయండి.

• మొదటి ఆదేశం పరోక్ష స్కీమా (FName, LName, MobileNo, City, Profession) తో వేరియబుల్ A లోకి ‘information.txt’ ఫైల్‌ను లోడ్ చేస్తుంది.
• రెండవ ఆదేశం అవసరమైన డేటాను వేరియబుల్ A నుండి వేరియబుల్ B కి లోడ్ చేస్తుంది.
• మూడవ పంక్తి టెర్మినల్ / కన్సోల్‌లో వేరియబుల్ B యొక్క కంటెంట్‌ను ప్రదర్శిస్తుంది.

దశ 2: అపాచీ పిగ్ స్క్రిప్ట్‌ను అమలు చేయండి

HDFS మోడ్‌లో పిగ్ స్క్రిప్ట్‌ను అమలు చేయడానికి, కింది ఆదేశాన్ని అమలు చేయండి:

ఆదేశం : pig /home/edureka/output.pig

అమలు పూర్తయిన తర్వాత, ఫలితాన్ని సమీక్షించండి. ఈ క్రింది చిత్రాలు ఫలితాలను మరియు వాటి ఇంటర్మీడియట్ మ్యాప్‌ను చూపుతాయి మరియు విధులను తగ్గిస్తాయి.

స్క్రిప్ట్ విజయవంతంగా అమలు చేయబడిందని చిత్రం క్రింద చూపిస్తుంది.

క్రింద ఉన్న చిత్రం మా స్క్రిప్ట్ ఫలితాన్ని చూపుతుంది.

మీ మొదటి అపాచీ పిగ్ స్క్రిప్ట్‌ను విజయవంతంగా అమలు చేసినందుకు అభినందనలు!

అపాచీ పిగ్ స్క్రిప్ట్‌ను ఎలా సృష్టించాలో మరియు ఎలా అమలు చేయాలో ఇప్పుడు మీకు తెలుసు. అందువల్ల, మా తదుపరి బ్లాగ్ ఎలా చేయాలో కవర్ చేస్తుంది అపాచీ పిగ్‌లో యుడిఎఫ్ (యూజర్ డిఫైన్డ్ ఫంక్షన్స్) ను సృష్టించండి మరియు దానిని MapReduce / HDFS మోడ్‌లో అమలు చేయండి.

ఇప్పుడు మీరు అపాచీ పిగ్ స్క్రిప్ట్‌ను సృష్టించి, అమలు చేసారు, చూడండి ప్రపంచవ్యాప్తంగా 250,000 కంటే ఎక్కువ సంతృప్తికరమైన అభ్యాసకుల నెట్‌వర్క్‌తో విశ్వసనీయ ఆన్‌లైన్ లెర్నింగ్ సంస్థ ఎడురేకా చేత. రిటైల్, సోషల్ మీడియా, ఏవియేషన్, టూరిజం, ఫైనాన్స్ డొమైన్‌లో రియల్ టైమ్ యూజ్ కేసులను ఉపయోగించి హెచ్‌డిఎఫ్‌ఎస్, నూలు, మ్యాప్‌రెడ్యూస్, పిగ్, హైవ్, హెచ్‌బేస్, ఓజీ, ఫ్లూమ్ మరియు స్కూప్‌లో నిపుణులు కావడానికి ఎడురేకా బిగ్ డేటా హడూప్ సర్టిఫికేషన్ ట్రైనింగ్ కోర్సు సహాయపడుతుంది.

మాకు ప్రశ్న ఉందా? దయచేసి దీన్ని వ్యాఖ్యల విభాగంలో పేర్కొనండి మరియు మేము మిమ్మల్ని సంప్రదిస్తాము.