అపాచీ ఫ్లింక్: స్ట్రీమ్ మరియు బ్యాచ్ డేటా ప్రాసెసింగ్ కోసం నెక్స్ట్ జెన్ బిగ్ డేటా అనలిటిక్స్ ఫ్రేమ్‌వర్క్

అపాచీ ఫ్లింక్ పంపిణీ స్ట్రీమ్ మరియు బ్యాచ్ డేటా ప్రాసెసింగ్ కోసం ఓపెన్ సోర్స్ ప్లాట్‌ఫాం. ఇది విండోస్, మాక్ ఓఎస్ మరియు లైనక్స్ ఓఎస్‌లలో నడుస్తుంది. ఈ బ్లాగ్ పోస్ట్‌లో, స్థానికంగా ఫ్లింక్ క్లస్టర్‌ను ఎలా సెటప్ చేయాలో చర్చించుకుందాం. ఇది అనేక విధాలుగా స్పార్క్ మాదిరిగానే ఉంటుంది - దీనికి అపాచీ స్పార్క్ వంటి గ్రాఫ్ మరియు మెషిన్ లెర్నింగ్ ప్రాసెసింగ్ కోసం API లు ఉన్నాయి - కాని అపాచీ ఫ్లింక్ మరియు అపాచీ స్పార్క్ సరిగ్గా ఒకేలా లేవు.

ఫ్లింక్ క్లస్టర్‌ను సెటప్ చేయడానికి, మీరు మీ సిస్టమ్‌లో జావా 7.x లేదా అంతకంటే ఎక్కువ ఇన్‌స్టాల్ చేసి ఉండాలి. సెంటొస్ (లైనక్స్) లో నా చివరలో హడూప్ -2.2.0 ఇన్‌స్టాల్ చేయబడినందున, నేను హడూప్ 2.x కి అనుకూలంగా ఉండే ఫ్లింక్ ప్యాకేజీని డౌన్‌లోడ్ చేసాను. ఫ్లింక్ ప్యాకేజీని డౌన్‌లోడ్ చేయడానికి కమాండ్ క్రింద అమలు చేయండి.

ఆదేశం: wget http://archive.apache.org/dist/flink/flink-1.0.0/flink-1.0.0-bin-hadoop2-scala_2.10.tgz

ఫ్లింక్ డైరెక్టరీని పొందడానికి ఫైల్ను అన్టార్ చేయండి.

ఆదేశం: tar -xvf Downloads / flink-1.0.0-bin-hadoop2-scala_2.10.tgz

ఆదేశం: ls

జావా చార్ అర్రే డిఫాల్ట్ విలువ

.Bashrc ఫైల్‌లో ఫ్లింక్ ఎన్విరాన్మెంట్ వేరియబుల్స్ జోడించండి.

ఆదేశం: sudo gedit .bashrc

మీరు ఈ క్రింది ఆదేశాన్ని అమలు చేయాలి, తద్వారా .bashrc ఫైల్‌లో మార్పులు సక్రియం చేయబడతాయి

ఆదేశం: మూలం .bashrc

ఇప్పుడు ఫ్లింక్ డైరెక్టరీకి వెళ్లి స్థానికంగా క్లస్టర్ ప్రారంభించండి.

ఆదేశం: cd భారీ -1.0.0

ఆదేశం: bin / start-local.sh

మీరు క్లస్టర్‌ను ప్రారంభించిన తర్వాత, మీరు కొత్త డెమోన్ జాబ్‌మేనేజర్ నడుస్తున్నట్లు చూడగలరు.

ఆదేశం: jps

అపాచీ ఫ్లింక్ వెబ్ UI ని చూడటానికి బ్రౌజర్‌ను తెరిచి http: // localhost: 8081 కు వెళ్లండి.

అపాచీ ఫ్లింక్ ఉపయోగించి సరళమైన వర్డ్‌కౌంట్ ఉదాహరణను రన్ చేద్దాం.

ఉదాహరణను అమలు చేయడానికి ముందు మీ సిస్టమ్‌లో నెట్‌క్యాట్‌ను ఇన్‌స్టాల్ చేయండి (సుడో యమ్ ఇన్‌స్టాల్ ఎన్సి).

ఇప్పుడు క్రొత్త టెర్మినల్‌లో కింది ఆదేశాన్ని అమలు చేయండి.

ఆదేశం: nc -lk 9000

ఫ్లింక్ టెర్మినల్‌లో క్రింద ఇచ్చిన ఆదేశాన్ని అమలు చేయండి. ఈ ఆదేశం ఒక ప్రోగ్రామ్‌ను నడుపుతుంది, ఇది స్ట్రీమ్ చేసిన డేటాను ఇన్‌పుట్‌గా తీసుకుంటుంది మరియు ఆ స్ట్రీమ్ చేసిన డేటాపై వర్డ్‌కౌంట్ ఆపరేషన్ చేస్తుంది.

ఆదేశం: బిన్ / ఫ్లింక్ రన్ ఉదాహరణలు / స్ట్రీమింగ్ / సాకెట్టెక్స్ట్ స్ట్రీమ్ వర్డ్కౌంట్.జార్ -హోస్ట్ నేమ్ లోకల్ హోస్ట్ -పోర్ట్ 9000

c ++ ఫైబొనాక్సీ క్రమం

వెబ్ ui లో, మీరు నడుస్తున్న స్థితిలో ఉద్యోగాన్ని చూడగలరు.

క్రొత్త టెర్మినల్‌లో కమాండ్ క్రింద అమలు చేయండి, ఇది స్ట్రీమ్ చేయబడిన మరియు ప్రాసెస్ చేయబడిన డేటాను ప్రింట్ చేస్తుంది.

ఆదేశం: tail -f log / flink - * - జాబ్ మేనేజర్ - *. అవుట్

ఇప్పుడు మీరు నెట్‌క్యాట్ ప్రారంభించిన టెర్మినల్‌కు వెళ్లి ఏదో టైప్ చేయండి.

మీరు నెట్‌క్యాట్ టెర్మినల్‌లో కొంత డేటాను టైప్ చేసిన తర్వాత మీ కీవర్డ్‌లోని ఎంటర్ బటన్‌ను నొక్కినప్పుడు, వర్డ్‌కౌంట్ ఆపరేషన్ ఆ డేటాపై వర్తించబడుతుంది మరియు అవుట్పుట్ ఇక్కడ (ఫ్లింక్ జాబ్‌మేనేజర్ లాగ్) మిల్లీసెకన్లలో ముద్రించబడుతుంది!

చాలా తక్కువ వ్యవధిలో, డేటా ప్రసారం చేయబడుతుంది, ప్రాసెస్ చేయబడుతుంది మరియు ముద్రించబడుతుంది.

అపాచీ ఫ్లింక్ గురించి తెలుసుకోవడానికి ఇంకా చాలా ఉంది. మేము మా రాబోయే బ్లాగులో ఇతర ఫ్లింక్ విషయాలను తాకుతాము.

మాకు ప్రశ్న ఉందా? వ్యాఖ్య విభాగంలో వాటిని పేర్కొనండి మరియు మేము మీ వద్దకు తిరిగి వస్తాము.

సంబంధిత పోస్ట్లు:

అపాచీ ఫాల్కన్: హడూప్ ఎకోసిస్టమ్ కోసం కొత్త డేటా మేనేజ్‌మెంట్ ప్లాట్‌ఫాం