ఈ అపాచీ ఫ్లూమ్ ట్యుటోరియల్ బ్లాగులో, వివిధ వనరుల నుండి డేటాను ప్రసారం చేయడానికి ఫ్లూమ్ ఎలా సహాయపడుతుందో మేము అర్థం చేసుకుంటాము. కానీ దీనికి ముందు డేటా తీసుకోవడం యొక్క ప్రాముఖ్యతను అర్థం చేసుకుందాం. డేటాను ప్రాసెస్ చేయడానికి మరియు విశ్లేషించడానికి, ఆపై దాని నుండి వ్యాపార విలువలను పొందటానికి డేటా తీసుకోవడం ప్రారంభ మరియు ముఖ్యమైన దశ. ఒక సంస్థలో డేటా సేకరించే బహుళ వనరులు ఉన్నాయి.
ఫ్లూమ్ బాగా ప్రాచుర్యం పొందటానికి మరొక ముఖ్యమైన కారణం గురించి మాట్లాడదాం. మీకు తెలిసి ఉంటుందని నేను ఆశిస్తున్నాను , ఇది పరిశ్రమలో విపరీతంగా ఉపయోగించబడుతోంది ఎందుకంటే ఇది అన్ని రకాల డేటాను నిల్వ చేయగలదు. ఫ్లూమ్ హడూప్‌తో సులభంగా కలిసిపోతుంది మరియు హెచ్‌డిఎఫ్‌ఎస్‌లో నిర్మాణాత్మకమైన మరియు సెమీ స్ట్రక్చర్డ్ డేటాను డంప్ చేయగలదు, హడూప్ యొక్క శక్తిని అభినందిస్తుంది. హడాప్ ఎకోసిస్టమ్‌లో అపాచీ ఫ్లూమ్ ఒక ముఖ్యమైన భాగం.
ఈ అపాచీ ఫ్లూమ్ ట్యుటోరియల్ బ్లాగులో, మేము కవర్ చేస్తాము:
- అపాచీ ఫ్లూమ్ పరిచయం
- అపాచీ ఫ్లూమ్ యొక్క ప్రయోజనాలు
- ఫ్లూమ్ ఆర్కిటెక్చర్
- ఫ్లూమ్ ఉపయోగించి ట్విట్టర్ డేటాను ప్రసారం చేస్తుంది
అపాచీ ఫ్లూమ్ అంటే ఏమిటో చర్చించడం ద్వారా మేము ఈ ఫ్లూమ్ ట్యుటోరియల్‌ను ప్రారంభిస్తాము. అప్పుడు ముందుకు వెళుతున్నప్పుడు, ఫ్లూమ్ ఉపయోగించడం వల్ల కలిగే ప్రయోజనాలను మేము అర్థం చేసుకుంటాము.
అపాచీ ఫ్లూమ్ ట్యుటోరియల్: అపాచీ ఫ్లూమ్ పరిచయం
అపాచీ ఫ్లూమ్ అనేది HDFS లో డేటాను తీసుకోవడానికి ఒక సాధనం. ఇది లాగ్ ఫైల్స్, నెట్‌వర్క్ ట్రాఫిక్, సోషల్ మీడియా, ఇమెయిల్ సందేశాలు వంటి వివిధ వనరుల నుండి ఈవెంట్స్ వంటి పెద్ద మొత్తంలో స్ట్రీమింగ్ డేటాను హెచ్‌డిఎఫ్‌ఎస్‌కు సేకరిస్తుంది, రవాణా చేస్తుంది.ఫ్లూమ్ అత్యంత నమ్మదగినది మరియు పంపిణీ చేయబడింది.
ఫ్లూమ్ రూపకల్పన వెనుక ఉన్న ప్రధాన ఆలోచన ఏమిటంటే వివిధ వెబ్ సర్వర్ల నుండి HDFS కు స్ట్రీమింగ్ డేటాను సంగ్రహించడం. ఇది స్ట్రీమింగ్ డేటా ప్రవాహాల ఆధారంగా సరళమైన మరియు సౌకర్యవంతమైన నిర్మాణాన్ని కలిగి ఉంది. ఇది తప్పు-సహనం మరియు తప్పు సహనం & వైఫల్యం పునరుద్ధరణకు విశ్వసనీయత విధానాన్ని అందిస్తుంది.
ఫ్లూమ్ అంటే ఏమిటో అర్థం చేసుకున్న తరువాత, ఇప్పుడు ఈ ఫ్లూమ్ ట్యుటోరియల్ బ్లాగులో ముందుకు సాగి అపాచీ ఫ్లూమ్ యొక్క ప్రయోజనాలను అర్థం చేసుకుందాం. అప్పుడు ముందుకు వెళుతున్నప్పుడు, మేము ఫ్లూమ్ యొక్క నిర్మాణాన్ని పరిశీలిస్తాము మరియు ఇది ప్రాథమికంగా ఎలా పనిచేస్తుందో అర్థం చేసుకోవడానికి ప్రయత్నిస్తాము.
c లో లింక్డ్ జాబితాను ఎలా తయారు చేయాలి
అపాచీ ఫ్లూమ్ ట్యుటోరియల్: అపాచీ ఫ్లూమ్ యొక్క ప్రయోజనాలు
అపాచీ ఫ్లూమ్ యొక్క అనేక ప్రయోజనాలు ఉన్నాయి, ఇది ఇతరులపై మంచి ఎంపిక చేస్తుంది. ప్రయోజనాలు:
- ఫ్లూమ్ స్కేలబుల్, నమ్మదగినది, తప్పు తట్టుకోగలది మరియు విభిన్న వనరులు మరియు సింక్‌ల కోసం అనుకూలీకరించదగినది.
- అపాచీ ఫ్లూమ్ HBase & HDFS వంటి కేంద్రీకృత దుకాణాల్లో డేటాను నిల్వ చేయవచ్చు (అనగా డేటా ఒకే స్టోర్ నుండి సరఫరా చేయబడుతుంది).
- ఫ్లూమ్ అడ్డంగా కొలవగలది.
- రీడ్ రేట్ వ్రాసే రేటును మించి ఉంటే, ఫ్లూమ్ రీడ్ అండ్ రైట్ ఆపరేషన్ల మధ్య స్థిరమైన డేటా ప్రవాహాన్ని అందిస్తుంది.
- ఫ్లూమ్ నమ్మదగిన సందేశ బట్వాడాను అందిస్తుంది. ఫ్లూమ్‌లోని లావాదేవీలు ఛానల్ ఆధారితమైనవి, ఇక్కడ ప్రతి సందేశానికి రెండు లావాదేవీలు (ఒక పంపినవారు & ఒక రిసీవర్) నిర్వహించబడతాయి.
- ఫ్లూమ్ ఉపయోగించి, మేము బహుళ సర్వర్ల నుండి డేటాను హడూప్‌లోకి తీసుకోవచ్చు.
- ఇది మాకు నమ్మదగిన మరియు పంపిణీ చేయబడిన ఒక పరిష్కారాన్ని ఇస్తుంది మరియు ఫేస్‌బుక్, ట్విట్టర్ మరియు ఇ-కామర్స్ వెబ్‌సైట్‌ల వంటి పెద్ద మొత్తంలో డేటా సెట్‌లను సేకరించడం, సమగ్రపరచడం మరియు తరలించడంలో మాకు సహాయపడుతుంది.
- HDFS లో నెట్‌వర్క్ ట్రాఫిక్, సోషల్ మీడియా, ఇమెయిల్ సందేశాలు, లాగ్ ఫైల్స్ వంటి వివిధ వనరుల నుండి ఆన్‌లైన్ స్ట్రీమింగ్ డేటాను తీసుకోవడానికి ఇది మాకు సహాయపడుతుంది.
- ఇది పెద్ద మూలాలు మరియు గమ్యస్థానాలకు మద్దతు ఇస్తుంది.
ఈ ప్రయోజనాలతో అపాచీ ఫ్లూమ్‌ను శక్తివంతం చేసేది ఆర్కిటెక్చర్. ఇప్పుడు, అపాచీ ఫ్లూమ్ యొక్క ప్రయోజనాలు మనకు తెలిసినట్లుగా, ముందుకు సాగడానికి మరియు అపాచీ ఫ్లూమ్ నిర్మాణాన్ని అర్థం చేసుకోవడానికి అనుమతిస్తుంది.
అపాచీ ఫ్లూమ్ ట్యుటోరియల్: ఫ్లూమ్ ఆర్కిటెక్చర్
ఇప్పుడు, దిగువ రేఖాచిత్రం నుండి ఫ్లూమ్ యొక్క నిర్మాణాన్ని అర్థం చేసుకుందాం:
వివిధ డేటా వనరుల నుండి హెచ్‌డిఎఫ్‌ఎస్‌కు స్ట్రీమింగ్ డేటాను తీసుకునే ఫ్లూమ్ ఏజెంట్ ఉంది. రేఖాచిత్రం నుండి, వెబ్ సర్వర్ డేటా మూలాన్ని సూచిస్తుందని మీరు సులభంగా అర్థం చేసుకోవచ్చు. డేటాను ప్రసారం చేయడానికి ప్రసిద్ధ వనరులలో ట్విట్టర్ ఒకటి.
ఫ్లూమ్ ఏజెంట్ 3 భాగాలను కలిగి ఉంది: మూలం, సింక్ మరియు ఛానల్.
- మూలం : ఇది ఇన్‌కమింగ్ స్ట్రీమ్‌లైన్ నుండి డేటాను అంగీకరిస్తుంది మరియు డేటాను ఛానెల్‌లో నిల్వ చేస్తుంది.
- ఛానల్ : సాధారణంగా, పఠన వేగం రాసే వేగం కంటే వేగంగా ఉంటుంది. అందువల్ల, రీడ్ & రైట్ స్పీడ్ వ్యత్యాసంతో సరిపోలడానికి మాకు కొంత బఫర్ అవసరం. సాధారణంగా, బఫర్ మధ్యవర్తిత్వ నిల్వగా పనిచేస్తుంది, ఇది డేటాను తాత్కాలికంగా బదిలీ చేయడాన్ని నిల్వ చేస్తుంది మరియు అందువల్ల డేటా నష్టాన్ని నిరోధిస్తుంది. అదేవిధంగా, ఛానెల్ స్థానిక నిల్వగా లేదా డేటా మూలం మరియు HDFS లోని నిరంతర డేటా మధ్య తాత్కాలిక నిల్వగా పనిచేస్తుంది.
- మునిగిపోతుంది : అప్పుడు, మా చివరి భాగం అనగా సింక్, ఛానెల్ నుండి డేటాను సేకరిస్తుంది మరియు HDFS లోని డేటాను శాశ్వతంగా చేస్తుంది లేదా వ్రాస్తుంది.
అపాచీ ఫ్లూమ్ ఎలా పనిచేస్తుందో ఇప్పుడు మనకు తెలిసినట్లుగా, మనం ట్విట్టర్ డేటాను మునిగి HDDS లో నిల్వ చేసే ప్రాక్టికల్ ను పరిశీలిద్దాం.
అపాచీ ఫ్లూమ్ ట్యుటోరియల్: స్ట్రీమింగ్ ట్విట్టర్ డేటా
ఈ ప్రాక్టికల్‌లో, మేము ట్విట్టర్‌యూజింగ్ ఫ్లూమ్ నుండి డేటాను స్ట్రీమ్ చేసి, ఆపై క్రింది చిత్రంలో చూపిన విధంగా డేటాను HDFS లో నిల్వ చేస్తాము.
మొదటి దశ ట్విట్టర్ అప్లికేషన్‌ను సృష్టించడం. దీని కోసం, మీరు మొదట ఈ url కి వెళ్ళాలి: https://apps.twitter.com/ మరియు మీ ట్విట్టర్ ఖాతాకు సైన్ ఇన్ చేయండి. దిగువ చిత్రంలో చూపిన విధంగా అప్లికేషన్ టాబ్ సృష్టించడానికి వెళ్ళండి.
అప్పుడు, దిగువ చిత్రంలో చూపిన విధంగా ఒక అనువర్తనాన్ని సృష్టించండి.
ఈ అనువర్తనాన్ని సృష్టించిన తర్వాత, మీరు కీ & యాక్సెస్ టోకెన్‌ను కనుగొంటారు. కీ మరియు యాక్సెస్ టోకెన్‌ను కాపీ చేయండి. ఈ అనువర్తనానికి కనెక్ట్ చేయడానికి మేము ఈ టోకెన్లను మా ఫ్లూమ్ కాన్ఫిగరేషన్ ఫైల్‌లో పాస్ చేస్తాము.
ఇప్పుడు క్రింది చిత్రంలో చూపిన విధంగా ఫ్లూమ్ యొక్క రూట్ డైరెక్టరీలో ఫ్లూమ్.కాన్ఫ్ ఫైల్ను సృష్టించండి. మేము చర్చించినట్లుగా, ఫ్లూమ్ యొక్క నిర్మాణంలో, మేము మా మూలం, సింక్ మరియు ఛానెల్‌ని కాన్ఫిగర్ చేస్తాము. మా మూలం ట్విట్టర్, మేము డేటాను స్ట్రీమింగ్ చేస్తున్న చోట మరియు మా సింక్ HDFS, ఇక్కడ మేము డేటాను వ్రాస్తున్నాము.
సోర్స్ కాన్ఫిగరేషన్‌లో మేము ట్విట్టర్ సోర్స్ రకాన్ని పాస్ చేస్తున్నాము org.apache.flume.source.twitter.TwitterSource. అప్పుడు, మేము ట్విట్టర్ నుండి అందుకున్న నాలుగు టోకెన్లను పాస్ చేస్తున్నాము. చివరికి సోర్స్ కాన్ఫిగరేషన్‌లో మేము ట్వీట్‌లను పొందబోయే కీలకపదాలను పంపుతున్నాము.
సింక్ కాన్ఫిగరేషన్‌లో మేము HDFS లక్షణాలను కాన్ఫిగర్ చేయబోతున్నాం. మేము HDFS పాత్, రైట్ ఫార్మాట్, ఫైల్ టైప్, బ్యాచ్ సైజ్ మొదలైనవాటిని సెట్ చేస్తాము. చివరికి ఈ క్రింది చిత్రంలో చూపిన విధంగా మెమరీ ఛానెల్ సెట్ చేయబోతున్నాం.
ఇప్పుడు మనమందరం అమలు కోసం సిద్ధంగా ఉన్నాము. మనం ముందుకు వెళ్లి ఈ ఆదేశాన్ని అమలు చేద్దాం:
$ FLUME_HOME / bin / flume-ng ఏజెంట్ --conf ./conf/ -f $ FLUME_HOME / flume.conf
ఈ ఆదేశాన్ని కొంతకాలం అమలు చేసిన తరువాత, మీరు CTRL + C ఉపయోగించి టెర్మినల్ నుండి నిష్క్రమించవచ్చు. అప్పుడు మీరు మీ హడూప్ డైరెక్టరీలో ముందుకు వెళ్లి, పేర్కొన్న మార్గాన్ని తనిఖీ చేయవచ్చు, ఫైల్ సృష్టించబడిందా లేదా అని.
జావా కోడ్‌ను ఎలా కంపైల్ చేయాలి
ఫైల్ను డౌన్‌లోడ్ చేసి దాన్ని తెరవండి. దిగువ చిత్రంలో చూపిన విధంగా మీరు ఏదో పొందుతారు.
ఈ బ్లాగ్ మీకు సమాచారం మరియు అదనపు విలువను ఇస్తుందని నేను ఆశిస్తున్నాను. మీరు మరింత తెలుసుకోవడానికి ఆసక్తి కలిగి ఉంటే, మీరు దీని ద్వారా వెళ్ళవచ్చు ఇది బిగ్ డేటా గురించి మరియు హడూప్ బిగ్ డేటాకు సంబంధించిన సవాళ్లను ఎలా పరిష్కరిస్తుందో మీకు తెలియజేస్తుంది.
ఇప్పుడు మీరు అపాచీ ఫ్లూమ్ అర్థం చేసుకున్నారు, చూడండి ప్రపంచవ్యాప్తంగా 250,000 కంటే ఎక్కువ సంతృప్తికరమైన అభ్యాసకుల నెట్‌వర్క్‌తో విశ్వసనీయ ఆన్‌లైన్ లెర్నింగ్ సంస్థ ఎడురేకా చేత. రిటైల్, సోషల్ మీడియా, ఏవియేషన్, టూరిజం, ఫైనాన్స్ డొమైన్‌లో రియల్ టైమ్ యూజ్ కేసులను ఉపయోగించి హెచ్‌డిఎఫ్‌ఎస్, నూలు, మ్యాప్‌రెడ్యూస్, పిగ్, హైవ్, హెచ్‌బేస్, ఓజీ, ఫ్లూమ్ మరియు స్కూప్‌లో నిపుణులు కావడానికి ఎడురేకా బిగ్ డేటా హడూప్ సర్టిఫికేషన్ ట్రైనింగ్ కోర్సు సహాయపడుతుంది.
మాకు ప్రశ్న ఉందా? దయచేసి దీన్ని వ్యాఖ్యల విభాగంలో పేర్కొనండి మరియు మేము మిమ్మల్ని సంప్రదిస్తాము.