మీరు ఇప్పటికే నుండి ఉంటే ఐటి పరిశ్రమ , మీరు తప్పక తెలుసుకోవాలి పెద్ద డేటా ఆనాటి చర్చ. క్రొత్త స్టార్టప్‌లు వినూత్న వ్యాపార నమూనాలతో వస్తాయి లేదా మీ సహోద్యోగులు ఆ స్టార్టప్‌లలో చేరడానికి కొన్ని కారణాల వల్ల ఈ రోజు పచ్చటి పచ్చిక బయళ్ళు అనిపిస్తుంది పెద్ద డేటా పరిశ్రమ.
ఎందుకు అని మీరు ఆలోచిస్తున్నట్లయితే, ఇది చివరి వరకు చదవమని నేను మీకు సిఫార్సు చేస్తున్నాను ఎందుకంటే ఇది స్వీయ-అన్వేషించే బ్లాగ్ కావచ్చు, మీరు గమ్యస్థానానికి దారి తీస్తుంది.
కాబట్టి, ఇవన్నీ ఎందుకుప్రచారంచుట్టుపక్కల బిగ్ డేటా?
ఇది అన్ని ఇతర డొమైన్ల నుండి తాత్కాలిక ప్రాతిపదికన శరణార్థులను ల్యాండ్ చేయబోయే మరొక డొమైన్ కాదా? లేదా, ఇది సుదీర్ఘకాలం ఇక్కడ ఉంటుందా?
నేను take హించుకుంటే, నేను చెప్పేది, ఇది సుదీర్ఘకాలం ఇక్కడ ఉండటమే కాదు, బిగ్ డేటా పరిశ్రమ సాంకేతిక పురోగతికి కేంద్రంగా ఉంటుంది.
ఎందుకంటే ప్రతిదీ గురించిసమాచారం!
సూర్యుడిలాగేపెరుగుతుందినుండితూర్పుమరియుసెట్లులోవెస్ట్, కంప్యూటింగ్ / కంప్యూటింగ్ కాని పరికరాల నిరంతర ఉపయోగం నిర్వహించలేని డేటా యొక్క విస్ఫోటనం అవుతుంది.
ఈ డేటా ఎక్సెల్ లేదా ఏదైనా డేటాబేస్ మేనేజ్మెంట్ సిస్టమ్ చేత నిర్వహించబడే పరిమితిని దాటినప్పుడు, మేము దానిని పదం చేస్తాము బిగ్ డేటా .
ఆలోచించండి, మీరు అమెజాన్ నుండి కొనుగోలు చేసిన చివరి ఉత్పత్తి ఏది? గత కార్యాచరణ ఆధారంగా మీరు కొనుగోలు చేసే తదుపరి ఉత్పత్తి ఏది? ఇలాంటి ప్రశ్నలకు సమాధానాలు బిగ్ డేటాలో నిల్వ చేయబడతాయి.
ఉత్పత్తి వెనుక పెరుగుతున్న ధోరణి ఉందా? లేదా, క్షీణిస్తున్న ధోరణి ఉందా? కస్టమర్ ‘షూస్’ కొన్నప్పుడు ‘స్టాకింగ్స్’ కొంటారా? ఇవి వ్యాపార సమస్య పరిష్కార ప్రశ్నలు.
మరియు, ఈ ప్రశ్నలు సులభంగా ఉంటాయి సమాధానం ఇచ్చారు ఉపయోగించడం ద్వార బిగ్ డేటా అనలిటిక్స్ .
అన్నింటికంటే, మీరు లేనప్పుడు డేటా ఉపయోగం ఏమిటి విశ్లేషించడం అది?
కాబట్టి, బిగ్ డేటాపూర్తిగా గురించివిశ్లేషణలు?పూర్తిగా కాదు, కానీ అనలిటిక్స్ అనేది అల్టిమేట్ ప్రైజ్.
బిగ్ డేటాలోని ఇతర ప్రధాన ప్రవాహాలునిల్వమరియునిర్వహణ.
ఇక్కడ మీరు ప్రొఫెషనల్‌గా సహకరించగలరు. మీరు ఈ పాత్రను can హించవచ్చు:
- బిగ్ డేటా ఇంజనీర్
- బిగ్ డేటా సొల్యూషన్ ఆర్కిటెక్ట్
మరియు ఉత్పత్తి చేయబడిన పెద్ద డేటా ఎల్లప్పుడూ అందుబాటులో ఉందని నిర్ధారించుకోండి మరియు ఇది తరువాతి సమయంలో విశ్లేషణల కోసం ఉపయోగించబడుతుంది. కాబట్టి ఇది మమ్మల్ని ప్రశ్న & హెల్ప్ కి తీసుకువస్తుంది
బిగ్ డేటా ఎక్కడ నిల్వ చేయబడుతుంది?
ఇది ఒక లో నిల్వ చేయవచ్చాఎక్సెల్ ఫైల్? దీనిని a లో నిల్వ చేయవచ్చారిలేషనల్ డేటాబేస్ సిస్టమ్?
హెల్, లేదు!
అది జరిగి ఉంటే, అప్పుడు ఉండేది!
మరియు అన్నింటినీ కలిపి భిన్నమైనదిగా పిలుస్తారు. బహుశా అలాంటిదే కావచ్చుఎక్సెల్-డేటాలేదాRDBMS- డేటా: డి
మరియు అది మమ్మల్ని తిరిగి తీసుకువెళుతుంది STEP1 : - ఎక్సెల్ ఉపయోగించి బిగ్ డేటాను ఎందుకు నిర్వహించలేరు? ఎందుకంటేఎక్సెల్ నిర్వహించడానికి బిగ్ డేటా చాలా వేడిగా ఉంది. మరియు ఇతర డేటాబేస్ నిర్వహణ వ్యవస్థలు కూడా.
కాబట్టి, ప్రత్యామ్నాయం ఏమిటి?
బిగ్ డేటాను నిర్వహించడానికి, మాకు ఉంది హడూప్ . మీకు ఈ పదం గురించి కూడా తెలిసి ఉండవచ్చు. కానీ, మీరు ఆశ్చర్యపోవచ్చు, ఇది ఎలా పని చేస్తుంది?
స్టార్టర్స్ కోసం, HADOOP యొక్క ఉత్పత్తిఅపాచ్ ఫౌండేషన్. అపాచీ అనేది ఒక అమెరికన్ లాభాపేక్షలేని సంస్థ, ఇది ఓపెన్ సోర్స్ సాఫ్ట్‌వేర్ అభివృద్ధికి మద్దతు ఇస్తుంది.
హడూప్ ఒక ఓపెన్-సోర్స్ జావా-ఆధారిత ప్రోగ్రామింగ్ ఫ్రేమ్‌వర్క్‌గా నిర్వచించబడింది, ఇది పంపిణీ చేయబడిన కంప్యూటింగ్ వాతావరణంలో చాలా పెద్ద డేటా సెట్ల ప్రాసెసింగ్ మరియు నిల్వకు మద్దతు ఇస్తుంది.
హడూప్ ఏమి చేయగలడు, కానీ ఎక్సెల్ చేయలేదా?
నిర్మాణాత్మక డేటాను ప్రాసెస్ చేయండి మరియు అర్థం చేసుకోండి!నిర్మాణాత్మక డేటా పట్టిక ఆకృతిలో లేదా లేకపోతే సులభంగా వ్యవహరించవచ్చు. ఎక్సెల్ దీన్ని చేయగలదు మరియు ఇతర RDBMS కూడా చేయవచ్చు.
కానీ చదవడానికి తగ్గినప్పుడు మరియు డేటా నిర్మాణాత్మకంగా లేనప్పుడు, అక్కడే బిగ్ డేటా ఉంటుందిహడూప్ వంటి సాధనాలుస్కోరు. నిర్మాణాత్మక డేటాకు ఉదాహరణ సిస్లాగ్ . నమూనా చిత్రం క్రింద ఉంది.
ఇటువంటి లాగ్‌లు ఖచ్చితంగా ఎక్సెల్ ఉపయోగించి ప్రశ్నించబడవు.
హడూప్, బిగ్ డేటా సాధనాల మాదిరిగా, నమూనాలను వెలికితీసి, వివిధ రంగాల మధ్య సంబంధాలను ఏర్పరచడం ద్వారా డేటాను అర్థం చేసుకోవచ్చు. డేటాకు రిలేషనల్ టచ్ ఉన్న తర్వాత, అదివిశ్లేషణలు సిద్ధంగా ఉన్నాయి.
అనలిటిక్స్ అంటే సంస్థపై వ్యాపార ప్రభావం చూపుతుంది! ఈ బిగ్ డేటా డొమైన్‌లో పాల్గొనడం ద్వారా మీ కెరీర్ ఎక్కువగా ప్రయోజనం పొందుతుంది.
' నేను దానిని హడూప్-ఎర్గా చేయవచ్చా? '
… మీ మనస్సులో తదుపరి ప్రశ్న కావచ్చు. మరియు సరిగ్గా ఆలోచించినట్లయితే, బిగ్ డేటా అనేది ఎప్పటిలాగే వేడిగా మరియు ఎప్పటిలాగే ముఖ్యమైన మార్కెట్.
హడూప్ లేకుండా, కంపెనీలకు బిగ్ డేటాతో వ్యవహరించడానికి చాలా కష్టంగా ఉంటుంది. మరియు మీలాంటి నైపుణ్యం కలిగిన నిపుణులు లేకుండా, కంపెనీలకు హడూప్‌తో వ్యవహరించడానికి చాలా కష్టంగా ఉంటుంది.
ఈ డొమైన్‌లో టాలెంట్ లోటు ఉందని ఒక నివేదిక ఉంది. టాలెండ్ లోటు అంటే తక్కువ నిపుణులు కానీ అధిక డిమాండ్. మరియు ఇది ప్రపంచ స్థాయిలో ఉంది మరియు ఒక నిర్దిష్ట భౌగోళికానికి పరిమితం కాదు.
మీకు సంఖ్యలు కావాలా?
TO మెకిన్సే గ్లోబల్ ఇన్స్టిట్యూట్ 2018 నాటికి బిగ్ డేటాను ఉపయోగించి అర్థం చేసుకొని నిర్ణయాలు తీసుకోగల సుమారు 190,000 డేటా శాస్త్రవేత్తలు మరియు 1.5 మిలియన్ల నిర్వాహకులు మరియు విశ్లేషకుల కొరతను అమెరికా ఎదుర్కొంటుందని అధ్యయనం పేర్కొంది.
మీకు కెరీర్ సలహా? ఆటుపోట్లు తక్కువగా ఉన్నప్పుడు సర్ఫ్ చేయండి!
అయితే మీరు పరిమితం చేయబడింది మాత్రమే హడూప్ ?
నిజంగా కాదు. బిగ్ డేటాను ప్రాసెస్ చేయడానికి అనేక సాధనాలు ఉన్నాయి మరియు హడూప్ ఉత్తమమైన వాటిలో ఒకటిగా పరిగణించబడుతుంది. కానీ, ప్రతిసారీ కాదు!
హడూప్ ఉత్తమంగా సరిపోని సందర్భాలు ఉన్నాయి. ఉదాహరణకు, మీరు నాన్-టెక్నికల్ వ్యక్తి అయితే మ్యాప్‌రెడ్యూస్ ప్రోగ్రామ్‌లను రాయడం అంత మంచిది కాదు.
అటువంటి సందర్భాలలో, మీరు ఉపయోగించవచ్చుTALEND, ఇది మీరు మ్యాప్‌రెడ్యూస్‌తో చేసిన పనులను చేయడానికి గ్రాఫికల్ యూజర్ ఇంటర్‌ఫేస్‌ను ఇస్తుంది.
సరళమైన జావా కోడ్‌లను వ్రాయడానికి, మీరు ఉపయోగించవచ్చుPIG.
మీరు బిగ్ డేటాలో SQL లాంటి ప్రశ్నలను అమలు చేయాలనుకుంటే, అప్పుడుHIVEవాడుకోవచ్చు.
మీరు NoSQL డేటాబేస్లో నిల్వ చేసిన డేటాను ఉపయోగించాలనుకుంటే, అప్పుడుHBaseవాడుకోవచ్చు.
నిజ సమయంలో విశ్లేషణలు చేయడానికి, మీరు ఉపయోగించవచ్చుSPARK.
ఇవి బిగ్ డేటా సాధనాలు, ఇవి హడూప్‌తో చేయి చేసుకుంటాయి, అయినప్పటికీ అవి హడూప్‌ను భర్తీ చేయవు. అవి బిగ్ డేటా కోసం హడూప్ యాడ్-ఆన్‌లు.
అంతేకాకుండా, SQOOP, FLUME, OOZIE వంటి కొన్ని ఉపకరణాలు ఉన్నాయి, వీటిని వివిధ వ్యాపార సమస్యలను పరిష్కరించడానికి హడూప్ ఫ్రేమ్‌వర్క్‌తో అనుసంధానించవచ్చు.
జావాలో ఫ్రేమ్ అంటే ఏమిటి
బిగ్ డేటా నిపుణుడిగా పరిశ్రమ మీ నుండి ఏమి ఆశిస్తుంది?
పరిశ్రమకు చాలా అవసరం ఉంది బిగ్ డేటా ఆర్కిటెక్ట్స్ వారి సంస్థల కోసం ఎండ్-టు-ఎండ్ పెద్ద డేటా పరిష్కారాన్ని ఎవరు నిర్మించగలరు. బిగ్ డేటా ఆర్కిటెక్ట్స్ అంటే ముందు పేర్కొన్న అన్ని సాధనాలలో నైపుణ్యం ఉన్నవారు.
ఎడురేకా అభ్యాసకుడు ఇచ్చిన సాక్ష్యం ఇక్కడ ఉంది కోర్సు:
అవ్వటం రిటైల్, సోషల్ మీడియా, ఏవియేషన్, టూరిజం, ఫైనాన్స్ డొమైన్‌లో రియల్ టైమ్ యూజ్ కేసులను ఉపయోగించి హెచ్‌డిఎఫ్‌ఎస్, నూలు, మ్యాప్‌రెడ్యూస్, పిగ్, హైవ్, హెచ్‌బేస్, ఓజీ, ఫ్లూమ్ మరియు స్కూప్‌లో నిపుణులుగా మారడానికి అభ్యాసకులకు సహాయపడే ఎడురేకా యొక్క బిగ్ డేటా మరియు హడూప్ ధృవీకరణ శిక్షణ నుండి ప్రారంభమవుతుంది. .