హడూప్, మనందరికీ తెలిసినట్లుగా పెద్ద డేటా యొక్క పోస్టర్ బాయ్. డేటా యొక్క ఏనుగు నిష్పత్తిని ప్రాసెస్ చేయగల సాఫ్ట్‌వేర్ ఫ్రేమ్‌వర్క్‌గా, హడూప్ CIO బజ్‌వర్డ్స్ జాబితాలో అగ్రస్థానంలో నిలిచింది.
అయినప్పటికీ, ఇన్-మెమరీ స్టాక్ యొక్క అపూర్వమైన పెరుగుదల పెద్ద డేటా పర్యావరణ వ్యవస్థను విశ్లేషణల కోసం కొత్త ప్రత్యామ్నాయానికి పరిచయం చేసింది. మ్యాప్‌రెడ్యూస్ మార్గం విశ్లేషణలు కొత్త విధానం ద్వారా భర్తీ చేయబడుతున్నాయి, ఇది హడూప్ ఫ్రేమ్‌వర్క్‌లో మరియు దాని వెలుపల విశ్లేషణలను అనుమతిస్తుంది. అపాచీ స్పార్క్ పెద్ద డేటా విశ్లేషణల యొక్క క్రొత్త ముఖం.
బిగ్ డేటా ts త్సాహికులు అపాచీ స్పార్క్‌ను ప్రపంచంలోని పెద్ద డేటా కోసం హాటెస్ట్ డేటా కంప్యూట్ ఇంజిన్‌గా ధృవీకరించారు. ఇది మ్యాప్‌రెడ్యూస్ మరియు జావాను వారి స్థానాల నుండి వేగంగా తొలగిస్తోంది మరియు ఉద్యోగ పోకడలు ఈ మార్పును ప్రతిబింబిస్తున్నాయి. టైప్‌సేఫ్ నిర్వహించిన ఒక సర్వే ప్రకారం, ప్రపంచ జావా డెవలపర్‌లలో 71% ప్రస్తుతం స్పార్క్ చుట్టూ మదింపు లేదా పరిశోధన చేస్తున్నారు మరియు వారిలో 35% మంది ఇప్పటికే దీనిని ఉపయోగించడం ప్రారంభించారు. స్పార్క్ నిపుణులకు ప్రస్తుతం డిమాండ్ ఉంది, మరియు తరువాతి వారాల్లో, స్పార్క్ సంబంధిత ఉద్యోగ అవకాశాల సంఖ్య పైకప్పు గుండా వెళుతుంది.
కాబట్టి, అపాచీ స్పార్క్ గురించి ఏమి చేయాలి, ఇది ప్రతి CIO లు చేయవలసిన పనుల జాబితాలో కనిపిస్తుంది.
జావా వేచి ఉండి ఉదాహరణను తెలియజేయండి
అపాచీ స్పార్క్ యొక్క కొన్ని ఆసక్తికరమైన లక్షణాలు ఇక్కడ ఉన్నాయి:
- హడూప్ ఇంటిగ్రేషన్ - హెచ్‌డిఎఫ్‌ఎస్‌లో నిల్వ చేసిన ఫైల్‌లతో స్పార్క్ పనిచేయగలదు.
- స్పార్క్ ఇంటరాక్టివ్ షెల్ - స్పార్క్ స్కాలాలో వ్రాయబడింది మరియు స్కాలా ఇంటర్ప్రెటర్ యొక్క దాని స్వంత వెర్షన్ ఉంది.
- స్పార్క్ యొక్క విశ్లేషణాత్మక సూట్ - ఇంటరాక్టివ్ ప్రశ్న విశ్లేషణ, పెద్ద-స్థాయి గ్రాఫ్ ప్రాసెసింగ్ మరియు విశ్లేషణ మరియు నిజ-సమయ విశ్లేషణ కోసం సాధనాలతో స్పార్క్ వస్తుంది.
- స్థితిస్థాపక పంపిణీ డేటాసెట్‌లు (RDD లు) - RDD లు కంప్యూట్ నోడ్‌ల సమూహంలో మెమరీలో కాష్ చేయగల వస్తువులను పంపిణీ చేస్తాయి. అవి స్పార్క్‌లో ఉపయోగించే ప్రాధమిక డేటా వస్తువులు.
- పంపిణీ ఆపరేటర్లు - మ్యాప్‌రెడ్యూస్‌తో పాటు, RDD లలో ఒకరు ఉపయోగించగల అనేక ఇతర ఆపరేటర్లు ఉన్నారు.
నాసా, యాహూ మరియు అడోబ్ వంటి సంస్థలు స్పార్క్ కోసం తమను తాము కట్టుబడి ఉన్నాయి. డేటాబ్రిక్స్ వద్ద జాన్ ట్రిపియర్, అలయన్స్ మరియు ఎకోసిస్టమ్ లీడ్ ఇలా చెబుతోంది, “పెద్ద మరియు చిన్న వ్యాపారాలచే అపాచీ స్పార్క్ యొక్క స్వీకరణ విస్తృత శ్రేణి పరిశ్రమలలో నమ్మశక్యం కాని రేటుతో పెరుగుతోంది, మరియు ధృవీకరించబడిన నైపుణ్యం కలిగిన డెవలపర్‌ల డిమాండ్ త్వరగా క్రింది సూట్ ”. మీకు హడూప్‌లో నేపథ్యం ఉంటే స్పార్క్ నేర్చుకోవడానికి ఇంతకంటే మంచి సమయం ఎప్పుడూ లేదు.
నిజ జీవిత పరిశ్రమ అభ్యాసకులు సహ-సృష్టించిన అపాచీ స్పార్క్ & స్కాలాపై ఎడురేకా ప్రత్యేకంగా ఒక కోర్సును రూపొందించారు. పరిశ్రమ-సంబంధిత ప్రాజెక్టులతో పాటు విభిన్నమైన ప్రత్యక్ష ఇ-లెర్నింగ్ అనుభవం కోసం, మా కోర్సును చూడండి. క్రొత్త బ్యాచ్‌లు త్వరలో ప్రారంభమవుతాయి, కాబట్టి ఇక్కడ కోర్సును చూడండి: .
మాకు ప్రశ్న ఉందా? దయచేసి దీన్ని వ్యాఖ్యల విభాగంలో పేర్కొనండి మరియు మేము మిమ్మల్ని సంప్రదిస్తాము.
సంబంధిత పోస్ట్లు:
జావాస్క్రిప్ట్లో ఇండెక్స్ఆఫ్ ఏమిటి