హడూప్, డేటా ప్రాసెసింగ్ ఫ్రేమ్‌వర్క్, దానికి మంచి వేదికలు కనెక్ట్ అయినప్పుడు మరింత మెరుగ్గా ఉంటుంది. హడూప్ యొక్క మ్యాప్‌రెడ్యూస్ భాగం వంటి హడూప్ యొక్క కొన్ని లోపాలు నిజ-సమయ డేటా విశ్లేషణకు నెమ్మదిగా ఉన్నందుకు ఖ్యాతిని కలిగి ఉన్నాయి.
బ్యాచ్ మరియు స్ట్రీమింగ్ పనిభారం రెండింటి కోసం రూపొందించిన హడూప్-ఆధారిత డేటా ప్రాసెసింగ్ ఇంజిన్ అపాచీ స్పార్క్ ఎంటర్ చెయ్యండి, ఇప్పుడు దాని 1.0 వెర్షన్‌లో ఉంది మరియు హడూప్ ఏ విధమైన పనిని చేర్చడానికి ఉదాహరణగా చెప్పగల లక్షణాలతో తయారు చేయబడింది. మెరుగైన మరియు అదనపు కార్యాచరణను అందించడానికి స్పార్క్ ఇప్పటికే ఉన్న హడూప్ క్లస్టర్ల పైన నడుస్తుంది.
స్పార్క్ యొక్క ముఖ్య లక్షణాలను మరియు హడూప్‌తో పాటు ఇది ఎలా పనిచేస్తుందో చూద్దాం .
అపాచీ స్పార్క్ కీ ప్రయోజనాలు:
స్పార్క్ యొక్క అద్భుతమైన లక్షణాలు:
- హడూప్ ఇంటిగ్రేషన్ - హెచ్‌డిఎఫ్‌ఎస్‌లో నిల్వ చేసిన ఫైల్‌లతో స్పార్క్ పనిచేయగలదు.
- స్పార్క్ ఇంటరాక్టివ్ షెల్ - స్పార్క్ స్కాలాలో వ్రాయబడింది మరియు ఇది స్కాలా వ్యాఖ్యాత యొక్క స్వంత సంస్కరణను కలిగి ఉంది.
- స్పార్క్ యొక్క విశ్లేషణాత్మక సూట్ - ఇంటరాక్టివ్ ప్రశ్న విశ్లేషణ, పెద్ద-స్థాయి గ్రాఫ్ ప్రాసెసింగ్ మరియు విశ్లేషణ మరియు నిజ-సమయ విశ్లేషణ కోసం సాధనాలతో స్పార్క్ వస్తుంది.
- స్థితిస్థాపక పంపిణీ డేటాసెట్‌లు (RDD’s) - RDD లు కంప్యూట్ నోడ్‌ల సమూహంలో మెమరీలో కాష్ చేయగల పంపిణీ చేయబడిన వస్తువులు. అవి స్పార్క్‌లో ఉపయోగించే ప్రాధమిక డేటా వస్తువులు.
- పంపిణీ ఆపరేటర్లు - మ్యాప్‌రెడ్యూస్‌తో పాటు, RDD లలో ఒకరు ఉపయోగించగల అనేక ఇతర ఆపరేటర్లు ఉన్నారు.
హడూప్‌తో అపాచీ స్పార్క్ ఉపయోగించడం వల్ల కలిగే ప్రయోజనాలు:
హడూప్‌లో జాబ్‌ట్రాకర్ మరియు టాస్క్‌ట్రాకర్
అపాచీ స్పార్క్ హడూప్ ఓపెన్ సోర్స్ కమ్యూనిటీకి సరిపోతుంది, హడూప్ డిస్ట్రిబ్యూటెడ్ ఫైల్ సిస్టమ్ (HDFS) పైన భవనం. ఏదేమైనా, స్పార్క్ రెండు-దశల మ్యాప్‌రెడ్యూస్ ఉదాహరణతో ముడిపడి లేదు మరియు కొన్ని అనువర్తనాల కోసం హడూప్ మ్యాప్‌రెడ్యూస్ కంటే 100 రెట్లు వేగంగా పనితీరును వాగ్దానం చేస్తుంది.
యంత్ర అభ్యాస అల్గోరిథంలకు బాగా సరిపోతుంది - మెమరీ క్లస్టర్ కంప్యూటింగ్ కోసం స్పార్క్ ఆదిమాలను అందిస్తుంది, ఇది వినియోగదారు ప్రోగ్రామ్‌లను క్లస్టర్ యొక్క మెమరీలోకి డేటాను లోడ్ చేయడానికి మరియు పదేపదే ప్రశ్నించడానికి అనుమతిస్తుంది.
100 రెట్లు వేగంగా నడపండి - స్పార్క్, విశ్లేషణ సాఫ్ట్‌వేర్ హడూప్ డేటా ప్రాసెసింగ్ ప్లాట్‌ఫామ్‌లో పనిచేసే ఉద్యోగాలను వేగవంతం చేస్తుంది. 'హడూప్ స్విస్ ఆర్మీ కత్తి' గా పిలువబడే అపాచీ స్పార్క్ ప్రామాణిక అపాచీ హడూప్ మ్యాప్‌రెడ్యూస్‌లో నడుస్తున్న వాటి కంటే 100 రెట్లు వేగంగా అమలు చేయగల డేటా-విశ్లేషణ ఉద్యోగాలను సృష్టించగల సామర్థ్యాన్ని అందిస్తుంది. మ్యాప్‌రెడ్యూస్ హడూప్ క్లస్టర్‌లలో ఒక అడ్డంకిగా విస్తృతంగా విమర్శించబడింది ఎందుకంటే ఇది బ్యాచ్ మోడ్‌లో ఉద్యోగాలను అమలు చేస్తుంది, అంటే డేటా యొక్క నిజ-సమయ విశ్లేషణ సాధ్యం కాదు.
మీరు పైథాన్ ఎందుకు నేర్చుకోవాలి
మ్యాప్‌రెడ్యూస్‌కు ప్రత్యామ్నాయం - మ్యాప్‌రెడ్యూస్‌కు స్పార్క్ ప్రత్యామ్నాయాన్ని అందిస్తుంది. ఇది ఐదు సెకన్లు లేదా అంతకంటే తక్కువ దూరంలో ఉన్న మైక్రో-బ్యాచ్‌ల యొక్క చిన్న పేలుళ్లలో ఉద్యోగాలను అమలు చేస్తుంది. ఇది ట్విట్టర్ స్టార్మ్ వంటి రియల్ టైమ్, స్ట్రీమ్-ఓరియెంటెడ్ హడూప్ ఫ్రేమ్‌వర్క్‌ల కంటే ఎక్కువ స్థిరత్వాన్ని అందిస్తుంది. సాఫ్ట్‌వేర్‌ను లైవ్ డేటా యొక్క కొనసాగుతున్న విశ్లేషణ మరియు సాఫ్ట్‌వేర్ లైబ్రరీకి కృతజ్ఞతలు, మెషీన్ లెర్నింగ్ మరియు గ్రాఫ్ ప్రాసెసింగ్‌తో కూడిన మరింత గణనపరంగా లోతైన ఉద్యోగాలు వంటి వివిధ ఉద్యోగాల కోసం ఉపయోగించవచ్చు.
బహుళ భాషలకు మద్దతు - స్పార్క్ ఉపయోగించి, డెవలపర్లు 80 కంటే ఎక్కువ ఉన్నత-స్థాయి ఆపరేటర్ల సమితిని ఉపయోగించి జావా, స్కాలా లేదా పైథాన్‌లో డేటా-ఎనాలిసిస్ ఉద్యోగాలను వ్రాయగలరు.
లైబ్రరీ మద్దతు - స్పార్క్ యొక్క గ్రంథాలయాలు హడూప్ యొక్క వాణిజ్యపరంగా మద్దతు ఉన్న విస్తరణలతో మరింత దూకుడుగా అన్వేషించబడే ప్రాసెసింగ్ ఉద్యోగాల రకాలను పూర్తి చేయడానికి రూపొందించబడ్డాయి. అమాయక బయేసియన్ వర్గీకరణ లేదా క్లస్టరింగ్ వంటి సాధారణ యంత్ర అభ్యాస అల్గారిథమ్‌లను MLlib అమలు చేస్తుంది స్పార్క్ స్ట్రీమింగ్ బహుళ వనరుల నుండి తీసుకున్న డేటా యొక్క హై-స్పీడ్ ప్రాసెసింగ్‌ను అనుమతిస్తుంది మరియు గ్రాఫ్ఎక్స్ గ్రాఫ్ డేటాపై గణనలను అనుమతిస్తుంది.
స్థిరమైన API - వెర్షన్ 1.0 తో, అపాచీ స్పార్క్ స్థిరమైన API (అప్లికేషన్ ప్రోగ్రామింగ్ ఇంటర్ఫేస్) ను అందిస్తుంది, డెవలపర్లు వారి స్వంత అనువర్తనాలు అయినప్పటికీ స్పార్క్తో ఇంటరాక్ట్ అవ్వడానికి ఉపయోగించవచ్చు. హడూప్ ఆధారిత విస్తరణలో తుఫానును మరింత సులభంగా ఉపయోగించడంలో ఇది సహాయపడుతుంది.
SPARK SQL భాగం - నిర్మాణాత్మక డేటాను ప్రాప్యత చేయడానికి స్పార్క్ SQL భాగం, విశ్లేషణ పనిలో నిర్మాణాత్మక డేటాతో పాటు డేటాను ప్రశ్నించడానికి అనుమతిస్తుంది. ప్రస్తుతానికి ఆల్ఫాలో మాత్రమే ఉన్న స్పార్క్ SQL, అపాచీ హైవ్‌లో నిల్వ చేసిన డేటాకు వ్యతిరేకంగా SQL లాంటి ప్రశ్నలను అమలు చేయడానికి అనుమతిస్తుంది. హడూప్ నుండి SQL ప్రశ్నల ద్వారా డేటాను సంగ్రహించడం అనేది హడూప్ చుట్టూ అభివృద్ధి చెందుతున్న నిజ-సమయ ప్రశ్న కార్యాచరణ యొక్క మరొక వేరియంట్.
హడూప్ [HDFS, HBASE మరియు YARN] తో అపాచీ స్పార్క్ అనుకూలత - అపాచీ స్పార్క్ హడూప్ యొక్క డిస్ట్రిబ్యూటెడ్ ఫైల్ సిస్టమ్ (హెచ్‌డిఎఫ్‌ఎస్) తో పాటు యార్న్ (ఇంకా మరొక వనరుల నెగోషియేటర్) మరియు హెచ్‌బేస్ పంపిణీ చేసిన డేటాబేస్ వంటి ఇతర హడూప్ భాగాలతో పూర్తిగా అనుకూలంగా ఉంటుంది.
పరిశ్రమను స్వీకరించేవారు:
క్లౌడెరా, పివోటల్, ఐబిఎం, ఇంటెల్ మరియు మ్యాప్ఆర్ వంటి ఐటి కంపెనీలు స్పార్క్ను తమ హడూప్ స్టాక్లలోకి ముడుచుకున్నాయి. స్పార్క్ యొక్క కొంతమంది డెవలపర్లు స్థాపించిన డేటాబ్రిక్స్ అనే సంస్థ సాఫ్ట్‌వేర్‌కు వాణిజ్య మద్దతును అందిస్తుంది. యాహూ మరియు నాసా రెండూ కూడా రోజువారీ డేటా ఆపరేషన్ల కోసం సాఫ్ట్‌వేర్‌ను ఉపయోగిస్తాయి.
ముగింపు:
హడూప్ యొక్క వినియోగదారులకు మరియు వాణిజ్య విక్రేతలకు స్పార్క్ అందించేది పెద్ద డ్రా అవుతుంది. హడూప్‌ను అమలు చేయాలనుకుంటున్న వినియోగదారులు మరియు హడూప్ చుట్టూ ఇప్పటికే వారి అనేక విశ్లేషణ వ్యవస్థలను నిర్మించిన వినియోగదారులు హడూప్‌ను రియల్ టైమ్ ప్రాసెసింగ్ సిస్టమ్‌గా ఉపయోగించగల ఆలోచనకు ఆకర్షితులయ్యారు.
చుట్టూ యాజమాన్య అంశాలకు మద్దతు ఇవ్వడానికి లేదా నిర్మించడానికి స్పార్క్ 1.0 వారికి మరో రకమైన కార్యాచరణను అందిస్తుంది. వాస్తవానికి, పెద్ద మూడు హడూప్ విక్రేతలలో ఒకరైన క్లౌడెరా ఇప్పటికే క్లౌడెరా ఎంటర్ప్రైజ్ సమర్పణ ద్వారా స్పార్క్ కోసం వాణిజ్య మద్దతును అందిస్తోంది. హోర్టన్‌వర్క్స్ తన హడూప్ పంపిణీలో ఒక భాగంగా స్పార్క్ను అందిస్తోంది. అగ్ర సంస్థలచే పెద్ద ఎత్తున స్పార్క్ అమలు చేయడం రియల్ టైమ్ ప్రాసెసింగ్ విషయానికి వస్తే దాని విజయాన్ని మరియు దాని సామర్థ్యాన్ని సూచిస్తుంది.
వస్తువుల శ్రేణి జావా
మాకు ప్రశ్న ఉందా? వ్యాఖ్యల విభాగంలో వాటిని ప్రస్తావించండి మరియు మేము మిమ్మల్ని సంప్రదిస్తాము.
సంబంధిత పోస్ట్లు: