పృథ్వీరాజ్ బోస్ సహకారం అందించారు
జావాలో వదులుగా కలపడం అంటే ఏమిటి
ఎగ్జిక్యూటర్లలో పెద్ద డేటాసెట్లను కాష్ చేయవలసి వచ్చినప్పుడు బ్రాడ్కాస్ట్ వేరియబుల్స్ ఉపయోగపడతాయి. ఈ బ్లాగ్ ఎలా ప్రారంభించాలో వివరిస్తుంది.
బ్రాడ్కాస్ట్ వేరియబుల్స్ అంటే ఏమిటి?
అపాచీ స్పార్క్‌లోని బ్రాడ్కాస్ట్ వేరియబుల్స్ చదవడానికి మాత్రమే ఉద్దేశించిన ఎగ్జిక్యూటర్లలో వేరియబుల్స్ పంచుకునే విధానం. ప్రసార వేరియబుల్స్ లేకుండా ఈ వేరియబుల్స్ ప్రతి పరివర్తన మరియు చర్య కోసం ప్రతి ఎగ్జిక్యూటర్‌కు పంపబడతాయి మరియు ఇది నెట్‌వర్క్ ఓవర్‌హెడ్‌కు కారణమవుతుంది. అయినప్పటికీ, ప్రసార చరరాశులతో, అవి అన్ని కార్యనిర్వాహకులకు ఒకసారి రవాణా చేయబడతాయి మరియు భవిష్యత్ సూచనల కోసం కాష్ చేయబడతాయి.
ప్రసార వేరియబుల్స్ కేసును ఉపయోగించండి
పరివర్తన చేస్తున్నప్పుడు మనం పెద్ద పిన్ కోడ్‌లు / పిన్ కోడ్‌లను చూడాల్సిన అవసరం ఉందని g హించుకోండి. ఇక్కడ, ప్రతిసారీ పెద్ద శోధన పట్టికను కార్యనిర్వాహకులకు పంపడం సాధ్యం కాదు, లేదా మేము ప్రతిసారీ డేటాబేస్ను ప్రశ్నించలేము. ఈ లుక్అప్ పట్టికను ప్రసార వేరియబుల్స్‌గా మార్చడమే దీనికి పరిష్కారం మరియు భవిష్యత్ సూచనల కోసం స్పార్క్ ప్రతి ఎగ్జిక్యూటర్‌లో దాన్ని క్యాష్ చేస్తుంది.
పై భావనలను అర్థం చేసుకోవడానికి ఒక సాధారణ ఉదాహరణ తీసుకుందాం. మాకు దేశాల పేర్లు మరియు వాటి రాజధానులతో కూడిన CSV ఫైల్ ఉంది. CSV ఫైల్ చూడవచ్చు ఇక్కడ .
మేము దేశాల జనాభా డేటాను ప్రాసెస్ చేస్తున్నామని uming హిస్తూ, ఆ దేశ రాజధానిని పొందాలి. ఈ సందర్భంలో మనం CSV ఫైల్‌లోని డేటాను ప్రసార వేరియబుల్‌గా మార్చవచ్చు.
సెలీనియంలో స్క్రీన్ షాట్ ఎలా తీసుకోవాలి
మొదట మేము CSV ఫైల్‌ను మ్యాప్‌లో లోడ్ చేస్తాము, ఫైల్ దొరికితే పద్ధతి తిరిగి వస్తుంది కొన్ని (దేశాలు) లేకపోతే అది తిరిగి వస్తుంది ఏదీ లేదు .
CSV ఫైల్‌ను విజయవంతంగా లోడ్ చేసిన తరువాత, మేము మ్యాప్‌ను ప్రసార వేరియబుల్‌గా మారుస్తాము మరియు దానిని మా ప్రోగ్రామ్‌లో ఉపయోగిస్తాము.
పై కోడ్ స్నిప్పెట్‌లో మేము CSV ఫైల్‌ను మ్యాప్‌కు లోడ్ చేస్తాము దేశాలు అప్పుడు మేము ఆ మ్యాప్‌ను ప్రసార వేరియబుల్‌గా మారుస్తాము దేశాలు కాష్ . తదనంతరం, మేము కీల నుండి RDD ని సృష్టిస్తాము దేశాలు . లో searchCountryDetails వినియోగదారు నిర్వచించిన అక్షరంతో ప్రారంభమయ్యే అన్ని దేశాల కోసం మేము శోధిస్తాము మరియు ఈ పద్ధతి వారి రాజధానులతో పాటు దేశాల RDD ని అందిస్తుంది. ప్రసార వేరియబుల్ countrieCache రాజధానులను చూడటానికి ఉపయోగిస్తారు.
ఈ విధంగా మనం శోధించాల్సిన ప్రతిసారీ మొత్తం CSV డేటాను పంపాల్సిన అవసరం లేదు.
కోసం కోడ్ searchCountryDetails క్రింద చూపబడింది,
c ++ గోటో స్టేట్మెంట్
మొత్తం సోర్స్ కోడ్ కనుగొనవచ్చు ఇక్కడ .
మాకు ప్రశ్న ఉందా? వ్యాఖ్య విభాగంలో వాటిని పేర్కొనండి మరియు మేము మీ వద్దకు తిరిగి వస్తాము.
సంబంధిత పోస్ట్లు: