పైస్పార్క్ ట్యుటోరియల్ - పైథాన్ ఉపయోగించి అపాచీ స్పార్క్ నేర్చుకోండి

ఇంత భయంకరమైన రేటుతో డేటా ఉత్పత్తి అవుతున్న ప్రపంచంలో, సరైన సమయంలో ఆ డేటా యొక్క సరైన విశ్లేషణ చాలా ఉపయోగకరంగా ఉంటుంది. రియల్ టైమ్‌లో పెద్ద డేటాను నిర్వహించడానికి మరియు విశ్లేషణ చేయడానికి అత్యంత అద్భుతమైన ఫ్రేమ్‌వర్క్ ఒకటి అపాచీ స్పార్క్.కలిసి, లేదా పైస్పార్క్ సర్టిఫికేషన్ కోర్సులలో ఒకటి, ఇది స్పాలా కోసం స్కాలాకు దాని డబ్బు కోసం పరుగులు ఇస్తుంది. కాబట్టి ఇందులో పైస్పార్క్ ట్యుటోరియల్ బ్లాగ్, నేను ఈ క్రింది విషయాలను చర్చిస్తాను:

• పైస్పార్క్ అంటే ఏమిటి?
• పరిశ్రమలో పైస్పార్క్
• పైథాన్ కోసం ఎందుకు వెళ్ళాలి?
• స్పార్క్ RDD లు
• పైస్‌పార్క్‌తో యంత్ర అభ్యాసం

పైస్పార్క్ ట్యుటోరియల్: పైస్పార్క్ అంటే ఏమిటి?

అపాచీ స్పార్క్ అనేది వేగవంతమైన క్లస్టర్ కంప్యూటింగ్ ఫ్రేమ్‌వర్క్, ఇది బిగ్ డేటాను ప్రాసెస్ చేయడానికి, ప్రశ్నించడానికి మరియు విశ్లేషించడానికి ఉపయోగించబడుతుంది. ఇన్-మెమరీ గణన ఆధారంగా, ఇది అనేక ఇతర పెద్ద డేటా ఫ్రేమ్‌వర్క్‌ల కంటే ప్రయోజనాన్ని కలిగి ఉంది.

మొదట స్కాలా ప్రోగ్రామింగ్ లాంగ్వేజ్‌లో వ్రాయబడిన, ఓపెన్ సోర్స్ కమ్యూనిటీ అపాచీ స్పార్క్ కోసం పైథాన్‌కు మద్దతు ఇవ్వడానికి అద్భుతమైన సాధనాన్ని అభివృద్ధి చేసింది. పైస్పార్క్ దాని లైబ్రరీ ద్వారా అపాచీ స్పార్క్ మరియు పైథాన్ లోని RDD లతో డేటా సైంటిస్టుల ఇంటర్‌ఫేస్‌కు సహాయపడుతుంది Py4j. పైస్పార్క్ ఇతరులకన్నా మంచి ఫ్రేమ్‌వర్క్‌గా మారే అనేక లక్షణాలు ఉన్నాయి:

• వేగం: ఇది సాంప్రదాయ పెద్ద-స్థాయి డేటా ప్రాసెసింగ్ ఫ్రేమ్‌వర్క్‌ల కంటే 100x వేగంగా ఉంటుంది
• శక్తివంతమైన కాషింగ్: సింపుల్ ప్రోగ్రామింగ్ లేయర్ శక్తివంతమైన కాషింగ్ మరియు డిస్క్ పెర్సిస్టెన్స్ సామర్థ్యాలను అందిస్తుంది
• విస్తరణ: మెసోస్, హడూప్ ద్వారా నూలు లేదా స్పార్క్ సొంత క్లస్టర్ మేనేజర్ ద్వారా మోహరించవచ్చు
• రియల్ టైమ్: ఇన్-మెమరీ గణన కారణంగా రియల్ టైమ్ గణన & తక్కువ జాప్యం
• పాలిగ్లోట్: స్కాలా, జావా, పైథాన్ మరియు R లలో ప్రోగ్రామింగ్‌కు మద్దతు ఇస్తుంది

మన పైస్పార్క్ ట్యుటోరియల్ బ్లాగుతో ముందుకు సాగండి మరియు పరిశ్రమలో స్పార్క్ ఎక్కడ ఉపయోగించబడుతుందో చూద్దాం.

పరిశ్రమలో పైస్పార్క్

ప్రతి పరిశ్రమ బిగ్ డేటా చుట్టూ తిరుగుతుంది మరియు బిగ్ డేటా ఉన్న చోట విశ్లేషణ ఉంటుంది. కాబట్టి అపాచీ స్పార్క్ ఉపయోగించే వివిధ పరిశ్రమలను చూద్దాం.

సగం ఆన్‌లైన్ స్ట్రీమింగ్ వైపు పెరుగుతున్న అతిపెద్ద పరిశ్రమ ఒకటి. నెట్‌ఫ్లిక్స్ తన వినియోగదారులకు వ్యక్తిగతీకరించిన ఆన్‌లైన్ సిఫార్సులను అందించడానికి రియల్ టైమ్ స్ట్రీమ్ ప్రాసెసింగ్ కోసం అపాచీ స్పార్క్ ఉపయోగిస్తుంది. ఇది ప్రాసెస్ చేస్తుంది 450 బిలియన్లు రోజుకు ఈవెంట్స్ సర్వర్ వైపు అనువర్తనాలకు ప్రవహిస్తాయి.

ఫైనాన్స్ అపాచీ స్పార్క్ యొక్క రియల్ టైమ్ ప్రాసెసింగ్ ఒక ముఖ్యమైన పాత్ర పోషిస్తున్న మరొక రంగం. సోషల్ మీడియా ప్రొఫైల్‌లను ప్రాప్యత చేయడానికి మరియు విశ్లేషించడానికి, సరైన వ్యాపార నిర్ణయాలు తీసుకోవడంలో సహాయపడే అంతర్దృష్టులను పొందడానికి బ్యాంకులు స్పార్క్‌ను ఉపయోగిస్తున్నాయి క్రెడిట్ రిస్క్ అసెస్‌మెంట్ , లక్ష్య ప్రకటనలు మరియు కస్టమర్ విభజన. కస్టమర్ చర్న్ స్పార్క్ ఉపయోగించి కూడా తగ్గించబడుతుంది. మోసం గుర్తింపు మెషిన్ లెర్నింగ్ యొక్క విస్తృతంగా ఉపయోగించే ప్రాంతాలలో స్పార్క్ పాల్గొంటుంది.

ఆరోగ్య సంరక్షణ ప్రొవైడర్లు అపాచీ స్పార్క్ ఉపయోగిస్తున్నారు రోగి రికార్డులను విశ్లేషించండి క్లినిక్ నుండి డిశ్చార్జ్ అయిన తర్వాత ఏ రోగులు ఆరోగ్య సమస్యలను ఎదుర్కొనే అవకాశం ఉందో గుర్తించడానికి గత క్లినికల్ డేటాతో పాటు. అపాచీ స్పార్క్ లో ఉపయోగించబడుతుంది జెనోమిక్ సీక్వెన్సింగ్ జన్యు డేటాను ప్రాసెస్ చేయడానికి అవసరమైన సమయాన్ని తగ్గించడానికి.

రిటైల్ మరియు ఇ-కామర్స్ విశ్లేషణ మరియు లక్ష్య ప్రకటనలను ఉపయోగించకుండా ఇది నడుస్తుందని imagine హించలేని పరిశ్రమ. ఈ రోజు అతిపెద్ద ఇ-కామర్స్ ప్లాట్‌ఫామ్‌లలో ఒకటి అలీబాబా పెటాబైట్ల డేటాను విశ్లేషించడానికి ప్రపంచంలోని అతిపెద్ద స్పార్క్ ఉద్యోగాలలో కొన్నింటిని నడుపుతుంది. అలీబాబా ప్రదర్శిస్తుంది ఫీచర్ వెలికితీత చిత్ర డేటాలో. eBay అందించడానికి అపాచీ స్పార్క్ ఉపయోగిస్తుంది లక్ష్యంగా ఉన్న ఆఫర్‌లు , కస్టమర్ అనుభవాన్ని మెరుగుపరచండి మరియు మొత్తం పనితీరును ఆప్టిమైజ్ చేయండి.

ప్రయాణం పరిశ్రమలు అపాచీ స్పార్క్ కూడా ఉపయోగిస్తాయి. ట్రిప్అడ్వైజర్ , ఖచ్చితమైన యాత్రను ప్లాన్ చేయడానికి వినియోగదారులకు సహాయపడే ప్రముఖ ట్రావెల్ వెబ్‌సైట్ అపాచీ స్పార్క్‌ను వేగవంతం చేయడానికి ఉపయోగిస్తోంది వ్యక్తిగతీకరించిన కస్టమర్ సిఫార్సులు ట్రిప్అడ్వైజర్ మిలియన్ల మంది ప్రయాణికులకు సలహాలు ఇవ్వడానికి అపాచీ స్పార్క్ ఉపయోగిస్తుంది వందలాది వెబ్‌సైట్‌లను పోల్చడం దాని వినియోగదారులకు ఉత్తమ హోటల్ ధరలను కనుగొనడం.

ఈ పైస్పార్క్ ట్యుటోరియల్ యొక్క ముఖ్యమైన అంశం ఏమిటంటే, పైథాన్ కోసం మనం ఎందుకు వెళ్లాలి అని అర్థం చేసుకోవాలి? జావా, స్కాలా లేదా ఆర్ ఎందుకు కాదు?

క్రొత్త నవీకరణలను పొందడానికి మా యూట్యూబ్ ఛానెల్‌కు సభ్యత్వాన్ని పొందండి ..!

పైథాన్ కోసం ఎందుకు వెళ్ళాలి?

నేర్చుకోవడం సులభం: ప్రోగ్రామర్ల కోసం పైథాన్ దాని వాక్యనిర్మాణం మరియు ప్రామాణిక గ్రంథాలయాల కారణంగా నేర్చుకోవడం చాలా సులభం. అంతేకాకుండా, ఇది డైనమిక్‌గా టైప్ చేసిన భాష, అంటే RDD లు బహుళ రకాల వస్తువులను కలిగి ఉంటాయి.

విస్తారమైన గ్రంథాలయాలు: యంత్ర అభ్యాసం మరియు సహజ భాషా ప్రాసెసింగ్ కోసం పైలాన్ వంటి తగినంత డేటా సైన్స్ సాధనాలు మరియు లైబ్రరీలను స్కాలా వద్ద లేదు. అంతేకాకుండా, స్కాలాకు మంచి విజువలైజేషన్ మరియు స్థానిక డేటా పరివర్తనాలు లేవు.

భారీ కమ్యూనిటీ మద్దతు: పైథాన్ లక్షలాది మంది డెవలపర్‌లతో గ్లోబల్ కమ్యూనిటీని కలిగి ఉంది, ఇవి వేలాది వర్చువల్ మరియు భౌతిక స్థానాల్లో ఆన్‌లైన్ మరియు ఆఫ్‌లైన్‌లో సంకర్షణ చెందుతాయి.

జావాలో అస్థిరమైనది ఏమిటి

ఈ పైస్పార్క్ ట్యుటోరియల్‌లో ముఖ్యమైన అంశాలలో ఒకటి RDD ల వాడకం. RDD లు ఏమిటో అర్థం చేసుకుందాం

స్పార్క్ RDD లు

పునరుత్పాదక పంపిణీ కంప్యూటింగ్ విషయానికి వస్తే, అనగా గణనలలో బహుళ ఉద్యోగాలపై డేటాను ప్రాసెస్ చేయడం, మేము బహుళ ఉద్యోగాలలో డేటాను తిరిగి ఉపయోగించడం లేదా పంచుకోవడం అవసరం. హడూప్ వంటి మునుపటి ఫ్రేమ్‌వర్క్‌లకు బహుళ కార్యకలాపాలు / ఉద్యోగాలతో వ్యవహరించేటప్పుడు సమస్యలు ఉన్నాయి

• HDFS వంటి ఇంటర్మీడియట్ నిల్వలో డేటాను నిల్వ చేస్తుంది
• బహుళ I / O ఉద్యోగాలు గణనలను నెమ్మదిగా చేస్తాయి
• ప్రతిరూపాలు మరియు సీరియలైజేషన్లు ప్రక్రియను నెమ్మదిగా చేస్తాయి

RDD లు లోపం-తట్టుకోగల పంపిణీ ఇన్-మెమరీ గణనలను ప్రారంభించడం ద్వారా అన్ని సమస్యలను పరిష్కరించడానికి ప్రయత్నిస్తాయి. RDD చిన్నది స్థితిస్థాపక పంపిణీ డేటాసెట్‌లు. RDD అనేది పంపిణీ చేయబడిన మెమరీ సంగ్రహణ, ఇది ప్రోగ్రామర్లు పెద్ద క్లస్టర్‌లలో మెమరీ గణనలను తప్పు-తట్టుకునే రీతిలో నిర్వహించడానికి అనుమతిస్తుంది. వారు వస్తువుల చదవడానికి మాత్రమే సేకరణ విభజన పోయినట్లయితే పునర్నిర్మించగల యంత్రాల సమితిలో విభజించబడింది. RDD లలో అనేక ఆపరేషన్లు ఉన్నాయి:

• పరివర్తనాలు: పరివర్తనాలు ఇప్పటికే ఉన్న వాటి నుండి క్రొత్త డేటాసెట్‌ను సృష్టిస్తాయి. సోమరితనం మూల్యాంకనం
  
• చర్యలు: RDD లపై చర్యలు తీసుకున్నప్పుడు మాత్రమే అమలు కోసం లెక్కలను స్పార్క్ బలవంతం చేస్తుంది
  

కొన్ని పరివర్తనాలు, చర్యలు మరియు విధులను అర్థం చేసుకుందాం

ఫైల్‌ను చదవడం మరియు టాప్ n అంశాలను ప్రదర్శించడం:

rdd = sc.textFile ('file: /// home / edureka / Desktop / Sample') rdd.take (n)

అవుట్పుట్:

[అటవీ నిర్మూలన ప్రధాన పర్యావరణ మరియు సామాజిక సమస్యగా తలెత్తుతోంది, ఇది ఇప్పుడు శక్తివంతమైన రాక్షసుడి కంటే ఎక్కువ రూపాన్ని సంతరించుకుంది. ', అటవీ నిర్మూలన కారణంగా తలెత్తే కారణాలు, ప్రభావాలు మరియు సమస్యలను పరిష్కరించే మార్గాల గురించి మనం తెలుసుకోవాలి. ', మీ పిల్లలు మరియు పిల్లలు సమస్య గురించి తెలుసుకోవటానికి మరియు పాఠశాలలో లేదా పాఠశాల వెలుపల వ్యాస రచన పోటీలో పాల్గొనడానికి మేము అటవీ నిర్మూలనపై చాలా పేరాలు, పొడవైన మరియు చిన్న వ్యాసాన్ని అందించాము. ', మీరు తరగతి ప్రమాణం ప్రకారం క్రింద ఇచ్చిన అటవీ నిర్మూలన వ్యాసాన్ని ఎంచుకోవచ్చు. ', సమాజానికి మరియు పర్యావరణానికి ప్రధాన ప్రపంచ సమస్యగా అటవీ నిర్మూలన తలెత్తుతోంది.']

చిన్న అక్షరానికి మరియు విభజనకు మార్చడం: (దిగువ మరియు స్ప్లిట్)

def Func (పంక్తులు): పంక్తులు = lines.lower () lines = lines.split () రిటర్న్ లైన్స్ rdd1 = rdd.map (Func) rdd1.take (5)

అవుట్పుట్:

[[u'deforestation ', u'is', u'arising ', u'as', u'the ', u'main', u'en Environmental ', u'and', u'social ', u'issue ', u'which', u'has ', u'now', u'taken ', ...... . . ]

స్టాప్‌వర్డ్‌లను తొలగిస్తోంది: (ఫిల్టర్)

stop_words = ['a', 'all', 'the', 'as', 'is', 'am', 'an', 'and', 'be', 'been', 'from', 'had' , 'నేను', 'నేను', 'ఎందుకు', 'తో'] rdd2 = rdd1.filter (లాంబ్డా z: z స్టాప్_వర్డ్స్‌లో లేదు) rdd2.take (10)

అవుట్పుట్:

జావాలో అల్గోరిథంలు మరియు డేటా నిర్మాణాలు

[u'deforestation ', u'arising', u'main ', u'en Environmental', u'social ', u'issue', u'which ', u'has', u'now ', u'taken' ]

1 నుండి 500 వరకు సంఖ్యల మొత్తం: (తగ్గించండి)

sum_rdd = sc.parallelize (పరిధి (1,500%) sum_rdd.reduce (లాంబ్డా x, y: x + y)

అవుట్పుట్:

124750

పైస్‌పార్క్‌తో యంత్ర అభ్యాసం

మా పైస్‌పార్క్ ట్యుటోరియల్ బ్లాగును కొనసాగిస్తూ, కొన్ని బాస్కెట్‌బాల్ డేటాను విశ్లేషించి, భవిష్యత్ ప్రిడిక్షన్ చేద్దాం. కాబట్టి, ఇక్కడ నుండి NBA యొక్క అన్ని ఆటగాళ్ల బాస్కెట్‌బాల్ డేటాను ఉపయోగించబోతున్నాము 1980 [3 పాయింటర్లను ప్రవేశపెట్టిన సంవత్సరం].

డేటా లోడ్ అవుతోంది:

df = spark.read.option ('header', 'true') .ఆప్షన్ ('inferSchema', 'true') .csv ('file: ///home/edureka/Downloads/season_totals.csv')

ముద్రణ నిలువు వరుసలు:

ముద్రణ (df.columns)

అవుట్పుట్:

['_c0', 'ప్లేయర్', 'పోస్', 'వయసు', 'టీమ్_ఐడి', 'జి', 'జిఎస్', 'ఎంపి', 'ఎఫ్‌జి', 'ఎఫ్‌జిఎ', 'ఎఫ్‌జి_పిఎక్ట్', 'ఎఫ్‌జి 3', ' fg3a ',' fg3_pct ',' fg2 ',' fg2a ',' fg2_pct ',' efg_pct ',' ft ',' fta ',' ft_pct ',' orb ',' drb ',' trb ',' ast ' , 'stl', 'blk', 'tov', 'pf', 'pts', 'yr']

సార్టింగ్ ప్లేయర్స్ (ఆర్డర్‌బై) మరియు టోపాండాలు:

ఇక్కడ మేము ఒక సీజన్‌లో సాధించిన పాయింట్ ఆధారంగా ఆటగాళ్లను క్రమబద్ధీకరిస్తున్నాము.

df.orderBy ('pts', ఆరోహణ = తప్పు) .లిమిట్ (10) .టోపాండస్ () [['yr', 'ప్లేయర్', 'వయసు', 'pts', 'fg3']]

అవుట్పుట్:

DSL మరియు matplotlib ఉపయోగించి:

ఇక్కడ మేము సగటు సంఖ్యను విశ్లేషిస్తున్నాము 3 పాయింట్ ప్రయత్నాలు ప్రతి సీజన్‌కు కాలపరిమితిలో 36 నిమి [తగినంత విశ్రాంతితో సుమారుగా పూర్తి NBA ఆటకు సంబంధించిన విరామం]. మేము ఈ మెట్రిక్‌ను 3-పాయింట్ ఫీల్డ్ గోల్ ప్రయత్నాలు (fg3a) మరియు ఆడిన నిమిషాలు (mp) ఉపయోగించి లెక్కిస్తాము, ఆపై ఫలితాన్ని ఉపయోగించి ప్లాట్ చేస్తాము matlplotlib .

pyspark.sql.functions నుండి దిగుమతి col fga_py = df.groupBy ('yr') .agg (m 'mp': 'sum', 'fg3a': 'sum'}). ఎంచుకోండి (col ('yr'), ( 36 * col ('sum (fg3a)') / col ('sum (mp)')). అలియాస్ ('fg3a_p36m')) .మాట్ప్లోట్లిబ్ దిగుమతి పైప్లాట్ నుండి ఆర్డర్ ('yr') plt దిగుమతి సముద్రతీరం sns plt.style .use ('fivethirtyeight') _df = fga_py.toPandas () plt.plot (_df.yr, _df.fg3a_p36m, color = '# CD5C5C') plt.xlabel ('Year') _ = plt.title ('ప్లేయర్ సగటు 3-పాయింట్ ప్రయత్నాలు (ప్రతి 36 నిమిషాలకు) ') plt.annotate (' 3 పాయింటర్ ప్రవేశపెట్టబడింది ', xy = (1980, .5), xytext = (1981, 1.1), fontsize = 9, arrowprops = dict (facecolor =' grey ', కుదించండి = 0, లైన్‌విడ్త్ = 2)) plt.annotate (' NBA 3-పాయింట్ లైన్‌లో కదిలింది ', xy = (1996, 2.4), xytext = (1991.5, 2.7), fontsize = 9, arrowprops = dict (facecolor = 'బూడిద', కుదించండి = 0, లైన్‌విడ్త్ = 2)) plt.annotate ('NBA 3 పాయింట్ల పంక్తిని వెనక్కి తరలించింది', xy = (1998, 2.), xytext = (1998.5, 2.4), ఫాంట్సైజ్ = 9, బాణాలు = డిక్ట్ (ఫేస్ కలర్ = 'గ్రే', కుదించండి = 0, లైన్‌విడ్త్ = 2))

అవుట్పుట్:

లీనియర్ రిగ్రెషన్ మరియు వెక్టర్అసెంబ్లర్:

రాబోయే 5 సంవత్సరాలకు షాట్ ప్రయత్నాల సంఖ్యను మోడల్ చేయడానికి మేము ఈ వక్రరేఖకు సరళ రిగ్రెషన్ మోడల్‌ను అమర్చవచ్చు. వెక్టర్అసెంబ్లర్ ఫంక్షన్‌ను ఉపయోగించి మన డేటాను ఒకే కాలమ్‌కు మార్చాలి. ఇది ఒక అవసరం MLlib లోని లీనియర్ రిగ్రెషన్ API కోసం.

pyspark.ml.feature దిగుమతి నుండి VectorAssembler t = VectorAssembler (inputCols = ['yr'], outputCol = 'features') training = t.transform (fga_py) .విత్ కాలమ్ ('yr', fga_py.yr) .విత్ కాలమ్ ('లేబుల్ ', fga_py.fg3a_p36m) training.toPandas (). తల ()

అవుట్పుట్:

భవన నమూనా:

మేము మా రూపాంతరం చెందిన డేటాను ఉపయోగించి మా లీనియర్ రిగ్రెషన్ మోడల్ ఆబ్జెక్ట్‌ను నిర్మిస్తాము.

pyspark.ml.regression దిగుమతి లీనియర్ రిగ్రెషన్ lr = లీనియర్ రిగ్రెషన్ (మాక్స్ఇటర్ = 10) మోడల్ = lr.fit (శిక్షణ)

డేటాసెట్‌కు శిక్షణ పొందిన మోడల్‌ను వర్తింపజేయడం:

మేము శిక్షణ పొందిన మోడల్ ఆబ్జెక్ట్ మోడల్‌ను 5 సంవత్సరాల భవిష్యత్ డేటాతో పాటు మా అసలు శిక్షణా సెట్‌కు వర్తింపజేస్తాము

pyspark.sql.types దిగుమతి రో # 1979-80 సీజన్ త్రూ 2020-21 సీజన్ శిక్షణ_ఇర్స్ = ట్రైనింగ్.సెలెక్ట్ ('yr'). rdd.map (lambda x: x [0]). సేకరించండి () training_y = training.select ('fg3a_p36m'). rdd.map (lambda x: x [0]). సేకరించండి () prediction_yrs = [2017, 2018, 2019, 2020, 2021] all_yrs = training_yrs + prediction_yrs # నిర్మించిన పరీక్ష డేటాఫ్రేమ్ test_rdd = sc.parallelize (all_yrs) row = Row ('yr') & ampamplt all_years_features = t.transform (test_rdd.map (row) .toDF ()) # లీనియర్ రిగ్రెషన్ మోడల్‌ను వర్తింపజేయండి df_results = model.transform (all_years_features) .toPandas ()

తుది అంచనాను రూపొందించడం:

అప్పుడు మేము మా ఫలితాలను ప్లాట్ చేయవచ్చు మరియు గ్రాఫ్‌ను పేర్కొన్న ప్రదేశంలో సేవ్ చేయవచ్చు.

plt.plot (df_results.yr, df_results.prediction, linewidth = 2, linestyle = '-', color = '# 224df7', label = 'L2 Fit') plt.plot (training_yrs, training_y, color = '# f08080 ', లేబుల్ = ఏదీ లేదు) plt.xlabel (' సంవత్సరం ') plt.ylabel (' ప్రయత్నాల సంఖ్య ') plt.legend (loc = 4) _ = plt.title (' ప్లేయర్ సగటు 3-పాయింట్ ప్రయత్నాలు (36 నిమిషాలకు) ') plt.tight_layout () plt.savefig (' / home / edureka / Downloads / Images / REGRESSION.png ')

అవుట్పుట్:

మరియు ఈ గ్రాఫ్ తో, మేము ఈ పైస్పార్క్ ట్యుటోరియల్ బ్లాగ్ చివరికి వస్తాము.

కాబట్టి ఇది, గైస్!

ఈ పైస్పార్క్ ట్యుటోరియల్ బ్లాగులో పైస్పార్క్ అంటే ఏమిటి, పైథాన్ ఎందుకు స్పార్క్, ఆర్డిడిలు మరియు పైస్పార్క్తో మెషిన్ లెర్నింగ్ యొక్క సంగ్రహావలోకనం కోసం మీకు బాగా తెలుసు అని నేను ఆశిస్తున్నాను. అభినందనలు, మీరు ఇకపై పైస్పార్క్‌కు క్రొత్తవారు కాదు. మీరు పైస్పార్క్ గురించి మరింత తెలుసుకోవాలనుకుంటే మరియు విభిన్న పరిశ్రమల వినియోగ కేసులను అర్థం చేసుకోవాలనుకుంటే, మా వద్ద చూడండి పైథాన్‌తో స్పార్క్ బ్లాగ్.

పైస్పార్క్ అంటే ఏమిటి అని ఇప్పుడు మీరు అర్థం చేసుకున్నారు, చూడండి ప్రపంచవ్యాప్తంగా 250,000 కంటే ఎక్కువ సంతృప్తికరమైన అభ్యాసకుల నెట్‌వర్క్‌తో విశ్వసనీయ ఆన్‌లైన్ లెర్నింగ్ సంస్థ ఎడురేకా చేత. ఎడురేకా పైస్పార్క్ ఉపయోగించి పైథాన్ స్పార్క్ సర్టిఫికేషన్ శిక్షణ పైథాన్‌ను ఉపయోగించి విజయవంతమైన స్పార్క్ డెవలపర్‌గా మారడానికి అవసరమైన జ్ఞానం మరియు నైపుణ్యాలను మీకు అందించడానికి మరియు క్లౌడెరా హడూప్ మరియు స్పార్క్ డెవలపర్ సర్టిఫికేషన్ పరీక్ష (CCA175) కోసం మిమ్మల్ని సిద్ధం చేయడానికి రూపొందించబడింది.