ఓజీ ట్యుటోరియల్: మీ హడూప్ ఉద్యోగాలను ఎలా షెడ్యూల్ చేయాలో తెలుసుకోండి

ఈ అపాచీ ఓజీ ట్యుటోరియల్ ప్రారంభించే ముందు, షెడ్యూలర్ సిస్టమ్ ఎక్కడ ఉపయోగించబడుతుందో అర్థం చేసుకుందాం. నిజ సమయ పరిస్థితులలో, ఒక ఉద్యోగం ఇతర ఉద్యోగాలపై ఆధారపడి ఉంటుంది, మ్యాప్‌రెడ్యూస్ టాస్క్ యొక్క అవుట్పుట్ మరింత ప్రాసెసింగ్ కోసం హైవ్ ఉద్యోగానికి పంపబడుతుంది. తదుపరి దృష్టాంతంలో, రోజువారీ, వార, నెలసరి లేదా డేటా లభ్యత ఆధారంగా సమయం ఆధారంగా పని సమితిని షెడ్యూల్ చేయవచ్చు. అపాచీ ఓజీ ఈ రకమైన దృశ్యాలను సులభంగా నిర్వహించగల శక్తిని మీకు అందిస్తుంది. అందుకే అపాచీ ఓజీ ఒక ముఖ్యమైన భాగం .

ఈ అపాచీ ఓజీ ట్యుటోరియల్ బ్లాగులో, మేము కవర్ చేస్తాము:

• అపాచీ ఓజీ పరిచయం
• ఓజీ వర్క్ఫ్లో
• ఓజీ కోఆర్డినేటర్
• ఓజీ బండిల్
• వర్డ్ కౌంట్ వర్క్ఫ్లో జాబ్
• టైమ్ బేస్డ్ వర్డ్ కౌంట్ కోఆర్డినేటర్ జాబ్

అపాచీ ఓజీని పరిచయం చేయడం ద్వారా మేము ఈ ఓజీ ట్యుటోరియల్‌ను ప్రారంభిస్తాము. అప్పుడు ముందుకు వెళుతున్నప్పుడు, అపాచీ ఓజీని ఉపయోగించి సృష్టించగల మరియు అమలు చేయగల ఉద్యోగాల రకాలను మేము అర్థం చేసుకుంటాము.

అపాచీ ఓజీ ట్యుటోరియల్: అపాచీ ఓజీకి పరిచయం

అపాచీ ఓజీ అనేది పంపిణీ వాతావరణంలో హడూప్ ఉద్యోగాలను నిర్వహించడానికి మరియు అమలు చేయడానికి ఒక షెడ్యూలర్ వ్యవస్థ. మేము వేరే రకమైన పనులను కలపడం ద్వారా కావలసిన పైప్‌లైన్‌ను సృష్టించవచ్చు. ఇది మీ అందులో నివశించే తేనెటీగలు, పిగ్, స్కూప్ లేదా మ్యాప్‌రెడ్యూస్ పని కావచ్చు. అపాచీ ఓజీని ఉపయోగించి మీరు మీ ఉద్యోగాలను కూడా షెడ్యూల్ చేయవచ్చు. విధి యొక్క క్రమం లోపల, రెండు లేదా అంతకంటే ఎక్కువ ఉద్యోగాలు ఒకదానికొకటి సమాంతరంగా అమలు చేయడానికి ప్రోగ్రామ్ చేయబడతాయి. ఇది స్కేలబుల్, నమ్మదగిన మరియు విస్తరించదగిన వ్యవస్థ.

ఓజీ అనేది ఓపెన్ సోర్స్ జావా వెబ్-అప్లికేషన్, ఇది వర్క్‌ఫ్లో చర్యలను ప్రేరేపించడానికి బాధ్యత వహిస్తుంది. ఇది పనులను అమలు చేయడానికి హడూప్ ఎగ్జిక్యూషన్ ఇంజిన్‌ను ఉపయోగిస్తుంది.

అపాచీ ఓజీ బ్యాక్ మరియు పోలింగ్ ద్వారా పనులు పూర్తి చేయడాన్ని గుర్తిస్తుంది. ఓజీ ఒక పనిని ప్రారంభించినప్పుడు, ఇది విధికి ప్రత్యేకమైన బ్యాక్ HTTP URL ను అందిస్తుంది మరియు పని పూర్తయినప్పుడు ఆ URL ని తెలియజేస్తుంది. కాల్‌బ్యాక్ URL ను ప్రారంభించడంలో పని విఫలమైతే, ఓజీ పనిని పూర్తి చేయడానికి పోల్ చేయవచ్చు.

అపాచీ ఓజీలో మూడు రకాల ఉద్యోగాలు ఉన్నాయి:

• ఓజీ వర్క్‌ఫ్లో ఉద్యోగాలు & మైనస్ ఇవి డైరెక్టెడ్ ఎసిక్లిక్ గ్రాఫ్స్ (DAG లు), ఇవి అమలు చేయవలసిన చర్యల క్రమాన్ని నిర్దేశిస్తాయి.
• ఓజీ కోఆర్డినేటర్ ఉద్యోగాలు & మైనస్ ఇవి సమయం మరియు డేటా లభ్యత ద్వారా ప్రేరేపించబడిన వర్క్‌ఫ్లో ఉద్యోగాలను కలిగి ఉంటాయి.
• ఓజీ కట్టలు & మైనస్ వీటిని బహుళ సమన్వయకర్తలు మరియు వర్క్‌ఫ్లో ఉద్యోగాల ప్యాకేజీగా పేర్కొనవచ్చు.

ఇప్పుడు, ఈ ఉద్యోగాలన్నింటినీ ఒక్కొక్కటిగా అర్థం చేసుకుందాం.

అపాచీ ఓజీ ట్యుటోరియల్: ఓజీ వర్క్‌ఫ్లో

వర్క్ఫ్లో అనేది డైరెక్ట్ ఎసిక్లిక్ గ్రాఫ్ (DAG) లో ఏర్పాటు చేయబడిన చర్యల క్రమం. చర్యలు ఒకదానిపై ఒకటి ఆధారపడి ఉంటాయి, ఎందుకంటే ప్రస్తుత చర్య యొక్క అవుట్పుట్ తర్వాత మాత్రమే తదుపరి చర్యను అమలు చేయవచ్చు. వర్క్‌ఫ్లో చర్య పిగ్ యాక్షన్, హైవ్ యాక్షన్, మ్యాప్‌రెడ్యూస్ యాక్షన్, షెల్ యాక్షన్, జావా యాక్షన్ మొదలైనవి కావచ్చు.

మేము ఉద్యోగం ఆధారంగా వివిధ రకాల చర్యలను సృష్టించవచ్చు మరియు ప్రతి రకమైన చర్య దాని స్వంత రకం ట్యాగ్‌లను కలిగి ఉంటుంది.వర్క్‌ఫ్లో మరియు స్క్రిప్ట్‌లు లేదా జాడీలను వర్క్‌ఫ్లో అమలు చేయడానికి ముందు హెచ్‌డిఎఫ్‌ఎస్ మార్గంలో ఉంచాలి.

ఆదేశం: oozie job –oozie http: // localhost: 11000 / oozie -config job.properties -run

ఉద్యోగ స్థితిని తనిఖీ చేయడానికి, మీరు ఓజీ వెబ్ కన్సోల్‌కు వెళ్లవచ్చు, అనగా. http: // host_name: 11000 . ఉద్యోగంపై క్లిక్ చేయడం ద్వారా మీరు ఉద్యోగ స్థితిని చూస్తారు.

దృశ్యాలలో, మేము బహుళ ఉద్యోగాలను సమాంతరంగా అమలు చేయాలనుకుంటున్నాము, మనం ఉపయోగించవచ్చు ఫోర్క్ . మేము ఫోర్క్ ఉపయోగించినప్పుడల్లా, ఫోర్క్ చేయడానికి జాయిన్ ను ఎండ్ నోడ్ గా ఉపయోగించాలి. ప్రతి ఫోర్క్ కోసం ఒక జాయిన్ ఉండాలి. చేరండి అన్ని నోడ్లు సమాంతరంగా అమలు అవుతాయి, ఒకే ఫోర్క్ యొక్క బిడ్డ. ఉదాహరణకు, మేము సమాంతరంగా ఒకేసారి రెండు పట్టికలను సృష్టించవచ్చు.

నిర్ణయం యొక్క అవుట్పుట్ ఆధారంగా మేము చర్యను అమలు చేయాలనుకుంటే, మేము నిర్ణయం ట్యాగ్లను జోడించవచ్చు. ఉదాహరణకు, మనకు ఇప్పటికే అందులో నివశించే తేనెటీగ పట్టిక ఉంటే, దాన్ని మళ్లీ సృష్టించాల్సిన అవసరం లేదు. ఆ పరిస్థితిలో, పట్టిక ఇప్పటికే ఉంటే సృష్టించు పట్టిక దశలను అమలు చేయకూడదని మేము ఒక నిర్ణయ ట్యాగ్‌ను జోడించవచ్చు. డెసిషన్ నోడ్స్‌లో స్విచ్ కేసు మాదిరిగానే స్విచ్ ట్యాగ్ ఉంటుంది.

జాబ్-ట్రాకర్, నేమ్-నోడ్, స్క్రిప్ట్ మరియు పారామ్ యొక్క విలువను నేరుగా పంపవచ్చు. కానీ, ఇది నిర్వహించడం కష్టమవుతుంది. ఇక్కడే కాన్ఫిగర్ ఫైల్ (అనగా .ప్రొపెర్టీ ఫైల్) ఉపయోగపడుతుంది.

అపాచీ ఓజీ ట్యుటోరియల్: ఓజీ కోఆర్డినేటర్

మీరు సమన్వయకర్తను ఉపయోగించి క్రమం తప్పకుండా షెడ్యూల్ చేయబడిన సంక్లిష్ట వర్క్‌ఫ్లోలతో పాటు వర్క్‌ఫ్లోలను షెడ్యూల్ చేయవచ్చు. సమయం, డేటా లేదా ఈవెంట్ అంచనాల ఆధారంగా ఓజీ కోఆర్డినేటర్లు వర్క్‌ఫ్లో ఉద్యోగాలను ప్రేరేపిస్తారు. ఇచ్చిన పరిస్థితి సంతృప్తి చెందినప్పుడు జాబ్ కోఆర్డినేటర్ లోపల వర్క్ఫ్లోస్ ప్రారంభమవుతాయి.

సమన్వయకర్త ఉద్యోగాలకు అవసరమైన నిర్వచనాలు:

• ప్రారంభం & మైనస్ ఉద్యోగం కోసం డేట్‌టైమ్ ప్రారంభించండి.
• ముగింపు & మైనస్ ఉద్యోగం కోసం డేట్‌టైమ్‌ను ముగించండి.
• సమయమండలం & మైనస్ కోఆర్డినేటర్ అప్లికేషన్ యొక్క టైమ్‌జోన్.
• తరచుదనం & మైనస్ ఉద్యోగాలను అమలు చేయడానికి ఫ్రీక్వెన్సీ, నిమిషాల్లో.

నియంత్రణ సమాచారం కోసం మరికొన్ని లక్షణాలు అందుబాటులో ఉన్నాయి:

• సమయం ముగిసినది & మైనస్ గరిష్ట సమయం, నిమిషాల్లో, దీని కోసం ఒక చర్య విస్మరించబడటానికి ముందు, అదనపు షరతులను సంతృప్తి పరచడానికి వేచి ఉంటుంది. యాక్షన్ మెటీరియలైజేషన్ సమయంలో అన్ని ఇన్పుట్ ఈవెంట్స్ సంతృప్తి చెందకపోతే, చర్య వెంటనే సమయం ముగియాలని 0 సూచిస్తుంది. -1 సమయం ముగియలేదని సూచిస్తుంది, చర్య ఎప్పటికీ వేచి ఉంటుంది. డిఫాల్ట్ విలువ -1.
• సమ్మతి & మైనస్ సమాంతరంగా అమలు చేయగల ఉద్యోగం కోసం గరిష్ట సంఖ్య చర్యలు. డిఫాల్ట్ విలువ 1.
• అమలు - సమన్వయకర్త ఉద్యోగం యొక్క బహుళ సందర్భాలు వాటి అమలు ప్రమాణాలను సంతృప్తిపరిచినట్లయితే ఇది అమలు క్రమాన్ని నిర్దేశిస్తుంది. ఇది అవుతుంది:

• • FIFO (డిఫాల్ట్)
  • LIFO
  • LAST_ONLY

ఆదేశం: oozie job –oozie http: // localhost: 11000 / oozie -config -run

సమన్వయకర్త ఉద్యోగాన్ని సమర్పించేటప్పుడు నిర్వచనంలో ఉపయోగించిన కాన్ఫిగరేషన్ ఆస్తి ఉద్యోగ ఆకృతీకరణతో అందించబడకపోతే, ఉద్యోగ సమర్పణ విఫలమవుతుంది.

అపాచీ ఓజీ ట్యుటోరియల్: ఓజీ బండిల్

ఓజీ బండిల్ సిస్టమ్సమన్వయకర్త అనువర్తనాల సమితిని నిర్వచించడానికి మరియు అమలు చేయడానికి మిమ్మల్ని అనుమతిస్తుంది, దీనిని తరచుగా డేటా పైప్‌లైన్ అని పిలుస్తారు. ఓజీ కట్టలో, సమన్వయకర్త అనువర్తనాలలో స్పష్టమైన ఆధారపడటం లేదు. అయితే, మీరు అవ్యక్త డేటా అప్లికేషన్ పైప్‌లైన్‌ను సృష్టించడానికి కోఆర్డినేటర్ అనువర్తనాల డేటా డిపెండెన్సీని ఉపయోగించవచ్చు.మీరు కట్టను ప్రారంభించవచ్చు / ఆపవచ్చు / నిలిపివేయవచ్చు / తిరిగి ప్రారంభించవచ్చు / తిరిగి అమలు చేయవచ్చు. ఇది మంచి మరియు సులభమైన కార్యాచరణ నియంత్రణను ఇస్తుంది.

కిక్-ఆఫ్-టైమ్ & మైనస్ ఒక కట్ట ప్రారంభించి సమన్వయకర్త దరఖాస్తులను సమర్పించాల్సిన సమయం.

ఈ అపాచీ ఓజీ ట్యుటోరియల్‌లో అభివృద్ధి చెందుతూ, వర్క్‌ఫ్లో జాబ్‌ను ఎలా సృష్టించాలో మాకు అర్థం అవుతుంది.

అపాచీ ఓజీ ట్యుటోరియల్: వర్డ్ కౌంట్ వర్క్ఫ్లో జాబ్

ఈ ఉదాహరణలో, మేము అపాచీ ఓజీని ఉపయోగించి వర్డ్ కౌంట్ జాబ్‌ను అమలు చేయబోతున్నాము. మ్యాప్‌రెడ్యూస్ వర్డ్ కౌంట్ ప్రోగ్రామ్‌ను ఎలా రాయాలో ఇక్కడ చర్చించము. కాబట్టి, ఈ అపాచీ ఓజీ ట్యుటోరియల్‌ను అనుసరించే ముందు మీరు దీన్ని డౌన్‌లోడ్ చేసుకోవాలి పద గణన కూజా ఫైల్. ఇప్పుడు, మేము అన్ని ఫైళ్ళను ఉంచే WordCountTest డైరెక్టరీని సృష్టించండి. కింది చిత్రాలలో చూపిన విధంగా మేము కౌంట్ జార్ అనే పదాన్ని ఉంచే లిబ్ డైరెక్టరీని సృష్టించండి.

ఇప్పుడు, ముందుకు సాగండి మరియు సృష్టించండి job.properties & workflow.xml ఫైల్స్, ఇక్కడ మేము దానితో సంబంధం ఉన్న ఉద్యోగం మరియు పారామితులను తెలుపుతాము.

job.properties

మొదట, మేము ఒక సృష్టిస్తున్నాము job.properties ఫైల్, ఇక్కడ మేము నేమ్నోడ్ & రిసోర్స్ మేనేజర్ యొక్క మార్గాన్ని నిర్వచిస్తున్నాము. వర్క్‌ఫ్లో డైరెక్టరీ మార్గాన్ని పరిష్కరించడానికి నేమ్‌నోడ్ మార్గం అవసరం & జాబ్‌ట్రాకర్ మార్గం ఉద్యోగాన్ని YARN కి సమర్పించడంలో సహాయపడుతుంది. మేము యొక్క మార్గాన్ని అందించాలి workflow.xml ఫైల్, ఇది HDFS లో నిల్వ చేయాలి.

జావాలో సింగిల్టన్ తరగతిని సృష్టించండి

workflow.xml

తరువాత, మేము సృష్టించాలి workflow.xml ఫైల్, ఇక్కడ మేము మా చర్యలన్నింటినీ నిర్వచించి వాటిని అమలు చేస్తాము. మొదట, మేము వర్క్‌ఫ్లో-అనువర్తన పేరును పేర్కొనాలి, అనగా. వర్క్‌ఫ్లో రన్నర్‌టెస్ట్ . అప్పుడు, మేము పేర్కొంటున్నాము ప్రారంభ నోడ్ . ప్రారంభ నోడ్ ( లో ది ప్రారంభించండి ట్యాగ్ ) వర్క్ఫ్లో ఉద్యోగానికి ప్రవేశ స్థానం. ఇది ఉద్యోగం ప్రారంభించాల్సిన మొదటి వర్క్‌ఫ్లో నోడ్ వైపు చూపుతుంది. దిగువ చిత్రంలో మీరు చూడగలిగినట్లుగా, తదుపరి నోడ్ ఖండన 0 ఉద్యోగం ఎక్కడ నుండి ప్రారంభమవుతుంది.

తరువాత, మేము చేయవలసిన పనిని యాక్షన్ నోడ్‌లో పేర్కొంటున్నాము. మేము ఇక్కడ మ్యాప్‌రెడ్యూస్ వర్డ్‌కౌంట్ పనిని అమలు చేస్తున్నాము. ఈ మ్యాప్‌రెడ్యూస్ పనిని అమలు చేయడానికి అవసరమైన కాన్ఫిగరేషన్‌లను మేము పేర్కొనాలి. మేము జాబ్ ట్రాకర్ & నేమ్‌నోడ్ చిరునామాను నిర్వచిస్తున్నాము.

తదుపరిది తయారుచేసిన మూలకం, ఇది చర్యను అమలు చేయడానికి ముందు, డైరెక్టరీ శుభ్రపరిచే కోసం ప్రత్యేకంగా ఉపయోగించబడుతుంది. ఇక్కడ మేము తొలగించడానికి HDFS లో తొలగింపు ఆపరేషన్ చేస్తున్నాము 1 ట్ 1 ఫోల్డర్ ఇప్పటికే సృష్టించబడి ఉంటే. పనిని అమలు చేయడానికి ముందు ఫోల్డర్‌ను సృష్టించడానికి లేదా తొలగించడానికి ట్యాగ్‌ను సిద్ధం చేయండి. అప్పుడు మేము జాబ్ క్యూ పేరు, మాపర్ క్లాస్, రిడ్యూసర్ క్లాస్, అవుట్పుట్ కీ క్లాస్ & అవుట్పుట్ వాల్యూ క్లాస్ వంటి మ్యాప్ రిడ్యూస్ లక్షణాలను తెలుపుతున్నాము.

చివరి మ్యాప్‌రెడ్యూస్ టాస్క్ కాన్ఫిగరేషన్ HDFS లోని ఇన్పుట్ & అవుట్పుట్ డైరెక్టరీ. ఇన్పుట్ డైరెక్టరీ సమాచారం డైరెక్టరీ, ఇది నేమ్నోడ్ యొక్క మూల మార్గంలో నిల్వ చేయబడుతుంది . చివరికి, ఉద్యోగం విఫలమైతే మేము చంపే మూలకాన్ని తెలుపుతాము.

ఇప్పుడు మనం తరలించాలి వర్డ్‌కౌంట్ టెస్ట్ మేము పేర్కొన్నట్లుగా HDFS లోని ఫోల్డర్ oozie.wf.application.path లో ఆస్తి job.properties ఫైల్. కాబట్టి, మేము కాపీ చేస్తున్నాము వర్డ్‌కౌంట్ టెస్ట్ హడూప్ రూట్ డైరెక్టరీలోని ఫోల్డర్.

ఆదేశం: hadoop fs -put WordCountTest /

ధృవీకరించడానికి, మీరు నేమ్‌నోడ్ వెబ్ UI కి వెళ్లి, ఫోల్డర్ HDFS రూట్ డైరెక్టరీలో అప్‌లోడ్ చేయబడిందో లేదో తనిఖీ చేయవచ్చు.

ఇప్పుడు, మనమందరం ముందుకు సాగడానికి మరియు వర్క్ఫ్లో పనిని అమలు చేయడానికి సిద్ధంగా ఉన్నాము.

ఆదేశం: oozie job –oozie http: // localhost: 11000 / oozie -config job.properties -run

మేము మా ఉద్యోగాన్ని అమలు చేసిన తర్వాత మాకు ఉద్యోగ ఐడి లభిస్తుంది (అనగా. 0000009-171219160449620-ఓజీ-ఎడూర్-డబ్ల్యూ ) పై చిత్రంలో చూపిన విధంగా. మీరు వెళ్లి మీరు ఓజీ వెబ్ UI లో సమర్పించిన ఉద్యోగాన్ని తనిఖీ చేయవచ్చు. లోకల్ హోస్ట్: 11000 . మీరు క్రింది చిత్రంలో చూడవచ్చు, మేము సమర్పించిన ఉద్యోగం క్రింద ఇవ్వబడింది.

పై చిత్రంలో మీరు గమనిస్తే, మీరు జాబ్ ఐడి, జాబ్ పేరు, ఉద్యోగ స్థితి, ఉద్యోగం సమర్పించిన వినియోగదారు, సృష్టించిన సమయం, ప్రారంభ & చివరి మార్పులను చూస్తారు. ఇలాంటి మరిన్ని వివరాలను పొందడానికి మీరు ఉద్యోగంపై క్లిక్ చేయవచ్చు:

• ఉద్యోగ సమాచారం

• ఉద్యోగ నిర్వచనం

• ఉద్యోగ కాన్ఫిగరేషన్

ఉద్యోగం యొక్క స్థితి విజయవంతం అయినందున, మేము HDFS రూట్ డైరెక్టరీకి వెళ్లి అవుట్పుట్ డైరెక్టరీ సృష్టించబడిందా లేదా అని తనిఖీ చేయాలి.

మీరు చూడగలిగినట్లుగా oozieout డైరెక్టరీ HDFS లో సృష్టించబడింది, కాబట్టి ఇప్పుడు సృష్టించబడిన అవుట్పుట్ ఫైల్ను చూద్దాం.

ఓజీ వర్క్‌ఫ్లో ఉద్యోగాన్ని ఎలా సృష్టించాలో మనం చూసినట్లుగా, ఇప్పుడు మేము ఈ అపాచీ ఓజీ ట్యుటోరియల్ బ్లాగులో ముందుకు వస్తాము మరియు సమన్వయకర్త ఉద్యోగాన్ని ఎలా సృష్టించాలో అర్థం చేసుకుంటాము.

అపాచీ ఓజీ ట్యుటోరియల్: టైమ్ బేస్డ్ వర్డ్ కౌంట్ కోఆర్డినేటర్ జాబ్

ఈ ఉదాహరణలో, మేము సమయ-ఆధారిత వర్డ్ కౌంట్ కోఆర్డినేటర్ ఉద్యోగాన్ని సృష్టిస్తాము, ఇది నిర్దిష్ట సమయ విరామం తర్వాత అమలు చేయబడుతుంది. మీరు అపాచీ ఓజీని ఉపయోగించి ఉద్యోగాన్ని సృష్టించవచ్చు మరియు షెడ్యూల్ చేయవచ్చు, ఇది రోజువారీ లేదా క్రమానుగతంగా అమలు చేయాలి.

జావాలో తరగతి మరియు ఇంటర్ఫేస్ మధ్య వ్యత్యాసం

ఈ అపాచీ ఓజీ ట్యుటోరియల్‌లో త్వరగా ముందుకు సాగి, సమన్వయకర్త ఉద్యోగాన్ని సృష్టిద్దాం. ఇక్కడ మేము మూడు ఫైళ్ళను సృష్టిస్తాము, అనగా. coordinator.properties , coordinator.xml & workflow.xml ఫైల్. మళ్ళీ, ఇక్కడ మనం w ను ఉంచుతాము ఆర్డ్ కౌంట్ లోపల కూజా లిబ్ దిగువ చిత్రంలో చూపిన విధంగా డైరెక్టరీ.

ఇప్పుడు ఈ ఫైళ్ళను ఒక్కొక్కటిగా చూద్దాం. మొదట, మేము coordinator.properties ఫైల్‌తో ప్రారంభిస్తాము.

ఇక్కడ, వర్క్ఫ్లో అమలు చేయబడే ఫ్రీక్వెన్సీని మేము నిర్దేశిస్తున్నాము. ఫ్రీక్వెన్సీ ఎల్లప్పుడూ నిమిషాల్లో వ్యక్తీకరించబడుతుంది. మా విషయంలో, ఈ సమన్వయకర్త ఉద్యోగం ప్రతి గంటకు ఒకసారి పేర్కొన్న సమయం మధ్య అమలు చేయబడుతుంది. డేటా సెట్లు ఉత్పత్తి చేయబడిన ఆవర్తన విరామాలను సంగ్రహించడానికి ఫ్రీక్వెన్సీ ఉపయోగించబడుతుంది మరియు సమన్వయకర్త అనువర్తనాలు అమలు చేయబడతాయి.

నిమిషాలు, గంటలు, రోజులు మరియు నెలల్లో ఫ్రీక్వెన్సీని నిర్వచించడానికి ఈ క్రింది ఆకృతిని ఉపయోగించండి:

తరువాత, పై చిత్రంలో చూపిన విధంగా మేము ఉద్యోగం యొక్క ప్రారంభ & ముగింపు సమయాన్ని నిర్వచిస్తున్నాము. ప్రారంభ సమయం ఉద్యోగం కోసం ప్రారంభ తేదీ సమయం & ఎండ్‌టైమ్ ఉద్యోగం యొక్క చివరి తేదీ.

తరువాత, మేము నేమ్‌నోడ్ & రిసోర్స్ మేనేజర్ url ను పేర్కొంటున్నాము, ఇది HDFS లో వర్క్‌ఫ్లో. Xml ఫైల్‌ను సూచించడానికి మరియు వరుసగా YARN కు ఉద్యోగాలను సమర్పించడానికి ఉపయోగించబడుతుంది. చివరికి, మేము వర్క్‌ఫ్లో.ఎక్స్.ఎమ్. మార్గాన్ని నిర్దేశిస్తున్నాము, వీటిని మేము HDFS లో నిల్వ చేస్తాము. అన్ని ఫైల్స్ & లిబ్ డైరెక్టరీ నిల్వ చేయబడే అప్లికేషన్ మార్గాన్ని కూడా మేము నిర్దేశిస్తాము.

రెండవ ఫైల్ coordinator.xml ఇక్కడ మేము పేర్కొన్న అన్ని లక్షణాలను ఉపయోగిస్తాము coordinator.properties ఫైల్. ఇప్పుడు, మొదట, మేము కోఆర్డినేటర్ అప్లికేషన్ యొక్క లక్షణాలను పేర్కొంటాము, అనగా పేరు, ఫ్రీక్వెన్సీ & టైమ్‌జోన్. తరువాత, మేము వర్క్ఫ్లోలను ఒక్కొక్కటిగా తెలుపుతాము. ఇక్కడ, మాకు ఒక వర్క్ఫ్లో మాత్రమే ఉంది. కాబట్టి, చర్య మూలకం లోపల మేము వర్క్ఫ్లో మూలకాన్ని సృష్టిస్తాము, ఇక్కడ మేము అప్లికేషన్ మార్గాన్ని తెలుపుతాము.

తరువాత, ముందుకు సాగడం మనం సృష్టించాలి workflow.xml మేము విధిని పేర్కొనే ఫైల్. ఇది మాదిరిగానే ఉంటుంది workflow.xml ఫైల్, మేము వర్క్ఫ్లో ఉద్యోగంలో సృష్టించాము.

ఇప్పుడు మళ్ళీ, మేము దీనిని తరలిస్తాము WordCountTest_TimedBased HDFS కు డైరెక్టరీ.

ఆదేశం : hadoop fs -put WordCountTest_TimeBased /

ఇప్పుడు, ఈ ఓజీ ట్యుటోరియల్‌లో ఈ కోఆర్డినేటర్ ఉద్యోగాన్ని ముందుకు తీసుకెళ్లడానికి మేమంతా సిద్ధంగా ఉన్నాము. ముందుకు సాగండి.

ఆదేశం : oozie job –oozie http: // localhost: 11000 / oozie -config coordinator.properties -run

ఈ కోఆర్డినేటర్ జాబ్ ఐడిని గమనించండి (అనగా 0000010-171219160449620-oozie-edur-C). ఓజీ వెబ్ యుఐలో మీ ఉద్యోగాన్ని తెలుసుకోవడానికి ఇది మీకు సహాయం చేస్తుంది.

ఓజీ వెబ్ UI లోని మీ కోఆర్డినేటర్ జాబ్స్ ట్యాబ్‌లో జాబితా చేయబడిన ఉద్యోగాన్ని మీరు చూడవచ్చు. వర్క్‌ఫ్లో ఉద్యోగం మాదిరిగానే మనకు పేరు, స్థితి, వినియోగదారు, పౌన frequency పున్యం, ప్రారంభ & ముగింపు సమయం ఉన్నాయి. మీరు ఒక నిర్దిష్ట ఉద్యోగంపై క్లిక్ చేసినప్పుడు, ఈ క్రింది చిత్రాలలో చూపిన విధంగా మీరు ఉద్యోగ వివరాలను చూస్తారు.

• సమన్వయకర్త ఉద్యోగ సమాచారం

• సమన్వయకర్త ఉద్యోగ నిర్వచనం

• సమన్వయకర్త ఉద్యోగ ఆకృతీకరణ

ఇప్పుడు, మేము వేర్వేరు ట్యాబ్ల ద్వారా చూశాము. అవుట్పుట్ ఫోల్డర్ సృష్టించబడే HDFS రూట్ డైరెక్టరీకి తిరిగి వెళ్తాము. దిగువ చిత్రంలో మీరు చూడగలిగినట్లుగా, oozieTimeBasedout మేము పేర్కొన్న విధంగా డైరెక్టరీ సృష్టించబడింది workflow.xml ఫైల్.

ఇప్పుడు, సృష్టించబడిన అవుట్పుట్ ఫైల్ను పరిశీలిద్దాం.

ఈ అపాచీ ఓజీ ట్యుటోరియల్ బ్లాగ్ ఇన్ఫర్మేటివ్ మీకు దొరికిందని నేను ఆశిస్తున్నాను. మీరు మరింత తెలుసుకోవడానికి ఆసక్తి కలిగి ఉంటే, మీరు దీని ద్వారా వెళ్ళవచ్చు ఇది బిగ్ డేటా గురించి మరియు హడూప్ బిగ్ డేటాకు సంబంధించిన సవాళ్లను ఎలా పరిష్కరిస్తుందో మీకు తెలియజేస్తుంది.

ఇప్పుడు మీరు అపాచీ ఓజీని అర్థం చేసుకున్నారు, చూడండి ప్రపంచవ్యాప్తంగా 250,000 కంటే ఎక్కువ సంతృప్తికరమైన అభ్యాసకుల నెట్‌వర్క్‌తో విశ్వసనీయ ఆన్‌లైన్ లెర్నింగ్ సంస్థ ఎడురేకా చేత. రిటైల్, సోషల్ మీడియా, ఏవియేషన్, టూరిజం, ఫైనాన్స్ డొమైన్‌లో రియల్ టైమ్ యూజ్ కేసులను ఉపయోగించి హెచ్‌డిఎఫ్‌ఎస్, నూలు, మ్యాప్‌రెడ్యూస్, పిగ్, హైవ్, హెచ్‌బేస్, ఓజీ, ఫ్లూమ్ మరియు స్కూప్‌లో నిపుణులు కావడానికి ఎడురేకా బిగ్ డేటా హడూప్ సర్టిఫికేషన్ ట్రైనింగ్ కోర్సు సహాయపడుతుంది.

మాకు ప్రశ్న ఉందా? దయచేసి దీన్ని వ్యాఖ్యల విభాగంలో పేర్కొనండి మరియు మేము మిమ్మల్ని సంప్రదిస్తాము.