కుబేర్‌నెట్స్ క్లస్టర్ ఈవెంట్‌లను రియల్ టైమ్‌లో విజువలైజ్ చేయడం ఎలా

ఈ వ్యాసంలో, మీరు కుబెర్నెట్ క్లస్టర్ ఈవెంట్స్ డేటాను అమెజాన్‌కు ఎలా ప్రచురించాలో నేర్చుకుంటారు ఫ్లూయెంట్ లాగింగ్ ఏజెంట్ ఉపయోగించి. అప్పుడు డేటా ఉపయోగించి చూడబడుతుంది , సాగే శోధన కోసం ఓపెన్ సోర్స్ విజువలైజేషన్ సాధనం. అమెజాన్ ES ఇంటిగ్రేటెడ్ కిబానా ఇంటిగ్రేషన్ కలిగి ఉంటుంది.

మేము ఈ క్రింది ప్రక్రియతో మిమ్మల్ని నడిపిస్తాము:

• కుబెర్నెట్ క్లస్టర్ సృష్టిస్తోంది
• అమెజాన్ ES క్లస్టర్‌ను సృష్టిస్తోంది
• కుబెర్నెట్ క్లస్టర్‌లో ఫ్లూయెంట్ లాగింగ్ ఏజెంట్‌ను మోహరించండి
• కిబానాలో కుబెర్నెట్ తేదీని విజువలైజ్ చేయండి

దశ 1: కుబెర్నెట్ క్లస్టర్ సృష్టించడం

కుబెర్నెట్స్ అనేది కంటైనరైజ్డ్ అనువర్తనాలను నిర్వహించడానికి గూగుల్ సృష్టించిన ఓపెన్ సోర్స్ ప్లాట్‌ఫాం. ఇది మీ కంటైనరైజ్డ్ అనువర్తనాలను క్లస్టర్డ్ వాతావరణంలో నిర్వహించడానికి, స్కేల్ చేయడానికి మరియు అమలు చేయడానికి మిమ్మల్ని అనుమతిస్తుంది. మేము మా కంటైనర్లను వివిధ హోస్ట్‌లలో ఆర్కెస్ట్రేట్ చేయవచ్చు గవర్నర్లు , ఫ్లైలో అన్ని వనరులతో కంటైనరైజ్ చేసిన అనువర్తనాలను స్కేల్ చేయండి మరియు కేంద్రీకృత కంటైనర్ నిర్వహణ వాతావరణాన్ని కలిగి ఉంటుంది.

మేము కుబెర్నెట్ క్లస్టర్‌ను సృష్టించడం ద్వారా ప్రారంభిస్తాము మరియు సెంటొస్ 7 లో కుబెర్నెట్‌లను ఎలా ఇన్‌స్టాల్ చేయాలి మరియు కాన్ఫిగర్ చేయాలి అనే దానిపై నేను మీకు దశల వారీగా చూపిస్తాను.

ఒకటి. హోస్ట్‌లను కాన్ఫిగర్ చేయండి

• • vi / etc / హోస్ట్‌లు
  • హోస్ట్స్ ఫైల్‌లో మీ హోస్ట్ వివరాల ప్రకారం మార్పులు చేయండి

2. దిగువ ఆదేశాలను అమలు చేయడం ద్వారా SELinux ని నిలిపివేయండి

• • setenforce 0
  • sed -i –follow-symlinks ‘s / SELINUX = అమలు / SELINUX = డిసేబుల్ / g’ / etc / sysconfig / selinux

3. Br_netfilter కెర్నల్ మాడ్యూల్‌ను ప్రారంభించండి

• • modprobe br_netfilter
  • echo ‘1’> / proc / sys / net / Bridge / bridge-nf-call-iptables

నాలుగు. దిగువ ఆదేశాలను అమలు చేయడం ద్వారా SWAP ని నిలిపివేయండి.

• • swapoff -a
  • అప్పుడు / etc / fstab ని సవరించండి మరియు స్వాప్ లైన్ వ్యాఖ్యానించండి

5. డాకర్ CE యొక్క తాజా వెర్షన్‌ను ఇన్‌స్టాల్ చేయండి.దిగువ ఆదేశాలను అమలు చేయడం ద్వారా డాకర్-సి కోసం ప్యాకేజీ డిపెండెన్సీలను వ్యవస్థాపించండి.

• • yum install -y yum-utils device-mapper-persistent-data lvm2

• • yum-config-manager –add-repo https://download.docker.com/linux/centos/docker-ce.repo
  • yum install -y docker-ce

6. కుబెర్నెట్‌లను ఇన్‌స్టాల్ చేయండి

• • yum install -y kubelet bebeadm kubectl

[kubernetes] name = Kubernetes baseurl = https: //packages.cloud.google.com/yum/repos/kubernetes-el7-x86_64 enable = 1 gpgcheck = 1 repo_gpgcheck = 1 gpgkey = https: //packages.cloud.google. com / yum / doc / yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg EOF

• systemctl start docker && systemctl ఎనేబుల్ డాకర్

ఇన్స్టాలేషన్ పూర్తయిన తర్వాత, ఆ సర్వర్లన్నింటినీ పున art ప్రారంభించండి.పున art ప్రారంభించిన తరువాత సేవల డాకర్ మరియు కుబెలెట్ ప్రారంభించండి

• systemctl start docker && systemctl ఎనేబుల్ డాకర్
• systemctl start kubelet && systemctl kubelet ని ప్రారంభిస్తుంది

• systemctl start kubelet && systemctl kubelet ని ప్రారంభిస్తుంది

https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

• • kubectl నోడ్స్ పొందండి
  • kubectl పాడ్స్‌ను పొందండి -అన్ని-నేమ్‌స్పేస్‌లు

9. క్లస్టర్‌కు నోడ్‌లను కలుపుతోందిNode01 సర్వర్‌కు కనెక్ట్ అవ్వండి మరియు kubeadm join ఆదేశాన్ని అమలు చేయండి

• • kubeadm join 172.31.7.47:6443 –token at03m9.iinkh5ps9q12sh2i –discovery-token-ca-cert-hash sha256: 3f6c1824796ef1ff3d9427c883bde915d5bc13331d74891d831f29a8

Node02 సర్వర్‌కు కనెక్ట్ అవ్వండి మరియు kubeadm join ఆదేశాన్ని అమలు చేయండి

• • kubeadm join 172.31.7.47:6443 –token at03m9.iinkh5ps9q12sh2i –discovery-token-ca-cert-hash sha256: 3f6c1824796ef1ff3d9427c883bde915d5bc13331d74891d831f29a8

కొంత సమయం వేచి ఉండి, ‘k8s-master’ మాస్టర్ క్లస్టర్ సర్వర్‌ను ధృవీకరించండి, కింది ఆదేశాన్ని ఉపయోగించి నోడ్స్ మరియు పాడ్‌లను తనిఖీ చేయండి.

• • • kubectl నోడ్స్ పొందండి

ఇప్పుడు మీరు వర్కర్ 1 ను పొందుతారు మరియు వర్కర్ 2 ను ‘రెడీ’ హోదాతో క్లస్టర్‌కు చేర్చారు.

• • • kubectl పాడ్స్‌ను పొందండి -అన్ని-నేమ్‌స్పేస్‌లు

కుబెర్నెట్స్ క్లస్టర్ మాస్టర్ ప్రారంభించడం మరియు కాన్ఫిగరేషన్ పూర్తయింది.

దశ 2: అమెజాన్ ఇఎస్ క్లస్టర్‌ను సృష్టించడం

సాగే శోధన అనేది ఓపెన్ సోర్స్ సెర్చ్ మరియు అనలిటిక్స్ ఇంజిన్, ఇది లాగ్ విశ్లేషణ మరియు అనువర్తనాల నిజ-సమయ పర్యవేక్షణ కోసం ఉపయోగించబడుతుంది. అమెజాన్ సాగే శోధన సేవ (అమెజాన్ ఇఎస్) అనేది AWS సేవ, ఇది AWS క్లౌడ్‌లో సాగే శోధన యొక్క విస్తరణ, ఆపరేషన్ మరియు స్థాయిని అనుమతిస్తుంది. మీ అమెజాన్ SES నుండి ఇమెయిల్ పంపే సంఘటనలను విశ్లేషించడానికి మీరు అమెజాన్ ES ని ఉపయోగించవచ్చు

మేము ఒక అమెజాన్ ES క్లస్టర్‌ను సృష్టించి, ఆపై కుబెర్నెటెస్ క్లస్టర్‌కు ఫ్లూయెంట్ లాగింగ్ ఏజెంట్‌ను డిప్లాయ్ చేస్తాము, ఇది లాగ్‌లను సేకరించి అమెజాన్ ఇఎస్ క్లస్టర్‌కు పంపుతుంది

అమెజాన్ ఇఎస్ క్లస్టర్‌ను సృష్టించడానికి అమెజాన్ ఇఎస్ కన్సోల్‌ను ఎలా ఉపయోగించాలో ఈ విభాగం చూపిస్తుంది.

అమెజాన్ ES క్లస్టర్ సృష్టించడానికి

1. 1. AWS మేనేజ్‌మెంట్ కన్సోల్‌కు సైన్ ఇన్ చేసి, వద్ద అమెజాన్ సాగే శోధన సేవా కన్సోల్‌ను తెరవండి https://console.aws.amazon.com/es/
   2. ఎంచుకోండి క్రొత్త డొమైన్‌ను సృష్టించండి మరియు విస్తరణ రకాన్ని ఎంచుకోండి అమెజాన్ ES కన్సోల్‌లో.
   3. సంస్కరణ క్రింద, సాగే శోధన సంస్కరణ ఫీల్డ్ యొక్క డిఫాల్ట్ విలువను వదిలివేయండి.
   4. తదుపరి ఎంచుకోండి
   5. మీ సాగే శోధన డొమైన్ కోసం పేరును టైప్ చేయండి క్లస్టర్‌ని కాన్ఫిగర్ చేయండి కింద పేజీ డొమైన్‌ను కాన్ఫిగర్ చేయండి.
   6. క్లస్టర్ కాన్ఫిగర్ పేజీలో, డేటా ఉదాహరణల క్రింద కింది ఎంపికలను ఎంచుకోండి
      • ఉదాహరణ రకం - t2.micro.elasticsearch (ఉచిత శ్రేణి అర్హత) ఎంచుకోండి.
      • ఉదాహరణ సంఖ్య - ఒకటి
   7. కిందఅంకితమైన మాస్టర్ ఉదంతాలు
      • అంకితమైన మాస్టర్‌ను ప్రారంభించండి - ఈ ఎంపికను ప్రారంభించవద్దు.
      • జోన్ అవగాహనను ప్రారంభించండి - ఈ ఎంపికను ప్రారంభించవద్దు.
   8. నిల్వ కాన్ఫిగరేషన్ కింద, కింది ఎంపికలను ఎంచుకోండి.
      • నిల్వ రకం - EBS ని ఎంచుకోండి. EBS సెట్టింగుల కోసం, EBS వాల్యూమ్ రకం జనరల్ పర్పస్ (SSD) మరియు EBS వాల్యూమ్ సైజును ఎంచుకోండి& thinsp10 లో.
   9. గుప్తీకరణ కింద - ఈ ఎంపికను ప్రారంభించవద్దు
   10. స్నాప్‌షాట్ కాన్ఫిగరేషన్ కింద
       • స్వయంచాలక స్నాప్‌షాట్ ప్రారంభ గంట - ఆటోమేటెడ్ స్నాప్‌షాట్‌ల ప్రారంభ గంట 00:00 UTC (డిఫాల్ట్) ఎంచుకోండి.
   11. తదుపరి ఎంచుకోండి
   12. నెట్‌వర్క్ కాన్ఫిగరేషన్ కింద VPC యాక్సెస్‌ను ఎంచుకోండి మరియు మీ VPC ప్రకారం వివరాలను ఎంచుకోండి క్రింద చూపబడింది.కిబానా ప్రామాణీకరణ క్రింద: - ఈ ఎంపికను ప్రారంభించవద్దు.
   13. ప్రాప్యత విధానాన్ని సెట్ చేయడానికి, డొమైన్‌కు ఓపెన్ యాక్సెస్‌ను అనుమతించు ఎంచుకోండి.గమనిక: - ఉత్పత్తిలో మీరు నిర్దిష్ట IPaddress లేదా శ్రేణులకు ప్రాప్యతను పరిమితం చేయాలి.
   14. తదుపరి ఎంచుకోండి.
   15. సమీక్ష పేజీలో, మీ సెట్టింగులను సమీక్షించండి, ఆపై నిర్ధారించండి మరియు సృష్టించు ఎంచుకోండి.

గమనిక: క్లస్టర్ మోహరించడానికి పది నిమిషాలు పడుతుంది. మీరు సృష్టించిన సాగే శోధన డొమైన్‌ను క్లిక్ చేసిన తర్వాత మీ కిబానా URL ను గమనించండి.

దశ 3: కుబెర్నెట్ క్లస్టర్‌లో ఫ్లూయెంట్ లాగింగ్ ఏజెంట్‌ను మోహరించండి

ఫ్లూయెంట్ ఓపెన్ సోర్స్ డేటా కలెక్టర్, ఇది డేటాను బాగా ఉపయోగించడం మరియు అర్థం చేసుకోవడం కోసం డేటా సేకరణ మరియు వినియోగాన్ని ఏకీకృతం చేయడానికి మిమ్మల్ని అనుమతిస్తుంది. ఈ సందర్భంలో, మేము కుబెర్నెట్ క్లస్టర్‌లో ఫ్లూయెంట్ లాగింగ్‌ను అమలు చేస్తాము, ఇది లాగ్ ఫైల్‌లను సేకరించి అమెజాన్ సాగే శోధనకు పంపుతుంది.

మేము క్లస్టర్‌రోల్‌ను సృష్టిస్తాము, ఇది పాస్టర్‌లు మరియు నేమ్‌స్పేస్ వస్తువులపై క్లస్టర్‌కు అభ్యర్థన పొందడానికి, జాబితా చేయడానికి మరియు చూడటానికి అభ్యర్థనలను అందిస్తుంది.

మొదట, మేము RBAC (రోల్-బేస్డ్ యాక్సెస్ కంట్రోల్) అనుమతులను కాన్ఫిగర్ చేయాలి, తద్వారా ఫ్లూయెంట్ తగిన భాగాలను యాక్సెస్ చేయవచ్చు.

1.fluentd-rbac.yaml:

apiVersion: v1 kind: ServiceAccount metadata: name: fluentd namespace: kube-system --- apiVersion: rbac.authorization.k8s.io/v1beta1 kind: ClusterRole metadata: name: fluentd namespace: kube-system rules: - apiGroups: - ' 'వనరులు: - పాడ్‌లు - నేమ్‌స్పేస్‌ల క్రియలు: - పొందండి - జాబితా - చూడండి --- రకం: క్లస్టర్‌రోల్‌బైండింగ్ ఎపివర్షన్: rbac.authorization.k8s.io/v1beta1 మెటాడేటా: పేరు: ఫ్లూయెంట్ రోల్‌రిఫ్: రకం: క్లస్టర్‌రోల్ పేరు: నిష్ణాతులైన ఎపిగ్రూప్: rbac.authorization .k8s.io సబ్జెక్టులు: - రకం: సర్వీస్ అకౌంట్ పేరు: ఫ్లూయెంట్ నేమ్‌స్పేస్: కుబ్-సిస్టమ్

సృష్టించు: ub kubectl create -f kubernetes / fluentd-rbac.yaml
ఇప్పుడు, మేము డెమోన్‌సెట్‌ను సృష్టించవచ్చు.

2. ఫ్లూయెంట్-డెమోన్సెట్.యామ్ల్

apiVersion: పొడిగింపులు / v1beta1 రకం: డెమోన్‌సెట్ మెటాడేటా: పేరు: నిష్ణాతులైన నేమ్‌స్పేస్: కుబ్-సిస్టమ్ లేబుల్స్: k8s-app: ఫ్లూయెంట్-లాగింగ్ వెర్షన్: v1 kubernetes.io/cluster-service: 'true' spec: template: metadata: labels: k8s -app: fluentd-logging version: v1 kubernetes.io/cluster-service: 'true' spec: serviceAccount: fluentd serviceAccountName: fluentd సహనం: - key: node-role.kubernetes.io/master effect: NoSchedule containers: - name: నిష్ణాతులైన చిత్రం: నిష్ణాతులు / నిష్ణాతులు-కుబెర్నెట్స్-డీమోన్సెట్: v1.3-డెబియన్-సాగే శోధన env: - పేరు: FLUENT_ELASTICSEARCH_HOST విలువ: 'elasticsearch.logging' - పేరు: FLUENT_ELASTICSEARCH_PORT విలువ: '9200' - పేరు: FLUSENT పేరు: FLUENT_UID విలువ: '0' వనరులు: పరిమితులు: జ్ఞాపకశక్తి: 200Mi అభ్యర్థనలు: cpu: 100m మెమరీ: 200Mi వాల్యూమ్‌మౌంట్లు: - పేరు: varlog మౌంట్‌పాత్: / var / log - name: varlibdockercontainers mountPath: / var / lib / docker / containers readOnly : true terminationGracePeriodSeconds: 30 వాల్యూమ్‌లు: - పేరు: వర్లాగ్ హోస్ట్‌పాత్: మార్గం: / var / log - name: varlibdockercontainers హోస్ట్‌పాత్: మార్గం: / var / lib / docker / containers

మీ సాగే శోధన వాతావరణానికి అనుగుణంగా FLUENT_ELASTICSEARCH_HOST & FLUENT_ELASTICSEARCH_PORT ని నిర్వచించారని నిర్ధారించుకోండి

మోహరించేందుకు:

ub kubectl create -f kubernetes / fluentd-daemonset.yaml

లాగ్లను ధృవీకరించండి

ub kubectl logs fluentd-lwbt6 -n kube-system | grep కనెక్షన్

లాగ్స్ లోపల ఫ్లూయెంట్ సాగే శోధనకు కనెక్ట్ కావడాన్ని మీరు చూడాలి:

దశ 4: కిబానాలో కుబెర్నెట్ డేటాను విజువలైజ్ చేయండి

1. అమెజాన్ ES కన్సోల్ నుండి పొందడానికి కిబానా డాష్‌బోర్డ్ URL కి కనెక్ట్ చేయండి
2. కిబానాలో ఫ్లూయెంట్ సేకరించిన లాగ్‌లను చూడటానికి, “మేనేజ్‌మెంట్” క్లిక్ చేసి, ఆపై “కిబానా” క్రింద “ఇండెక్స్ సరళి” ఎంచుకోండి.
3. డిఫాల్ట్ ఇండెక్స్ నమూనాను ఎంచుకోండి (లాగ్‌స్టాష్- *)
4. తదుపరి దశ క్లిక్ చేసి, “టైమ్ ఫిల్టర్ ఫీల్డ్ నేమ్” (imtimestamp) ను సెట్ చేసి, ఇండెక్స్ నమూనాను సృష్టించు ఎంచుకోండి
5. మీ అప్లికేషన్ లాగ్‌లను చూడటానికి కనుగొనండి క్లిక్ చేయండి
6. విజువలైజ్ క్లిక్ చేసి, విజువలైజేషన్ సృష్టించు ఎంచుకోండి మరియు పై ఎంచుకోండి. క్రింద చూపిన విధంగా క్రింది ఫీల్డ్‌లను పూరించండి.

• • లాగ్‌స్టాష్- * సూచికను ఎంచుకుని, స్ప్లిట్ స్లైస్‌లను క్లిక్ చేయండి
  • సంకలనం - ముఖ్యమైన పదాలు
  • ఫీల్డ్ = కుబెర్నెట్స్.పోడ్_నేమ్.కీవర్డ్
  • పరిమాణం - 10

7. మరియు మార్పులను వర్తించండి

అంతే! కిబానాలో సృష్టించిన కుబెర్నెట్ పాడ్‌ను మీరు ఈ విధంగా చూడవచ్చు.

సారాంశం :

లాగ్ విశ్లేషణ ద్వారా పర్యవేక్షణ అనేది ఏదైనా అనువర్తన విస్తరణలో కీలకమైన అంశం. ఒకే క్లస్టర్‌ను ఒకే డాష్‌బోర్డ్ నుండి పర్యవేక్షించడానికి మీరు కుబెర్నెట్‌లోని మీ క్లస్టర్‌లో లాగ్‌లను సేకరించి ఏకీకృతం చేయవచ్చు. మా ఉదాహరణలో, కుబెర్నెట్ క్లస్టర్ మరియు అమెజాన్ ఇఎస్‌ల మధ్య మధ్యవర్తిగా నిష్ణాతులుగా వ్యవహరించడాన్ని మేము చూశాము. ఫ్లూయెంట్ లాగ్ సేకరణ మరియు అగ్రిగేషన్‌ను మిళితం చేస్తుంది మరియు లాగ్ అనలిటిక్స్ మరియు డేటా విజువలైజేషన్ కోసం కిబానాతో లాగ్‌లను అమెజాన్ ఇఎస్‌కు పంపుతుంది.

ఫ్లూయెంట్ ఉపయోగించి కుబెర్నెట్ క్లస్టర్‌కు AWS సాగే శోధన లాగింగ్ మరియు కిబానా పర్యవేక్షణను ఎలా జోడించాలో పై ఉదాహరణ చూపిస్తుంది.

మీరు ఈ కుబెర్నెట్ బ్లాగును సంబంధితంగా కనుగొంటే, చూడండి ప్రపంచవ్యాప్తంగా విస్తరించి ఉన్న 250,000 మందికి పైగా సంతృప్తికరమైన అభ్యాసకుల నెట్‌వర్క్‌తో విశ్వసనీయ ఆన్‌లైన్ లెర్నింగ్ సంస్థ ఎడురేకా చేత.

మాకు ప్రశ్న ఉందా? దయచేసి దీన్ని వ్యాఖ్యల విభాగంలో పేర్కొనండి మరియు మేము మిమ్మల్ని సంప్రదిస్తాము.

సేల్స్ఫోర్స్ సర్వీస్ క్లౌడ్ ఇంటర్వ్యూ ప్రశ్నలు