Keda 공식 홈페이지

KEDA

Keda 구성 시 참고 주소

KEDA | Scaling Deployments, StatefulSets & Custom Resources

과연 kubernetes에서 제공해주는 기본 hpa 말고 개발환경에 맞는 pod 오토스케일링은 안되는 걸까? 라는 호기심으로 시작하여 알아보니 prometheus와 연동하여 prometheus의 지표를 사용하여 오토스케일링 하는 방법이 있어 적용하는 과정입니다 !

Keda란?

• Kubernetes 이벤트 기반 기반 자동 확장 솔루션입니다.
• Kubernetes-based Event Driven Autoscaler
• 모든 K8S에 설치할 수 있으며 HPA(Horizontal Pod Autoscaler)와 같은 표준 쿠버네티스 구성 요소와 함께 작동 할 수 있습니다.
• Kubernetes 클러스터에 KEDA를 설치하면 두 개의 컨테이너가 실행 됩니다.
  • Keda-operator
    • 배포, 상태 저장 집합 또는 롤아웃을 0에서 이벤트 없이 0으로 확장하는 것 ( 사용 X )
  • keda-operator-metrics-apiserver
• KEDA는 큐 길이 또는 스트림 지연과 같은 풍부한 이벤트 데이터를 HPA에 노출하여 스케일 아웃을 유도하는 Kubernetes 메트릭 서버 역할을 합니다.
• 메트릭 제공은 두번째 컨테이너인 keda-operator-metrics-apiserver의 기본 역할입니다.
• CNCF 제단과 MS의 공동 개발

Keda 특징

• 간편한 자동 확장
  • Kubernetes의 모든 워크로드에 풍부한 확장성 제공 무리
• 이벤트 기반
  • 이벤트 기반 애플리케이션을 지능적으로 확장
• 내장 스케일러
  • 다양한 클라우드 플랫폼, 데이터베이스, 메시징 시스템, 원격 측정 시스템, CICD 등을 위한 50개 이상의 내장 스케일러 카탈로그
• 여러 워크로드 유형
  • /scale 하위 리소스가 있는 배포, 작업 및 사용자 지정 리소스와 같은 다양한 워크로드 유형 지원
• 환경 영향 감소
  • 워크로드 스케줄링 및 0으로 확장을 최적화하여 지속 가능한 플랫폼 구축
• 확장 가능
  • 직접 가져오거나 커뮤니티에서 관리하는 스케일러 사용
• 공급업체 불가지론
  • 다양한 클라우드 제공업체 및 제품 전반에 걸친 트리거 지원
• Azure,aws 기능 지원

KEDA 기반으로 확장 할 수 있는 이벤트 소스 중 Prometheus랑 연동하여 스케일

ex) Facade API, node.js 등 CPU와 Memory 지표를 가지고 스케일이 어려운 상황이므로 Prometheus랑 연동하여 스케일

사용목적

• AWS 환경에서 낮은 버전의 Kubernetesd에서의 오토스케일링 문제 해결을 위한 Keda 서비스 도입
• 오토스크일링을 더욱더 세분화해서 하기위해서
• 프로매태우스랑 Keda와 연동하여 생성
• node.js 개발 특성상 CPU,Memory 등 리소스들을 효율적으로 사용하기 때문에 기존 kubernetes에서 지원하는 horizon 지표인 cpu, memory 등으로 스케일링 불가
• prometheus 지표를 활용하여 효율적인 오토스케일링을 위한 작업

설치

• 설치는 helm을 이용하여 keda 설치

helm 설치 가이드

헬름 설치하기

helm으로 설치

~~helm 설치 (mac-os)

$ brew install helm~~

스크립트로 helm 설치

$ curl -fsSL -o get_helm.sh https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3
$ chmod 700 get_helm.sh
$ ./get_helm.sh

$ helm repo add kedacore https://kedacore.github.io/charts
$ helm repo update

~~# keda를 설치할 namespace 생성
$ kubectl create namespace keda 
$ helm install keda kedacore/keda --namespace keda~~

keda 삭제 시 주의사항

scaleobject를 제외하고 패키지만 삭제 시 불필요한 scaleobject들이 남아있어 리소스를 먼저 삭제 후
keda 삭제

for i in $(kubectl get scaledobjects -oname);
do kubectl patch $i -p '{"metadata":{"finalizers":null}}' --type=merge
done

for i in $(kubectl get scaledjobs -oname);
do kubectl patch $i -p '{"metadata":{"finalizers":null}}' --type=merge
done

Keda-helm-repo 받기

$ helm pull keda kedacore/keda
$ tar xvf ~
$ cd keda

Prometheus의 매트릭을 이용하는 scale 예시 yaml

apiVersion: v1
kind: Secret
metadata:
  name: keda-prom-secret
  namespace: default
data:
  username: "dXNlcm5hbWUK" # Must be base64
  password: "cGFzc3dvcmQK" # Must be base64
---
apiVersion: keda.sh/v1alpha1
kind: TriggerAuthentication
metadata:
  name: keda-prom-creds
  namespace: default
spec:
  secretTargetRef:
    - parameter: username 
      name: keda-prom-secret
      key: username
    - parameter: password
      name: keda-prom-secret
      key: password
---
apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: facade-api
  namespace: ns
spec:
  pollingInterval: 60
  minReplicaCount: 1
  maxReplicaCount: 10
  scaleTargetRef:
    name: facade-api
  triggers:
    - type: prometheus
      metadata:
        serverAddress:
        metricName: http_requests_total
        threshold: '60'
        query: max(nodejs_active_handles_total{app_kubernetes_io_name=~"facade-api"})
#              sum(rate(http_requests_total{deployment="my-deployment"}[2m]))
#        authModes: "basic"
#      authenticationRef:
#        name: keda-prom-creds

매개변수 목록

• serverAddress
  • 프로메테우스의 주소
• metricName
  • external.metrics.k8s.io API에서 메트릭을 식별하기 위한 이름. 둘 이상의 트리거를 사용하는 경우 모두 metricName이 고유해야함
• query
  • 실행할 쿼리
• threshold
  • 확장을 시작할 값 (소수점 설정도 가능)
• activationThreshold
  • 스케일러를 활성화하기 위한 목표 값
• pollingInterval
  • 각 트리거를 확인하는 간격. 기본으로 default 30초마다 모든 sclaedobject에서 각 트리거 소스를 확인
  • 현재 구조상 짧은 시간에 급격하게 오르는 스파이크 현상에 대비하여 pollingInterval을 설정하여 불필요한 오토스케일링 작업을 방지

실제 사용할 코드

apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: api
  namespace: [오토스케일을 설정하고 싶은 리소스가 존재하는 ns에 설정]
spec:
  pollingInterval: 60 # 초 단위
  minReplicaCount: 1
  maxReplicaCount: 10
  scaleTargetRef:
    name: facade-api
  triggers:
    - type: prometheus
      metadata:
        serverAddress: http://prometheus.[prometheus가 설치된 ns].svc.cluster.local:9090
        metricName: nodejs_active_handles_total
        threshold: '60'
        query: max(nodejs_active_handles_total{app_kubernetes_io_name=~"facade-api"})
# sum(rate(http_requests_total{deployment="my-deployment"}[2m]))
#        authModes: "basic"
#      authenticationRef:
#        name: keda-prom-creds
---
apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: web
  namespace: [오토스케일을 설정하고 싶은 리소스가 존재하는 ns에 설정]
spec:
  pollingInterval: 60
  minReplicaCount: 2
  maxReplicaCount: 10
  scaleTargetRef:
    name: web
  triggers:
    - type: prometheus
      metadata:
        serverAddress: http://prometheus.[prometheus가 설치된 ns].svc.cluster.local:9090
        metricName: nodejs_active_handles_total_web
        threshold: '40'
        query: max(nodejs_active_handles_total{app_kubernetes_io_name=~"web"})

측정항목의 쿼리 값

kubectl get --raw "/apis/external.metrics.k8s.io/v1beta1/namespaces/YOUR_NAMESPACE/YOUR_METRIC_NAME"
kubectl get --raw "/apis/external.metrics.k8s.io/v1beta1/namespaces/[namespace]/nodejs_active_handles_total_web"

여러 ScaledObject가 동일한 메트릭 이름을 가질 때 메트릭을 얻는 방법
kubectl get scaledobject SCALEDOBJECT_NAME -n NAMESPACE -o jsonpath={.metadata.labels}
kubectl get scaledobject web -n NAMESPACE -o jsonpath={.metadata.labels}
kubectl get scaledobject facade-api -n NAMESPACE -o jsonpath={.metadata.labels}

kubectl get --raw "/apis/external.metrics.k8s.io/v1beta1/namespaces/sample-ns/s1-rabbitmq-queueName2?labelSelector=scaledobject.keda.sh%2Fname%3D{ScaledObjectName}"

Facade
kubectl get --raw "/apis/external.metrics.k8s.io/v1beta1/namespaces/[namespace]/s0-prometheus-nodejs_active_handles_total?labelSelector=scaledobject.keda.sh%2Fname%3Dfacade-api"

Web 
kubectl get --raw "/apis/external.metrics.k8s.io/v1beta1/namespaces/[namespace]/s0-prometheus-nodejs_active_handles_total_web?labelSelector=scaledobject.keda.sh%2Fname%3Dweb"

1차 TEST

TEST - 방법

부하TEST를 하기에는 추가적인 비용이 발생하므로 threshold의 값을 임의로 낮추어서 test 진행

• threshold: 40 → threshold: 3

TEST part.1 - 순서

1. threshold: 40 → threshold: 3

   

   

2. interval이 걸려 있으므로 1분 대기

3. 5/3 hpa가 동작 (1분 소요)

   

4. deployment 상태도 1

   

5. 5/3 이므로 hpa 스케일링 시작

6. deploy에서 pod 개수가 순차적으로 증가하는 모습

   

   

7. web의 pod 수가 [1 → 2] , [2 → 3] 증가 후 hpa에서 자원들이 안정화 된 모습 - 1667m/3

   

8. threshold: 3 → threshold: 40으로 늘려 준 뒤

   

   정상적으로 pod들도 내려간 모습

2차 TEST

apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: web 
  namespace: [오토스케일을 설정하고 싶은 리소스가 존재하는 ns에 설정]
spec:
  pollingInterval: 60
  minReplicaCount: 1 
  maxReplicaCount: 10
  scaleTargetRef:
    name: web 
  triggers:
    - type: prometheus 
      metadata:
        serverAddress: http://prometheus.[prometheus가 설치된 ns].svc.cluster.local:9090 
        metricName: nodejs_active_handles_total_web 
        threshold: '20' # 수치를 낮춰서 진행
        query: max(nodejs_active_handles_total{app_kubernetes_io_name=~"web"}) 
#sum(rate(http_requests_total{deployment="my-deployment"}[2m]))
#        authModes: "basic"
#      authenticationRef:
#        name: keda-prom-creds

TEST part.2 - 순서

1. threshold: 40 → threshold: 20

   • MINPODS → 1

   • MAXPODS → 10

     

     

2. interval이 걸려 있으므로 1분 대기

3. ngrinder를 활용하여 부하진행

   

   • nGrinder configuration
     • Agent: 8
     • Vuser per agent: 20
     • Script: frontend/main_stress.groovy
     • Target Host: [target-url]
     • Duration: 00:02:00 (HH:MM:SS)

4. 5/20 hpa가 동작 (1분 소요)

   

5. deployment 상태도 1

   

6. 209/20 이므로 hpa 스케일링 시작

   

   

   kubectl get hpa -n [namespace] -w 시 web의 TARGETS = 209 prometheus = 209 동일한 쿼리 사용 확인

   

   kubectl get hpa -n [namespace] -w 시 TARGETS = 97 prometheus = 97 동일한 쿼리 사용 확인

   • 정상적으로 부하를 걸기 전 TARGETS 5/20
   • 부하 진행 중 facade-api가 97/60으로 오토스케일링 중 replicas 1 → 2 로 증가
   • web 209/20 이므로 오토스케일링 증가 replicas 1 → 4 로 증가

7. deploy에서 pod 개수가 순차적으로 증가하는 모습

   

8. web의 pod 수가 [1 → 10] 증가 후 hpa에서 자원들이 안정화 된 모습 - 500m/20

   • 동일하게 facade-api도 감소한 모습

     

9. test 마무리 부하 test 종료시 5/20 안정적이므로 rplicas가 내려간 모습 interval 1분으로 인하여 1분이 지난 뒤 감소한 모습

   

   정상적으로 pod들도 내려간 모습

1. OS 보안취약점을 강화하기 위해 스크립트를 돌려야하지만 EKS에 설정된 Launch Template가 변경되지 않으면 스크립트를 적용해도 오토스케일링이 되면 보안설정들이 날라감
2. 골든이미지를 생성하여 Dev, Production 환경등에서 빠른 배포가 가능하다.
3. 스크립트를 사용하요 버전관리 가능

Packer 란

• Packer는 여러 플랫폼에 대해 동일한 시스템 이미지를 작성하기위한 오픈 소스 도구입니다.
• AWS의 AMI, Azure Image, Google Cloud Image 등을 스크립트 파일을 이용해서 생성할 수 있습니다.
• 패커는 Hashicorp에서 만든 인프라 관리 도구 중 하나이다.
• 인프라 자동화 도구 중 하나로 다양한 플랫폼에서 사용가능한 이미지를 동적으로 생성할 수 있게 도와준다.

Packer - Builder

• 빌더로 이미지를 생성할 플랫폼을 지정할 수 있다.
• AWS, VirtualBox 및 VM웨어와 같은 가상 머신의 이미지, 도커 등 컨테이너 이미지도 생성이 가능하다.
• 현재 packer에서 지원하는 목록은
  • 아마존 EC2 AMI
  • 디지털오션
  • 도커
  • 구글 컴퓨트 엔진
  • 오픈스택
  • 패러럴스
  • QEMU
  • 버추얼박스
  • VM웨어
  • Custom
  • Null

Packer - Provisioner

• 이미지를 생성할 때 사용할 빌드 도구를 의미한다.
• 셸스크립트와 같은 원시적인 방법인 앤서블, 셰프와 같은 도구들도 지원한다.
• 현재는 셸스크립트를 통해 보안취약점을 해결한 골든이미지를 만드는 작업입니다.

Packer를 사용하여 AWS AMI 만드는 작업순서

1. Packer 설치 방법

• mac 같은 경우 brew로 손쉽게 설치할 수 있습니다.

    $ brew tap hashicorp/tap
    $ brew install hashicorp/tap/packer

2. AWS 인증 설정하기

• Packer를 사용하기 위해서는 AWS 인증 정보가 필요하다. 따라서 AWS CLI를 사용하여 인증 정보를 설정한다.

    $ aws configure

3. Packer 템플릿 작성하기

• Packer는 JSON 또는 HCL을 사용하여 템플릿을 작성한다. 따라서 JSON을 사용하여 템플릿을 작성하는 방법을 소개.

• 아래는 JSON 방식으로 작성된 template입니다.

    {
      "variables": {
        "aws_region": "us-west-2",
        "ami_name": "my-ami",
        "instance_type": "t2.micro",
        "ssh_username": "ubuntu"
      },
      "builders": [{
        "type": "amazon-ebs",
        "region": "{{user `aws_region`}}",
        "source_ami_filter": {
          "filters": {
            "virtualization-type": "hvm",
            "name": "ubuntu/images/hvm-ssd/ubuntu-focal-20.04-amd64-server-*",
            "root-device-type": "ebs"
          },
          "owners": ["099720109477"],
          "most_recent": true
        },
        "instance_type": "{{user `instance_type`}}",
        "ssh_username": "{{user `ssh_username`}}",
        "ami_name": "{{user `ami_name`}}",
        "tags": {
          "Name": "{{user `ami_name`}}"
        }
      }],
      "provisioners": [
        {
          "type": "shell",
          "inline": [
            "echo 'Hello, World!' > /tmp/hello-world.txt"
          ]
        }
      ]
    }

• variables : 변수를 정의

• builders : AMI를 만들기 위한 설정을 정의

• provisioners : AMI를 생성한 후 실행할 스크립트를 정의

4. Packer로 AMI 만들기

• 다음 명령어를 사용하여 Packer로 AMI를 만든다.

    $ packer build template.json

• template.json 파일을 템플릿으로 사용하여 AMNI를 생성한다.

Packer를 사용하여 골든이미지 생성

1. Template.json 생성

    {
        "variables": {
          "vpc_id": "[VPC 이름]",
          "subnet_id": "[subnet 지정]",
          "aws_region": "ap-northeast-2",
          "ami_name": "EKS-Golden-image-1-{{timestamp}}",
          "instance_type": "c5.xlarge",
          "ssh_username": "ec2-user",
          "iam_instance_profile": "[ec2에 할당할 iam 맵핑],
          "source_ami": "ami-0443a21cb1a8f238e",
          "aws_session_token": "{{env `AWS_SESSION_TOKEN`}}",
          "aws_access_key": "{{env `AWS_ACCESS_KEY_ID`}}",
          "aws_secret_key": "{{env `AWS_SECRET_ACCESS_KEY`}}"
        },
        "builders": [{
          "type": "amazon-ebs",
          "region": "{{user `aws_region`}}",
          "vpc_id": "{{user `vpc_id`}}",
          "subnet_id": "{{user `subnet_id`}}",
          "source_ami": "{{user `source_ami`}}",
          "instance_type": "{{user `instance_type`}}",
          "ssh_username": "{{user `ssh_username`}}",
          "ami_name": "{{user `ami_name`}}",
          "iam_instance_profile": "{{user `iam_instance_profile`}}",
          "ssh_pty": true,
          "tags": {
            "Name": "{{user `ami_name`}}"
          },
          "communicator": "ssh",
          "ssh_interface": "session_manager"
        }],
        "provisioners": [
            {
              "type": "shell",
              "inline": [
                "sudo yum update -y",
                "sudo yum install -y aws-cli",
                "sudo yum install -y amazon-cloudwatch-agent",
                "sudo sed -i 's/^PASS_MAX_DAYS\\s\\+[0-9]\\+/PASS_MAX_DAYS   90/g' /etc/login.defs",
                "sudo sed -i 's/^PASS_MIN_LEN\\s\\+[0-9]\\+/PASS_MIN_LEN   8/g' /etc/login.defs",
                "sudo sh -c 'echo \"password    requisite     pam_cracklib.so try_first_pass retry=3 minlen=8\" >> /etc/pam.d/system-auth'",
                "sudo sh -c 'echo \"password    requisite     pam_cracklib.so try_first_pass retry=3 minlen=8\" >> /etc/pam.d/password-auth'",
                "sudo sed -i 's/#\\s\\+minlen\\s\\+=\\s\\+[0-9]\\+/minlen = 8/g' /etc/security/pwquality.conf",
                "sudo chmod 4750 /bin/su",
                "sudo chown root:wheel /bin/su",
                "sudo sh -c 'echo \"\" > /etc/motd'",
                "sudo sed -i 's/^#Banner\\s\\+none/Banner none/g' /etc/ssh/sshd_config",
                "sudo service sshd restart"
              ]
            }
          ]
      }

2. Packer 명령어

• 다음은 Packer에서 자주 사용하는 명령어 목록입니다.

  • validate : 템플릿 구문 분석을 위한 구문 분석 및 구성 파일 유효성 검사를 실행합니다.

  • build : 이미지 빌드를 시작합니다.

  • inspect : Packer 템플릿 파일의 내용을 검사합니다.

  • fix : Packer 템플릿 파일의 내용을 수정합니다.

  • version : Packer의 버전을 출력합니다.

    Packer 명령어는 다음과 같이 사용합니다.

    packer validate <filename>   # 파일의 유효성을 검사합니다.
    packer build <filename>      # 파일을 빌드합니다.
    packer inspect <filename>    # 파일 내용을 검사합니다.
    packer fix <filename>        # 파일 내용을 수정합니다.
    packer version               # Packer의 버전을 출력합니다.

    $ export AWS_ACCESS_KEY_ID="anaccesskey"
    $ export AWS_SECRET_ACCESS_KEY="asecretkey"
    $ export AWS_DEFAULT_REGION="ap-northeast-2"
    $ packer build template.pkr.hcl

    

설치하기

elasticsearch -> 7.10.2 kibana -> 7.10.2 동일한 버전을 사용하여 설치

사전준비

• relaese 정보 https://github.com/elastic/helm-charts/releases?q=7.10.2&expanded=true

• 7.10.2 version 설치 파일 https://github.com/elastic/helm-charts/archive/refs/tags/v7.10.2.tar.gz

• 기존 7.15 버전에서는 alerting 기능을 사용하려면 라이센스 등록이 필요한데 무료로 alerting 기능을 사용할 수 있는 opendistro 라는 부가 플러그인을 설치하여 alerting 기능을 활성화하는 시나리오입니다. 하지만 이 때 opendistro라는 부가 플러그인을 사용하려면 최소 7.10.2 버전까지만 호환이 되기때문에 버전을 다운그레이드해서 사용했습니다. https://opendistro.github.io/for-elasticsearch-docs/

설치 순서

1. helm 설치
2. Kibana, Elastic에 대한 init continer 생성 (Plugin 설치)하고 본 Cotnaier에 해당 디렉토리 /usr/share/elasticsearch/plugins 공유
3. Slack 연동 & 대시보드 구성

여기서 initcontainer를 설정안하려면 Dockerfile에서 Dockerhub를 이용하여 이미지를 넣는 방법도 있는데 본 실습에서는 initcontainer에 추가하는 방법입니다.

우아한형제들 기술블로그를 보고 참고하였습니다. ELK 셋팅부터 알람까지 | 우아한형제들 기술블로그 나도 가고싶다....

elasticsearch 설치

7.10.2 버전의 elasticsearch와 kibana를 설치하고 압축까지 풀어줍니다.

이 과정에서 중요한 부분은 initcontainer를 통해 플러그인들을 볼륨마운트를 시켜줘야 정상적으로 alerting 기능이 정상 수행합니다. 따라서 helm values.yaml 값을 변경해줘야합니다.

$ cd helm-charts-7.10.2
$ cd elasticsearch

 25 esConfig:
 26   elasticsearch.yml: |
 27     xpack.security.enabled: false

여기서 xpack을 사용해서 alerting 기능을 사용하려면 라이센스를 구매해야합니다. 그래서 false 값을 임의로 넣어줍니다.

139 extraVolumes:
140   - name: elastic-plugin
141     emptyDir: {} 

volume을 생성하고

142 
143 extraVolumeMounts:
144  - name: elastic-plugin
145    mountPath: /usr/share/elasticsearch/plugins

volumeMount 경로를 지정해줍니다.

146 
153   - name: plugin-install
154     image: docker.elastic.co/elasticsearch/elasticsearch:7.10.2
155     command: ['sh', '-c', 'bin/elasticsearch-plugin install --batch https://d3g5vo6xdbdb9a.cloudfront.net/downloads/elasticsearch-plugins/opendistro-a    lerting/opendistro-alerting-1.13.1.0.zip']
156     volumeMounts:
157     - name: elastic-plugin
158       mountPath: "/usr/share/elasticsearch/plugins"

또한 pod 내에 있는 경로를 지정하여 본 컨테이너와의 연동을 위해 지정해주고 command 라인을 이용하여 opendistro plugin을 성공적으로 다운로드 했을 때 본 컨테이너가 실행될 수 있도록 설정하였습니다. 혹시 command라인의 뜻을 궁금해하시는 분들이 있는데 opendistro 사이트에 가면 elasticsearch 설치 방법이 나와있습니다.

```yaml
$ bin/elasticsearch-plugin install https://d3g5vo6xdbdb9a.cloudfront.net/downloads/elasticsearch-plugins/opendistro-alerting/opendistro-alerting-1.13.1.0.zip
이 명령어를 참조하여 initcontainer command에 넣어준 모습입니다.

또한 elasticsearch 의 플러그인 공식 Document에서도 활용하여 넣어준 모습입니다. 여기서 중요한 부분은 initcontainer에도 7.10.2의 동일한 이미지가 들어가야 합니다!!

따라서 elasticsearch의 설치준비는 끝났습니다.

$ helm upgrade --install elasticsearch . \
-n logging \
--set volumeClaimTemplate.resources.requests.storage=20Gi \
--set volumeClaimTemplate.storageClassName=default \
--set antiAffinityTopologyKey=elasticsearch \
--set antiAffinity=soft

storage 용량은 20Gi 스토리지클래스 이름은 default로 설정을 하였습니다.

fluentd 설치

Fluentd는 0.3.2의 버전을 사용했습니다. fluentd의 공식 repo에서 가져왔습니다.

또한 시간기반의 로그를 뽑아와야하기때문에 config를 수정해줍니다.

$ helm upgrade --install fluentd . -n efk

<source>
106       @id fluentd-containers.log
107       @type tail
108       path /var/log/containers/*.log
109       pos_file /var/log/containers.log.pos
110       tag raw.kubernetes.*
111       read_from_head true
112       <parse>
113         @type multi_format
114         <pattern>
115           format json
116           time_key time
117           time_format %Y-%m-%dT%H:%M:%S.%NZ
118           keep_time_key true
119         </pattern>
120         <pattern>
121           format /^(?<time>.+) (?<stream>stdout|stderr) [^ ]* (?<log>.*)$/
122           time_format %Y-%m-%dT%H:%M:%S.%N%:z
123           keep_time_key true
124         </pattern>
125       </parse>
126       emit_unmatched_lines true
127     </source>

time 부분에 true라고 설정을 해줘야합니다.

kibana 설치

Kibana 또한 elasticsearch 7.10.2의 helm-chart에 있습니다. 따라서 설치 방법은 동일합니다.

kibana helm 공식 repo입니다.

helm-charts/values.yaml at main · elastic/helm-charts

HTTPS 통신을 위해 secret을 생성해야합니다.(crt,key 값을 이용하여)

여기서 crt와 key 값은 구하셔서 넣어야 합니다.

$ kubectl create -n logging secret tls efk-tls-ingress --key private.key --cert certificate.crt

$ cd helm-charts-7.10.2
$ cd kibana

16 envFrom:
 17  - secretRef:
 18      name: [생성한 secrets 이름]
        -> ingress를 하기위한 secret 등록

89 extraVolumes:
 90  - name: kibana-plugin
 91    emptyDir: {}
     볼륨마운트
 93 extraVolumeMounts:
 94  - name: kibana-plugin
 95    mountPath: /usr/share/kibana/plugins

 97 extraContainers: ""
 98 # - name: dummy-init
 99 #   image: busybox
100 #   command: ['echo', 'hey']
101 
102 extraInitContainers:
103  - name: plugin-install
104    image: docker.elastic.co/kibana/kibana:7.10.2
105    command: ['sh', '-c', 'bin/kibana-plugin install https://d3g5vo6xdbdb9a.cloudfront.net/downloads/kibana-plugins/opendistro-alerting/opendistroAlertingKibana-1.13.0.0.zip']
106    volumeMounts:
107    - name: kibana-plugin
108      mountPath: "/usr/share/kibana/plugins"

ingress:
  enabled: true
  annotations:
     kubernetes.io/ingress.class: nginx
    # kubernetes.io/tls-acme: "true"
  path: /
  hosts:
    - [DNS 주소]
  tls:
    - secretName: [생성한 secrets 이름]
      hosts:
        - [DNS 주소]

elasticsearch에서 설명하듯 비슷한 설정 파일을 가지고 있고 initcontainer를 통해서 플러그인 설치를 진행합니다. 이 때도 volume을 마운트 시켜 플러그인 설치 경로를 지정해 줍니다.

단, helm-Chart를 보시면 extra항목이 차트에 없기 때문에 추가로 넣어줘야합니다.

template → deployment.yaml 수정

helm-charts/deployment.yaml at main · elastic/helm-charts

53       {{- if .Values.extraVolumes }}
54 {{ toYaml .Values.extraVolumes | indent 8 }}
55       {{- end }}

158         {{- if .Values.extraVolumeMounts }}
159 {{ toYaml .Values.extraVolumeMounts | indent 10 }}
160         {{- end }}

공식 helm-chart를 보고서 값을 추가해준 모습입니다. 값을 넣지 않으면 플러그인 설치 시 오류가 납니다.

또한 ingress를 통한 https 통신을 하기위해 secrets 정보를 넣어준 모습이고 ingress 설정한 모습입니다.

ingress를 생성하였기때문에 ingress controller도 설치를 해야합니다.

$ helm upgrade --install ingress-nginx ingress-nginx \
--repo https://kubernetes.github.io/ingress-nginx \
--namespace ingress-nginx \
--set controller.replicaCount=2

$ kubectl get ingress

helm upgrade --install kibana . -n logging \
--set service.type=ClusterIP \
--set service.port=5601

command

$ bin/kibana-plugin install https://d3g5vo6xdbdb9a.cloudfront.net/downloads/kibana-plugins/opendistro-alerting/opendistroAlertingKibana-1.13.0.0.zip

위와 같은 command를 초기화컨테이너에 플러그인 설치를 넣어줍니다

Standalone Kibana Plugin Install

이제 기본적인 설정은 끝났습니다. ingress에 등록된 HOST를 타고 들어가서 Alerting 기능을 설정하는 모습입니다.

설치 완료.

Alert 설정

slack으로 보내는 웹훅 주소 추가

Docker 이미지 사용시 컨테이너의 타임존 트러블 슈팅

FROM [repository-name]:[tag-num]
ENV TZ=Asia/Seoul
RUN ln -snf /usr/share/zoneinfo/$TZ /etc/localtime && echo $TZ > /etc/timezone

Docker 설치

Install Docker Engine on Ubuntu

docker-install.sh

#!/usr/bin/env bash
## INFO: https://docs.docker.com/engine/install/ubuntu/

set -euf -o pipefail

DOCKER_USER=ubuntu

# Install dependencies
sudo apt-get update && sudo apt-get install -y \
  apt-transport-https \
  ca-certificates \
  curl \
  gnupg \
  lsb-release

# Add Docker’s official GPG key
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --yes --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg

# Set up the stable repository
echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu \
  $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

# Install Docker CE
sudo apt-get update && sudo apt-get install -y docker-ce docker-ce-cli containerd.io

# Use Docker without root
sudo usermod -aG docker $DOCKER_USER

chmod u+x docker-install.sh

Helm의 장점

1. 쿠버네티스의 다양한 리소스로 구성된 패키지를 관리하는 쿠버네티스 패키지 매니저이다. ( yum, apt와 같음)

2. helm 차트를 사용하면 복잡한 쿠버네티스 애플리케이션을 쉽고 간단하게 정의할 수 있고 업그레이드가 가능하다.

3. 기존 파일과 내용을 유지한 채 업데이트 가능

4. 원격 repository 등을 통해 애플리케이션을 쉽게 공유할 수 있고 형상관리가 가능하다.

5. Rollbacks기능을 지원 하므로 간단하게 이전의 버전으로 롤백이 가능하다.

6. Helm chart 생성 가이드

$ curl -fsSL -o get_helm.sh https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3
$ chmod 700 get_helm.sh
$ ./get_helm.sh

1. helm-chart 생성

$ helm create [name]

helm 뼈대가 완성되었으므로 작성을 시작하면 된다!

helm-chart 작성 시 imagepullsecrets에서 syntax 오류가 발생하여 기록 중

imagepullsecrets - official docs

차트 개발 팁과 비법

imageCredentials:
  registry: quay.io
  username: someone
  password: sillyness

---
helper template
{{- define "imagePullSecret" }}
{{- with .Values.imageCredentials }}
{{- printf "{\"auths\":{\"%s\":{\"username\":\"%s\",\"password\":\"%s\",\"email\":\"%s\",\"auth\":\"%s\"}}}" .registry .username .password .email (printf "%s:%s" .username .password | b64enc) | b64enc }}
{{- end }}
{{- end }}

---

apiVersion: v1
kind: Secret
metadata:
  name: myregistrykey
type: kubernetes.io/dockerconfigjson
data:
  .dockerconfigjson: {{ template "imagePullSecret" . }}

이 방법 말고 다른 방법을 사용하여 해결 했습니다.

helm-chart

template/deployment.yaml

spec:
    {{- with .Values.imagePullSecrets }}
      imagePullSecrets:
        {{- toYaml . | nindent 8 }}
    {{- end }}

values.yaml

imagePullSecrets:
  - name: ecr-secrets

간단한 방법으로 imagepullsecrets 오류를 해결했습니다. !

추후에 helm syntax에 대해서 자세하게 정리

Helm-chart 작성

• 기본 helm-chart 생성 시

  → Chart.yaml

  → template

  → deployment.yaml

  → hpa.yaml

  → service.yaml

  → 등 다양한 resource.yaml 파일 생성

  → values.yaml

• template

  • helm-chart key값들을 정의하는 역할

• values.yaml

  • 기존 template에 있는 key값들의 values들을 설정하는 역할

비교하기 쉽게 values.yaml과 template에 있는 yaml들을 비교하면서 설명

values.yaml

#replicaCount: 1

image:
  repository: [private-repository] 
  pullPolicy: IfNotPresent
  tag: ["tag-num"]

imagePullSecrets: 
  - name : [private-repository-secret]

containers:
  resources:
    limits:
      cpu: 100m
      memory: 200Mi
    requests:
      cpu: 100m
      memory: 200Mi

service:
  type: LoadBalancer
  ip: "" 
  port: 8080

autoscaling:
  enabled: true
  minReplicas: 1
  maxReplicas: 3
  targetCPUUtilizationPercentage: 50
  targetMemoryUtilizationPercentage: 50

nodeSelector: []

tolerations: []

affinity: {}

template → deployment.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: {{ .Release.Name }}
  labels:
spec:
  selector:
    matchLabels:
      app: {{ .Release.Name }}
  template:
    metadata:
      labels:
        app: {{ .Release.Name }}
    spec:
      containers:
        - name: {{ .Release.Name }}
          image: "{{ .Values.image.repository }}:{{ .Values.image.tag | default .Chart.AppVersion }}"
          imagePullPolicy: {{ .Values.image.pullPolicy }}
          ports:
            - name: {{ .Release.Name }}
              containerPort: 8080
          resources:
            limits:
              memory: {{ .Values.containers.resources.limits.memory }}
              cpu: {{ .Values.containers.resources.limits.cpu }}
            requests:
              memory: {{ .Values.containers.resources.requests.memory }}
              cpu: {{ .Values.containers.resources.requests.cpu }}

예를 들어서 설명을 하면

resources:
  limits:
    memory: {{ .Values.containers.resources.limits.memory }}
    cpu: {{ .Values.containers.resources.limits.cpu }}
  requests:
    memory: {{ .Values.containers.resources.requests.memory }}
    cpu: {{ .Values.containers.resources.requests.cpu }}

memory 부분을 보면 “ {{ .Values.containers.resources.limits.memory }} “

• 노란색 배경의 뜻 : values.yaml에있는
• 회색 배경의 뜻 : values.yaml에 containers 하위 리소스
• 파란색 배경의 뜻 : values.yaml에 containers 하위에 있는 resources
• 빨간색 배경의 뜻 : values.yaml에 containers 하위에 있는 resources의 하위 값

따라서 쉽게 생각하면 ‘ . ‘을 기준으로 values.yaml에 하위리소스 라고 보면 됩니다.

• 또한 {{ .Release.Name }} 의 뜻은 배포할 때 이름을 value 값으로 가져와서 추가적으로 넣어 준다는 뜻 입니다.

들여쓰기에 항상 주의해 주세요.

helm-chart if문 설정

{{- if .Values.autoscaling.enabled }} #만약 values.yaml에서 autoscaling 기능이 enable되어있으면 true, 아니면 false
apiVersion: autoscaling/v2beta2
kind: HorizontalPodAutoscaler
metadata:
  name: {{ .Release.Name }}
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: {{ .Release.Name }}
  minReplicas: {{ .Values.autoscaling.minReplicas }}
  maxReplicas: {{ .Values.autoscaling.maxReplicas }}
  metrics:
    {{- if .Values.autoscaling.targetCPUUtilizationPercentage }}
    - type: Resource
      resource:
        name: cpu
        target:
          type: Utilization
          averageUtilization: {{ .Values.autoscaling.targetCPUUtilizationPercentage }}
    {{- end }}
    {{- if .Values.autoscaling.targetMemoryUtilizationPercentage }}
    - type: Resource
      resource:
        name: memory
        target:
          type: Utilization
          averageUtilization: {{ .Values.autoscaling.targetMemoryUtilizationPercentage }}
    {{- end }}
{{- end }} # if 문 eof

• if문을 작성시 {{- end }} 를 사용하여 마무리를 지어 줘야함.
• {{- if .Values.autoscaling.enabled }} → if문 사용시 values.yaml에서 autoscaling key의 values값이 enabled 시 if문 실행 단, {{- end }} 문까지 ( if 와 end는 helm-chart에서 한쌍으로 이루어짐)

helm-chart with, toYaml, nindent 설정

{{- with .Values.nodeSelector }}
      nodeSelector:
        {{- toYaml . | nindent 8 }}
      {{- end }}
      {{- with .Values.affinity }}
      affinity:
        {{- toYaml . | nindent 8 }}
      {{- end }}
      {{- with .Values.tolerations }}
      tolerations:
        {{- toYaml . | nindent 8 }}
      {{- end }}

• nindent - 의미하는 바는 들여쓰기를 의미 yaml형식이므로 들여쓰기가 중요한데 helm-chart에서는 nindent로 들여쓰기를 사용함 8은 8칸을 띄어쓰기 하겠다는 의미
• toYaml - ‘ toYaml . ’ 은 ‘ . ‘ 현재 yaml을 참조하겠다는 뜻 ‘ . ‘ 대신 다른 yaml을 생성하여 넣을 수 있음
• with도 end와 같이 한쌍

이 외에도 많은 문법이 있지만

• {{ .Values.autoscaling.minReplicas }}
• {{ if.~ }} 와 {{- end }} 를 사용하여 간편하고 이해하기 쉽게 생성가능
  • 개인적으로 위에 2개의 문법을 많이 사용함.

Gitlab 서버에 들어가서 Key 생성
$ sudo ssh-keygen
$ cd
$ cd .ssh
$ chmod 700 *

생성된 키를 Gitlab sshkey 등록

1. Gitlab과 Jenkins 프로젝트 별 연동방법

Repository URL은 Gitlab

2. 웹훅 설정

Secret token을 발급하고 복사한 뒤 Gitlab Webhook 설정

apt-get update
-> apt-get update

sudo apt-get install -y openjdk-8-jdk
-> openjdk 8 설치 원하는 버전으로 설치가능

wget -q -O - https://pkg.jenkins.io/debian/jenkins-ci.org.key | sudo apt-key add -
OK
-> jenkins 저장소 key 다운로드

echo deb http://pkg.jenkins.io/debian-stable binary/ | sudo tee /etc/apt/source.list.d/jenkins.list

sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys FCEF32E745F2C3D5

sudo apt-get install jenkins
Reading package lists... Done
Building dependency tree
Reading state information... Done
Package jenkins is not available, but is referred to by another package.
This may mean that the package is missing, has been obsoleted, or
is only available from another source

E: Package 'jenkins' has no installation candidate

이런 오류가 발생하면

sudo vi /etc/apt/sources.list

deb https://pkg.jenkins.io/debian-stable binary/ -> 추가

sudo apt-get install jenkins

sudo systemctl daemon-reload
sudo systemctl start jenkins
sudo systemctl status jenkins

-------------------------------------------------------

Jenkins 삭제

sudo systemctl stop jenkins
sudo systemctl disable jenkins
sudo yum erase jenkins

sudo rm /etc/init.d/jenkins
sudo rm -rf /var/lib/jenkins
sudo rm -rf /etc/yum.repos.d/jenkins

Docker 설치

sudo apt-get install apt-transport-https ca-certificates curl gnupg-agent software-properties-common

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -

sudo add-apt-repository \
"deb [arch=amd64] https://download.docker.com/linux/ubuntu \
$(lsb_release -cs) \
stable"

sudo apt-get update && sudo apt-get install docker-ce docker-ce-cli containerd.io

-------------
sudo apt-get install apt-transport-https ca-certificates curl gnupg-agent software-properties-common
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
sudo add-apt-repository \
"deb [arch=amd64] https://download.docker.com/linux/ubuntu \
$(lsb_release -cs) \
stable"
sudo apt-get update && sudo apt-get install docker-ce docker-ce-cli containerd.io
docker -v
sudo systemctl enable docker && service docker start
service docker status

Docker 완전 삭제

docker ps -a
~
~
docker stop ~
docker rm ~

docker rmi $(docker images -q)

systemctl stop docker.service
systemctl stop containerd.service

yum list installed | grep docker
~
~
~

yum erase ~

cd /var/lib/docker
rm -rf *

cd /var/run
rm docker.sock docker.pid
rm -rf docker

Docker-compose

sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
sudo chmod +x /usr/local/bin/docker-compose
sudo ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose
docker-compose -version

Gitlab 설치

curl -sS https://packages.gitlab.com/install/repositories/gitlab/gitlab-ce/script.deb.sh | sudo bash
curl 명령어를 이용하여 Gitlab CE 저장소를 우분투 패키지 시스템에 추가한다.

Gitlab CE 설치
우분투 패키지 시스템을 업데이트 하고, apt 명령어를 이용하여 gitlab-ce 패키지를 설치한다.

sudo apt update
sudo apt -y install gitlab-ce

sudo gitlab-ctl reconfigure

sudo cat /etc/gitlab/initial_root_password
a3vxsScmwIZKwGGPwcOs0l30LCs2Ud+VdU8yQVTMQ/A=

/etc/gitlab/gitlab.rb -> gitlab 설정 경로
sudo gitlab-ctl reconfigure
jksudo gitlab-ctl status

"Docker를 설치하고 CentOS 및 RHEL 8/7에서 기본 컨테이너 조작 학습-1 부"

RHEL → java, jenkins, gitlab, docker, docker-compose

java 설치

sudo yum install -y java-1.8.0-openjdk-devel.x86_64
alternatives --config java

docker 설치

yum install -y yum-utils

yum-config-manager \
--add-repo \
https://download.docker.com/linux/centos/docker-ce.repo

yum install https://download.docker.com/linux/centos/7/x86_64/stable/Packages/containerd.io-1.2.6-3.3.el7.x86_64.rpm
yum install docker-ce docker-ce-cli

systemctl enable --now docker
systemctl status docker

sudo chmod 666 /var/run/docker.sock
-> 관리자 권한부여

docker-compose 설치

sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
sudo chmod +x /usr/local/bin/docker-compose
docker-compose --version

jenkins 설치

# 젠킨스 stable 버전 설치파일 다운로드
sudo wget -O /etc/yum.repos.d/jenkins.repo https://pkg.jenkins.io/redhat-stable/jenkins.repo

# 젠킨스 설치 key import
sudo rpm --import https://pkg.jenkins.io/redhat-stable/jenkins.io.key

인터넷이 안되는 경우 인터넷이 되는 같은 운영체제의 VM 생성 후 래포 등록과 키값을 넣어준 뒤
# sudo yumdownload --resolve jenkins

# sudo yumdowonload --resolve git 
-> 젠킨스 서버에도 git 래포 등록시 git 패키지가 없으면 GITHEAD~~~ 라는 오류가 발생함

# 젠킨스 패키지 설치
sudo yum install jenkins -y

sudo systemctl daemon-reload
sudo systemctl start jenkins
sudo systemctl status jenkins

# 젠킨스 설치확인
rpm -qa | grep jenkins

# 젠킨스 비밀번호 확인
docker exec <CONTAINER_NAME> cat /var/jenkins_home/secrets/initialAdminPassword

cat /var/lib/jenkins/secrets/initialAdminPassword

Download and install GitLab

Gitlab 설치

sudo yum -y install curl vim policycoreutils python3-policycoreutils
sudo yum -y install postfix
sudo systemctl enable postfix && sudo systemctl start postfix

curl -s https://packages.gitlab.com/install/repositories/gitlab/gitlab-ce/script.rpm.sh | sudo bash
sudo yum install -y gitlab-ce

sudo vi /etc/gitlab/gitlab.rb

Gitlab 삭제
sudo gitlab-ctl uninstall
sudo gitlab-ctl cleanse
sudo gitlab-ctl remove-accounts
sudo dpkg -P gitlab-ce || sudo yum -y remove gitlab-ce

/opt/gitlab
/var/opt/gitlab
/etc/gitlab
/var/log/gitlab
/etc/yum.repos.d/gitlab 관련파일

RPM으로 수동 설치

1. 기존 도커 삭제
sudo yum remove docker \
                  docker-client \
                  docker-client-latest \
                  docker-common \
                  docker-latest \
                  docker-latest-logrotate \
                  docker-logrotate \
                  docker-engine

2. yum-utils 설치
sudo yum install -y yum-utils

3. docker repo 등록
sudo yum-config-manager \
    --add-repo \
    https://download.docker.com/linux/centos/docker-ce.repo

4. 다운받을 디렉토리 생성 및 압축
mkdir ~/docker
cd ~/docker
yumdownloader --resolve docker-ce
tar cvzf ~/docker.tar.gz *

외부 인터넷과 통신이 안되는 경우

$ sudo yum list installed | grep -i [패키지명]
$ sudo yum erase [패키지명]
$ sudo yumdownload --resolve [패키지명]

이 후 받은 파일을 압축하여 설치 대상의 서버에 설치

• 인터넷이 되는 VM을 생성해서 yumdownload를 사용하여 rpm 패키지를 받은 뒤 scp로 파일 전송하는 과정입니다.

UTF-8 트러블 슈팅

$ sudo yumdownload --resolve langpacks-en glibc-all-langpacks -y
$ localectl set-locale LANG=en_US.UTF-8

로케일 설정을 먼저 해결하고 gitlab을 설치해야지만 gitlab 설치시 오류가 생기지 않고 생성됩니다.

Gitlab 설치

인터넷이 되는 환경에서 yumdownload 명령어를 사용하여 패키지를 받아옵니다.
또한 https://packages.gitlab.com/gitlab 원하는 버전의 gitlab 버전을 찾아 wget으로 가져온다

wget으로 가져온 gitlab을 설치 대상의 서버에 scp로 파일을 전송한 뒤

$ sudo yum install -y [].rpm
$ sudo vi /etc/gitlab/gitlab.rb
-> gitlab 설정 경로

$ sudo gitlab-ctl reconfigure
-> gitlab 설정 갱신

$ sudo cat /etc/gitlab/initial_root_password
a3vxsScmwIZKwGGPwcOs0l30LCs2Ud+VdU8yQVTMQ/A=

$ sudo vim /etc/gitlab/gitlab.rb
external_URL -> 원하는 값으로 변경

Jenkins 설치

인터넷이 되는 환경에서 

# 젠킨스 stable 버전 설치파일 다운로드
sudo wget -O /etc/yum.repos.d/jenkins.repo https://pkg.jenkins.io/redhat-stable/jenkins.repo

# 젠킨스 설치 key import
sudo rpm --import https://pkg.jenkins.io/redhat-stable/jenkins.io.key

설정 후

$ sudo yumdownload --resolve jenkins
$ 받은 jenkins.rpm 파일을 scp로 대상의 서버에 전송
$ sudo yum -y install jenkins.rpm

$ sudo systemctl enable --now jenkins
젠킨스는 Gitlab과 다르게 restart하면 설정값들이 갱신됨

$ cat /var/lib/jenkins/secrets/initialAdminPassword
-> 초기 비밀번호 보는방법

Gitlab과의 pipeline 설정을 위해 git도 위와 같은 방법으로 설치해야함

    또한 인터넷이 안되는 상황이므로 Plugin을 인터넷이 되는 VM에 jenkins와 필요한 plugin을 설치해서
cd /var/liv/jenkins/plugin 경로에서 플러그인을 복사하여 Jenkins 설치 대상 서버에 넣어준다.

또는 jenkins 플러그인을 수동으로 하나하나씩 넣어주는 방법도 있다

-------------

Jenkins 삭제

sudo systemctl stop jenkins
sudo systemctl disable jenkins
sudo yum erase jenkins

sudo rm /etc/init.d/jenkins
sudo rm -rf /var/lib/jenkins
sudo rm -rf /etc/yum.repos.d/jenkins

또한 private 환경에서는 외부에서 plugin을 받아오지 못해 수동으로 넣어줘야합니다.

Jenkins-Plugin site

Jenkins Plugins