• mac os
• apple silicon(m1)
• docker desktop
• minikube
• curl 명령어
• kubectl

1. 실행가이드

1.1 minikube 실행

다음의 명령어를 통해 kubernetes를 기존 docker runtime으로 설치한다.

minikube start --driver=docker

1.2 private docker registry 활성화

minikube addons enable registry

위의 명령어를 입력하면 registry가 사용하는 port번호가 다음과 같이 나온다는 것을 확인할 수 있다.

사용자(본인)가 tls 인증서 없이, image pull을 할 수 있도록 설정한다.

minikube config set insecure-registry "10.0.0.0/24"

curl 명령어를 통해, registry에 접속할 수 있는지 확인하자.

curl http://localhost:49802/v2/_catalog # 49802 대신, 터미널에 출력된 port번호 입력

저장한 image가 존재하지 않기 때문에, 위와 같이 repositories의 값이 []인 것을 확인할 수 있다.

위의 명령어에서 ip주소가 10.0.0.0/24인 이유는 아래의 공식문서 일부 참고.

Because the default service cluster IP is known to be available at 10.0.0.1, users can pull images from registries deployed inside the cluster by creating the cluster with minikube start --insecure-registry "10.0.0.0/24".

2. docker registry test

테스트에 사용된 도구

• intellij
• jib
• jdk1.8
• kubectl
• chrome
• curl

다음의 절차로 docker registry를 test한다.

1. Push image of spring app to the registry
2. Check existence of the image in the registry
3. Deploy the image to kubernetes

이전에 window에서 동일한 작업을 했던 minikube에서 private docker registry 설치 및 활용하기에서 사용한 spring app을 사용하자

2.1 Push image of spring app to the registry

build.gradle의 jib.to.image에서 port번호 변경

plugins {
    id 'org.springframework.boot' version '2.7.3'
    id 'io.spring.dependency-management' version '1.0.13.RELEASE'
    id 'java'
    id 'com.google.cloud.tools.jib' version '3.3.1' // add the plugin if not exist
}


jib {
    to {
        image = "localhost:49802/example" 
    }

    // local docker registry를 사용하기 때문에, http 허용
    allowInsecureRegistries true
}

gradlew가 있는 경로에서 다음의 명령어를 통해, spring app 빌드부터 image push까지 진행한다.

./gradlew jib

2.2 Check existence of the image in the registry

이전에 입력했던 curl 명령어를 다시 한번 입력해서, image가 registry에 올라갔는지 확인하자.

curl http://localhost:49802/v2/_catalog # 49802 대신, 터미널에 출력된 port번호 입력

결과는 다음과 같다.

2.3 Deploy the image to Kubernetes

이전 글에서 사용됐던 deployment.yaml를 사용하자. 이를 위해서는 image가 들어있는 registry에 대한 cluster ip주소를 알아야한다. 다음의 명령어를 통해 ip주소를 알 수 있다.

kubectl get svc -n kube-system

NAME이 registry인 부분의 CLUSTER-IP를 확인하면된다.

이전에 사용했던 deployment.yaml의 spec.containers[].image 값에 반영하면된다. 작성자의 경우 window와 달리 mac에서는 pod에서 OOMKilled가 발생하여 resource.limit.memory 값을 512Mi로 늘렸다.

apiVersion: apps/v1
kind: Deployment
metadata:
  name: myapp
spec:
  selector:
    matchLabels:
      app: myapp
  template:
    metadata:
      labels:
        app: myapp
    spec:
      containers:
        - name: myapp
          image: 10.97.23.247/example
          imagePullPolicy: IfNotPresent
          resources:
            limits:
              memory: "512Mi"
              cpu: "500m"
          ports:
            - containerPort: 8080

---
apiVersion: v1
kind: Service
metadata:
  name: myapp-svc
spec:
  type: NodePort
  selector:
    app: myapp
  ports:
    - port: 80
      targetPort: 8080
      nodePort: 31212

아래의 명령어를 이용하여, service, deployment를 kubernetes에 적용하자.

kubectl apply -f example-app-deployment.yaml

kubectl get pods를 입력하여 spring app이 정상적으로 deploy 됐는지 확인하자.

이번에는 local port(브라우저에서 입력할 port번호)에서 service port로 forwarding하는 방식을 사용하자.

우선 위의 deployment.yaml에 존재하는 service에 따르면 port번호 80으로 traffic이 들어오면 이 요청을 port번호 8080으로 forwarding 하는 것을 알 수 있다. kubernetes 내에서 이 service의 port를 드러낸다.

한편, kubernetes 외부에 있는 우리의 브라우저(e.g. 크롬)는 우리가 정한 port에서 service port로 forwarding해서 사용하면된다. 아래의 명령어를 통해 이를 진행하자.

sudo kubectl port-forward service/myapp-svc 23456:80

위의 명령어에 의해, local port번호 23456(임의로 정한 번호) -> service port번호 80으로 forwarding 되고, 우리가 정의한 service에 의해, service port번호 80 -> container port번호 8080으로 forwarding 된다. 명령어의 결과는 다음과 같다.

이제 브라우저에서 요청을 하자. localhost:23456/ping을 브라우저에서 입력하면 화면에 pong이라는 글자가 나오는 것을 확인할 수 있다.

3. 참고사항(2022-04-08 기준)

registry container에서 image를 영속화하기 위한 volume이 없다. registry deployment의 volume 부분을 확인하고, k9s에서 pvc도 확인했는데 관련된 부분은 존재하지 않았다. 실제로 테스트도 진행했는데, ./gradlew jib를 이용하여 spring app image를 registry에 push 한 후, registry container를 재실행 후, curl로 확인하면 저장된 image가 존재하지 않는다는 것을 확인했다.

./gradlew jib 이후, curl로 다음의 결과를 확인한 후,

k9s를 이용하여 registry container를 재실행을 했다.

이후 다시 curl로 다시 확인하면,

이전에 올렸던 image가 존재하지 않은 것을 확인할 수 있다.

그리고 minikube는 docker container위에서 실행된다. 따라서 컴퓨터를 재부팅할 때, minikube도 다시 시작해야하는데, 문제는 시작할 때마다, registry의 port가 변경된다. 따라서, build.gradle에서 jib.image.to에서 registry port를 계속 변경해야하므로 번거롭다.

minikube에서 제공하는 registry를 사용하는 대신, registry에 대한 deployment와 service를 다음에 직접 작성해야겠다.

local에서 minikube를 이용하여 k8s기반 spring app을 개발하면서, deploy를 위해 spring app에 대한 docker image를 docker hub에 push 하는 것이 마음에 들지 않았다. 모든 것을 local에서 처리하고 싶었기 때문이다. 그래서 docker hub 대신, private registry를 minikube위에 만들고, 해당 resgitry에 있는 image를 동일한 minikube에 deploy 하기로 결심했다.

2. 설치 가이드

2.1 개발 환경

설치 가이드를 안내하기 전에, 작성자가 사용한 개발환경은 다음과 같다.

• minikube v1.28.0
• Window10
• wsl2(ubuntu 22.04.1 LTS)
• kubectl v1.25.3
• docker desktop

2.2 minikube에 private registry 설치

다음의 명령어를 입력해서 minikube에 private registry를 활성화하자.(minikube가 실행되고 있어야함)

minikube addons enable registry

Registry addon with docker driver uses port 49955 please use that instead of default port 5000

작성자의 경우에는 사용할 포트번호로 49955가 나왔다. 앞으로 이 포트번호를 이용하여 가이드를 작성할 예정이다.

client가 http를 통해 image를 pull할 수 있도록 설정한다. service cluster ip는 10.0.0.1에서 사용가능하기 때문에, 이 범주에 있는 ip주소는 http를 사용할 수 있도록 설정한다.(https://minikube.sigs.k8s.io/docs/handbook/registry/#enabling-insecure-registries 참고)

minikube config set insecure-registry "10.0.0.0/24"

curl http://localhost:49955/v2/_catalog 

{"repositories":[]}

kubectl get service --namespace kube-system

작성자의 경우 다음의 결과를 얻었다.

NAME       TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)                  AGE
kube-dns   ClusterIP   10.96.0.10      <none>        53/UDP,53/TCP,9153/TCP   33m
registry   ClusterIP   10.102.107.53   <none>        80/TCP,443/TCP           30m

registry가 minikube 위에서 활성화 되면, registry addon은 minikube의 가상 머신 위에서 포트번호 80을 expose한다는 것을 확인할 수 있다.

3. Spring app build, image build, pushing image to registry

3.1 개발환경

spring app에 사용된 개발환경은 다음과 같다.

• spring boot 2.7.3
• jdk8
• gradle
• jib
• intellij
  

참고로 테스트에 사용한 spring app은 https://github.com/Dev-Hi/minikube-docker-registry-test 에서 확인할 수 있으며, 아주 간단한 spring app이다. 참고로 작성자의 경우 spring app의 프로젝트 경로는 wsl2상에 존재한다.

3.2 jib

jib를 사용하면 spring app build, image build, image를 registry에 push하는 것을 정말 쉽게 할 수 있다. build.gradle에 다음의 내용을 추가하자.

plugins {
    id 'com.google.cloud.tools.jib' version '3.3.1'
}

jib {
    to {
        image = "localhost:49955/example"
    }

    // local docker registry를 사용하기 때문에, http 허용
    allowInsecureRegistries true
}

registry addon에서 제공한 포트번호를 사용한다는 점 잊지말자. 작성이 완료됐다면, 프로젝트 루트 경로에서 다음의 명령어를 입력한다.

./gradlew jib

위의 명령어를 실행이 완료됐다면, spring app image가 정상적으로 registry에 올라갔는지 확인하기 위해 이전에 사용했던 curl 명령어를 다시 사용하자.

curl http://localhost:49955/v2/_catalog

다음의 결과가 나와야 정상이다.

{"repositories":["example"]}

이로써 spring app을 private registry에 올리는 것까지 완료했다. 이제 registry에 있는 spring app을 minikube에 deploy하자

4. Deploying spring app to minikube

편의성을 위해 하나의 yaml파일에서 spring app에대한 deployment, service를 작성했다. 여기서 image에 yourClusterIP가 있는데, 이 부분을 지우고 본인의 registry cluster ip를 작성하면 된다. /example은 삭제하면 안된다. 참고로 이 yml파일은 프로젝트의 deployment/example-app-deployment.yaml에서 확인할 수 있다.

apiVersion: apps/v1
kind: Deployment
metadata:
  name: myapp
spec:
  selector:
    matchLabels:
      app: myapp
  template:
    metadata:
      labels:
        app: myapp
    spec:
      containers:
        - name: myapp
          image: yourClusterIP/example
          imagePullPolicy: IfNotPresent
          resources:
            limits:
              memory: "128Mi"
              cpu: "500m"
          ports:
            - containerPort: 8080

---
apiVersion: v1
kind: Service
metadata:
  name: myapp-svc
spec:
  type: NodePort
  selector:
    app: myapp
  ports:
    - port: 80
      targetPort: 8080
      nodePort: 31212

registry cluster ip를 확인하는 방법은 이전에 registry cluster가 존재한지 확인하기 위해 사용했던 명령어와 동일하다.

kubectl get services --namespace kube-system

작성자의 경우에는 10.102.107.53를 사용할 예정이다. 본인의 cluster ip에 맞게 설정했으면, kubectl명령어를 확인하여 deploy를 하자.

kubectl apply -f example-app-deployment.yaml

deploy가 정상적으로 작성됐는지 확인하기 위해 브라우저를 열고 url을 입력하자. 우리는 minikube에 있는 spring app에 대한 service를 통해 접근할 것이기 때문에, 아래의 명령어를 입력해야한다.

minikube service myapp-svc

그러면 2개의 URL이 출력된다는 것을 확인 할 수 있는데, 여기서 127.0.0.1(localhost)를 포함하는 URL를 복사하고 URL/ping를 브라우저에 입력한다.

http://127.0.0.1:43987/ping

그러면 화면에는 pong이라는 글자가 나오는 것을 확인할 수 있다. 이거와는 별개로 k9s를 이용하면 deployment와 service에 대한 자세한 내용을 쉽게 확인할 수 있다. 이 부분의 내용은 생략한다.

4. PC 재부팅 후, registry 사용

우리의 PC의 전원을 종료할 수 있다. 재부팅 이후의 minikube의 registry는 어떻게 사용할까?? 방법은 간단한데 docker desktop을 실행하고, minikube start명령어를 입력하면 된다.

사용된 코드는 https://github.com/Dev-Hi/minikube-docker-registry-test 에서 확인할 수 있다.

Reference

• https://minikube.sigs.k8s.io/docs/handbook/registry/