• PV

    apiVersion: v1
    kind: PersistentVolume
    metadata:
      name: postgresql-data-pv
    spec:
      capacity:
        storage: 10Gi
      volumeMode: Filesystem
      accessModes:
        - ReadWriteMany
      storageClassName: postgresql-data
      persistentVolumeReclaimPolicy: Retain
      hostPath:
        path: "/postgresql"

• PVC

    kind: PersistentVolumeClaim
    apiVersion: v1
    metadata:
      name: postgresql-data-pvc
    spec:
      accessModes:
        - ReadWriteMany
      volumeMode: Filesystem
      resources:
        requests:
          storage: 10Gi
      storageClassName: postgresql-data
  

Secret

apiVersion: v1
kind: Secret
metadata:
  name: postgresql-secret
stringData:
  POSTGRES_DB: [DB 이름]
  POSTGRES_USER: [User 이름]
  POSTGRES_PASSWORD: [User PW]
  PGDATA: /var/lib/postgresql/data/pgdata

Deployment

apiVersion: apps/v1
kind: Deployment
metadata:
  name: [Deployment 이름]
spec:
  replicas: 1
  selector:
    matchLabels:
      app: postgresql
      tier: postgresql
  template:
    metadata:
      labels:
        app: postgresql
        tier: postgresql
    spec:
      containers:
      - name: postgres
        image: postgres:13.4
        imagePullPolicy: "IfNotPresent"
        ports:
        - containerPort: 5432
        envFrom:
          - secretRef:
              name: postgresql-secret
        volumeMounts:
        - mountPath: /var/lib/postgresql/data
          name: postgresql-data-pv
      nodeSelector:
        [node]: [Selector]
      volumes:
      - name: postgresql-data-pv
        persistentVolumeClaim:
          claimName: postgresql-data-pvc

Service - nodeport

apiVersion: v1
kind: Service
metadata:
  name: postgresql
spec:
  type: NodePort
  selector:
    app: postgresql
  ports:
  - protocol: TCP
    port: 8080
    targetPort: 5432
    nodePort: 30021

app이 각각의 역할을 함(자신의 고유 역할을 가짐)

• app이 죽으면 같은 기능을 하는 app을 재생성(이름이 같아야 함 → 식별 요소이기 때문)
• 각각 다른 Volume을 가져야 함
• 기능에 맞게 트래픽 분산 → 목적에 따라 해당 Pod에 연결하기 위해 Headless Service
• ex. DB

→ StatefulSet

NFS란?

네트워크에 파일을 저장하는 메커니즘으로 사용자가 원격 컴퓨터에 있는 파일 및 디렉토리에 액세스할 수 있고 해당 파일 및 디렉토리가 로컬에 있는 것처럼 처리하도록 허용하는 분산 파일 시스템

사전 설정 - Volume Mount

• Volume Mount

`sudo mkfs –t ext4 /dev/vdb`

• 생성된 볼륨과 mount할 dir 생성

`mkdir /mysqldb`

• mount

  sudo mount /dev/vdb/ /mysqldb

• 확인

  df -f .

NFS 설치

• Mount할 폴더 이동
• 권한 설정

`chmod -R 755 /mysqldb`

• 소유자 변경

`chown -R 999:999 /mysqldb`

• NFS install

  apt-get install nfs-common nfs-kernel-server rpcbind

• read,write 권한 부여

  vi etc/exports

  → /mysqldb *(rw,sync,no_root_squash) 추가

PV, PVC

• PV

    apiVersion: v1
    kind: PersistentVolume
    metadata:
      name: nfs-pv
    spec:
      capacity:
        storage: 20Gi
      volumeMode: Filesystem
      accessModes:
      - ReadWriteMany
      nfs:
        path: "/mysqldb/mysql"
        server: [ip입력]

• PVC

    apiVersion: v1
    kind: PersistentVolumeClaim
    metadata:
      name: my-nfs-pvc
    spec:
      accessModes:
      - ReadWriteMany
      resources:
        requests:
          storage: 20Gi
  

StatefulSet

apiVersion: v1
kind: ConfigMap
metadata:
  name: database
data:
  MYSQL_ROOT_PASSWORD: 'root'
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: mysql
spec:
  serviceName: mysql
  replicas: 1
  selector:
    matchLabels:
      app: mysql
  template:
    metadata:
      labels:
        app: mysql
    spec:
      containers:
      - image: mysql:8.0.26
        name: mysql
        envFrom: 
        - configMapRef:
            name: database
        ports:
        - containerPort: 3306
          name: mysql
        volumeMounts:
        - name: mysql-persistent-storage
          mountPath: /var/lib/mysql
      volumes:
      - name: mysql-persistent-storage
        persistentVolumeClaim:
          claimName: my-nfs-pvc

Service

apiVersion: v1
kind: Service
metadata:
  name: mysql
  labels:
    app: mysql
spec:
  type: NodePort
  ports:
    - port: 3306
      targetPort: 3306
      nodePort: 30306
  selector: 
    app: mysql

---
apiVersion: v1
kind: Service
metadata:
  name: mysql
spec:
  ports:
    - port: 30306
      targetPort: 3306
  selector:
    app: mysql
  type: LoadBalancer

• In K8S

  → 서비스를 외부에 노출시키는 표준 방법으로 LoadBalancer가 분산 Node들에 정의된 NodePort를 통해 로드밸런싱을 한 후 서비스가 Pod들 사이에서 로드밸런싱을 수행

MetalLB란?

K8S Load Balancer는 클라우드 플랫폼(aws, azure 등) 기본적으로 제공(온프레미스 환경에서는 사용 불가) → metalLB 온프레미스 환경(IDC)에서 사용할 수 있는 서비스 : L2 네트워크(ARP/NDP), L3 네트워크(BGP)로 Load Balancer를 구현

설치 환경

• Ubuntu 20.04
• Kubernetes v1.24.3
• Calico v3.23.3

사전 설정

• Kube-proxy IPVS mode 사용으로 인한 Strict ARP mode enable

  • Kubectl edit configmap -n kube-system kube-proxy

    → strictARP : false → true

설치

• namespace

`kubectl apply -f [https://raw.githubusercontent.com/metallb/metallb/v0.10.2/manifests/namespace.yaml](https://raw.githubusercontent.com/metallb/metallb/v0.10.2/manifests/namespace.yaml)`

• metalLB

`kubectl apply -f [https://raw.githubusercontent.com/metallb/metallb/v0.10.2/manifests/metallb.yaml](https://raw.githubusercontent.com/metallb/metallb/v0.10.2/manifests/metallb.yaml)`

• Secret

  kubectl create secret generic -n metallb-system memberlist --from-literal=secretkey="$(openssl rand -base64 128)" -o yaml --dry-run=client > metallb-secret.yaml

  kubectl apply -f metallb-secret.yaml

• Configmap

  apiVersion: v1
  kind: ConfigMap
  metadata:
    namespace: metallb-system
    name: config
  data:
    config: |
      address-pools:
      - name: default
        protocol: layer2
        addresses:  
        - 외부 IP

https://velog.io/@m_o_o_n/Kubernetes-On-premise-%EC%84%A4%EC%B9%98 → [Kubernetes Cluster 구축 - 3.Kubernetes 설치]까지 참고하여 추가 할 Worker Node Setting

Worker Node 추가

1. Token 생성(Master) kubeadm token create → token 생성
2. Hash 생성(Master) openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //’ → hash 생성
3. Worker Node 추가(추가할 Worker) kubeadm join [ip]:6443 - -token [token 값] \ - -discovert-token-ca-cert-hash [hash값]
4. Kubernetes Cluster 확인 kubectl get nodes -o wide

• Node(1 Master, 4 Worker)
  • CPU : 4core
  • RAM : 8GB
  • OS : Ubuntu20.04

    기초설정

1. root 계정 활성화(Master, Workers) sudo passwd root

   → root 계정 비밀번호 설정

   su - root

   → root 계정 로그인

   vi /etc/ssh/sshd_config

    PermitRootLogin yes
   
    PasswordAuthentication yes

   → root 로그인 해제 및 비밀번호 인증 허용

   service sshd restart

   → sshd 재시작

Kubernetes Cluster 구축

1. 기본 툴 설치(Master, Workers) sudo apt-get update

   sudo apt-get install ca-certificates

   sudo apt-get install curl

   sudo apt-get install gnupg

   sudo apt-get install lsb-release

   sudo apt-get upgrade

2. Docker 설치(Master, Workers) curl -fsSL https:*//download.docker.com/linux/ubuntu/gpg | sudo gpg - -dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg* → Docker 공식 레파지토리에서 패키지를 다운 시 위변조 확인을 위한 GPG 키를 추가

    echo \
    "deb [arch=$(dpkg --print-architecture) signed by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu \
        $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

   → Stable repository 설정

   sudo apt-get update

   sudo apt-get install docker-ce docker-ce-cli containerd.io

   sudo docker version

   sudo systemctl enable docker

   sudo systemctl start docker

   3. Kubernetes 설치(Master, Workers) swapoff -a && sed -i '/swap/s/^/#/' /etc/fstab → kubelet 적절한 동작을 위해서 swap 사용 중지 설정 sudo ufw disable → 방화벽 해제

      cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
      br_netfilter
      EOF
      

   cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 EOF

   `sudo sysctl --system`
   → iptable 설정 
   `sudo apt-get update`
   `sudo apt-get install -y apt-transport-https ca-certificates curl`
   
   `sudo curl -fsSLo /usr/share/keyrings/kubernetes-archive-keyring.gpg https:*//packages.cloud.google.com/apt/doc/apt-key.gpg*`
   → 구글 클라우드 퍼블릭 키 다운로드
   
   ```yaml
   echo "deb [signed-by=/usr/share/keyrings/kubernetes-archive-keyring.gpg] https://apt.kubernetes.io/ kubernetes-xenial main" | sudo tee /etc/apt/sources.list.d/kubernetes.list

   → 쿠버네티스 저장소 추가

   sudo apt-get update

   sudo apt-get install -y kubelet kubeadm kubectl

   sudo apt-mark hold kubelet kubeadm kubectl

   sudo systemctl daemon-reload

   → 쿠버네티스를 서비스 등록

   sudo systemctl restart kubelet

   → 쿠버네티스 서비스 재시작

3. Cluster 구성(Master) kubeadm init → control-plane node 초기화 및 node 구성을 위한 토큰 발행 ex. kubeadm join [ip]:6443 - -token [token값] \ - -discovert-token-ca-cert-hash [hash값]

• error([ERROR CRI]: container runtime is not running: 발생 시 vi /etc/containerd/config.toml → disabled_plugins 항목에서 CRI 제거 system restart containerd

  5. Pod간 통신을 위한 CNI(Container Network Interface) 기반 Pod 네트워크 추가(Master) curl [https://docs.projectcalico.org/manifests/calico.yaml (https://docs.projectcalico.org/manifests/calico.yaml) -O

  kubectl apply -f calico.yaml → calico 적용

  6. Worker node 조인(Workers) kubeadm join [ip]:6443 - -token [token 값] \ - -discovert-token-ca-cert-hash [hash값] → master node에서 발행한 토큰
  • error([ERROR CRI]: container runtime is not running: 발생 시 vi /etc/containerd/config.toml → disabled_plugins 항목에서 CRI 제거 systemctl restart containerd
  7. Kubernetes Cluster 확인 kubectl get nodes -o wide