jupiter

ETCD 백업 및 복구 테스트

Thu, 09 Oct 2025 07:11:03 GMT

etcd 클러스터가 깨졌을경우 해당 부분을 복구하기 위한 백업 설정

1. ETCD CTL 명령어 전에 알아야 할 정보

항목	설명	확인 명령어
① etcd 엔드포인트 주소 (IP:Port)	etcd가 클러스터 통신용으로 열고 있는 포트 주소	`cat /etc/etcd/etcd.conf` 또는 `ps -ef
② 인증서 경로 (CA / Admin cert / Admin key)	TLS 인증에 필요한 pem 파일들	`/etc/ssl/etcd/ssl/` 또는 `/etc/kubernetes/pki/etcd/`
③ etcdctl API 버전	etcdctl이 사용하는 API 버전	`ETCDCTL_API=3` (항상 v3로 설정)
④ etcd 버전	설치된 etcd 버전 (명령어 옵션 호환성 확인용)	`etcdctl version` 또는 `etcd --version`

2. ETCD 확인

etcd 서비스 확인

root@thk-master-1:~# systemctl status etcd.service 
● etcd.service - etcd
     Loaded: loaded (/etc/systemd/system/etcd.service; enabled; preset: enabled)
     Active: active (running) since Fri 2025-10-03 06:09:13 UTC; 4 days ago
   Main PID: 9085 (etcd)
      Tasks: 12 (limit: 19147)
     Memory: 667.9M (peak: 779.4M)
        CPU: 5h 42min 3.431s
     CGroup: /system.slice/etcd.service
             └─9085 /usr/local/bin/etcd

etcd ps 확인

root@thk-master-1:~# ps -ef | grep etcd
root        9085       1  4 Oct03 ?        05:42:03 /usr/local/bin/etcd
root       16125   15986  7 Oct03 ?        08:25:58 kube-apiserver --advertise-address=172.10.10.200 --allow-privileged=true --anonymous-auth=True --apiserver-count=3 --authorization-mode=Node,RBAC --bind-address=:: --client-ca-file=/etc/kubernetes/ssl/ca.crt --default-not-ready-toleration-seconds=300 --default-unreachable-toleration-seconds=300 --enable-admission-plugins=NodeRestriction --enable-aggregator-routing=False --enable-bootstrap-token-auth=true --endpoint-reconciler-type=lease --etcd-cafile=/etc/ssl/etcd/ssl/ca.pem --etcd-certfile=/etc/ssl/etcd/ssl/node-thk-master-1.pem --etcd-compaction-interval=5m0s --etcd-keyfile=/etc/ssl/etcd/ssl/node-thk-master-1-key.pem --etcd-servers=https://172.10.10.200:2379,https://172.10.10.123:2379,https://172.10.10.202:2379 --event-ttl=1h0m0s --kubelet-client-certificate=/etc/kubernetes/ssl/apiserver-kubelet-client.crt

etcd 실행 파일 확인

root@thk-master-1:~# cat /etc/systemd/system/etcd.service
[Unit]
Description=etcd
After=network.target

[Service]
Type=notify
User=root
EnvironmentFile=/etc/etcd.env
ExecStart=/usr/local/bin/etcd
NotifyAccess=all
Restart=always
RestartSec=10s
LimitNOFILE=40000

[Install]
WantedBy=multi-user.target

etcd 설정 파일 확인

root@thk-master-1:~#  cat /etc/etcd.env
# Environment file for etcd 3.5.16
ETCD_DATA_DIR=/var/lib/etcd
ETCD_ADVERTISE_CLIENT_URLS=https://172.10.10.200:2379
ETCD_INITIAL_ADVERTISE_PEER_URLS=https://172.10.10.200:2380
ETCD_INITIAL_CLUSTER_STATE=existing
ETCD_METRICS=basic
ETCD_LISTEN_CLIENT_URLS=https://172.10.10.200:2379,https://127.0.0.1:2379
ETCD_ELECTION_TIMEOUT=5000
ETCD_HEARTBEAT_INTERVAL=250
ETCD_INITIAL_CLUSTER_TOKEN=k8s_etcd
ETCD_LISTEN_PEER_URLS=https://172.10.10.200:2380
ETCD_NAME=thk-master-1
ETCD_PROXY=off
ETCD_INITIAL_CLUSTER=thk-master-1=https://172.10.10.200:2380,thk-master-2=https://172.10.10.123:2380,thk-master-3=https://172.10.10.202:2380
ETCD_AUTO_COMPACTION_RETENTION=8
ETCD_SNAPSHOT_COUNT=100000
# Flannel need etcd v2 API
ETCD_ENABLE_V2=true

# TLS settings
ETCD_TRUSTED_CA_FILE=/etc/ssl/etcd/ssl/ca.pem
ETCD_CERT_FILE=/etc/ssl/etcd/ssl/member-thk-master-1.pem
ETCD_KEY_FILE=/etc/ssl/etcd/ssl/member-thk-master-1-key.pem
ETCD_CLIENT_CERT_AUTH=true

ETCD_PEER_TRUSTED_CA_FILE=/etc/ssl/etcd/ssl/ca.pem
ETCD_PEER_CERT_FILE=/etc/ssl/etcd/ssl/member-thk-master-1.pem
ETCD_PEER_KEY_FILE=/etc/ssl/etcd/ssl/member-thk-master-1-key.pem
ETCD_PEER_CLIENT_CERT_AUTH=True

# CLI settings
ETCDCTL_ENDPOINTS=https://127.0.0.1:2379
ETCDCTL_CACERT=/etc/ssl/etcd/ssl/ca.pem
ETCDCTL_KEY=/etc/ssl/etcd/ssl/admin-thk-master-1-key.pem
ETCDCTL_CERT=/etc/ssl/etcd/ssl/admin-thk-master-1.pem

# ETCD 3.5.x issue
# https://groups.google.com/a/kubernetes.io/g/dev/c/B7gJs88XtQc/m/rSgNOzV2BwAJ?utm_medium=email&utm_source=footer
ETCD_EXPERIMENTAL_INITIAL_CORRUPT_CHECK=True

ETCD_EXPERIMENTAL_WATCH_PROGRESS_NOTIFY_INTERVAL=5s

백업 스냅샷 확인

root@thk-master-1:~# cd /var/backups/
root@thk-master-1:/var/backups# ll
total 772
drwxr-xr-x  3 root root   4096 Oct  4 00:00 ./
drwxr-xr-x 13 root root   4096 Oct  3 03:45 ../
-rw-r--r--  1 root root  40960 Oct  4 00:00 alternatives.tar.0
-rw-r--r--  1 root root  37736 Oct  3 05:37 apt.extended_states.0
-rw-r--r--  1 root root      0 Oct  4 00:00 dpkg.arch.0
-rw-r--r--  1 root root   1518 Jun 26 12:55 dpkg.diversions.0
-rw-r--r--  1 root root    100 Jun 26 12:52 dpkg.statoverride.0
-rw-r--r--  1 root root 685461 Oct  3 05:37 dpkg.status.0
drw-------  3 root root   4096 Oct  3 06:09 etcd-2025-10-03_06:09:10/
root@thk-master-1:/var/backups# cd etcd-2025-10-03_06\:09\:10/
root@thk-master-1:/var/backups/etcd-2025-10-03_06:09:10# ls
member  snapshot.db

root@thk-master-1:/var/backups/etcd-2025-10-03_06:09:10# cat snapshot.db 
��
  ���������
          }2���0���
                   ������������59�_�
� �D�            CY l �� %�alarmauth
                                   authRevisionauthRolesauthUsersclusterclusterVersion3.5.0keyleasemembers0Z�Z�Z165748cefbffad9d{"id":1609835445636541853,"peerURLs":["https://172.10.10.200:2380"],"name":"thk-master-1"}58c4e282fe1a3b29{"id":6396486423009704745,"peerURLs":["https://172.10.10.123:2380"],"name":"thk-master-2"}7c7b975a758bd6b9{"id":8969929497613424313,"peerURLs":["https://172.10.10.202:2380"],"name":"thk-master-3"}members_removedmeta0        [confState{"voters":[1609835445636541853,6396486423009704745,8969929497613424313],"auto_leave":false}consistent_index
                                                                                                       term
� �D�            CY l �� %�alarmauth
                                   authRevisionauthRolesauthUsersclusterclusterVersion3.5.0keyleasemembers0Z�Z�Z165748cefbffad9d{"id":1609835445636541853,"peerURLs":["https://172.10.10.200:2380"],"name":"thk-master-1"}58c4e282fe1a3b29{"id":6396486423009704745,"peerURLs":["https://172.10.10.123:2380"],"name":"thk-master-2"}7c7b975a758bd6b9{"id":8969929497613424313,"peerURLs":["https://172.10.10.202:2380"],"name":"thk-master-3"}members_removedmeta0        [confState{"voters":[1609835445636541853,6396486423009704745,8969929497613424313],"auto_leave":false}consistent_indeterm
� �D�             6 I ^ u � alarmauth
��@��\��8zU9mH~��f�nroot@thk-master-1:/var/backups/etcd-2025-10-03_06:09:10# ^Csemembersmembers_removedmeta�@$�m

root@thk-master-1:/var/backups/etcd-2025-10-03_06:09:10# etcdutl snapshot status /var/backups/etcd-2025-10-03_06\:09\:10/snapshot.db  -w table
+----------+----------+------------+------------+
|   HASH   | REVISION | TOTAL KEYS | TOTAL SIZE |
+----------+----------+------------+------------+
| 84c36aa6 |        0 |          8 |      20 kB |
+----------+----------+------------+------------+
root@thk-master-1:/var/backups/etcd-2025-10-03_06:09:10#

etcd상태 확인

root@thk-master-1:/var/backups/etcd-2025-10-03_06:09:10# ETCDCTL_API=3 etcdctl --endpoints=https://127.0.0.1:2379 \
> --cacert=/etc/ssl/etcd/ssl/ca
ca-key.pem  ca.pem      
> --cacert=/etc/ssl/etcd/ssl/ca.pem \
> --cert=/etc/ssl/etcd/ssl/admin-thk-master-1
admin-thk-master-1-key.pem  admin-thk-master-1.pem      
> --cert=/etc/ssl/etcd/ssl/admin-thk-master-1
admin-thk-master-1-key.pem  admin-thk-master-1.pem      
> --cert=/etc/ssl/etcd/ssl/admin-thk-master-1.pem \
> --key=/etc/ssl/etcd/ssl/admin-thk-master-1-key.pem \
> endpoint status -w table

root@thk-master-1:/var/backups/etcd-2025-10-03_06:09:10# ETCDCTL_API=3 etcdctl --endpoints=https://127.0.0.1:2379 --cacert=/etc/ssl/etcd/ssl/ca.pem --cert=/etc/ssl/etcd/ssl/admin-thk-master-1.pem --key=/etc/ssl/etcd/ssl/admin-thk-master-1-key.pem endpoint status -w table
+------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
|        ENDPOINT        |        ID        | VERSION | DB SIZE | IS LEADER | IS LEARNER | RAFT TERM | RAFT INDEX | RAFT APPLIED INDEX | ERRORS |
+------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
| https://127.0.0.1:2379 | 165748cefbffad9d |  3.5.16 |   59 MB |     false |      false |         5 |    3494579 |            3494579 |        |
+------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
root@thk-master-1:/var/backups/etcd-2025-10-03_06:09:10#

ETCDCTL_API=3 etcdctl \
  --endpoints=https://172.10.10.200:2379,https://172.10.10.123:2379,https://172.10.10.202:2379 \
  --cacert=/etc/ssl/etcd/ssl/ca.pem \
  --cert=/etc/ssl/etcd/ssl/admin-thk-master-1.pem \
  --key=/etc/ssl/etcd/ssl/admin-thk-master-1-key.pem \
  endpoint status -w table

+----------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
|          ENDPOINT          |        ID        | VERSION | DB SIZE | IS LEADER | IS LEARNER | RAFT TERM | RAFT INDEX | RAFT APPLIED INDEX | ERRORS |
+----------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
| https://172.10.10.200:2379 | 165748cefbffad9d |  3.5.16 |   59 MB |     false |      false |         5 |    4334275 |            4334275 |        |
| https://172.10.10.123:2379 | 58c4e282fe1a3b29 |  3.5.16 |   59 MB |     false |      false |         5 |    4334275 |            4334275 |        |
| https://172.10.10.202:2379 | 7c7b975a758bd6b9 |  3.5.16 |   59 MB |      true |      false |         5 |    4334275 |            4334275 |        |
+----------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
root@thk-master-1:~#

etcd 리더 확인

root@thk-master-1:~# ETCDCTL_API=3 etcdctl   --endpoints=https://172.10.10.200:2379,https://172.10.10.123:2379,https://172.10.10.202:2379   --cacert=/etc/ssl/etcd/ssl/ca.pem   --cert=/etc/ssl/etcd/ssl/admin-thk-master-1.pem   --key=/etc/ssl/etcd/ssl/admin-thk-master-1-key.pem   endpoint status -w table
+----------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
|          ENDPOINT          |        ID        | VERSION | DB SIZE | IS LEADER | IS LEARNER | RAFT TERM | RAFT INDEX | RAFT APPLIED INDEX | ERRORS |
+----------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
| https://172.10.10.200:2379 | 165748cefbffad9d |  3.5.16 |   59 MB |     false |      false |         5 |    4335173 |            4335173 |        |
| https://172.10.10.123:2379 | 58c4e282fe1a3b29 |  3.5.16 |   59 MB |     false |      false |         5 |    4335173 |            4335173 |        |
| https://172.10.10.202:2379 | 7c7b975a758bd6b9 |  3.5.16 |   59 MB |      true |      false |         5 |    4335173 |            4335173 |        |
+----------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+

etcd 클러스터 확인

root@thk-master-1:~# ETCDCTL_API=3 etcdctl \
  --endpoints=https://172.10.10.200:2379,https://172.10.10.123:2379,https://172.10.10.202:2379 \
  --cacert=/etc/ssl/etcd/ssl/ca.pem \
  --cert=/etc/ssl/etcd/ssl/admin-thk-master-1.pem \
  --key=/etc/ssl/etcd/ssl/admin-thk-master-1-key.pem \
  endpoint health -w table
+----------------------------+--------+------------+-------+
|          ENDPOINT          | HEALTH |    TOOK    | ERROR |
+----------------------------+--------+------------+-------+
| https://172.10.10.202:2379 |   true | 8.443392ms |       |
| https://172.10.10.123:2379 |   true | 8.440635ms |       |
| https://172.10.10.200:2379 |   true | 8.528177ms |       |
+----------------------------+--------+------------+-------+
root@thk-master-1:~#

3. 백업 실행

“특정 마스터(leader - master1)에서 스냅샷 저장. 이때 endpoints는 로컬 127.0.0.1:2379 대신 클러스터 내부 IP(ex: 172.20.10.122) 지정하는 게 안전하며, 리더 노드가 아니더라도 etcd 클러스터의 모든 노드는 동일한 데이터 상태이므로 백업 가능하다.”

보통 리더 노드(=현재 etcd에서 주도권을 가진 노드)에서 백업을 뜨면 가장 직관적이지만 꼭 리더를 복제할 필요는 없다. 리더가 잠시 바뀌어도 etcd는 내부적으로 데이터가 동기화되어 있기 때문이다.
127.0.0.1은 “이 컴퓨터 자신”을 뜻하는 주소이지만 etcd의 인증서에는 대부분 127.0.0.1이 아니라 “실제 IP (예: 172.20.10.122)”만 들어있다. 그래서 127.0.0.1로 접속하면 “인증서 이름 불일치”로 에러가 날 수도 있으며 다른 서버에서 백업 스크립트를 실행하려면 127.0.0.1은 통하지 않는다. 그러기 때문에 실제 주소를 지정하는게 안전하다

root@thk-master-1:~# ETCDCTL_API=3 etcdctl --endpoints=https://172.10.10.200:2379 --cacert=/etc/ssl/etcd/ssl/ca.pem --cert=/
etc/ssl/etcd/ssl/node-thk-master-1.pem --key=/etc/ssl/etcd/ssl/node-thk-master-1-key.pem snapshot save /var/backups/etcd-sta
npshot-$(date +%Y%m%d%H%M).db
{"level":"info","ts":"2025-10-09T05:29:56.349161Z","caller":"snapshot/v3_snapshot.go:65","msg":"created temporary db file","path":"/var/backups/etcd-stanpshot-202510090529.db.part"}
{"level":"info","ts":"2025-10-09T05:29:56.355473Z","logger":"client","caller":"v3@v3.5.16/maintenance.go:212","msg":"opened snapshot stream; downloading"}
{"level":"info","ts":"2025-10-09T05:29:56.355540Z","caller":"snapshot/v3_snapshot.go:73","msg":"fetching snapshot","endpoint":"https://172.10.10.200:2379"}
{"level":"info","ts":"2025-10-09T05:29:56.808742Z","logger":"client","caller":"v3@v3.5.16/maintenance.go:220","msg":"completed snapshot read; closing"}
{"level":"info","ts":"2025-10-09T05:29:57.503369Z","caller":"snapshot/v3_snapshot.go:88","msg":"fetched snapshot","endpoint":"https://172.10.10.200:2379","size":"59 MB","took":"1 second ago"}
{"level":"info","ts":"2025-10-09T05:29:57.503496Z","caller":"snapshot/v3_snapshot.go:97","msg":"saved","path":"/var/backups/etcd-stanpshot-202510090529.db"}
Snapshot saved at /var/backups/etcd-stanpshot-202510090529.db

정상 복제인지 확인

root@thk-master-1:~# etcdctl --endpoints=$ETCDCTL_ENDPOINTS snapshot status /var/backups/etcd-stanpshot-202510090529.db -w t
able
Deprecated: Use `etcdutl snapshot status` instead.

+----------+----------+------------+------------+
|   HASH   | REVISION | TOTAL KEYS | TOTAL SIZE |
+----------+----------+------------+------------+
| 10f4598d |  3999901 |       6693 |      59 MB |
+----------+----------+------------+------------+

항목	뜻	쉽게 말하면
HASH	파일 고유의 체크값	백업이 손상되지 않았는지 확인용 번호 (파일의 지문)
REVISION	etcd 내부 데이터 버전	백업 시점의 etcd ‘마지막 저장 번호’ — 높을수록 최신
TOTAL KEYS	저장된 key(데이터) 개수	쿠버네티스 리소스 개수(파드, 서비스, 시크릿 등)
TOTAL SIZE	파일 크기	etcd 데이터 전체 용량 (보통 수십 MB면 정상)

스냅샷 임시 복원

etcdctl snapshot restore 명령어는 백업된 snapshot.db 파일을 풀어서, etcd가 다시 동작할 수 있는 상태로 재구성

ETCDCTL_API=3 etcdctl snapshot restore /var/backups/etcd-stanpshot-202510090529.db --data-dir /tmp/etcd-from-snapshot

etcd가 실제로 동작할 때 쓰는 내부 데이터 구조로 바뀜

/tmp/etcd-from-snapshot/
└── member/
    ├── snap/    ← etcd 스냅샷(데이터 저장)
    └── wal/     ← WAL 로그(트랜잭션 로그)

임시 ETCD 실행

백업한 etcd 파일로 단일 etcd를 띄워서 실행 (포트 23790으로 변경)
/tmp/etcd-from-snapshot 폴더는 스냅샷 파일(snapshot.db)을 풀어서 만든 완전히 별도의 데이터 디렉토리

"msg":"serving client traffic insecurely","address":"127.0.0.1:23790"
"msg":"skipped leadership transfer for single voting member cluster"

"127.0.0.1:23790" → 로컬에서만 열림 (외부 접근 불가)
"single voting member cluster" → 혼자서만 구성된 단일 노드

운영 환경에 영향이 없는 이유

다른 포트에서 동작 → 운영 etcd의 2379/2380 포트와 겹치지 않음
다른 데이터 디렉터리 → 원본 파일 읽기/쓰기 안 함
다른 클러스터 ID → raft cluster와 통신 불가
로컬(127.0.0.1)에서만 리스닝 → 외부 네트워크 연결 불가

etcd --data-dir /tmp/etcd-from-snapshot \
  --listen-client-urls http://127.0.0.1:23790 \
  --advertise-client-urls http://127.0.0.1:23790

전체 키 확인

root@thk-master-1:~# ETCDCTP_API=3 etcdctl --endpoints=http://127.0.0.1:23790 get "" --prefix --keys-only

ETCDCTL_API=3 etcdctl \
  --endpoints=http://127.0.0.1:23790 \
  get /registry/ --prefix --keys-only

etcd 백업 안에 실제 쿠버네티스 리소스(특히 Pod) 데이터가 들어 있는지 확인하는 실무적인 검증 작업
etcd는 쿠버네티스의모든 상태를 key-value 형태로 저장하는 데이터베이스. 이때 모든 데이터는 /registry/라는 경로 아래에 저장함

Kubernetes 리소스	etcd key 경로 예시
Namespace	`/registry/namespaces/default`
Pod	`/registry/pods//`
Service	`/registry/services/specs//`
ConfigMap	`/registry/configmaps//`
Secret	`/registry/secrets//`

root@thk-master-1:~# ETCDCTL_API=3 etcdctl --endpoints=http://127.0.0.1:23790   get /registry/ --prefix --keys-only > etcd-keys.txt
root@thk-master-1:~# ls
certs_new.sh  etcd-keys.txt  kube-manifests
root@thk-master-1:~# grep "/registry/pods/" etcd-keys.txt
/registry/pods/auth/keycloak-694fc9d848-2h2zl
/registry/pods/auth/keycloak-694fc9d848-xn6d9
/registry/pods/auth/mariadb-keycloak-0
/registry/pods/auth/oauth2-proxy-admin-76db4f4f7d-d4ll5
/registry/pods/auth/oauth2-proxy-admin-76db4f4f7d-lk54g
/registry/pods/auth/oauth2-proxy-user-55bbf8579b-5cxm7
/registry/pods/auth/oauth2-proxy-user-55bbf8579b-fbtjt
/registry/pods/auth/oauth2-redis-admin-0
/registry/pods/auth/oauth2-redis-admin-1
/registry/pods/auth/oauth2-redis-admin-2
/registry/pods/auth/oauth2-redis-admin-3
/registry/pods/auth/oauth2-redis-admin-4
/registry/pods/auth/oauth2-redis-admin-5
/registry/pods/auth/oauth2-redis-user-0
/registry/pods/auth/oauth2-redis-user-1
/registry/pods/auth/oauth2-redis-user-2
/registry/pods/auth/oauth2-redis-user-3
/registry/pods/auth/oauth2-redis-user-4

pod정보와 동일함

root@thk-deploy:~# k get po -n auth
NAME                                                    READY   STATUS      RESTARTS       AGE
keycloak-694fc9d848-2h2zl                               1/1     Running     0              5d2h
keycloak-694fc9d848-xn6d9                               1/1     Running     0              5d2h
mariadb-keycloak-0                                      1/1     Running     0              5d2h
oauth2-proxy-admin-76db4f4f7d-d4ll5                     1/1     Running     5 (5d2h ago)   5d2h
oauth2-proxy-admin-76db4f4f7d-lk54g                     1/1     Running     4 (5d2h ago)   5d2h
oauth2-proxy-user-55bbf8579b-5cxm7                      1/1     Running     5 (5d2h ago)   5d2h
oauth2-proxy-user-55bbf8579b-fbtjt                      1/1     Running     5 (5d2h ago)   5d2h
oauth2-redis-admin-0                                    1/1     Running     0              5d2h
oauth2-redis-admin-1                                    1/1     Running     0              5d2h
oauth2-redis-admin-2                                    1/1     Running     0              5d2h
oauth2-redis-admin-3                                    1/1     Running     0              5d2h
oauth2-redis-admin-4                                    1/1     Running     0              5d2h

4.백업자동화

스크립트

#!/bin/bash
# ===============================================
# etcd 자동 백업 스크립트
# -----------------------------------------------
# 1. etcdctl 환경 변수 설정 (TLS 인증 사용)
# 2. 스냅샷 파일 생성 (날짜 기반 이름)
# 3. 7일 초과 백업 파일 자동 삭제
# -----------------------------------------------
# 사용 위치: /usr/local/bin/etcd-backup.sh
# 실행 방법: sudo bash /usr/local/bin/etcd-backup.sh
# Cron 예시 : 매일 새벽 3시 자동 백업
# 0 3 * * * /usr/local/bin/etcd-backup.sh
# ===============================================

set -e  # 오류 발생 시 즉시 종료

# etcdctl 환경 변수 설정
export ETCDCTL_API=3
export ETCDCTL_CACERT=/etc/ssl/etcd/ssl/ca.pem
export ETCDCTL_CERT=/etc/ssl/etcd/ssl/admin-thk-master-1.pem  # ★각 노드에 맞게 변경 필요
export ETCDCTL_KEY=/etc/ssl/etcd/ssl/admin-thk-master-1-key.pem   # ★각 노드에 맞게 변경 필요
export ETCDCTL_ENDPOINTS="https://172.10.10.200:2379,[https://172.10.10.123:2379](https://172.10.10.123:2379/),[https://172.10.10.202:2379](https://172.10.10.202:2379/)"

# 백업 저장 경로 및 파일명 지정
BACKUP_DIR="/var/backups"
TIMESTAMP=$(date +%Y%m%d%H%M)
SNAPSHOT_FILE="$BACKUP_DIR/etcd-snapshot-$TIMESTAMP.db"

# 백업 실행
echo "[$(date '+%Y-%m-%d %H:%M:%S')] Starting etcd snapshot backup..." >> /var/log/etcd_backup.log
etcdctl snapshot save "$SNAPSHOT_FILE" >> /var/log/etcd_backup.log 2>&1
echo "[$(date '+%Y-%m-%d %H:%M:%S')] Backup completed: $SNAPSHOT_FILE" >> /var/log/etcd_backup.log

# 오래된 백업(7일 이상) 삭제
find "$BACKUP_DIR" -maxdepth 1 -type f -name "etcd-snapshot-*.db" -mtime +7 -exec rm -f {} \;
echo "[$(date '+%Y-%m-%d %H:%M:%S')] Old backups deleted (older than 7 days)" >> /var/log/etcd_backup.log

하나의 노드에만 적용시키고 싶을 경우 (굳이3개다 할필요 없으니까…)

set -e  # 오류 발생 시 즉시 종료

# etcdctl 환경 변수 설정
export PATH=/usr/local/bin:/usr/bin:/bin
export ETCDCTL_API=3
export ETCDCTL_CACERT=/etc/ssl/etcd/ssl/ca.pem
export ETCDCTL_CERT=/etc/ssl/etcd/ssl/admin-thk-master-1.pem  # ★각 노드에 맞게 변경 필요
export ETCDCTL_KEY=/etc/ssl/etcd/ssl/admin-thk-master-1-key.pem   # ★각 노드에 맞게 변경 필요
export ETCDCTL_ENDPOINTS="https://172.10.10.200:2379"

# 백업 저장 경로 및 파일명 지정
BACKUP_DIR="/var/backups"
TIMESTAMP=$(date +%Y%m%d%H%M)
SNAPSHOT_FILE="$BACKUP_DIR/etcd-snapshot-$TIMESTAMP.db"

# 백업 실행
echo "[$(date '+%Y-%m-%d %H:%M:%S')] Starting etcd snapshot backup..." >> /var/log/etcd_backup.log
etcdctl snapshot save "$SNAPSHOT_FILE" >> /var/log/etcd_backup.log 2>&1
echo "[$(date '+%Y-%m-%d %H:%M:%S')] Backup completed: $SNAPSHOT_FILE" >> /var/log/etcd_backup.log

# 오래된 백업(7일 이상) 삭제
find "$BACKUP_DIR" -maxdepth 1 -type f -name "etcd-snapshot-*.db" -mtime +7 -exec rm -f {} \;
echo "[$(date '+%Y-%m-%d %H:%M:%S')] Old backups deleted (older than 7 days)" >> /var/log/etcd_backup.log

서비스 파일 생성

systemd는 “책임 분리 원칙”을 따른다
- .service = 무엇을 실행할지 정의
- .timer = 언제 실행할지 정의
  
  타이머가 실제 작업을 실행하려면 항상 서비스 유닛을 호출해야 한다
```
[타이머]
OnCalendar=*-*-* 00:00
↓
[systemd가 자동 실행]
systemctl start etcd-backup.service
↓
[서비스]
ExecStart=/usr/local/bin/etcd_backup.sh
```
service1 : /etc/systemd/system/etcd-backup.service

[Unit]
Description=etcd Snapshot Backup Service
After=network-online.target

[Service]
Type=oneshot
# etcd 백업 스크립트 경로 — 실제 위치에 맞게 수정
ExecStart=/usr/local/bin/etcd_backup.sh
# 로그가 어디로 가는지 명시 (선택) -- 로그가 꽉 찰수 있음 >>> 아래에 추가 설정 적용
StandardOutput=append:/var/log/etcd_backup.log
StandardError=append:/var/log/etcd_backup.log

service2: /etc/systemd/system/etcd-backup.timer

[Unit]
Description=Timer for etcd Snapshot Backup (runs at 00:00 and 12:00)

[Timer]
# 매일 00:00:00 과 12:00:00에 실행
OnCalendar=*-*-* 00:00:00
OnCalendar=*-*-* 12:00:00
# 시스템이 꺼져 있다가 켜져도 누락된 백업을 바로 수행
Persistent=true
# 서비스 파일 연결 (자동 인식되지만 명시적으로 작성 가능)
Unit=etcd-backup.service

[Install]
WantedBy=timers.target

적용

root@thk-master-1:~# vi /etc/systemd/system/etcd-backup.service
root@thk-master-1:~# vi /etc/systemd/system/etcd-backup.timer
root@thk-master-1:~# systemctl daemon-reload
root@thk-master-1:~# systemctl enable etcd-backup.timer 
Created symlink /etc/systemd/system/timers.target.wants/etcd-backup.timer → /etc/systemd/system/etcd-backup.timer.
root@thk-master-1:~# systemctl start etcd-backup.timer 
root@thk-master-1:~# systemctl status etcd
etcd-backup.service  etcd-backup.timer    etcd.service         
root@thk-master-1:~# systemctl status etcd-backup.timer 
● etcd-backup.timer - Timer for etcd Snapshot Backup (runs at 00:00 and 12:00)
     Loaded: loaded (/etc/systemd/system/etcd-backup.timer; enabled; preset: enabled)
     Active: active (waiting) since Thu 2025-10-09 06:34:44 UTC; 14s ago
    Trigger: Thu 2025-10-09 12:00:00 UTC; 5h 25min left
   Triggers: ● etcd-backup.service

Oct 09 06:34:44 thk-master-1 systemd[1]: Started etcd-backup.timer - Timer for etcd Snapshot Backup (runs at>
lines 1-7/7 (END)

root@thk-master-1:~# systemctl daemon-reload
root@thk-master-1:~# systemctl start etcd-backup.service
root@thk-master-1:~# systemctl status etcd-backup.service
○ etcd-backup.service - etcd Snapshot Backup Service
     Loaded: loaded (/etc/systemd/system/etcd-backup.service; static)
     Active: inactive (dead) since Thu 2025-10-09 06:45:23 UTC; 3s ago
TriggeredBy: ● etcd-backup.timer
    Process: 3450601 ExecStart=/usr/local/bin/etcd_backup.sh (code=exited, status=0/SUCCESS)
   Main PID: 3450601 (code=exited, status=0/SUCCESS)
        CPU: 418ms

Oct 09 06:45:22 thk-master-1 systemd[1]: Starting etcd-backup.service - etcd Snapshot Backup Service...
Oct 09 06:45:23 thk-master-1 systemd[1]: etcd-backup.service: Deactivated successfully.
Oct 09 06:45:23 thk-master-1 systemd[1]: Finished etcd-backup.service - etcd Snapshot Backup Service.

실행 실패시 자세한 에러 로그 확인 : cat /var/log/etcd_backup.log | tail -n 50

5. 백업 로그 삭제 주기 설정

/var/log/etcd_backup.log 로그 파일이 무한히 커지는 걸 방지하기 위하여 로테이트 정책을 설정 /etc/logrotate.d/ 디렉토리는 “각 로그 파일의 회전(주기·보관·압축 등 정책)”을 정의하는 설정들이 모여 있는 곳이다
- 최근 N일치 로그만 유지 (예: 7일)
- 오래된 로그는 자동 삭제
- systemd timer 로 백업이 실행될 때마다 로그 append 하더라도 문제없게 관리

root@thk-master-1:/etc/logrotate.d# pwd
/etc/logrotate.d
root@thk-master-1:/etc/logrotate.d# ll
total 56
drwxr-xr-x   2 root root 4096 Jun 26 12:54 ./
drwxr-xr-x 111 root root 4096 Oct  5 05:24 ../
-rw-r--r--   1 root root  120 Feb  5  2024 alternatives
-rw-r--r--   1 root root  126 Apr 22  2022 apport
-rw-r--r--   1 root root  173 Mar 22  2024 apt
-rw-r--r--   1 root root   91 Jan  4  2024 bootlog
-rw-r--r--   1 root root  130 Oct 14  2019 btmp
-rw-r--r--   1 root root  144 May 19 20:00 cloud-init
-rw-r--r--   1 root root  112 Feb  5  2024 dpkg
-rw-r--r--   1 root root  248 Mar 22  2024 rsyslog
-rw-r--r--   1 root root  270 Apr  2  2024 ubuntu-pro-client
-rw-r--r--   1 root root  209 May 16  2023 ufw
-rw-r--r--   1 root root  235 Feb 12  2024 unattended-upgrades
-rw-r--r--   1 root root  145 Oct 14  2019 wtmp

vi /etc/logrotate.d/etcd_backup

/var/log/etcd_backup.log {
    daily                  # 매일 로그 회전
    rotate 7               # 최대 7개 파일 보관 (즉, 1주일치)
    compress               # 오래된 로그를 gzip으로 압축
    delaycompress          # 바로 전 로그는 압축하지 않음 (최근 로그 쉽게 열람 가능)
    missingok              # 파일이 없어도 에러 발생시키지 않음
    notifempty             # 비어 있는 로그는 회전하지 않음
    create 640 root root   # 새 로그 파일 권한
    postrotate
        systemctl reload etcd-backup.timer > /dev/null 2>&1 || true
    endscript
}

디버깅 및 테스트

root@thk-master-1:/etc/logrotate.d# logrotate -fv /etc/logrotate.d/etcd_backup
reading config file /etc/logrotate.d/etcd_backup
acquired lock on state file /var/lib/logrotate/statusReading state from file: /var/lib/logrotate/status
Allocating hash table for state file, size 64 entries
Creating new state
Creating new state
Creating new state
Creating new state
Creating new state
Creating new state
Creating new state
Creating new state
Creating new state
Creating new state
Creating new state
Creating new state
Creating new state
Creating new state
Creating new state
Creating new state
Creating new state
Creating new state
Creating new state
Creating new state
Creating new state

Handling 1 logs

rotating pattern: /var/log/etcd_backup.log  forced from command line (7 rotations)
empty log files are not rotated, old logs are removed
considering log /var/log/etcd_backup.log
error: skipping "/var/log/etcd_backup.log" because parent directory has insecure permissions (It's world writable or writable by group which is not "root") Set "su" directive in config file to tell logrotate which user/group should be used for rotation.
Creating new state

회전 시점	남는 파일 목록	설명
1일차	`etcd_backup.log`, `etcd_backup.log.1`	새로운 로그 생성
2일차	`.log`, `.1`, `.2.gz`	이전 로그 압축
3일차	`.log`, `.1`, `.2.gz`, `.3.gz`
...	...	...
7일차	`.log`, `.1`, `.2.gz`, `.3.gz`, `.4.gz`, `.5.gz`, `.6.gz`, `.7.gz`	7개 유지
8일차	`.log`, `.1`, `.2.gz`, `.3.gz`, `.4.gz`, `.5.gz`, `.6.gz`, `.7.gz` → `.7.gz` 삭제됨	오래된 파일 자동 삭제

harbor debug

Thu, 03 Jul 2025 05:40:58 GMT

서버에서 harbor가 있는지 확인

harbor 프로세스 확인

[root@k8s-worker ~]# ps -ef | grep harbor
10000     218032  217960  0 15:46 ?        00:00:03 /home/harbor/harbor_registryctl -c /etc/registryctl/config.yml
10000     218334  218314  2 15:46 ?        00:00:21 /harbor/harbor_core
10000     218835  218806  2 15:46 ?        00:00:27 /harbor/harbor_jobservice -c /etc/jobservice/config.yml
root      232919   93404  0 16:02 pts/0    00:00:00 grep --color=auto harbor

harbor 도메인 확인 vi/etc/hosts

[root@k8s-worker ~]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.0.68 k8s-master
192.168.0.69 k8s-worker harbor.test.com

find / -name "*harbor.yml*"

harbor port 확인 docker 관련 포트 가능성 높음

[root@k8s-worker ~]# netstat -nltp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      775/sshd
tcp        0      0 127.0.0.1:10248         0.0.0.0:*               LISTEN      823/kubelet
tcp        0      0 127.0.0.1:10249         0.0.0.0:*               LISTEN      1355/kube-proxy
tcp        0      0 127.0.0.1:1514          0.0.0.0:*               LISTEN      217653/docker-proxy
tcp        0      0 127.0.0.1:39243         0.0.0.0:*               LISTEN      216752/containerd
tcp        0      0 127.0.0.1:9099          0.0.0.0:*               LISTEN      2059/calico-node
tcp        0      0 0.0.0.0:111             0.0.0.0:*               LISTEN      1/systemd
tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN      218487/docker-proxy
tcp        0      0 0.0.0.0:179             0.0.0.0:*               LISTEN      2384/bird
tcp6       0      0 :::22                   :::*                    LISTEN      775/sshd
tcp6       0      0 :::10250                :::*                    LISTEN      823/kubelet
tcp6       0      0 :::111                  :::*                    LISTEN      1/systemd
tcp6       0      0 :::80                   :::*                    LISTEN      218502/docker-proxy
tcp6       0      0 :::10256                :::*                    LISTEN      1355/kube-proxy

포트확인을 해야 docker login이 될수있음. (/etc/docker/daemon.json에 등록하지 않았을경우, 해당파일을 확인하는것도 방법임)

이미지 pull에러가 났을경우 테스트

Kubernetes 노드(worker)의 containerd가 Harbor에서 jupiter/nginx:250702 이미지를 받아오라고 요청 : ctr --debug images pull <레지스트리 도메인 / 프로젝트 / 이미지명:태그>

[root@k8s-worker certs]# ctr --debug images pull harbor.test.com/jupiter/nginx:250702
DEBU[0000] fetching                                      image="harbor.test.com/jupiter/nginx:250702"
DEBU[0000] resolving                                     host=harbor.test.com
DEBU[0000] do request                                    host=harbor.test.com request.header.accept="application/vnd.docker.distribution.manifest.v2+json, application/vnd.docker.distribution.manifest.list.v2+json, application/vnd.oci.image.manifest.v1+json, application/vnd.oci.image.index.v1+json, */*" request.header.user-agent=containerd/v1.7.13 request.method=HEAD url="https://harbor.test.com/v2/jupiter/nginx/manifests/250702"
INFO[0000] trying next host                              error="failed to do request: Head \"https://harbor.test.com/v2/jupiter/nginx/manifests/250702\": tls: failed to verify certificate: x509: certificate signed by unknown authority" host=harbor.test.com
ctr: failed to resolve reference "harbor.test.com/jupiter/nginx:250702": failed to do request: Head "https://harbor.test.com/v2/jupiter/nginx/manifests/250702": tls: failed to verify certificate: x509: certificate signed by unknown authority

Harbor 서버가 준 인증서가 신뢰할 수 없는 기관(자체 서명/셀프사인)에서 발급됨. 믿을수 없는 인증서이니 통신 중단
```
tls: failed to verify certificate: x509: certificate signed by unknown authority
```
요청 과정

harbor.test.com 이게 누구냐? → DNS로 IP를 찾음
https://harbor.test.com/... 로 요청을 보냄 (HTTPS)
서버(Harbor)가 인증서를 줌 → harbor.test.com.crt 같은 거
containerd가 인증서를 확인함 → "이거 누가 발급했는지 신뢰할 수 있어?"
"신뢰 못해. 이미지 못 받아옴!"

즉 현재 에러는 harbor에 인증서는 잘 적용되어있으나 containerd쪽에는 인증서가 등록 및 적용이 되어있지 않아 발생한 에러

인증서가 적용되어야 하는 장소

Harbor의 자체 서명 인증서를 신뢰하게 하려면 harbor, containerd 두곳에는 최소한 인증서가 적용되어야 한다.

harbor

위치	의미
`/etc/harbor/ssl/harbor.test.com.crt`	Harbor HTTPS 서버 인증서 (서버에 보여주는 증명서)
`/etc/harbor/ssl/harbor.test.com.key`	Harbor 서버 개인 키
`/etc/harbor/ssl/ca.crt`	(선택) 클라이언트 인증서 체인을 보여줄 때 포함될 CA

containerd

Kubernetes 노드에서 containerd가 Harbor 인증서를 신뢰하게 하려면 여기에 등록해야 함

위치	설명
`/etc/containerd/certs.d/harbor.test.com:443/ca.crt`	`containerd`가 Harbor 서버 인증서를 신뢰하도록 등록하는 위치
containerd의 `/etc/containerd/certs.d/` 하위 디렉토리 이름은 반드시 `<레지스트리 주소(dns):포트>` 형식으로 정확히 일치해야 한다.

ca.crt 방식 vs hosts.toml 방식

/etc/containerd/certs.d/<레지스터리> 하위에 인증서가 있어야 하는데 ca.crt 방식 , hosts.toml 방식 두가지 방식으로 인증서를 처리할 수 있다.

1. ca.crt 방식

보안수준이 높음
ca.crt 방식은 포트까지 정확히 맞는 폴더 이름이 필요함 → 관리가 번거로움 ca.crt 방식은 모든 노드에 일일이 등록해야 해서 귀찮고 오류 가능성 큼

생성 방법

#  디렉토리 생성 (정확한 도메인:포트)
sudo mkdir -p /etc/containerd/certs.d/harbor.test.com:443/

인증서 복사

sudo cp /etc/harbor/ssl/ca.crt /etc/containerd/certs.d/harbor.test.com:443/ca.crt

containerd 재시작

sudo systemctl restart containerd

### 2. hosts.toml 방식
* 도메인만으로 동작 가능
* 설정 한 파일만 작성하면 끝
* 인증서 등록/신뢰 처리 안 해도 됨

[root@k8s-worker ~]# sudo mkdir -p /etc/containerd/certs.d/harbor.test.com/ [root@k8s-worker ~]# cat <

server = "https://harbor.test.com"

[host."https://harbor.test.com"] capabilities = ["pull", "resolve", "push"] skip_verify = true EOF



- `/etc/containerd/config.toml` 수정

vi /etc/containerd/config.toml

154         [plugins."io.containerd.grpc.v1.cri".containerd.untrusted_workload_runtime.options]
155
156     [plugins."io.containerd.grpc.v1.cri".image_decryption]
157       key_model = "node"
158
159     [plugins."io.containerd.grpc.v1.cri".registry]
160       config_path = "/etc/containerd/certs.d"
161

- 설정 확인: `grep -A 5 "registry\]" /etc/containerd/config.toml`
![](https://velog.velcdn.com/images/jupiter-j/post/48301b6a-f983-4039-9acc-43973ee9d69f/image.png)

적용후 에러

[host."https://harbor.test.com"] capabilities = ["pull", "resolve", "push"] skip_verify = true [root@k8s-worker ~]# sudo systemctl restart containerd [root@k8s-worker ~]# ctr images pull harbor.test.com/jupiter/nginx:250702 harbor.test.com/jupiter/nginx:250702: resolving |--------------------------------------| elapsed: 0.3 s total: 0.0 B (0.0 B/s) harbor.test.com/jupiter/nginx:250702: resolving |--------------------------------------| elapsed: 0.5 s total: 0.0 B (0.0 B/s) ctr: failed to resolve reference "harbor.test.com/jupiter/nginx:250702": failed to do request: Head "https://harbor.test.com/v2/jupiter/nginx/manifests/250702": tls: failed to verify certificate: x509: certificate signed by unknown authority


![](https://velog.velcdn.com/images/jupiter-j/post/13bbcfc1-7250-4a3c-9d9d-68e27c20218f/image.png)

- host.toml 변경

[root@k8s-worker harbor.test.com]# cat hosts.toml server = "https://harbor.test.com"

[host."https://harbor.test.com"] capabilities = ["pull", "resolve", "push"] skip_verify = true override_path = true ## containerd 1.7.x에서 중요

containerd버전 문제인지 host.toml skip_verify를 인식하지 못해 결국 시스템에 인증서를 적용시킴 
- 시스템 적용 : `cp /etc/harbor/ssl/ca.crt /etc/pki/ca-trust/source/anchors/harbor-ca.crt`
`cp /etc/harbor/ssl/ca-chain.crt /etc/pki/ca-trust/source/anchors/harbor-ca-chain.cr`
`update-ca-trust`

![](https://velog.velcdn.com/images/jupiter-j/post/994bd441-ca9f-4c62-8778-2c9cfcacef4f/image.png)
https로 pull 성공

### 마스터 노드에서 테스트

[root@k8s-master containerd]# sed -i 's/config_path = ""/config_path = "/etc/containerd/certs.d"/' /etc/containerd/config.toml [root@k8s-master containerd]# grep config_path /etc/containerd/config.toml config_path = "/etc/containerd/certs.d" plugin_config_path = "/etc/nri/conf.d" config_path = "/etc/containerd/certs.d" [root@k8s-master containerd]# [root@k8s-master containerd]# mkdir -p /etc/containerd/certs.d/harbor.test.com [root@k8s-master containerd]# [root@k8s-master containerd]# cat > /etc/containerd/certs.d/harbor.test.com/hosts.toml << 'EOF'

server = "https://harbor.test.com"

[host."https://harbor.test.com"] capabilities = ["pull", "resolve", "push"] skip_verify = true EOF [root@k8s-master containerd]# systemctl restart containerd [root@k8s-master containerd]# sleep 5 [root@k8s-master containerd]# nerdctl pull harbor.test.com/jupiter/nginx:250702 harbor.test.com/jupiter/nginx:250702: resolved |++++++++++++++++++++++++++++++++++++++| manifest-sha256:ccde53834eab53e85b35526a647cdb714ea4521b1ddf5a07b5c8787298d13087: exists |++++++++++++++++++++++++++++++++++++++| config-sha256:9592f5595f2b12c2ede5d2ce9ec936b33fc328225a00b3901b96019e3dd83528: exists |++++++++++++++++++++++++++++++++++++++| elapsed: 0.9 s total: 0.0 B (0.0 B/s) [root@k8s-master containerd]# vi /etc/con conntrackd/ containerd/ [root@k8s-master containerd]# vi /etc/containerd/config.toml c 2 files to edit



nerdctl로 pull 성공
![](https://velog.velcdn.com/images/jupiter-j/post/f21c767c-8c44-4246-a972-b36c270d94ae/image.png)

만약 ctr로 pull이 안될경우:

ctr에 hosts-dir 명시적으로 지정

ctr --debug images pull --hosts-dir /etc/containerd/certs.d harbor.test.com/jupiter/nginx:250702

![](https://velog.velcdn.com/images/jupiter-j/post/a112b24c-1549-4b97-957f-bb3adde8089c/image.png)

harbor

Wed, 02 Jul 2025 08:01:59 GMT

harbor

http환경 생성후, https환경으로 변경

docker 설치

sudo dnf -y install dnf-utils
sudo dnf config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
sudo dnf install -y docker-ce docker-ce-cli containerd.io docker-compose-plugin
sudo systemctl enable --now docker
docker version
docker compose version

harbor 설치

# Harbor 설치 파일 다운로드
wget https://github.com/goharbor/harbor/releases/download/v2.11.0/harbor-online-installer-v2.11.0.tgz
tar xzvf harbor-online-installer-v2.11.0.tgz
cd harbor

# 설정 파일 복사 및 편집
cp harbor.yml.tmpl harbor.yml
vim harbor.yml

      3 # The IP address or hostname to access admin UI and registry service.
      4 # DO NOT use localhost or 127.0.0.1, because Harbor needs to be accessed by external clients.
      5 hostname: harbor.test.com ##변경
...
      7 # http related config
      8 http:
      9   # port for http, default is 80. If https enabled, this port will redirect to https port
     10   port: 80
     11
     12 # https related config 주석처리
     13 #https:
     14 #  # https port for harbor, default is 443
     15 #  port: 443
     16   # The path of cert and key files for nginx
     17 #  certificate: /your/certificate/path
     18 #  private_key: /your/private/key/path
     19   # enable strong ssl ciphers (default: false)
     20   # strong_ssl_ciphers: false

     44 # The initial password of Harbor admin
     45 # It only works in first time to install harbor
     46 # Remember Change the admin password from UI after launching Harbor.
     47 harbor_admin_password: cloud1234 ##변경
     48

     ## log위치도 확인

dns설정

vi /etc/hosts
192.168.0.68 k8s-master
192.168.0.69 k8s-worker harbor.test.com

docker - harbor registry연동 : /etc/docker/daemon.json
- docker login “dns/ip”부분을 등록하지 않으면 로그인시 connect: connection refused 에러가 뜸!

vi /etc/docker/daemon.json

[root@k8s-worker ~]# cat /etc/docker/daemon.json
{
  "insecure-registries": [
    "harbor.test.com:80",min
    "192.168.0.69:80"
  ],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "10m",
    "max-file": "3"
  }
}

sudo systemctl restart docker

[root@k8s-worker docker]# docker info | grep -i insecure
 Insecure Registries:
[root@k8s-worker docker]#

local pc에서 vi /etc/hosts로 ip:dns등록 후 접속 ip접속 dns접속

harbor system서비스 등록

매번 harbor를 실행하기위해 ./install.sh 파일을 실행시키기 귀찮으니 systemd서비스로 관리하도록 하자

sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
sudo chmod +x /usr/local/bin/docker-compose
docker-compose --version

service파일 생성

[root@k8s-worker ~]# which docker-compose
/usr/local/bin/docker-compose

[root@k8s-worker ~]# cat /etc/systemd/system/harbor.service
[Unit]
Description=Harbor Container Registry
Documentation=https://goharbor.io/
Requires=docker.service
After=docker.service
Wants=network-online.target
After=network-online.target

[Service]
Type=oneshot
RemainAfterExit=yes
WorkingDirectory=/opt/harbor/harbor
ExecStartPre=/usr/local/bin/docker-compose down
ExecStart=/usr/local/bin/docker-compose up -d
ExecStop=/usr/local/bin/docker-compose down
ExecReload=/usr/local/bin/docker-compose restart
TimeoutStartSec=0
Restart=on-failure
RestartSec=30

[Install]
WantedBy=multi-user.target

sudo systemctl daemon-reload
sudo systemctl enable harbor
sudo systemctl start harbor
sudo systemctl status harbor

프로젝트 생성 및 파일 업로드, 다운

프로젝트 생성

파일 업로드

cli로 로그인

## cat etc/docker/daemon.json
[root@k8s-worker ~]# cat /etc/docker/daemon.json
{
"insecure-registries": [
  "harbor.test.com:80",
  "192.168.0.69:80"
],
"log-driver": "json-file",
"log-opts": {
  "max-size": "10m",
  "max-file": "3"
}
}
[root@k8s-worker ~]# docker login "http://harbor.test.com:80"
Authenticating with existing credentials...
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store

Login Succeeded [root@k8s-worker ~]# docker login "http://192.168.0.69:80" Authenticating with existing credentials... WARNING! Your password will be stored unencrypted in /root/.docker/config.json. Configure a credential helper to remove this warning. See https://docs.docker.com/engine/reference/commandline/login/#credentials-store

![](https://velog.velcdn.com/images/jupiter-j/post/bccc7a98-9193-4f11-a741-26b26a19646a/image.png)

### 테스트 파일 생성
- 파일 다운

[root@k8s-worker ~]# docker pull nginx:latest latest: Pulling from library/nginx 3da95a905ed5: Pull complete 6c8e51cf0087: Pull complete 9bbbd7ee45b7: Pull complete 48670a58a68f: Pull complete ce7132063a56: Pull complete 23e05839d684: Pull complete ee95256df030: Pull complete Digest: sha256:93230cd54060f497430c7a120e2347894846a81b6a5dd2110f7362c5423b4abc Status: Downloaded newer image for nginx:latest docker.io/library/nginx:latest

- 파일 확인

[root@k8s-worker ~]# docker image list REPOSITORY TAG IMAGE ID CREATED SIZE nginx latest 9592f5595f2b 7 days ago 192MB goharbor/redis-photon v2.11.0 184984d263c2 13 months ago 165MB goharbor/harbor-registryctl v2.11.0 f1220f69df90 13 months ago 162MB goharbor/registry-photon v2.11.0 95046ed33f52 13 months ago 84.5MB goharbor/nginx-photon v2.11.0 681ba9915791 13 months ago 153MB goharbor/harbor-log v2.11.0 a0a812a07568 13 months ago 163MB goharbor/harbor-jobservice v2.11.0 bba862a3784a 13 months ago 159MB goharbor/harbor-core v2.11.0 2cf11c05e0e2 13 months ago 185MB goharbor/harbor-portal v2.11.0 ea8fda08df5b 13 months ago 162MB goharbor/harbor-db v2.11.0 9bd788ea0df6 13 months ago 271MB goharbor/prepare v2.11.0 2baf15fbf5e2 13 months ago 207MB

![](https://velog.velcdn.com/images/jupiter-j/post/09df2c5c-314a-444a-b747-3001cb4ade08/image.png)

- tar로 저장 : `docker save -o nginx_250702.tar nginx:latest`

[root@k8s-worker ~]# docker save -o nginx_250702.tar nginx:latest [root@k8s-worker ~]# ls -al 합계 547180 dr-xr-x---. 7 root root 4096 7월 2 16:42 . -rw------- 1 root root 196392960 7월 2 16:42 nginx_250702.tar

![](https://velog.velcdn.com/images/jupiter-j/post/210a0156-7f1a-44ca-8990-7c969a1ceb60/image.png)

- tar 파일 다시 로드: `docker load -i nginx_250702.tar`
### 이미지 tag 변경후 하버 업로드
- 태그 변경:  `docker tag nginx:latest harbor.test.com:80/jupiter/nginx:250702`

[root@k8s-worker ~]# cat /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.0.68 k8s-master 192.168.0.69 k8s-worker harbor.test.com [root@k8s-worker ~]# docker tag nginx:latest harbor.test.com:80/jupiter/nginx:250702 [root@k8s-worker ~]# docker images REPOSITORY TAG IMAGE ID CREATED SIZE nginx latest 9592f5595f2b 7 days ago 192MB harbor.test.com:80/jupiter/nginx 250702 9592f5595f2b 7 days ago 192MB goharbor/redis-photon v2.11.0 184984d263c2 13 months ago 165MB goharbor/harbor-registryctl v2.11.0 f1220f69df90 13 months ago 162MB goharbor/registry-photon v2.11.0 95046ed33f52 13 months ago 84.5MB goharbor/nginx-photon v2.11.0 681ba9915791 13 months ago 153MB goharbor/harbor-log v2.11.0 a0a812a07568 13 months ago 163MB goharbor/harbor-jobservice v2.11.0 bba862a3784a 13 months ago 159MB goharbor/harbor-core v2.11.0 2cf11c05e0e2 13 months ago 185MB goharbor/harbor-portal v2.11.0 ea8fda08df5b 13 months ago 162MB goharbor/harbor-db v2.11.0 9bd788ea0df6 13 months ago 271MB goharbor/prepare v2.11.0 2baf15fbf5e2 13 months ago 207MB

![](https://velog.velcdn.com/images/jupiter-j/post/7e9ae437-3397-4df7-a2f8-00c7096fc1bd/image.png)
- 이미지 push : `docker push harbor.test.com:80/jupiter/nginx:250702`

[root@k8s-worker ~]# docker push harbor.test.com:80/jupiter/nginx:250702 The push refers to repository [harbor.test.com:80/jupiter/nginx] 07eaefc6ebf2: Pushed de2ef8ceb76a: Pushed e6c40b7bdc83: Pushed f941308035cf: Pushed 81a9d30670ec: Pushed 1bf33238ab09: Pushed 1bb35e8b4de1: Pushed 250702: digest: sha256:ccde53834eab53e85b35526a647cdb714ea4521b1ddf5a07b5c8787298d13087 size: 1778

![](https://velog.velcdn.com/images/jupiter-j/post/505affa9-0e8f-4c78-85ff-0666396b6e15/image.png)![](https://velog.velcdn.com/images/jupiter-j/post/a04e5749-4509-430d-8a0b-3bd9380156f2/image.png)




## harbor https적용

[root@k8s-worker ssl]# mkdir -p /etc/harbor/ssl [root@k8s-worker ssl]# cd /etc/harbor/ssl

[root@k8s-worker ssl]# openssl genrsa -out ca.key 4096 Generating RSA private key, 4096 bit long modulus (2 primes) .............................................++++ ..............................++++ e is 65537 (0x010001) [root@k8s-worker ssl]# openssl req -x509 -new -nodes -key ca.key -subj "/CN=Harbor-CA" -days 3650 -out ca.crt [root@k8s-worker ssl]# openssl genrsa -out harbor.test.com.key 4096 Generating RSA private key, 4096 bit long modulus (2 primes) ..............................................................++++ ...............................................................................++++ e is 65537 (0x010001) [root@k8s-worker ssl]# ls ca.crt ca.key harbor.test.com.key

[root@k8s-worker ssl]# openssl req -new -key harbor.test.com.key -subj "/CN=harbor.test.com" -out harbor.test.com.csr [root@k8s-worker ssl]# ls ca.crt ca.key harbor.test.com.csr harbor.test.com.key

[root@k8s-worker ssl]# openssl x509 -req -in harbor.test.com.csr -CA ca.crt -CAkey ca.key -CAcreateserial \

-out harbor.test.com.crt -days 3650 -extensions v3_req -extfile <(cat <
[alt_names] DNS.1 = harbor.test.com EOF ) Signature ok subject=CN = harbor.test.com Getting CA Private Key

[root@k8s-worker ssl]# ls ca.crt ca.key ca.srl harbor.test.com.crt harbor.test.com.csr harbor.test.com.key

| 파일 이름                 | 설명               | 쉽게 말하면              |
| --------------------- | ---------------- | ------------------- |
| `ca.key`              | 인증기관(CA)의 비밀 열쇠  | "사장님 도장"            |
| `ca.crt`              | 인증기관(CA)의 증명서    | "이 도장은 진짜 사장님 거야!"  |
| `harbor.test.com.key` | Harbor 서버의 비밀 열쇠 | "Harbor 개인 도장"      |
| `harbor.test.com.csr` | 인증서 요청서          | "사장님, 제 도장 인증해주세요"  |
| `harbor.test.com.crt` | Harbor의 인증서      | "사장님이 진짜라고 확인해줬어요!" |

- 적용

harbor 설정 변경 후 반드시 `./prepare` 스크립트를 실행해야함

```bash
[root@k8s-worker harbor]# cd harbor/
[root@k8s-worker harbor]# ls
LICENSE  common  common.sh  docker-compose.yml  harbor.yml  harbor.yml.tmpl  install.sh  prepare
[root@k8s-worker harbor]# ./prepare
prepare base dir is set to /opt/harbor/harbor

systemctl daemon-reload
systemctl restart containerd
systemctl restart docker
systemctl restart harbor

[root@k8s-worker harbor]# docker login https://harbor.test.com:80
Authenticating with existing credentials...
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store

Login Succeeded

태그 변경후 다시 업로드 테스트

[root@k8s-worker harbor]# docker tag harbor.test.com:80/jupiter/nginx:250702 harbor.test.com:80/jupiter/nginx:250702v
[root@k8s-worker harbor]# docker images
REPOSITORY                         TAG       IMAGE ID       CREATED         SIZE
nginx                              latest    9592f5595f2b   7 days ago      192MB
harbor.test.com:80/jupiter/nginx   250702    9592f5595f2b   7 days ago      192MB
harbor.test.com:80/jupiter/nginx   250702v   9592f5595f2b   7 days ago      192MB
goharbor/redis-photon              v2.11.0   184984d263c2   13 months ago   165MB
goharbor/harbor-registryctl        v2.11.0   f1220f69df90   13 months ago   162MB
goharbor/registry-photon           v2.11.0   95046ed33f52   13 months ago   84.5MB
goharbor/nginx-photon              v2.11.0   681ba9915791   13 months ago   153MB
goharbor/harbor-log                v2.11.0   a0a812a07568   13 months ago   163MB
goharbor/harbor-jobservice         v2.11.0   bba862a3784a   13 months ago   159MB
goharbor/harbor-core               v2.11.0   2cf11c05e0e2   13 months ago   185MB
goharbor/harbor-portal             v2.11.0   ea8fda08df5b   13 months ago   162MB
goharbor/harbor-db                 v2.11.0   9bd788ea0df6   13 months ago   271MB
goharbor/prepare                   v2.11.0   2baf15fbf5e2   13 months ago   207MB
[root@k8s-worker harbor]# docker push harbor.test.com:80/jupiter/nginx:250702v
The push refers to repository [harbor.test.com:80/jupiter/nginx]
07eaefc6ebf2: Layer already exists
de2ef8ceb76a: Layer already exists
e6c40b7bdc83: Layer already exists
f941308035cf: Layer already exists
81a9d30670ec: Layer already exists
1bf33238ab09: Layer already exists
1bb35e8b4de1: Layer already exists
250702v: digest: sha256:ccde53834eab53e85b35526a647cdb714ea4521b1ddf5a07b5c8787298d13087 size: 1778

harbor 설정파일 확인

타인의 pc에서 harbor환경을 확인하는 방법

하버가 존재하는지 확인 ps -ef | grep harbor

[root@k8s-worker ~]# ps -ef | grep harbor
10000     218032  217960  0 15:46 ?        00:00:03 /home/harbor/harbor_registryctl -c /etc/registryctl/config.yml
10000     218334  218314  2 15:46 ?        00:00:21 /harbor/harbor_core
10000     218835  218806  2 15:46 ?        00:00:27 /harbor/harbor_jobservice -c /etc/jobservice/config.yml
root      232919   93404  0 16:02 pts/0    00:00:00 grep --color=auto harbor

하버 dns, port 확인 : cat /etc/hosts , cat etc/docker/daemon.json , find / -name "*harbor.yml*" , netstat -nltp

## cat /etc/hosts
192.168.0.68 k8s-master
192.168.0.69 k8s-worker harbor.test.com

## cat etc/docker/daemon.json
[root@k8s-worker ~]# cat /etc/docker/daemon.json
{
  "insecure-registries": [
    "harbor.test.com:80",
    "192.168.0.69:80"
  ],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "10m",
    "max-file": "3"
  }
}

## find / -name "*harbor.yml*"

## netstat -nltp
tcp6       0      0 :::22                   :::*                    LISTEN      775/sshd
tcp6       0      0 :::10250                :::*                    LISTEN      823/kubelet
tcp6       0      0 :::111                  :::*                    LISTEN      1/systemd
tcp6       0      0 :::80                   :::*                    LISTEN      218502/docker-proxy
tcp6       0      0 :::10256                :::*                    LISTEN      1355/kube-proxy

docker login 테스트

/etc/docker/daemon.json에 적힌 내용이 없으면 login이 안될수 있음 확인필요

 [root@k8s-worker ~]# cat /etc/docker/daemon.json
 {
   "insecure-registries": [
     "harbor.test.com:80",
     "192.168.0.69:80"
   ],
   "log-driver": "json-file",
   "log-opts": {
     "max-size": "10m",
     "max-file": "3"
   }
 }

## 없는것
[root@k8s-worker ~]# docker login "http://harbor.test.com"
Authenticating with existing credentials...
Login did not succeed, error: Error response from daemon: Get "https://harbor.test.com/v2/": dial tcp 192.168.0.69:443: connect: connection refused
Username (admin): admin
Password:
Error response from daemon: Get "https://harbor.test.com/v2/": dial tcp 192.168.0.69:443: connect: connection refused

## 등록된것
[root@k8s-worker ~]# docker login "http://harbor.test.com:80"
Authenticating with existing credentials...
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store
## 등록된것
[root@k8s-worker ~]# docker login "http://192.168.0.69:80"
Authenticating with existing credentials...
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store

Login Succeeded

[k8s] ETCD외부 설치 & 인증서 갱신

Wed, 11 Jun 2025 08:10:42 GMT

외부 ETCD를 설치하는 이유

안정성 향상: etcd를 Kubernetes 마스터와 분리해 장애 확산 방지
성능 개선: etcd에 독립 리소스 할당으로 부하 분산
운영·보안 용이: 별도 관리 및 보안 정책 적용 가능
확장성 확보: 클러스터와 독립적으로 etcd 확장 가능
유연한 환경 대응: 온프레·클라우드 혼합 환경에서 활용 편리

VM 환경

rocky 8.8 minimal
k8s version: 1.29.7v
etcd 3.5.9버전

외부 ETCD 설치

1. 외부 etcd설치 및 TLS 구성

사용자 생성

[root@k8s-master ~]# useradd -r -s /sbin/nologin etcd
[root@k8s-master ~]# mkdir -p /etc/etcd /var/lib/etcd
[root@k8s-master ~]# chown -R etcd:etcd /etc/etcd /var/lib/etcd
[root@k8s-master ~]# ls -ld /etc/etcd
drwxr-xr-x 2 etcd etcd 6  6월 11 14:37 /etc/etcd
[root@k8s-master ~]# ls -ld /var/lib/etcd
drwxr-xr-x 2 etcd etcd 6  6월 11 14:37 /var/lib/etcd

etcd 설치

ETCD_VER=v3.5.9
curl -LO https://github.com/etcd-io/etcd/releases/download/${ETCD_VER}/etcd-${ETCD_VER}-linux-amd64.tar.gz
tar xzvf etcd-${ETCD_VER}-linux-amd64.tar.gz
mv etcd-${ETCD_VER}-linux-amd64/etcd* /usr/local/bin/

서비스 등록

[root@k8s-master kubernetes]# cat /etc/systemd/system/etcd.service
[Unit]
Description=etcd
After=network.target

[Service]
User=etcd
Type=notify
ExecStart=/usr/local/bin/etcd \
  --name etcd \
  --data-dir /var/lib/etcd \
  --listen-client-urls https://0.0.0.0:2379 \
  --advertise-client-urls https://192.168.0.66:2379 \
  --cert-file=/etc/etcd/pki/etcd-server.crt \
  --key-file=/etc/etcd/pki/etcd-server.key \
  --client-cert-auth=true \
  --trusted-ca-file=/etc/etcd/pki/ca.crt

Restart=always
RestartSec=5

[Install]
WantedBy=multi-user.target

[root@k8s-master ~]# vi /etc/systemd/system/etcd.service
[root@k8s-master ~]# systemctl daemon-reexec
[root@k8s-master ~]# systemctl daemon-reload
[root@k8s-master ~]# systemctl enable --now etcd
Created symlink /etc/systemd/system/multi-user.target.wants/etcd.service → /etc/systemd/system/etcd.service.

[root@k8s-master ~]# systemctl status etcd
● etcd.service - etcd
   Loaded: loaded (/etc/systemd/system/etcd.service; enabled; vendor preset: disabled)
   Active: activating (start) since Wed 2025-06-11 14:40:11 KST; 1s ago
 Main PID: 32502 (etcd)
    Tasks: 6 (limit: 50014)
   Memory: 10.7M
   CGroup: /system.slice/etcd.service
           └─32502 /usr/local/bin/etcd --name etcd --data-dir /var/lib/etcd --listen-client-urls https://0.0.0.0:2379 --advertise->

configmap 생성

apiVersion: kubeadm.k8s.io/v1beta3
kind: ClusterConfiguration
kubernetesVersion: v1.29.7
controlPlaneEndpoint: "192.168.0.66:6443"

etcd:
  external:
    endpoints:
    - https://192.168.0.66:2379
    caFile: /etc/etcd/pki/ca.crt
    certFile: /etc/etcd/pki/etcd-client.crt
    keyFile: /etc/etcd/pki/etcd-client.key

networking:
  podSubnet: 10.244.0.0/16

인증서 생성

mkdir -p /root/etcd-certs
cd /root/etcd-certs

# CA 생성
openssl genrsa -out ca.key 2048
openssl req -x509 -new -nodes -key ca.key -subj "/CN=etcd-ca" -days 3650 -out ca.crt

# etcd 서버용 인증서 생성
openssl genrsa -out etcd-server.key 2048
openssl req -new -key etcd-server.key -subj "/CN=etcd-server" -out etcd-server.csr

openssl x509 -req -in etcd-server.csr -CA ca.crt -CAkey ca.key -CAcreateserial -out etcd-server.crt -days 3650 -extensions v3_req -extfile <(printf "[v3_req]\nsubjectAltName=IP:192.168.0.66")

# 클라이언트용 인증서도 비슷하게 생성

# 작업 끝나면 인증서들을 실제 위치로 복사
mkdir -p /etc/etcd/pki
cp *.crt *.key ca.key /etc/etcd/pki/
chown -R etcd:etcd /etc/etcd/pki
chmod 600 /etc/etcd/pki/*.key
chmod 644 /etc/etcd/pki/*.crt

======================================================================
[root@k8s-master etcd-certs]# mkdir -p /etc/etcd/pki
[root@k8s-master etcd-certs]# cp *.crt *.key ca.key /etc/etcd/pki/
cp: warning: source file 'ca.key' specified more than once
[root@k8s-master etcd-certs]# chown -R etcd:etcd /etc/etcd/pki
[root@k8s-master etcd-certs]# chmod 644 /etc/etcd/pki/*.crt
[root@k8s-master etcd-certs]# cd /etc/etcd
[root@k8s-master etcd]# ls
pki
[root@k8s-master etcd]# cd pki/
[root@k8s-master pki]# ls
ca.crt  ca.key  etcd-server.crt  etcd-server.key
[root@k8s-master pki]# ls -ld /etc/etcd/pki
drwxr-xr-x 2 etcd etcd 80  6월 11 14:52 /etc/etcd/pki

인증서 생성2 : etcd-client.crt, etcd-client.key

[root@k8s-master kubernetes]# cd /etc/etcd/pki
[root@k8s-master pki]# ls
ca.crt  ca.key  etcd-server.crt  etcd-server.key
[root@k8s-master pki]#
[root@k8s-master pki]#
[root@k8s-master pki]# openssl genrsa -out /etc/etcd/pki/etcd-client.key 2048
Generating RSA private key, 2048 bit long modulus (2 primes)
..........................................................+++++
.............................................................+++++
e is 65537 (0x010001)
[root@k8s-master pki]# ls
ca.crt  ca.key  etcd-client.key  etcd-server.crt  etcd-server.key
[root@k8s-master pki]# openssl req -new -key /etc/etcd/pki/etcd-client.key -out /etc/etcd/pki/etcd-client.csr -subj "/CN=etcd-client"
[root@k8s-master pki]# openssl x509 -req -in /etc/etcd/pki/etcd-client.csr -CA /etc/etcd/pki/ca.crt -CAkey /etc/etcd/pki/ca.key -CAcreateserial -out /etc/etcd/pki/etcd-client.crt -days 3650 -sha256
Signature ok
subject=CN = etcd-client
Getting CA Private Key
[root@k8s-master pki]# ls
ca.crt  ca.key  ca.srl  etcd-client.crt  etcd-client.csr  etcd-client.key  etcd-server.crt  etcd-server.key

k8s설치

시스템 설정

os version

[root@k8s-master ~]# cat /etc/os-release
NAME="Rocky Linux"
VERSION="8.8 (Green Obsidian)"
ID="rocky"
ID_LIKE="rhel centos fedora"
VERSION_ID="8.8"
PLATFORM_ID="platform:el8"
PRETTY_NAME="Rocky Linux 8.8 (Green Obsidian)"
ANSI_COLOR="0;32"
LOGO="fedora-logo-icon"
CPE_NAME="cpe:/o:rocky:rocky:8:GA"
HOME_URL="https://rockylinux.org/"
BUG_REPORT_URL="https://bugs.rockylinux.org/"
SUPPORT_END="2029-05-31"
ROCKY_SUPPORT_PRODUCT="Rocky-Linux-8"
ROCKY_SUPPORT_PRODUCT_VERSION="8.8"
REDHAT_SUPPORT_PRODUCT="Rocky Linux"
REDHAT_SUPPORT_PRODUCT_VERSION="8.8"

[root@k8s-master ~]# free -m
              total        used        free      shared  buff/cache   available
Mem:           7853         139        7538          12         175        7482
Swap:             0           0           0

[root@k8s-master ~]# systemctl disable firewalld && systemctl stop firewalld
[root@k8s-master ~]# systemctl status firewalld
● firewalld.service - firewalld - dynamic firewall daemon
   Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor preset: enabled)
   Active: inactive (dead)
     Docs: man:firewalld(1)

[root@k8s-master ~]# findmnt /sys/fs/cgroup
TARGET         SOURCE FSTYPE OPTIONS
/sys/fs/cgroup tmpfs  tmpfs  ro,nosuid,nodev,noexec,mode=755

[root@k8s-master ~]# stat -fc %T /sys/fs/cgroup
tmpfs

## cgroup2로 변경
[root@k8s-master ~]# cat /etc/default/grub
GRUB_TIMEOUT=5
GRUB_DISTRIBUTOR="$(sed 's, release .*$,,g' /etc/system-release)"
GRUB_DEFAULT=saved
GRUB_DISABLE_SUBMENU=true
GRUB_TERMINAL_OUTPUT="console"
GRUB_CMDLINE_LINUX="resume=/dev/mapper/rl-swap rd.lvm.lv=rl/root rd.lvm.lv=rl/swap selinux=0 systemd.unified_cgroup_hierarchy=1"
GRUB_DISABLE_RECOVERY="true"
GRUB_ENABLE_BLSCFG=true

## 부팅시 옵션 적용
[root@k8s-master ~]# sudo grub2-mkconfig -o /boot/grub2/grub.cfg
Generating grub configuration file ...
Adding boot menu entry for EFI firmware configuration
done

## 현재 커널에 cgroup v2 옵션 추가
sudo grubby --args="systemd.unified_cgroup_hierarchy=1" --update-kernel=ALL
sudo reboot

## 적용 확인
[root@k8s-master ~]# stat -fc %T /sys/fs/cgroup
cgroup2fs
[root@k8s-master ~]# mount | grep cgroup
cgroup2 on /sys/fs/cgroup type cgroup2 (rw,nosuid,nodev,noexec,relatime,nsdelegate)

## 커널 모듈 설정
[root@k8s-worker ~]# sudo vi /etc/modules-load.d/k8s.conf
[root@k8s-worker ~]# cat /etc/modules-load.d/k8s.conf
overlay
br_netfilter

[root@k8s-master ~]# sudo modprobe br_netfilter
[root@k8s-master ~]# lsmod | grep br_netfilter
br_netfilter           24576  0
bridge                290816  1 br_netfilter

[root@k8s-worker ~]# vi /etc/sysctl.d/k8s.conf
[root@k8s-worker ~]# cat /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward=1

# 변경사항 적용
sudo sysctl --system

## 방화벽 
[root@k8s-master ~]# iptables -L
Chain INPUT (policy ACCEPT)
target     prot opt source               destination

Chain FORWARD (policy ACCEPT)
target     prot opt source               destination

Chain OUTPUT (policy ACCEPT)
target     prot opt source               destination

## 파일 스크립터 늘이기
cat << EOF | sudo tee -a /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536
root soft nofile 65536
root hard nofile 65536
EOF

필요한 패키지 설치

## runC  ======================================
curl -LO https://github.com/opencontainers/runc/releases/download/v1.1.12/runc.amd64

sudo install -m 755 runc.amd64 /usr/local/sbin/runc

## containerd 1.7.13  ======================================
sudo dnf install -y wget
wget https://github.com/containerd/containerd/releases/download/v1.7.13/containerd-1.7.13-linux-amd64.tar.gz
tar -C /usr/local -xzf containerd-1.7.13-linux-amd64.tar.gz

sudo mkdir -p /usr/lib/systemd/system

cat <


k8s 패키지 설치
rocky8용으로 설정 
cat <


init

kubeadm init --config=kubeadm-config.yaml --v=5
[root@k8s-master pki]# kubectl get po -A
NAMESPACE     NAME                                 READY   STATUS              RESTARTS   AGE
kube-system   coredns-76f75df574-97g57             0/1     ContainerCreating   0          4m25s
kube-system   coredns-76f75df574-x9jk5             0/1     ContainerCreating   0          4m25s
kube-system   kube-apiserver-k8s-master            1/1     Running             0          4m32s
kube-system   kube-controller-manager-k8s-master   1/1     Running             0          4m32s
kube-system   kube-proxy-47ghm                     1/1     Running             0          4m25s
kube-system   kube-proxy-855m2                     1/1     Running             0          23s
kube-system   kube-scheduler-k8s-master            1/1     Running             0          4m32s



ETCD 인증서 갱신
인증서 체크
etcd 외부 설치 된 경우 (/etc/etcd 경로)

인증서 체크를 해보면 etcd가 누락되어있는 것이 보임

[root@k8s-master pki]# kubeadm certs check-expiration
[check-expiration] Reading configuration from the cluster...
[check-expiration] FYI: You can look at this config file with 'kubectl -n kube-system get cm kubeadm-config -o yaml'

CERTIFICATE                EXPIRES                  RESIDUAL TIME   CERTIFICATE AUTHORITY   EXTERNALLY MANAGED
admin.conf                 Jun 11, 2026 06:06 UTC   364d            ca                      no
apiserver                  Jun 11, 2026 06:06 UTC   364d            ca                      no
apiserver-kubelet-client   Jun 11, 2026 06:06 UTC   364d            ca                      no
controller-manager.conf    Jun 11, 2026 06:06 UTC   364d            ca                      no
front-proxy-client         Jun 11, 2026 06:06 UTC   364d            front-proxy-ca          no
scheduler.conf             Jun 11, 2026 06:07 UTC   364d            ca                      no
super-admin.conf           Jun 11, 2026 06:06 UTC   364d            ca                      no

CERTIFICATE AUTHORITY   EXPIRES                  RESIDUAL TIME   EXTERNALLY MANAGED
ca                      Jun 09, 2035 06:06 UTC   9y              no
front-proxy-ca          Jun 09, 2035 06:06 UTC   9y              no

인증서 적용 (etcd제외 모든 인증서 갱신)
클러스터 인증서 갱신
https://somaz.tistory.com/148



./update-kubeadm-cert.sh  master # etcd 제외

etcd 인증서 날짜 확인

[root@k8s-master pki]# ls
ca.crt  ca.key  ca.srl  etcd-client.crt  etcd-client.csr  etcd-client.key  etcd-server.crt  etcd-server.key

[root@k8s-master pki]# openssl x509 -in etcd-server.crt -noout -dates
notBefore=Jun 11 05:52:15 2025 GMT
notAfter=Jun  9 05:52:15 2035 GMT
[root@k8s-master pki]# openssl x509 -in etcd-client.crt -noout -dates
notBefore=Jun 11 05:58:56 2025 GMT
notAfter=Jun  9 05:58:56 2035 GMT
[root@k8s-master pki]#



파일명
용도
설명
확인 명령어



ca.crt
CA 인증서
인증서 서명자(issuer) 역할. 모든 etcd 관련 인증서의 신뢰 루트.
openssl x509 -in ca.crt -noout -subject -dates


ca.key
CA 비밀키
인증서 서명에 사용되는 비공개 키. 매우 중요. 외부 노출 금지.
🔒 노출 금지


ca.srl
CA 시리얼 추적
인증서 일련번호 관리 파일. 자동 생성. 삭제 X.
-


etcd-server.crt
etcd 서버 인증서
etcd 자신이 클라이언트(API 서버 등)와 통신할 때 사용하는 인증서. SAN에 IP 들어가야 함.
`openssl x509 -in etcd-server.crt -noout -subject -issuer -dates -text


etcd-server.key
etcd 서버 비밀키
위 서버 인증서에 대응하는 개인 키.
🔒 노출 금지


etcd-client.crt
etcd 클라이언트 인증서
Kubernetes API 서버가 etcd에 접근할 때 사용하는 인증서. CN은 일반적으로 kube-apiserver.
openssl x509 -in etcd-client.crt -noout -subject -dates


etcd-client.key
클라이언트 비밀키
위 인증서에 대응하는 개인 키.
🔒 노출 금지


etcd-client.csr
인증서 서명 요청
클라이언트 인증서를 만들 때 사용했던 요청 파일 (재사용 가능).
openssl req -in etcd-client.csr -noout -subject


- SAN포함 여부 확인





CN 외에 인증서가 유효한 도메인 이름이나 IP 주소 등을 여러 개 넣을 수 있는 확장 필드
SAN은 접속 가능한 여러 IP/DNS를 명시해서 인증서가 여러 이름을 커버하도록 함
openssl x509 -in etcd-server.crt -noout -text | grep -A1 "Subject Alternative Name"

[root@k8s-master pki]# openssl x509 -in etcd-server.crt -noout -text | grep -A1 "Subject Alternative Name"
            X509v3 Subject Alternative Name:
                IP Address:192.168.0.66 ### 출력

CN 확인 : 인증서의 주체 이름

[root@k8s-master pki]# openssl x509 -in etcd-server.crt -noout -subject
subject=CN = etcd-server
[root@k8s-master pki]# openssl x509 -in etcd-client.crt -noout -subject
subject=CN = etcd-client



etcd 외부 인증서 갱신


조건

인증서가 셀프사인이고,

기존 CA (etcd-ca.key, etcd-ca.crt)가 보존되어 있으며,

기존 SAN, CN 정보를 유지하면서 유효기간만 연장하고 싶을 경우


config파일


[root@k8s-master pki]# cat openssl-etcd.cnf
[ req ]
default_bits       = 2048
prompt             = no
default_md         = sha256
distinguished_name = req_distinguished_name
req_extensions     = v3_ext

[ req_distinguished_name ]
CN = etcd-server  ## 수정CN

[ v3_ext ]
subjectAltName = @alt_names

[ alt_names ]
IP.1 = 192.168.0.66 ## 수정 SAN

config 적용

# etcd-server
openssl req -new -key etcd-server.key -out etcd-server.csr -config openssl-etcd.cnf
# etcd-client
openssl req -new -key etcd-client.key -out etcd-client.csr -config openssl-etcd.cnf

CSR을 사용하여 새 인증서 생성

[root@k8s-master pki]# openssl x509 -req -in etcd-client.csr \
>   -CA ca.crt -CAkey ca.key -CAcreateserial \
>   -out etcd-client.crt -days 7300 -extensions v3_ext \
>   -extfile openssl-etcd.cnf
Signature ok
subject=CN = etcd-client
Getting CA Private Key

[root@k8s-master pki]# openssl x509 -req -in etcd-server.csr \
>   -CA ca.crt -CAkey ca.key -CAcreateserial \
>   -out etcd-server.crt -days 7300 -extensions v3_ext \
>   -extfile openssl-etcd.cnf
Signature ok
subject=CN = etcd-server
Getting CA Private Key

생성된 인증서 etcd-server.crt etcd-client.crt

systemctl restart etcd

## 적용 확인
[root@k8s-master pki]# openssl x509 -in etcd-server.crt -noout -dates
notBefore=Jun 11 07:31:43 2025 GMT
notAfter=Jun  6 07:31:43 2045 GMT
[root@k8s-master pki]# openssl x509 -in etcd-client.crt -noout -dates
notBefore=Jun 11 07:31:16 2025 GMT
notAfter=Jun  6 07:31:16 2045 GMT

파일명	용도	설명	확인 명령어
`ca.crt`	CA 인증서	인증서 서명자(issuer) 역할. 모든 etcd 관련 인증서의 신뢰 루트.	`openssl x509 -in ca.crt -noout -subject -dates`
`ca.key`	CA 비밀키	인증서 서명에 사용되는 비공개 키. 매우 중요. 외부 노출 금지.	🔒 노출 금지
`ca.srl`	CA 시리얼 추적	인증서 일련번호 관리 파일. 자동 생성. 삭제 X.	-
`etcd-server.crt`	etcd 서버 인증서	etcd 자신이 클라이언트(API 서버 등)와 통신할 때 사용하는 인증서. SAN에 IP 들어가야 함.	`openssl x509 -in etcd-server.crt -noout -subject -issuer -dates -text
`etcd-server.key`	etcd 서버 비밀키	위 서버 인증서에 대응하는 개인 키.	🔒 노출 금지
`etcd-client.crt`	etcd 클라이언트 인증서	Kubernetes API 서버가 etcd에 접근할 때 사용하는 인증서. CN은 일반적으로 `kube-apiserver`.	`openssl x509 -in etcd-client.crt -noout -subject -dates`
`etcd-client.key`	클라이언트 비밀키	위 인증서에 대응하는 개인 키.	🔒 노출 금지
`etcd-client.csr`	인증서 서명 요청	클라이언트 인증서를 만들 때 사용했던 요청 파일 (재사용 가능).	`openssl req -in etcd-client.csr -noout -subject`
- SAN포함 여부 확인



[CCCR] 프라이빗 오픈 클라우드를 위한 오픈스택 구축 및 운영 (4)
Fri, 30 May 2025 05:13:32 GMT



인스턴스 생성

이미지(Glance): 부팅 가능한 운영체제가 설치된 디스크 파일
이미지 -> 인스턴스: 인스턴스의 root-disk의 모든 데이터는 임시
이미지 -> 볼륨 - > 인스턴스: 인스턴스의 root-disk의 모든 데이터는 볼륨에 영구 저장됨
이미지 -> 인스턴스 -> 스냅샷 : 스냅샷으로 인스턴스 생성시 기존 상태와 동일한 인스턴스 생성


플레이버 (Nova): 인스턴스 생성 시 할당한 리소스를 지정 
내부 네트워크(Neutron): 같은 네트워크에 연결한 인스턴스 간의 통신 
일반사용자도 설정 가능(프로젝트 범위로만 생성)
서브넷 생성시 IP대역/게이트웨이 등을 자유롭게 설정 가능
네트워크 유형을 설정X

--> 인스턴스 생성 가능(내부통신만 가능)
4. 외부 네트워크: 외부와의 통신을 위해 사용
관리자로만 설정 가능
물리적인 환경에 맞게 IP대역 및 게이트웨이 등 설정
네트워크 유형을 설정 O -> 실제 환경에 맞게 
5. 라우터 : 서로 다른 네트워크를 연결
    -> 외부 네트워크는 게이트웨이로, 내부 네트워크는 서브넷 하나의 프로젝트 안에서 유효
**위의 과정을 통해 인스턴스에서 외부로 통신 가능**

유동IP (FloatingIP): 외부에서 인스턴스에 직접 접속할 수 있게 설정.
외부 네트워크의 주소 범위 안에서 할당 
인스턴스와 1:1로 연결(연결/해제가 자유로움)
기본적으로는 랜덤IP (관리자는 지정 가능)
인스턴스 생성 후에만 연결 가능 
보안그룹: 규칙에 따라 인스턴스에 대한 네트워크 트래픽을 제어 
하나의 인스턴스에 여러 개의 보안그룹 연결 가능
보안그룹 안에도 여러개의 규칙을 설정 가능 
동일한 그룹을 여러 인스턴스에 연결 가능 
인스턴스 생성 시 혹은 생성 후 모두 연결 가능
프로젝트 생성 시 default 보안 그룹이 자동 생성 -> 동일한 보안그룹을 가진 인스턴스 간의 모든 통신 허용

*위의 과정을 통해 외부에서 인스턴스로 접속 가능 *
8. ssh키페어: 원격 접속을 위해 사용
클라우드 이미지 대다수는 사용자 패스워드는 공유X
인스턴스 생성시에만 설정 가능함
보유한 키페어 중 공개키만 저장
키페어를 새로 생성해서 공개키는 저장하고 개인키는 다운로드
인스턴스 생성 시에만 설정 가능 

*cloud-init *

1) 플레이버에 따른 마운트/스왑설정
2) SSH키페어 복사
3) user-data (스크립트)를 통한 초기 구성 가능



스토리지

임시 스토리지: 인스턴스 생성 시 함께 할당해서 인스턴스 삭제 시 데이터까지 모두 삭제 가능

플레이버의 설정에 따라 할당


영구 스토리지: 인스턴스와 별개로 생성 및 삭제 가능
블록 스토리지 (Cinder)


인스턴스에 직접 연결해서 사용
볼륨은 인스턴스 하나에만 연결 가능
인스턴스 하나에 볼륨 여러개 연결은 가능 
블록 단위로 관리 (포멧/마운트)
인스턴스 내부 작업으로 발생한 데이터를 저장
스냅샷 기능 지원 : 데이터 복제 용도 
백업 기능 지원: 별도의 스토리지에 저장(설정파일)
하나의 프로젝트 안에서만사용
볼륨 전송기능으로 다른 프로젝트로 전달 가능 
기본은 LVM (권장X)
1) 설정파일에서 백엔드 스토리지 설정
2) 설정에 따라 볼륨타입을 생성
3) 볼륨 생성 시 볼륨 타입을 지정 
오브젝트 스토리지 (Swift)


인스턴스와 별개로 파일 서버와 유사한 형태로 사용


대시보드나 명령어를 통해 컨테이너에 데이터(오브젝트) 저장
컨테이너를 통해 사용자의 접근 제어, 오브젝트의 목록화를 위해 사용
설정에 따라서 URL을 통한 접속도 가능 
범용적으로 사용 (데이터 유형 및 크기는 제약이 거의 없음)
공유 스토리지 (Manila)


인스턴스에 직ㅈ버 연결해서 사용


파일 단위로 작업
여러 인스턴스에 동시 연결 가능 






Manila


(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack flavor list
+--------------------------------------+-------------+------+------+-----------+-------+-----------+
| ID                                   | Name        |  RAM | Disk | Ephemeral | VCPUs | Is Public |
+--------------------------------------+-------------+------+------+-----------+-------+-----------+
| 59d58e86-4f3c-4bb4-b5a9-9a38bbc241c7 | demo-disk   | 1024 |   10 |         1 |     1 | True      |
| 6c4f3d8a-799b-44e1-8035-7e56966b086f | mini-flavor |  512 |    1 |         0 |     1 | True      |
| 76df590a-6e24-465b-98f6-a500b6ff4355 | demo-flavor | 2028 |   10 |         0 |     1 | True      |
+--------------------------------------+-------------+------+------+-----------+-------+-----------+
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack flavor create --id 100 --vcpus 1 --ram 256 --disk 10 manila-flavor
+----------------------------+---------------+
| Field                      | Value         |
+----------------------------+---------------+
| OS-FLV-DISABLED:disabled   | False         |
| OS-FLV-EXT-DATA:ephemeral  | 0             |
| description                | None          |
| disk                       | 10            |
| id                         | 100           |
| name                       | manila-flavor |
| os-flavor-access:is_public | True          |
| properties                 |               |
| ram                        | 256           |
| rxtx_factor                | 1.0           |
| swap                       | 0             |
| vcpus                      | 1             |
+----------------------------+---------------+

(os-venv) vagrant@openstack-aio:~$ openstack image create --file manila-service-image-master.qcow2 --disk-format qcow2 --public manila-service-image
+------------------+----------------------------------------------------------------------------------------------------------------------------------------------------------+
| Field            | Value                                                                                                                                                    |
+------------------+----------------------------------------------------------------------------------------------------------------------------------------------------------+
| container_format | bare                                                                                                                                                     |
| created_at       | 2025-05-30T02:26:31Z                                                                                                                                     |
| disk_format      | qcow2                                                                                                                                                    |
| file             | /v2/images/fa8e3e6f-1ad9-4f1c-8f81-0a3146a92d82/file                                                                                                     |
| id               | fa8e3e6f-1ad9-4f1c-8f81-0a3146a92d82                                                                                                                     |
| min_disk         | 0                                                                                                                                                        |
| min_ram          | 0                                                                                                                                                        |
| name             | manila-service-image                                                                                                                                     |
| owner            | 00855a5cafa646478a16f350df1f00f6                                                                                                                         |
| properties       | os_hidden='False', owner_specified.openstack.md5='', owner_specified.openstack.object='images/manila-service-image', owner_specified.openstack.sha256='' |
| protected        | False                                                                                                                                                    |
| schema           | /v2/schemas/image                                                                                                                                        |
| status           | queued                                                                                                                                                   |
| tags             |                                                                                                                                                          |
| updated_at       | 2025-05-30T02:26:31Z                                                                                                                                     |
| visibility       | public                                                                                                                                                   |
+------------------+----------------------------------------------------------------------------------------------------------------------------------------------------------+













수료 완 



[CCCR] 프라이빗 오픈 클라우드를 위한 오픈스택 구축 및 운영 (3)

Thu, 29 May 2025 01:04:25 GMT
인스턴스 관리를 위하여 nova_api가 healthy상태인지 확인


로그 확인

(os-venv) vagrant@openstack-aio:/etc/kolla$ sudo ls /var/log/kolla/nova
apache-access.log    nova-api-error.log  nova-conductor.log        nova-metadata-error.log  privsep-helper.log
apache-error.log     nova-api.log        nova-manage.log           nova-novncproxy.log
nova-api-access.log  nova-compute.log    nova-metadata-access.log  nova-scheduler.log
(os-venv) vagrant@openstack-aio:/etc/kolla$





## 오픈스택 네트워크 
![](https://velog.velcdn.com/images/jupiter-j/post/09e325e7-d82b-44f3-b724-424440705b5d/image.png)

![](https://velog.velcdn.com/images/jupiter-j/post/6e76e0df-1d45-4082-9afc-9c8b6c756f52/image.png)


* flat: VLAN 없이 하나의 물리 네트워크를 모든 인스턴스가 공유함. 네트워크 격리 불가.

* vlan: VLAN 태깅을 사용해 네트워크를 분리. 물리 네트워크에 VLAN 설정 필요. 보안성과 성능이 좋음.

* vxlan: 오버레이 네트워크로, 논리적으로 분리된 네트워크를 생성함. 확장성 뛰어남. 터널링 방식 사용.

* gre: VXLAN과 유사한 오버레이 방식이지만, 현재는 성능 문제로 잘 사용하지 않음.
(os-venv) vagrant@openstack-aio:/etc/kolla$ sudo cat /etc/kolla/neutron-server/ml2_conf.ini
[ml2]
type_drivers = flat,vlan,vxlan
tenant_network_types = vxlan
mechanism_drivers = openvswitch,l2population
extension_drivers = port_security
[ml2_type_vlan]
network_vlan_ranges =
[ml2_type_flat]
flat_networks = physnet1
[ml2_type_vxlan]
vni_ranges = 1:1000
![](https://velog.velcdn.com/images/jupiter-j/post/e1525363-28ed-41d6-90c6-4f2b17fc92b4/image.png)

![](https://velog.velcdn.com/images/jupiter-j/post/a346b649-dd3d-4855-9bda-58af7f1c0179/image.png)
![](https://velog.velcdn.com/images/jupiter-j/post/f1d8ed3e-443e-451d-b2bd-470ee6f205f0/image.png)

![](https://velog.velcdn.com/images/jupiter-j/post/74d7172e-6146-4aca-8bb8-f3fb96f90011/image.png)

인스턴스는 내부 네트워크를 생성
외부 내트워크는 관리자가 관리>네트워크>네트워크에서 설정.
물리적인 네트워크 설정에 맞춰서 생성 `sudo cat /etc/kolla/neutron-server/ml2_conf.ini`
외부네트워크는 gateway로 따로 설정
라우터 - 인터페이스는 내부 네트워크를 연결할때 사용

- 네트워크 생성: ` openstack network create --external --share --provider-network-type flat --provider-physical-network physnet1 external
`
![](https://velog.velcdn.com/images/jupiter-j/post/6bea8faa-944a-491a-bc64-accacb15dfcd/image.png)
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack network create --external --share --provider-network-type flat --provider-physical-network physnet1 external
+---------------------------+--------------------------------------+
| Field                     | Value                                |
+---------------------------+--------------------------------------+
| admin_state_up            | UP                                   |
| availability_zone_hints   |                                      |
| availability_zones        |                                      |
| created_at                | 2025-05-29T02:39:10Z                 |
| description               |                                      |
| dns_domain                | None                                 |
| id                        | 8a1128a8-6a73-4d3c-978e-a46fb08236a9 |
| ipv4_address_scope        | None                                 |
| ipv6_address_scope        | None                                 |
| is_default                | False                                |
| is_vlan_transparent       | None                                 |
| mtu                       | 1500                                 |
| name                      | external                             |
| port_security_enabled     | True                                 |
| project_id                | 00855a5cafa646478a16f350df1f00f6     |
| provider:network_type     | flat                                 |
| provider:physical_network | physnet1                             |
| provider:segmentation_id  | None                                 |
| qos_policy_id             | None                                 |
| revision_number           | 1                                    |
| router:external           | External                             |
| segments                  | None                                 |
| shared                    | True                                 |
| status                    | ACTIVE                               |
| subnets                   |                                      |
| tags                      |                                      |
| tenant_id                 | 00855a5cafa646478a16f350df1f00f6     |
| updated_at                | 2025-05-29T02:39:10Z                 |
+---------------------------+--------------------------------------+
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack router create new-rt
+-------------------------+--------------------------------------+
| Field                   | Value                                |
+-------------------------+--------------------------------------+
| admin_state_up          | UP                                   |
| availability_zone_hints |                                      |
| availability_zones      |                                      |
| created_at              | 2025-05-29T02:40:37Z                 |
| description             |                                      |
| distributed             | False                                |
| enable_ndp_proxy        | None                                 |
| external_gateway_info   | null                                 |
| flavor_id               | None                                 |
| ha                      | False                                |
| id                      | f4a0cb02-ee72-491d-8383-9ba3aef6e55b |
| name                    | new-rt                               |
| project_id              | 00855a5cafa646478a16f350df1f00f6     |
| revision_number         | 1                                    |
| routes                  |                                      |
| status                  | ACTIVE                               |
| tags                    |                                      |
| tenant_id               | 00855a5cafa646478a16f350df1f00f6     |
| updated_at              | 2025-05-29T02:40:37Z                 |
+-------------------------+--------------------------------------+
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack router set --external-gateway external new-rt
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack subnet create --no-dhcp --subnet-range 192.168.0.0/24 --gateway 192.168.0.254 --allocation-pool start=192.168.0.100,end=192.168.0.200 --network external external-subnet
+----------------------+--------------------------------------+
| Field                | Value                                |
+----------------------+--------------------------------------+
| allocation_pools     | 192.168.0.100-192.168.0.200          |
| cidr                 | 192.168.0.0/24                       |
| created_at           | 2025-05-29T02:44:01Z                 |
| description          |                                      |
| dns_nameservers      |                                      |
| dns_publish_fixed_ip | None                                 |
| enable_dhcp          | False                                |
| gateway_ip           | 192.168.0.254                        |
| host_routes          |                                      |
| id                   | 09589f62-aba5-466b-862f-550975d75799 |
| ip_version           | 4                                    |
| ipv6_address_mode    | None                                 |
| ipv6_ra_mode         | None                                 |
| name                 | external-subnet                      |
| network_id           | 8a1128a8-6a73-4d3c-978e-a46fb08236a9 |
| project_id           | 00855a5cafa646478a16f350df1f00f6     |
| revision_number      | 0                                    |
| segment_id           | None                                 |
| service_types        |                                      |
| subnetpool_id        | None                                 |
| tags                 |                                      |
| updated_at           | 2025-05-29T02:44:01Z                 |
+----------------------+--------------------------------------+
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack router create new-rt
+-------------------------+--------------------------------------+
| Field                   | Value                                |
+-------------------------+--------------------------------------+
| admin_state_up          | UP                                   |
| availability_zone_hints |                                      |
| availability_zones      |                                      |
| created_at              | 2025-05-29T02:44:27Z                 |
| description             |                                      |
| distributed             | False                                |
| enable_ndp_proxy        | None                                 |
| external_gateway_info   | null                                 |
| flavor_id               | None                                 |
| ha                      | False                                |
| id                      | e955f531-66a1-4c1d-80a8-539ddf765beb |
| name                    | new-rt                               |
| project_id              | 00855a5cafa646478a16f350df1f00f6     |
| revision_number         | 1                                    |
| routes                  |                                      |
| status                  | ACTIVE                               |
| tags                    |                                      |
| tenant_id               | 00855a5cafa646478a16f350df1f00f6     |
| updated_at              | 2025-05-29T02:44:27Z                 |
+-------------------------+--------------------------------------+
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack router delete e955f531-66a1-4c1d-80a8-539ddf765beb
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack router set --external-gateway external new-rt
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack router add subnet net-work subnet new-rt ^C
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack subnet list --network net-work
No Network found for net-work
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack subnet list
+--------------------------------------+-----------------+--------------------------------------+------------------+
| ID                                   | Name            | Network                              | Subnet           |
+--------------------------------------+-----------------+--------------------------------------+------------------+
| 09589f62-aba5-466b-862f-550975d75799 | external-subnet | 8a1128a8-6a73-4d3c-978e-a46fb08236a9 | 192.168.0.0/24   |
| a2413f79-f267-4f09-af80-dfa00071bc90 | internal-subnet | 0929ac61-e38a-4f18-8cc2-08daf4d61397 | 192.168.100.0/24 |
| e485a912-594b-4c5d-a7a3-46bee0139c2a | lb-mgmt-subnet  | 1b3dc678-3fc3-435c-9d4e-642100de4763 | 10.1.0.0/24      |
+--------------------------------------+-----------------+--------------------------------------+------------------+
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack router add subnet new-rt internal-subnet


![](https://velog.velcdn.com/images/jupiter-j/post/985f3e8e-9fdb-47f9-99ef-62fd831af4ba/image.png)

- `openstack network create --external --share --provider-network-type flat --provider-physical-network physnet1 external
`
- ` openstack router create new-rt`

- ` openstack router set --external-gateway external new-rt`
- `openstack subnet create --no-dhcp --subnet-range 192.168.0.0/24 --gateway 192.168.0.254 --allocation-pool start=192.168.0.100,end=192.168.0.200 --network external external-subnet`


- ` openstack router create new-rt`
- `openstack router set --external-gateway external new-rt`
- `openstack router add subnet new-rt internal-subnet`
![](https://velog.velcdn.com/images/jupiter-j/post/e05bad08-004f-4bd2-849d-8a20a16aebe3/image.png)


## 시큐리티 그룹
 openstack security group create new-sg
 openstack security group rule list new-sg
 openstack security group rule create --protocol tcp --dst-port 80 new-sg
 openstack server add security group test-vm new-sg
 openstack server show test-vm
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack server remove security group test-vm new-sg
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack security group delete new-sg
![](https://velog.velcdn.com/images/jupiter-j/post/ed71befa-d02e-4b17-a992-2cb58cbcfd15/image.png)![](https://velog.velcdn.com/images/jupiter-j/post/4705dcdd-89b4-4d8c-b7f8-a775defae778/image.png)![](https://velog.velcdn.com/images/jupiter-j/post/b756133d-443b-4774-b46a-a31f479868e8/image.png)


## keypair 생성 
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack keypair create --private-key new-key.pem new-key
+-------------+-------------------------------------------------+
| Field       | Value                                           |
+-------------+-------------------------------------------------+
| created_at  | None                                            |
| fingerprint | 7a:5a:62:27:c4:ca:d8:42:e4:72:1d:62:06:58:7b:e3 |
| id          | new-key                                         |
| is_deleted  | None                                            |
| name        | new-key                                         |
| type        | ssh                                             |
| user_id     | 58d8e1d0c87143aaad968509ea167b17                |
+-------------+-------------------------------------------------+
(os-venv) vagrant@openstack-aio:/etc/kolla$ chmod 400 new-key.pem
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack server create --key-name ^C
(os-venv) vagrant@openstack-aio:/etc/kolla$
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack security group create new -sg          ^C
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack security group rule create --protocol tcp --dst-port 2 --remote-ip 0.0.0.0/0 new-sg          ^C
(os-venv) vagrant@openstack-aio:/etc/kolla$
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack server add security htoup new-sg ssh-vm           ^C
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack floating ip create external     ^C
(os-venv) vagrant@openstack-aio:/etc/kolla$
(os-venv) vagrant@openstack-aio:/etc/kolla$
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack server add floating ip ssh-vm 192.168.0.150            ^C
(os-venv) vagrant@openstack-aio:/etc/kolla$
(os-venv) vagrant@openstack-aio:/etc/kolla$
(os-venv) vagrant@openstack-aio:/etc/kolla$ ssh -i new-key.pem cirrors@192.19.0.10^C
(os-venv) vagrant@openstack-aio:/etc/kolla$


## 스토리지 
>* 블록 스토리지 (Cinder) :
VM에 디스크처럼 attach해서 사용하는 가상 디스크를 제공
* 오브젝트 스토리지 (Swift) :
대용량 비정형 데이터를 객체 형태로 저장. Amazon S3와 유사한 구조
* 이미지 스토리지 (Glance) :
VM을 생성하기 위한 운영체제 이미지를 저장하고 관리
* 파일 스토리지 (Manila) :
여러 VM 간 공유 가능한 파일 시스템(NFS 등)을 제공






* 볼륨 생성 : `openstack volume create --size 1 new-volume`
![](https://velog.velcdn.com/images/jupiter-j/post/505612ff-df1b-4e18-9866-296c33a0c6d3/image.png)
* 볼륨 연결 : ` openstack server add volume test-vm new-volume`
![](https://velog.velcdn.com/images/jupiter-j/post/cc901df5-7fb6-425d-9311-3768c048ad64/image.png)
![](https://velog.velcdn.com/images/jupiter-j/post/c04377f2-0c94-4114-9781-01986ebc26ab/image.png)
볼륨 삭제
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack server remove volume test-vm new-volume
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack delete new-volume




> ## 실습
1. 1G 크기의 볼륨을 생성, 이름:practice-volume
2. test-vm인스턴스에 만든 볼륨을 연결
3. 인스턴스의 콘솔에 접속
4. lsblk등의 명령어로 연결 확인
5. xfs/ext4 파일시스템으로 포멧하고 /mnt 디렉토리 마운트
6. /etc/hosts 파일을 /mnt 디렉토리에 복사
7. 마운트 해제 및 볼륨 연결 해제 
8. new-vm에 볼륨 연결 후 확인
9. /dirA 디렉토리를 만들어서 마운트한 후 확인
10. 볼륨은 연결만 해제 (삭제하지 않음)

openstack volume create --size 1 practice-volume
openstack server add volume test-vm practice-volume
login: cirros
password: gocubsgo
![](https://velog.velcdn.com/images/jupiter-j/post/8cc9ab98-ed17-41b3-b47f-9be83fa713bb/image.png)
![](https://velog.velcdn.com/images/jupiter-j/post/d48e62dc-8377-4555-8bfb-8d24db3cf221/image.png)
![](https://velog.velcdn.com/images/jupiter-j/post/bdceec4a-bbca-448a-b947-61f2b189ba96/image.png)







## 오픈스택에서의 스토리지
1. 임시 스토리지
* 플레이버에 의해 할당되는 저장장치
* 인스턴스 생성시 함께 생성, 삭제 시 함께 삭제
* 데이터도 함께 삭제
2. 영구 스토리지
    1) 블록 스토리지(Cinder 서비스로 관리)
    * 인스턴스에 직접 연결해서 사용(한번에 하나의 인스턴스에만가능)
    * 인스턴스 내부에서 포맷/마운트 후 데이터 저장 
    * 관리 단위를 볼륨
    * 특정 시점의 상태를 저장할 때에는 스냅샷
    * 볼륨의 데이터를 안전하게 백업할 때에는 백업
    * 모든 작업들은 기본적으로 특정 프로젝트 안에서만 사용
    * 볼륨 전송 기능을 통해 다른 프로젝트에 전달

   2) 오브젝트 스토리지(swift)
   * 인스턴스와 별개로 사용하는 스토리지 
   * 대시보드 / openstack 명령어로 접근 가능
   * URL 주소로 접근가능 (설정에 따라)
   * 파일서버처럼 원하는 데이터(파일) 저장/ 다운로드 
   * 









* 볼륨 스냅샷 생성: ` openstack volume snapshot create --volume practice-volume new-snap --force
`
![](https://velog.velcdn.com/images/jupiter-j/post/78070e1f-34cd-41c7-9951-8719d17f5cc1/image.png)
![](https://velog.velcdn.com/images/jupiter-j/post/888bd6f0-337f-40ab-b5a1-5648e217123a/image.png)

* 볼륨 백업 생성 : `openstack volume backup create --name backup-cli practice-volume --force`

![](https://velog.velcdn.com/images/jupiter-j/post/71bc609d-c536-4082-a13f-e99a55e9bc1a/image.png)
![](https://velog.velcdn.com/images/jupiter-j/post/277ce1ea-cbf1-4064-ad1c-cb0142dba390/image.png)

볼륨 백업 생성 → 인스턴스에서 분리 → 전송 요청 생성
* transfer 요청 생성: `openstack volume transfer request create practice-volume`
* transfer 수락: `openstack volume transfer request accept  --auth-key `

* volume transfer란?
볼륨을 다른 사용자나 프로젝트에 넘기기 위한 기능. 보안상 auth-key가 반드시 필요
transfer 요청은 생성한 쪽과 수락하는 쪽이 다를 때 사용된다.

`
![](https://velog.velcdn.com/images/jupiter-j/post/ff59038d-bb26-4fd0-9459-841563e64e16/image.png)`




## 오브젝트 스토리지
오브젝트 스토리지는 파일을 저장하고 불러오는 저장소
* 파일 하나하나를 **오브젝트(object)**라고 부름
* 박스 같은 공간인 **컨테이너(container)**에 넣어서 정리
* 하드디스크처럼 디렉토리 구조는 없음, 대신 메타데이터로 관리
* 보통 읽기/쓰기만 하고, 수정은 거의 안 함

컨테이너 생성
openstack container create new-con
오브젝트(파일) 업로드
openstack object create new-con all-in-one
오브젝트 목록 확인
openstack object create new-con all-in-one
![](https://velog.velcdn.com/images/jupiter-j/post/37a700fb-9b8a-42db-b25e-39b95280dce1/image.png)![](https://velog.velcdn.com/images/jupiter-j/post/f4cb7456-58bf-43df-abf8-7c07844fee18/image.png)
컨테이너를 public으로 변경 
해당 설정변경으로 wget명령어를 사용하여 파일을 다운받을 수 있음 
![](https://velog.velcdn.com/images/jupiter-j/post/9ac1a992-3efd-469e-80c7-6a9ba6e405ae/image.png)































> https://daaa0555.tistory.com/420



[CCCR] 프라이빗 오픈 클라우드를 위한 오픈스택 구축 및 운영 (2)
Wed, 28 May 2025 00:49:05 GMT
개념
가상화

개념: 물리적인 리소스를 논리적으로 추상화
스토리지 - RAID / LVM, Thin Provisioning, SDS
네트워크 - VLAN / Bonding, SDN / NFV
시스템 - 가상머신(VM), 컨테이너



클라우드

개념: 네트워크(인터넷)를 통해 언제/어디서든 접근 가능한 온디맨드 방식으로 서비스를 제공하는 형태
특징: 비용/ 시간/ 가시성/ 사전지식
종류: 퍼블릭/ 프라이빗/ 하이브리드 클라우드의 종류로 나뉜다. 

오픈스택

개념: 프라이빗 클라우드를 구성하고 우영하는 도구 중 하나 
배포방식: 구성 서비스를 프로세스 형태냐 혹은 컨테이너 형태인가 




오픈스택 아키텍쳐

컨트롤러 노드 - 오픈스택 환경 구성 및 관리


클러스터 구성후 사용(3대 이상)


컴퓨트 노드 - 생성하는 인스턴스에 리소스 제공

네트워크 노드 - 외부 통신과 관련한 부분 담당, 네트워크 구성 

스토리지 노드(HCI - 스토리지 서비스를 통한 스토리지 제공


오픈스택 컴포넌트
keystone(ID관리), horizon(대시보드), nova(컴퓨트-인스턴스 스케줄링), glance(이미지 관리), neutron(네트워크), cinder(블록스토리지), manila(공유 스토리지), heat(오케스트레이션-배포관리), ceilometer/gnocchi/aodh(사용량 측정)  
대시보드

도메인 - 논리적인 단위 중 최상위 개체(프로젝트 및 사용자/그룹 포함)
프로젝트 - 리소스들이 격리, 할당량 제한, 접근제어
사용자(그룹) - 접근제어를 위한 대상  
역할(정책) - 개체 별 동작에 대한 가능 여부 결정 

역할

역할 확인 : openstack role list


역할 할당 목록: openstack role assignment list --names


역할 생성 : openstack role add --project demo-project --user demo-user member 


역할 삭제 : openstack role remove --project demo-project --user demo-user member



인스턴스 생성

메모리 고려 하여 컨테이너 stop : sudo docker stop $(sudo docker ps | grep -e heat -e gnocchi -e aodh -e ceilo -e octavia | awk '{print $1}')


(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack role create vm-list-viewer
+-------------+----------------------------------+
| Field       | Value                            |
+-------------+----------------------------------+
| description | None                             |
| domain_id   | None                             |
| id          | a6b6e454884d46dbbe03a0a3a191df92 |
| name        | vm-list-viewer                   |
| options     | {}                               |
+-------------+----------------------------------+
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack role add --user test-user --project demo-project vm-list-viewer
No user with a name or ID of 'test-user' exists.
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack role assignment list --names --user -test-user
usage: openstack role assignment list [-h] [-f {csv,json,table,value,yaml}] [-c COLUMN] [--quote {all,minimal,none,nonnumeric}]
                                      [--noindent] [--max-width ] [--fit-width] [--print-empty]
                                      [--sort-column SORT_COLUMN] [--sort-ascending | --sort-descending] [--effective]
                                      [--role ] [--role-domain ] [--names] [--user ]
                                      [--user-domain ] [--group ] [--group-domain ]
                                      [--domain  | --project  | --system ]
                                      [--project-domain ] [--inherited] [--auth-user] [--auth-project]
openstack role assignment list: error: argument --user: expected one argument
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack role assignment list --names --user test-user
No user with a name or ID of 'test-user' exists.
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack user create --password 123 test-user
+---------------------+----------------------------------+
| Field               | Value                            |
+---------------------+----------------------------------+
| domain_id           | default                          |
| enabled             | True                             |
| id                  | d3feb4147e2247939ba5c87aa692b2e4 |
| name                | test-user                        |
| options             | {}                               |
| password_expires_at | None                             |
+---------------------+----------------------------------+
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack role assignment list --names --user test-user

(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack role assignment list --names --user test-user

(os-venv) vagrant@openstack-aio:/etc/kolla$
(os-venv) vagrant@openstack-aio:/etc/kolla$
(os-venv) vagrant@openstack-aio:/etc/kolla$ ㅣㄴ
-bash: ㅣㄴ: command not found
(os-venv) vagrant@openstack-aio:/etc/kolla$ ls
admin-openrc.sh          haproxy                    neutron-server          redis-sentinel
aodh-api                 heat-api                   nova-api                swift
aodh-evaluator           heat-api-cfn               nova-api-bootstrap      swift-account-auditor
aodh-listener            heat-engine                nova-cell-bootstrap     swift-account-reaper
aodh-notifier            horizon                    nova-compute            swift-account-replication-server
ceilometer-central       iscsid                     nova-conductor          swift-account-replicator
ceilometer-compute       keepalived                 nova-libvirt            swift-account-server
ceilometer-notification  keystone                   nova-novncproxy         swift-container-auditor
cinder-api               keystone-fernet            nova-scheduler          swift-container-replication-server
cinder-backup            keystone-ssh               nova-ssh                swift-container-replicator
cinder-scheduler         kolla-toolbox              octavia-api             swift-container-server
cinder-volume            manila-api                 octavia-certificates    swift-container-updater
clouds.yaml              manila-data                octavia-health-manager  swift-object-auditor
config                   manila-scheduler           octavia-housekeeping    swift-object-expirer
cron                     manila-share               octavia-openrc.sh       swift-object-replication-server
demo-user_admin.sh       mariadb                    octavia-worker          swift-object-replicator
fluentd                  mariadb-clustercheck       openvswitch-db-server   swift-object-server
glance-api               memcached                  openvswitch-vswitchd    swift-object-updater
globals.d                neutron-dhcp-agent         passwords.yml           swift-proxy-server
globals.yml              neutron-l3-agent           placement-api           swift-rsyncd
gnocchi-api              neutron-metadata-agent     rabbitmq                tgtd
gnocchi-metricd          neutron-openvswitch-agent  redis
(os-venv) vagrant@openstack-aio:/etc/kolla$ cp admin-openrc.sh test-openrc.sh

(os-venv) vagrant@openstack-aio:/etc/kolla$ cat test-openrc.sh
# Ansible managed

# Clear any old environment that may conflict.
for key in $( set | awk '{FS="="}  /^OS_/ {print $1}' ); do unset $key ; done
export OS_PROJECT_DOMAIN_NAME='Default'
export OS_USER_DOMAIN_NAME='Default'
export OS_PROJECT_NAME='demo-project'
export OS_TENANT_NAME='admin'
export OS_USERNAME='test-user'
export OS_PASSWORD='123'
export OS_AUTH_URL='http://192.168.56.250:5000'
export OS_INTERFACE='internal'
export OS_ENDPOINT_TYPE='internalURL'
export OS_MANILA_ENDPOINT_TYPE='internalURL'
export OS_IDENTITY_API_VERSION='3'
export OS_REGION_NAME='Seoul'











실습 설정


프로젝트 1개 - practice-project
사용자 2개 - operator(권한:admin역할) , normal-user(권한:member역할)
인증파일 준비 - operator.sh , normal.sh

openstack user list
openstack role assignment list --project practice-project --names
openstack user create --domain default --password '123' operator
openstack user create --domain default --password '123' normal-user
openstack project create practice-project
openstack role add --project practice-project --user operator admin
openstack role add --project practice-project --user normal-user member


(os-venv) vagrant@openstack-aio:/etc/kolla$ cat operator.sh
# Ansible managed

# Clear any old environment that may conflict.
for key in $( set | awk '{FS="="}  /^OS_/ {print $1}' ); do unset $key ; done
export OS_PROJECT_DOMAIN_NAME='Default'
export OS_USER_DOMAIN_NAME='Default'
export OS_PROJECT_NAME='practice-project'
export OS_TENANT_NAME='operator'
export OS_USERNAME='operator'
export OS_PASSWORD='123'
export OS_AUTH_URL='http://192.168.56.250:5000'
export OS_INTERFACE='internal'
export OS_ENDPOINT_TYPE='internalURL'
export OS_MANILA_ENDPOINT_TYPE='internalURL'
export OS_IDENTITY_API_VERSION='3'
export OS_REGION_NAME='Seoul'
export OS_AUTH_PLUGIN='password'
(os-venv) vagrant@openstack-aio:/etc/kolla$ cat normal.sh
# Ansible managed

# Clear any old environment that may conflict.
for key in $( set | awk '{FS="="}  /^OS_/ {print $1}' ); do unset $key ; done
export OS_PROJECT_DOMAIN_NAME='Default'
export OS_USER_DOMAIN_NAME='Default'
export OS_PROJECT_NAME='practice-project'
export OS_TENANT_NAME='admin'
export OS_USERNAME='normal-user'
export OS_PASSWORD='123'
export OS_AUTH_URL='http://192.168.56.250:5000'
export OS_INTERFACE='internal'
export OS_ENDPOINT_TYPE='internalURL'
export OS_MANILA_ENDPOINT_TYPE='internalURL'
export OS_IDENTITY_API_VERSION='3'
export OS_REGION_NAME='Seoul'






실습


cirrors 이미지를 my-image라는 이름으로 생성
보호 설정을 활성화
삭제 시도
test-project 라는 프로젝트 생성
test-user 사용자 생성
test-user 사용자에 test-project에 대한 member 역할 설정
test-user 사용자로 이미지 목록 확인
가시성 설정을 public으로 변경
test-user 사용자로 다시 확인


이미지 생성

이미지 생성 : openstack image create --file cirros-0.6.2-x86_64-disk.img --disk-format qcow2 demo-im
이미지 목록 확인 : openstack image list

(os-venv) vagrant@openstack-aio:$ ls
all-in-one                 cirros-0.6.2-x86_64-disk.img        octavia
amphora-x64-haproxy.d      debian-12-genericcloud-amd64.qcow2  os-venv
amphora-x64-haproxy.qcow2  manila-service-image-master.qcow2   VBoxGuestAdditions_7.1.6.iso
(os-venv) vagrant@openstack-aio:$ openstack image create --file cirros-0.6.2-x86_64-disk.img --disk-format qcow2 demo-im                     g
+------------------+-----------------------------------------------------------------------------------------------------                     -----------------------------------------+
| Field            | Value                                                                                                                                                             |
+------------------+-----------------------------------------------------------------------------------------------------                     -----------------------------------------+
| container_format | bare                                                                                                                                                              |
| created_at       | 2025-05-28T06:33:33Z                                                                                                                                              |
| disk_format      | qcow2                                                                                                                                                             |
| file             | /v2/images/fd0fec44-42e3-4925-bb31-f9412798797f/file                                                                                                              |
| id               | fd0fec44-42e3-4925-bb31-f9412798797f                                                                                                                              |
| min_disk         | 0                                                                                                                                                                 |
| min_ram          | 0                                                                                                                                                                 |
| name             | demo-img                                                                                                                                                          |
| owner            | 00855a5cafa646478a16f350df1f00f6                                                                                                                                  |
| properties       | os_hidden='False', owner_specified.openstack.md5='', owner_specified.openstack.object='images/demo-i                     mg', owner_specified.openstack.sha256='' |
| protected        | False                                                                                                                                                             |
| schema           | /v2/schemas/image                                                                                                                                                 |
| status           | queued                                                                                                                                                            |
| tags             |                                                                                                                                                                   |
| updated_at       | 2025-05-28T06:33:33Z                                                                                                                                              |
| visibility       | shared                                                                                                                                                            |
+------------------+-----------------------------------------------------------------------------------------------------                     -----------------------------------------+
(os-venv) vagrant@openstack-aio:$ openstack image list
+--------------------------------------+---------------------+--------+
| ID                                   | Name                | Status |
+--------------------------------------+---------------------+--------+
| 6906bd8f-7956-4d85-ad43-87af6da739b7 | amphora-x64-haproxy | active |
| fd0fec44-42e3-4925-bb31-f9412798797f | demo-img            | active |
| 4d9abb87-9dbb-4a4a-a945-6fbe87dc090c | my-image            | queued |
| 0eb99ac7-03d5-4d35-858f-8a541f9af77b | my-image1           | queued |
| 2d88772b-3fd4-4558-be12-b430b5a00519 | my-image1           | queued |
+--------------------------------------+---------------------+--------+
(os-venv) vagrant@openstack-aio:$
- 보호 해제 후 이미지 삭제 : `openstack image set --unprotected 4d9abb87-9dbb-4a4a-a945-6fbe87dc090c`

![](https://velog.velcdn.com/images/jupiter-j/post/0975594d-9433-451c-8507-693a42fed4ba/image.png)





### flavor 생성
![](https://velog.velcdn.com/images/jupiter-j/post/ccc7f586-ea8d-4ec9-b33a-f52413b87a10/image.png)

![](https://velog.velcdn.com/images/jupiter-j/post/d9377843-f2b5-4678-9405-4b6c8af7402b/image.png)
![](https://velog.velcdn.com/images/jupiter-j/post/080431f9-ed32-4e4d-a0d5-09219da908ad/image.png)
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack flavor list
+--------------------------------------+------+-----+------+-----------+-------+-----------+
| ID                                   | Name | RAM | Disk | Ephemeral | VCPUs | Is Public |
+--------------------------------------+------+-----+------+-----------+-------+-----------+
| da5dc3b9-9177-4341-b94d-c1299008f590 | mini | 512 |    1 |         0 |     1 | True      |
+--------------------------------------+------+-----+------+-----------+-------+-----------+
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack flavor list --all
+--------------------------------------+---------+-----+------+-----------+-------+-----------+
| ID                                   | Name    | RAM | Disk | Ephemeral | VCPUs | Is Public |
+--------------------------------------+---------+-----+------+-----------+-------+-----------+
| 200                                  | amphora | 512 |    5 |         0 |     1 | False     |
| da5dc3b9-9177-4341-b94d-c1299008f590 | mini    | 512 |    1 |         0 |     1 | True      |
+--------------------------------------+---------+-----+------+-----------+-------+-----------+


- flavor생성: `openstack flavor create --ram 512
--disk 1 --vcpus 1 mini-flavor`
- disk 생성: ` openstack flavor create --ram 1024 --disk 10 --vcpus 1 --ephemeral 1 --swap 12 demo-disk
`

![](https://velog.velcdn.com/images/jupiter-j/post/88b22f22-9b46-46bf-a77f-8ad71d5dcf76/image.png)![](https://velog.velcdn.com/images/jupiter-j/post/6c077d6f-9118-4e15-af95-2fd6811077ef/image.png)




### 네트워크 생성 

- 일반 사용자는 내부용 네트워크만 생성 가능
- 관리자 네트워크는 외부, 내부 네트워크 생성 가능

![](https://velog.velcdn.com/images/jupiter-j/post/d9ca1f39-953b-48e6-854d-a8d3fcfb041f/image.png)
![](https://velog.velcdn.com/images/jupiter-j/post/26e3aa68-65bb-474f-aa0c-82d56a400f79/image.png)
![](https://velog.velcdn.com/images/jupiter-j/post/0394f943-5b8b-4a63-905a-f4d86b0c6432/image.png)

![](https://velog.velcdn.com/images/jupiter-j/post/a86ba2f9-177a-4aad-9750-e574cfd44fe8/image.png)
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack flavor show demo-flavor
+----------------------------+--------------------------------------+
| Field                      | Value                                |
+----------------------------+--------------------------------------+
| OS-FLV-DISABLED:disabled   | False                                |
| OS-FLV-EXT-DATA:ephemeral  | 0                                    |
| access_project_ids         | None                                 |
| description                | None                                 |
| disk                       | 10                                   |
| id                         | 76df590a-6e24-465b-98f6-a500b6ff4355 |
| name                       | demo-flavor                          |
| os-flavor-access:is_public | True                                 |
| properties                 |                                      |
| ram                        | 2028                                 |
| rxtx_factor                | 1.0                                  |
| swap                       | 0                                    |
| vcpus                      | 1                                    |
+----------------------------+--------------------------------------+
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack network
![](https://velog.velcdn.com/images/jupiter-j/post/2bf269cb-2dbe-4d87-b729-1a3c0010f7aa/image.png)

* 네트워크 생성 : ` openstack network create new-int`
* 네트워크 목록 확인: `openstack network list`
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack network list
+--------------------------------------+------------------------+--------------------------------------+
| ID                                   | Name                   | Subnets                              |
+--------------------------------------+------------------------+--------------------------------------+
| 1b3dc678-3fc3-435c-9d4e-642100de4763 | lb-mgmt-net            | e485a912-594b-4c5d-a7a3-46bee0139c2a |
| b026697c-fb06-4536-b7a1-e58b1dc5f402 | manila_service_network |                                      |
| d52a595d-d6e5-41a0-b01d-1115a4550c42 | demo-network           | 281028ff-1f61-4ce9-824a-a3eb13e01e1a |
+--------------------------------------+------------------------+--------------------------------------+
(os-venv) vagrant@openstack-aio:/etc/kolla$
- 서브넷 생성: `openstack subnet create --network demo-network --subnet-range 172.17.0.0/24 --gateway 172.17.0.1 --dhcp --dns-nameserver 8.8.8.8 --allocation-pool start=172.17.0.2,end=172.17.0.254 new-subnet
`
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack subnet create --network demo-network --subnet-range 172.17.0.0/24 --gateway 172.17.0.1 --dhcp --dns-nameserver 8.8.8.8 --allocation-pool start=172.17.0.2,end=172.17.0.254 new-subnet
+----------------------+--------------------------------------+
| Field                | Value                                |
+----------------------+--------------------------------------+
| allocation_pools     | 172.17.0.2-172.17.0.254              |
| cidr                 | 172.17.0.0/24                        |
| created_at           | 2025-05-28T07:23:13Z                 |
| description          |                                      |
| dns_nameservers      | 8.8.8.8                              |
| dns_publish_fixed_ip | None                                 |
| enable_dhcp          | True                                 |
| gateway_ip           | 172.17.0.1                           |
| host_routes          |                                      |
| id                   | 25bc9fb4-aa59-4450-a922-cc9ebb58d25f |
| ip_version           | 4                                    |
| ipv6_address_mode    | None                                 |
| ipv6_ra_mode         | None                                 |
| name                 | new-subnet                           |
| network_id           | d52a595d-d6e5-41a0-b01d-1115a4550c42 |
| project_id           | 00855a5cafa646478a16f350df1f00f6     |
| revision_number      | 0                                    |
| segment_id           | None                                 |
| service_types        |                                      |
| subnetpool_id        | None                                 |
| tags                 |                                      |
| updated_at           | 2025-05-28T07:23:13Z                 |
+----------------------+--------------------------------------+
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack subnet list
+--------------------------------------+----------------+--------------------------------------+----------------+
| ID                                   | Name           | Network                              | Subnet         |
+--------------------------------------+----------------+--------------------------------------+----------------+
| 25bc9fb4-aa59-4450-a922-cc9ebb58d25f | new-subnet     | d52a595d-d6e5-41a0-b01d-1115a4550c42 | 172.17.0.0/24  |
| 281028ff-1f61-4ce9-824a-a3eb13e01e1a | demo-subnet    | d52a595d-d6e5-41a0-b01d-1115a4550c42 | 192.168.0.0/24 |
| e485a912-594b-4c5d-a7a3-46bee0139c2a | lb-mgmt-subnet | 1b3dc678-3fc3-435c-9d4e-642100de4763 | 10.1.0.0/24    |
+--------------------------------------+----------------+--------------------------------------+----------------+
(os-venv) vagrant@openstack-aio:/etc/kolla$
![](https://velog.velcdn.com/images/jupiter-j/post/f3ec74b8-523b-479a-a2ea-8ac2b1e992a0/image.png)

- 네트워크 삭제: `openstack network delete demo-network`
네트워크를 지우면 서브넷은 자동으로 삭제가 된다. 


> ## 실습
1. 이미지 생성 
* 이름: test-img / 파일:cirros / 유형: qcow2/ 가시성:share/ 보호설정은 필요없음
* 이름: debian-img / 파일:debian / 유형: qcow2/ 가시성:public/ 보호설정은 활성화 
2. 플레이버 생성 
* 이름: mini / vcpu:1, ram:512M, root-disk:1G 
* 이름: demo-flavor, vcpu:1, ram:2048M, root-disk:10G
3. 네트워크 생성
* 네트워크 이름: internal, 
* subnet이름: internal-subnet, ip대역: 192.168.100.0/24, gateway:192.168.100.1, DNS:8.8.8.8  


### 이미지 생성 
* test-image 생성 : `openstack image create "test-img" --file cirros-0.6.2-x86_64-disk.img --disk-format qcow2 --container-format bare --shared`
* debian-iamge 생성: `openstack image create "debian-img" --file debian-12-genericcloud-amd64.qcow2 --disk-format qcow2 --container-format bare --public --protected`
![](https://velog.velcdn.com/images/jupiter-j/post/1995d4f4-2c26-45df-8ec1-6d25dc72a3ca/image.png)![](https://velog.velcdn.com/images/jupiter-j/post/d2829601-c7af-4921-934b-75fc1329da20/image.png)![](https://velog.velcdn.com/images/jupiter-j/post/6bf626c5-7e96-4cf8-a1a8-19e4fccc5382/image.png)




### 플레이버 생성 
* mini-flavor: `openstack flavor create --ram 512 --disk 1 --vcpus 1 mini-flavor`
* demo-flavor: `openstack flavor create --ram 2028 --disk 10 --vcpus 1 demo-flavor`
![](https://velog.velcdn.com/images/jupiter-j/post/00cfec04-d775-42eb-b8eb-f8eaad8eac49/image.png)




### 네트워크 생성
* 네트워크 생성 : ` openstack network create internal && openstack subnet create internal-subnet --network internal --subnet-range 192.168.100.0/24 --gateway 192.168.100.1 --dns-nameserver 8.8.8.8`

![](https://velog.velcdn.com/images/jupiter-j/post/8a6649da-6c86-4aed-ba1b-3a1d1192ff2c/image.png)![](https://velog.velcdn.com/images/jupiter-j/post/d84db6bd-4fef-490b-9168-7fbbeddf38bc/image.png)![](https://velog.velcdn.com/images/jupiter-j/post/7f1b1ffd-4513-4e23-bb06-7c3f45f70fb1/image.png)





## 인스턴스 생성
![](https://velog.velcdn.com/images/jupiter-j/post/a9664c86-ea8e-4ebd-a7cd-10a36dd038d3/image.png)

![](https://velog.velcdn.com/images/jupiter-j/post/ff72d248-8317-4f76-8ff3-da35f6dc8fe0/image.png)
![](https://velog.velcdn.com/images/jupiter-j/post/c3bc0b89-213f-4817-871d-24db7e29c1c2/image.png)
(os-venv) vagrant@openstack-aio:~$ openstack server create --image test-img --flavor mini-flavor --network internal test-vm
+-------------------------------------+----------------------------------------------------+
| Field                               | Value                                              |
+-------------------------------------+----------------------------------------------------+
| OS-DCF:diskConfig                   | MANUAL                                             |
| OS-EXT-AZ:availability_zone         |                                                    |
| OS-EXT-SRV-ATTR:host                | None                                               |
| OS-EXT-SRV-ATTR:hypervisor_hostname | None                                               |
| OS-EXT-SRV-ATTR:instance_name       |                                                    |
| OS-EXT-STS:power_state              | NOSTATE                                            |
| OS-EXT-STS:task_state               | scheduling                                         |
| OS-EXT-STS:vm_state                 | building                                           |
| OS-SRV-USG:launched_at              | None                                               |
| OS-SRV-USG:terminated_at            | None                                               |
| accessIPv4                          |                                                    |
| accessIPv6                          |                                                    |
| addresses                           |                                                    |
| adminPass                           | vy5RpQnmvzmg                                       |
| config_drive                        |                                                    |
| created                             | 2025-05-28T08:35:49Z                               |
| flavor                              | mini-flavor (6c4f3d8a-799b-44e1-8035-7e56966b086f) |
| hostId                              |                                                    |
| id                                  | e84dd025-363c-41bf-bdf6-ad639ec4cd33               |
| image                               | test-img (2ee4f418-d721-4fe4-aebf-0920206ce358)    |
| key_name                            | None                                               |
| name                                | test-vm                                            |
| progress                            | 0                                                  |
| project_id                          | 00855a5cafa646478a16f350df1f00f6                   |
| properties                          |                                                    |
| security_groups                     | name='default'                                     |
| status                              | BUILD                                              |
| updated                             | 2025-05-28T08:35:50Z                               |
| user_id                             | 58d8e1d0c87143aaad968509ea167b17                   |
| volumes_attached                    |                                                    |
+-------------------------------------+----------------------------------------------------+
- 인스턴스 생성 : ` openstack server create --image test-img --flavor mini-flavor --network internal test-vm`


![](https://velog.velcdn.com/images/jupiter-j/post/e580628e-4d45-4a00-8e56-fc888268e02b/image.png)

![](https://velog.velcdn.com/images/jupiter-j/post/643d1f5a-d107-4c34-a53c-0a622792b1c3/image.png)

![](https://velog.velcdn.com/images/jupiter-j/post/721387c7-8124-482a-a5a5-d93a11f92a1f/image.png)

![](https://velog.velcdn.com/images/jupiter-j/post/30cafbcd-a6cb-4105-a5ad-635db5ac46aa/image.png)






### 오픈스택 인스턴스 생성과정
1. horizon 서비스에서 인스턴스 생성 작업 지시
2. keystone 서비스를 통해 인증
3. nova-api 서비스로 인스턴스 생성 요청
4. nova-conductor 서비스로 요청 내용 전달
5. nova-scheduler 서비스로 요청해서 사용 가능한 노드를 확인
6. placement 서비스를 통해 리소스 사용에 대한 정보 확인
7. 정보를 바탕으로 사용 가능한 노드 목록을 선정
8. nova-scheduler에서 노드를 선택
9. nova-conductor 최종으로 선택해서 배치
10. glance-api에 이미지를 요청
11. 백엔드 스토리지에서 선택된 컴퓨트 노드로 이미지를 복사
12. 컴퓨트 노드에 있는 nova-compute 서비스와 hypervisor로 인스턴스를 생성함 






[CCCR] 프라이빗 오픈 클라우드를 위한 오픈스택 구축 및 운영 (1)
Tue, 27 May 2025 02:34:27 GMT

파일 > 가상시스템 가져오기 선택하여 vm 생성


네트워크 설정 , 이름 설정, 공유폴더 설정 

파일>도구>네트워크 관리자
hostonly 네트워크 2개 확인


68.56.1/24

168.57.1/24




네트워크 어뎁터 2, 3은 hostonly로 설정, 만들어둔 네트워크 어뎁터 이름을 선택하기



putty 접속
사용자 vagrant / vagrant
ssh vagrant@192.18.56.200





오픈스택 설치
해당 실습은 이미 koll-ansible이 설치되었다는 가정하에 진행함으로 환경이 없다면 아래 링크로 설치
https://docs.openstack.org/kolla-ansible/2024.1/user/quickstart.html

파이썬 가상환경 활성화

(os-venv) vagrant@openstack-aio:~$ tail ~/.bashrc
# this, if it's already enabled in /etc/bash.bashrc and /etc/profile
# sources /etc/bash.bashrc).
if ! shopt -oq posix; then
  if [ -f /usr/share/bash-completion/bash_completion ]; then
    . /usr/share/bash-completion/bash_completion
  elif [ -f /etc/bash_completion ]; then
    . /etc/bash_completion
  fi
fi
source os-venv/bin/activate ## 추가




kolla-ansible 깃허브
https://opendev.org/openstack/kolla-ansible




도메인
오픈스택에는 물리적인 데이터들을 나누는 단위로 리전을 사용하여 논리적인 구분단위로 도메인과 프로젝트라는 개념을 사용한다. 
도메인은 하나의 리전에 포함되는 가장 큰 논리적 단위이다. 도메인 안에는 프로젝트와 사용자 및 그룹이 포함되며 이를 통해 리소스에 대한 격리 및 접근제어 역할을 수행한다. 
관리자 권한의 계정으로만 작업 가능함.


도메인 생성: openstack domain create new-domain



도메인 삭제
최상위 단위이기 때문에 비활성화 후 삭제를 할수있다. 



비활성화: openstack domain set --disable new-domain
삭제: openstack domain delete new-domain(os-venv) vagrant@openstack-aio:~$ openstack domain set --disable new-domain
(os-venv) vagrant@openstack-aio:~$ openstack domain delete new-domain

대시보드 접속


pw/id를 모를경우
kolla ansible기준 /etc/kolla/admin-openrc.sh 파일에 해당 값이 존재함 확인하기 



프로젝트 확인시 왼쪽 상단 잘보기 



인증> 프로젝트의 위치에 있는 값 2개는 오픈스택 어느버전이든 default로 설치되어있음. 오픈스택 서비스가 동작하기 위해 사용됨
프로젝트 생성 - GUI



멤버관리 > 프로젝트 편집: 유저 권한/그룹권한을 부여할 수 있음. 
멤버관리 > Quotas : cpu,memory등 수정 가능
도메인은 활성화 상태에서 바로 삭제할수 없으나 프로젝트는 활성화 상태에서도 바로 삭제가 가능하다. 
프로젝트 생성 - CLI

(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack project list
+----------------------------------+---------+
| ID                               | Name    |
+----------------------------------+---------+
| 00855a5cafa646478a16f350df1f00f6 | admin   |
| e1cbe4b32b1744bf8f78d964db3215fc | service |
+----------------------------------+---------+
(os-venv) vagrant@openstack-aio:/etc/kolla$

서브 프로젝트 생성: openstack project create --parent new-project sub-project
프로젝트 명은 중복으로 만들 수 없다. 
삭제시 프로젝트가 서브와 중첩되어있기 때문에 하위 프로젝트인 서브 프로젝트부터 삭제해야한다. 


할당량 관리
관리>시스템>기본 : 앞으로 생성할 모든 프로젝트의 기본값을 수정
인증>멤버관리 > Quotas : 단일 프로젝트 기본값 수정 

--옵션을 사용하여 compute, volume등을 확인 가능 



실습



도메인 생성 : practice-domain
도메인 안에 프로젝트 생성 : upper-project
리소스 기본 할당량을 조정 및 확인
프로젝트 중첩해서 생성 : lower-project
리소스 할당량 조정 및 확인: lower-project의 리소스 할당량 변경
프로젝트 및 도메인 삭제
lower-project 삭제 > upeer-project 삭제 > practice-doamin 비활성화 > 삭제 


(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack domain create practice-domain
+-------------+----------------------------------+
| Field       | Value                            |
+-------------+----------------------------------+
| description |                                  |
| enabled     | True                             |
| id          | 200f3f3aeffc4ed7870b10a9250d0cf5 |
| name        | practice-domain                  |
| options     | {}                               |
| tags        | []                               |
+-------------+----------------------------------+
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack domain list
+----------------------------------+------------------+---------+--------------------+
| ID                               | Name             | Enabled | Description        |
+----------------------------------+------------------+---------+--------------------+
| 200f3f3aeffc4ed7870b10a9250d0cf5 | practice-domain  | True    |                    |
| 678ffb142e184d89bc5aaeebccbc86cd | heat_user_domain | True    |                    |
| default                          | Default          | True    | The default domain |
+----------------------------------+------------------+---------+--------------------+
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack project create --domain practice-domain upper-project
+-------------+----------------------------------+
| Field       | Value                            |
+-------------+----------------------------------+
| description |                                  |
| domain_id   | 200f3f3aeffc4ed7870b10a9250d0cf5 |
| enabled     | True                             |
| id          | 09a54747b7ba4ec18d92bc440c3eca63 |
| is_domain   | False                            |
| name        | upper-project                    |
| options     | {}                               |
| parent_id   | 200f3f3aeffc4ed7870b10a9250d0cf5 |
| tags        | []                               |
+-------------+----------------------------------+
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack project list
+----------------------------------+---------------+
| ID                               | Name          |
+----------------------------------+---------------+
| 00855a5cafa646478a16f350df1f00f6 | admin         |
| 09a54747b7ba4ec18d92bc440c3eca63 | upper-project |
| e1cbe4b32b1744bf8f78d964db3215fc | service       |
+----------------------------------+---------------+
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack project create lower-project --domain practice-domain --parent 09a54747b7ba4ec18d92bc440c3eca63
+-------------+----------------------------------+
| Field       | Value                            |
+-------------+----------------------------------+
| description |                                  |
| domain_id   | 200f3f3aeffc4ed7870b10a9250d0cf5 |
| enabled     | True                             |
| id          | e1279735f0ae459b93ff5323526c87cc |
| is_domain   | False                            |
| name        | lower-project                    |
| options     | {}                               |
| parent_id   | 09a54747b7ba4ec18d92bc440c3eca63 |
| tags        | []                               |
+-------------+----------------------------------+
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack project list
+----------------------------------+---------------+
| ID                               | Name          |
+----------------------------------+---------------+
| 00855a5cafa646478a16f350df1f00f6 | admin         |
| 09a54747b7ba4ec18d92bc440c3eca63 | upper-project |
| e1279735f0ae459b93ff5323526c87cc | lower-project |
| e1cbe4b32b1744bf8f78d964db3215fc | service       |
+----------------------------------+---------------+
(os-venv) vagrant@openstack-aio:/etc/kolla$

## 할당량

(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack quota show --compute lower-project
+----------------------+-------+
| Resource             | Limit |
+----------------------+-------+
| cores                |    20 |
| instances            |    10 |
| ram                  | 51200 |
| fixed-ips            |    -1 |
| injected-file-size   | 10240 |
| injected-path-size   |   255 |
| injected-files       |     5 |
| key-pairs            |   100 |
| properties           |   128 |
| server-groups        |    10 |
| server-group-members |    10 |
| floating-ips         |    -1 |
| secgroup-rules       |    -1 |
| secgroups            |    -1 |
+----------------------+-------+
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack quota show --compute upper-project
+----------------------+-------+
| Resource             | Limit |
+----------------------+-------+
| cores                |    20 |
| instances            |    10 |
| ram                  | 51200 |
| fixed-ips            |    -1 |
| injected-file-size   | 10240 |
| injected-path-size   |   255 |
| injected-files       |     5 |
| key-pairs            |   100 |
| properties           |   128 |
| server-groups        |    10 |
| server-group-members |    10 |
| floating-ips         |    -1 |
| secgroup-rules       |    -1 |
| secgroups            |    -1 |
+----------------------+-------+

(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack quota set --ram 512 lower-project --force
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack quota show --compute lower-project
+----------------------+-------+
| Resource             | Limit |
+----------------------+-------+
| cores                |    40 |
| instances            |    20 |
| ram                  |   512 |
| fixed-ips            |    -1 |
| injected-file-size   | 10240 |
| injected-path-size   |   255 |
| injected-files       |     5 |
| key-pairs            |   100 |
| properties           |   128 |
| server-groups        |    10 |
| server-group-members |    10 |
| floating-ips         |    -1 |
| secgroup-rules       |    -1 |
| secgroups            |    -1 |
+----------------------+-------+
## 삭제

(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack project delete lower-project
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack project delete upper-project
(os-venv) vagrant@openstack-aio:/etc/kolla$
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack domain set --disable practice-domain
(os-venv) vagrant@openstack-aio:/etc/kolla$
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack project list
+----------------------------------+---------+
| ID                               | Name    |
+----------------------------------+---------+
| 00855a5cafa646478a16f350df1f00f6 | admin   |
| e1cbe4b32b1744bf8f78d964db3215fc | service |
+----------------------------------+---------+
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack domain list
+----------------------------------+------------------+---------+--------------------+
| ID                               | Name             | Enabled | Description        |
+----------------------------------+------------------+---------+--------------------+
| 200f3f3aeffc4ed7870b10a9250d0cf5 | practice-domain  | False   |                    |
| 678ffb142e184d89bc5aaeebccbc86cd | heat_user_domain | True    |                    |
| default                          | Default          | True    | The default domain |
+----------------------------------+------------------+---------+--------------------+
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack domain delete practice-domain
(os-venv) vagrant@openstack-aio:/etc/kolla$ openstack domain list
+----------------------------------+------------------+---------+--------------------+
| ID                               | Name             | Enabled | Description        |
+----------------------------------+------------------+---------+--------------------+
| 678ffb142e184d89bc5aaeebccbc86cd | heat_user_domain | True    |                    |
| default                          | Default          | True    | The default domain |
+----------------------------------+------------------+---------+--------------------+
(os-venv) vagrant@openstack-aio:/etc/kolla$

도메인 생성 : practice-domain

도메인 안에 프로젝트 생성 : upper-project

프로젝트 중첩해서 생성 : lower-project

리소스 기본 할당량을 조정 및 확인

프로젝트 할당량 변경

도메인, 프로젝트 삭제





[k8s]쿠버네티스 인증서 만료, 갱신 & 스크립트 정리
Sun, 11 May 2025 14:54:54 GMT

kubernetes의 인증서란?
쿠버네티스는 여러 컴포넌트가 통신하면서 동작하는 분산 시스템이다.
이때, 서로를 신뢰하고 보안 연결을 하려면 인증서를 써야한다.





인증서는 어디에, 어떻게 만들어질까?
kubeadm init은 마스터용 인증서를 자동으로 만든다.
kubelet은 bootstrap 인증서를 사용해서 스스로 요청(CSR)을 보내서
정식 인증서(kubelet.crt)를 받고 이걸로 클러스터에 참여한다.
kubeadm의 Kubernetes 마스터 인증서 자동 생성

kubeadm init 명령을 실행하면, Kubernetes의 핵심 컴포넌트(API 서버, etcd 등)에 필요한 인증서들이 자동 생성된다
/etc/kubernetes/pki/ 경로에 저장/etc/kubernetes/pki/
├── ca.crt / ca.key                      # 클러스터의 루트 인증서
├── apiserver.crt / apiserver.key        # API 서버 HTTPS 인증
├── apiserver-kubelet-client.crt         # kubelet 접근용 인증서
├── etcd/*.crt                           # etcd 보안 통신용 인증서
├── front-proxy-*.crt                    # Aggregation Layer용
kubelet 인증서 생성 과정

kubeadm init 명령을 실행하면,/etc/kubernetes/pki/에 클러스터용 CA 인증서와 apiserver용 인증서가 생성되고,
kubelet이 초기에 사용할 임시 인증 정보(bootstrap-kubelet.conf)도 함께 생성된다
kubelet은 부팅 시 bootstrap-kubelet.conf를 사용해 API 서버에 접근하고, 자신의 인증서를 발급받기 위해 CSR(Certificate Signing Request)을 제출한다
쿠버네티스 컨트롤러가 CSR을 자동으로 승인하면,
kubelet은 /var/lib/kubelet/pki/ 경로에 정식 인증서(kubelet.crt, kubelet.key)를 저장하고,
이후에는 kubelet.conf를 사용하여 정식 구성원으로서 API 서버와 통신한다.



k8s와 kubelet에 pki 폴더가 자동으로 생성된것을 볼 수 있다.


[ kubeadm init 실행 ]
        │
        ├── /etc/kubernetes/pki/ 인증서 생성 (API 서버, etcd 등)
        └── bootstrap-kubelet.conf 생성 (kubelet 초기용)
               │
               ▼
[ kubelet 시작 ]
        │
        ├── bootstrap-kubelet.conf 사용해 API 서버에 접속
        └── CSR 요청 제출 → 자동 승인됨
               │
               ▼
[ 인증서 발급 완료 ]
        ├── /var/lib/kubelet/pki/kubelet.crt 저장
        └── kubelet.conf 로 전환하여 정식 통신 시작





인증서 갱신이 필요한 이유
kubernetes의 인증서 기간을 확인해보면 크게 두가지 섹터로 기간이 다른것을 확인할 수 있다. kubeadm certs check-expiration 명령어
kubeadm certs check-expiration
[check-expiration] Reading configuration from the cluster...
[check-expiration] FYI: You can look at this config file with 'kubectl -n kube-system get cm kubeadm-config -o yaml'

CERTIFICATE                EXPIRES                  RESIDUAL TIME   CERTIFICATE AUTHORITY   EXTERNALLY MANAGED
admin.conf                 Oct 25, 2024 02:01 UTC   202d            ca                      no
apiserver                 Oct 25, 2024 02:01 UTC   202d            ca                      no
apiserver-etcd-client     Oct 25, 2024 02:01 UTC   202d            etcd-ca                 no
apiserver-kubelet-client  Oct 25, 2024 02:01 UTC   202d            ca                      no
controller-manager.conf   Oct 25, 2024 02:01 UTC   202d            ca                      no
etcd-healthcheck-client   Oct 25, 2024 02:01 UTC   202d            etcd-ca                 no
etcd-peer                 Oct 25, 2024 02:01 UTC   202d            etcd-ca                 no
etcd-server               Oct 25, 2024 02:01 UTC   202d            etcd-ca                 no
front-proxy-client        Oct 25, 2024 02:01 UTC   202d            front-proxy-ca          no
scheduler.conf            Oct 25, 2024 02:01 UTC   202d            ca                      no
super-admin.conf          Oct 25, 2024 02:01 UTC   202d            ca                      no

CERTIFICATE AUTHORITY     EXPIRES                  RESIDUAL TIME   EXTERNALLY MANAGED
ca                        Mar 30, 2035 01:32 UTC   9y              no
etcd-ca                   Mar 30, 2035 01:32 UTC   9y              no
front-proxy-ca            Mar 30, 2035 01:32 UTC   9y              no
인증서는 컴포넌트 간에 보안 통신(TLS)을 위해 필요하다.
만료되면 신뢰할 수 없는 인증서가 되기 때문에, 연결이 끊기게 된다. 

인증서 만료 시 생기는 증상 예시



만료된 인증서
증상



admin.conf
kubectl 명령어 에러 발생 (x509: certificate has expired)


apiserver.crt
API 서버가 부팅 실패, 클러스터 전체 작동 불가


etcd/server.crt
etcd 간 통신 실패, 클러스터 데이터 저장/읽기 오류


kubelet.crt
노드 상태 보고 불가 (NotReady), 파드 스케줄링 안 됨







인증서 기간이 차이나는 이유
기본적으로 발급되는 모든 인증서의 유효기간은 1년 (365일)이다. ca.crt만 10년(3650일)로 기본 설정되어 있다.



인증서 종류
유효기간
이유



ca.crt (루트 CA)
10년
이 인증서가 모든 다른 인증서를 서명하므로, 자주 바꾸면 전체 재발급이 필요해 오래 유지


apiserver, etcd, admin.conf 등
1년
외부와 연결되거나 클러스터 내부에서 많이 쓰이므로 주기적으로 갱신이 안전


kubelet.crt
1년 (자동 갱신됨)
워커 노드의 상태를 지속적으로 보장해야 하므로 자동 갱신 처리



인증서의 분류




분류
설명
예시
기본 유효기간



1. 루트 인증서 (Root CA Certificates)
다른 인증서를 서명해주는 최상위 인증서
ca.crt, etcd-ca.crt, front-proxy-ca.crt
보통 10년


2. 클러스터 인증서 (Component/Leaf Certificates)
실제 각 컴포넌트가 사용하는 인증서
apiserver.crt, admin.conf, kubelet.crt, etcd/server.crt 등
보통 1년





인증서 사용 흐름




통신 대상
흐름 예시
누가 어떤 인증서를 사용하나?



👤 사용자 ↔ apiserver
kubectl get pods
admin.conf 안의 인증서로 사용자 인증


kubelet ↔ apiserver
워커 노드가 상태 보고
kubelet은 kubelet.crt로 인증apiserver는 apiserver-kubelet-client.crt로 인증


apiserver ↔ etcd
apiserver가 etcd에 데이터 요청
apiserver는 apiserver-etcd-client.crt 사용etcd는 etcd/server.crt로 응답


controller-manager ↔ apiserver
새 파드 생성 명령
controller-manager.conf의 인증서로 인증


scheduler ↔ apiserver
어디에 파드를 배치할지 결정
scheduler.conf의 인증서로 인증





인증서 갱신 방법
sudo kubeadm certs renew all
위의 명령어는 전체 클러스터 인증서 자동 갱신 명령어다. 문제는 1년만 추가로 갱신이 된다. 즉 10년짜리로 갱신을 하려면 단순한 명령어로는 되지 않는다.
스크립트
에러 




pcsd vip error
Mon, 28 Apr 2025 02:08:06 GMT

사건발단
k8s인프라 구성중에 haproxy와 pcsd를 설치했다.
이유는 vip를 사용하여 다중클러스터링에서 



haproxy가 running일때


haproxy가 stop일때



나는 당연히 pacemaker가 health체크를 하고 해당 부분을 반영시키는 줄 알았음

haproxy를 systemctl stop haproxy로 멈추면 haproxy 서비스(프로세스)만 죽는 거야. 하지만 VIP 리소스는 여전히 살아 있어.
VIP(MAESTRO-VIP, HAPROXY-VIP)는 haproxy랑은 별개로 pacemaker가 관리하거든. VIP는 그냥 "IP주소를 이 서버에 붙여주는 것"이야. haproxy랑 직접 연결된 건 아님.


즉, haproxy 프로세스는 죽어도, pcs status 보면 VIP는 여전히 Started 상태로 있을 거야. 클러스터 입장에서는 VIP를 모니터링할 뿐, haproxy 프로세스를 모니터링하지는 않아.

haproxy 프로세스까지 모니터링하고 싶다면?
그냥 VIP 모니터링만 하면 haproxy 죽은 걸 감지 못하잖아?
그래서 haproxy 프로세스를 감시하는 리소스를 별도로 추가할 수도 있어.
예시: ocf:heartbeat:haproxy 에이전트 사용
pcs resource create HAPROXY ocf:heartbeat:haproxy op monitor interval=30s 이런 식으로 등록하면 돼.
이렇게 하면 haproxy 죽으면 자동 failover(다른 노드로 VIP 이동)도 가능해.





안전하게 vip를 삭제하는 법
[root@k8s-master ~]# pcs resource disable MAESTRO-VIP
[root@k8s-master ~]#

[root@k8s-master ~]# pcs resource delete MAESTRO-VIP
Removing Constraint - location-k8s-master-mavip
Deleting Resource - MAESTRO-VIP

[root@k8s-master ~]# pcs status
Cluster name: MAESTRO_CLUSTER
Cluster Summary:
  * Stack: corosync (Pacemaker is running)
  * Current DC: k8s-master (version 2.1.7-5.el9_4-0f7f88312) - partition with quorum
  * Last updated: Mon Apr 28 11:27:05 2025 on k8s-master
  * Last change:  Mon Apr 28 11:20:57 2025 by root via root on k8s-master
  * 1 node configured
  * 1 resource instance configured

Node List:
  * Online: [ k8s-master ]

Full List of Resources:
  * HAPROXY-VIP    (ocf:heartbeat:IPaddr2):     Started k8s-master

Daemon Status:
  corosync: active/enabled
  pacemaker: active/enabled
  pcsd: active/enabled



안전하게 삭제됨! 




[k8s] UTM-VM-RHEL9.4 Setting하기 (1)
Mon, 31 Mar 2025 00:37:33 GMT
VM 생성

맥에서 arm이 아닌 amd로 k8s를 설치하기 
UTM을 사용해서 설치함 







1. Iso 다운


RHEL 9.4다운  https://developers.redhat.com/products/rhel/download#rhelforsap896?source=sso



RHEL 9.4v
x86_64 DVD iso 를 받을것 ! (amd를 사용하기 위해)








2. UTM setting


VM 생성시 Emulate를 선택해서 해야함

✅ Setting



4096 MB
CPU 2
5 GB

✅ 파티션 설정

/boot : 1024mib / ext4
/ : 나머지 영역 / ext4 / VG00 / lv_root 로 생성
swap : 일반적으로 메모리와 같거나 최대로 32Gib / swap / VG00 / lv_swap


UEFI로 설치한 경우 /boot/efi : 200mib / EFI System Partition
볼륨 그룹(V) : 수정(M) > 이름 : VG00 > 크기 정책(z) : 가능한 크게 > 저장(s)













3. Redhat








볼륨그룹을 VGO1로 수정함, 가능한크게를 설정안했음.. 




ssh로그인 하도록 허용

오래걸림주의

설치 완료되면 멈추고 공유폴더 밑의 Cd/DVD 초기화

재부팅전에 CD/DVD초기화 했는지 확인하고 재부팅 시작 

목록에 없습니까? 를 클릭하여 root접속 









4. RHEL 9.4 초기 설정

root ssh접속 허용 설정

sshd가 제대로 실행중인지 확인 
systemctl status sshd


root접속 허용 설정
vi /etc/ssh/sshd_config
62 #IgnoreRhosts yes
63
64 # To disable tunneled clear text passwords, change to no here!
65 PasswordAuthentication yes ##변경
66 #PermitEmptyPasswords no
67
68 # Change to no to disable s/key passwords
69 #KbdInteractiveAuthentication yes



여기서 부터는 터미널에서 SSH root접속이 되는지 확인해보기
ssh root@[vm-ip] 접속 





SElinux Off

Selinux OFF
셀리눅스의 보안정책 강화로 일부 기능들을 사용하지 못하거나 에러를 제대로 보기 힘듬. 그래서 해당 기능을 끈다.


Enforcing (기본값) – SELinux가 켜져있고 정책에 위반된 모든 작업을 차단함
Permissive – SELinux가 켜져있지만 정책에 위반된 사항에 대해 경고만 하도록 함 (audit 로그에 기록만 하는 상태)
Disable – SELinux가 완전히 꺼진 상태

[root@localhost ~]#
[root@localhost ~]# vi /etc/sysconfig/selinux

# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
...
#
#    grubby --update-kernel ALL --remove-args selinux
#
SELINUX=disabled ## 추가
# SELINUXTYPE= can take one of these three values:
#     targeted - Targeted processes are protected,





selinux 비활성화

[root@localhost ~]# grubby --update-kernel ALL --args selinux=0
[root@localhost ~]#
[root@localhost ~]# reboot
[root@localhost ~]# setenforce 0
setenforce: SELinux is disabled




firewall Off
[root@localhost ~]# systemctl disable --now firewalld
Removed "/etc/systemd/system/multi-user.target.wants/firewalld.service".
Removed "/etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service".

불필요한 서비스 off
[root@localhost ~]# systemctl disable --now cups.service bluetooth.service
Removed "/etc/systemd/system/printer.target.wants/cups.service".
Removed "/etc/systemd/system/multi-user.target.wants/cups.service".
Removed "/etc/systemd/system/multi-user.target.wants/cups.path".
Removed "/etc/systemd/system/bluetooth.target.wants/bluetooth.service".
Removed "/etc/systemd/system/sockets.target.wants/cups.socket".
Removed "/etc/systemd/system/dbus-org.bluez.service".



이미지 추가 & 디스크 마운트

원래는 로컬 레포를 사용하기 위해 이미지를 삽입(디스크추가) > 디스크 마운트를 해야함. 나의 경우 이미 이미지가 있어서 scp로 VM에 전송함  


scp로 베이스 이미지를 모두 전송함 (AppStream / BaseOS)[root@localhost /]# ll
합계 76
drwxr-xr-x    4 root root  4096  3월 31 10:00 AppStream
drwxr-xr-x    4 root root  4096  3월 31 10:39 BaseOS
dr-xr-xr-x.   2 root root  4096  8월 10  2021 afs
/rhel 폴더 하위에 이미지들을 넣음[root@localhost /]# cd rhel94/
[root@localhost rhel94]# ll
합계 8
drwxr-xr-x 4 root root 4096  3월 31 10:00 AppStream
drwxr-xr-x 4 root root 4096  3월 31 10:39 BaseOS
레파지토리 생성: vi /etc/yum.repos.d/local.repo[root@localhost rhel94]# cat [LocalRepo_BaseOS]
name=BaseOS
baseurl=file:///rhel94/BaseOS/
enabled=1
gpgcheck=0


[LocalRepo_AppStream]
name=AppStream
baseurl=file:///rhel94/AppStream/
enabled=1
gpgcheck=0

- 레파지토리 적용
dnf clean all
dnf repolist all
![](https://velog.velcdn.com/images/jupiter-j/post/ad198169-f008-4733-9724-6230801a7ed5/image.png)





## 시간동기화
chrony 설치 : dnf install chrony
chrony 데몬 시작 : systemctl enable --now chronyd
chrony 데몬 확인 : systemctl status chronyd
시간 확인 : chronyc sources




> **Master1, worker1, worker2구조를 만들기 위해 VM 복제
이후 내용부터는 각각의 VM에서 수행 **






## VM ip 고정 
### 할당된 ip & GW 확인
- gateway 확인 : `ip route show default`
default뒤의 ip가 gw
[root@localhost cloud]# ip route show default
default via 192.168.64.1 dev enp0s1 proto dhcp src 192.168.64.15 metric 100
- ip확인 : `ip a`
root@localhost cloud]# ip a
1: lo:  mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: enp0s1:  mtu 1500 qdisc fq_codel state UP group default qlen 1000
    link/ether da:ed:e9:75:94:ae brd ff:ff:ff:ff:ff:ff
    inet 192.168.64.15/24 brd 192.168.64.255 scope global dynamic noprefixroute enp0s1
       valid_lft 2928sec preferred_lft 2928sec
    inet6 fd84:450:23ec:c85a:d8ed:e9ff:fe75:94ae/64 scope global dynamic noprefixroute
       valid_lft 2591932sec preferred_lft 604732sec
    inet6 fe80::d8ed:e9ff:fe75:94ae/64 scope link noprefixroute
       valid_lft forever preferred_lft forever

### 고정 ip 설정
- `vi /etc/NetworkManager/system-connections/enp0s1.nmconnection`
[root@localhost cloud]# cat /etc/NetworkManager/system-connections/enp0s1.nmconnection
[connection]
id=enp0s1
uuid=62564758-41ca-3a3b-9269-fb6ac68157ba
type=ethernet
autoconnect-priority=-999
interface-name=enp0s1
timestamp=1743142416
[ethernet]
[ipv4]
method=manual
addresses=192.168.64.15/24 ## 변경
gateway=192.168.64.1 ## 변경
dns=8.8.8.8 ## 추가 
[ipv6]
addr-gen-mode=eui64
method=auto
[proxy]
![](https://velog.velcdn.com/images/jupiter-j/post/12db366a-09aa-4a0b-94c3-121ef8c3cada/image.png)

- `systemctl restart NetworkManager` : 적용

### 적용확인
- `ip addr show enp0s1`
- `ip route show`
[root@localhost cloud]# ip addr show enp0s1
2: enp0s1:  mtu 1500 qdisc fq_codel state UP group default qlen 1000
    link/ether da:ed:e9:75:94:ae brd ff:ff:ff:ff:ff:ff
    inet 192.168.64.15/24 brd 192.168.64.255 scope global noprefixroute enp0s1
       valid_lft forever preferred_lft forever
    inet6 fd84:450:23ec:c85a:d8ed:e9ff:fe75:94ae/64 scope global dynamic noprefixroute
       valid_lft 2591993sec preferred_lft 604793sec
    inet6 fe80::d8ed:e9ff:fe75:94ae/64 scope link noprefixroute
       valid_lft forever preferred_lft forever
[root@localhost cloud]# ip route show
default via 192.168.64.1 dev enp0s1 proto dhcp src 192.168.64.15 metric 100
default via 192.168.64.1 dev enp0s1 proto static metric 100
192.168.64.0/24 dev enp0s1 proto kernel scope link src 192.168.64.15 metric 100
### DHCP 설정 비활성화 
- `sudo nmcli connection modify enp0s1 ipv4.method manual`
- `systemctl restart NetworkManager`
- `nmcli connection down enp0s1 && nmcli connection up enp0s1`
[root@localhost cloud]# sudo nmcli connection modify enp0s1 ipv4.method manual
[root@localhost cloud]# sudo systemctl restart NetworkManager
[root@localhost cloud]# nmcli connection down enp0s1 && nmcli connection up enp0s1
'enp0s1' 연결이 성공적으로 비활성화되었습니다 (D-Bus 활성 경로: /org/freedesktop/NetworkManager/ActiveConnection/2)
연결이 성공적으로 활성화되었습니다 (D-버스 활성 경로: /org/freedesktop/NetworkManager/ActiveConnection/3)
- 확인: `ip route show` , `ip addr show enp0s1`
dynamic이 아닌 static 인지 확인 
![](https://velog.velcdn.com/images/jupiter-j/post/55da3d15-685d-45ed-bbbd-098e8e1a61f6/image.png)




> ## enp0s1이 안될경우
```bash
sudo nmcli connection down "유선 연결 1" && sudo nmcli connection up "유선 연결 1"
nmcli connection show
nmcli connection modify "유선 연결 1" ipv4.addresses 192.168.64.19/24 #ip주의! 
nmcli connection modify "유선 연결 1" ipv4.gateway 192.168.64.1
nmcli connection modify "유선 연결 1" ipv4.dns "8.8.8.8"
nmcli connection modify "유선 연결 1" ipv4.method manual
sudo nmcli connection down "유선 연결 1" && sudo nmcli connection up "유선 연결 1"
systemctl restart NetworkManager



DNS, hostname 설정

hostnamectl set-hostname <변경하고싶은이름>[root@localhost ~]# hostnamectl set-hostname k8s-master
[root@localhost ~]# hostname
k8s-master
vi /etc/hosts
```
[root@localhost ~]# cat /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.64.15 k8s-master ## 추가
192.168.64.17 k8s-worker1 ## 다른 vm hostname 추가 




> - 최종적으로 서로의 VM ip에 ping이 가는지 확인 하기 
- 해당 ip로 SSH접속이 되는지 확인하기 


kubeadm-init-log 정리
Sun, 16 Mar 2025 12:11:14 GMT
[root@k8s-master-2 ~]# sudo kubeadm init --image-repository=10.0.16.62:8080/new --control-plane-endpoint=10.0.16.71:6443 --upload-certs --v=5
## 1. CRI 소켓 탐색 -- kubeadm이 컨테이너 런타임 인터페이스 CRI를 감지함 
I0316 08:09:18.502656  737621 initconfiguration.go:122] detected and using CRI socket: unix:///var/run/containerd/containerd.sock
I0316 08:09:18.503554  737621 interface.go:432] Looking for default routes with IPv4 addresses
I0316 08:09:18.503679  737621 interface.go:437] Default route transits interface "eth0"
I0316 08:09:18.503969  737621 interface.go:209] Interface eth0 is up
I0316 08:09:18.504218  737621 interface.go:257] Interface "eth0" has 2 addresses :[10.0.16.71/24 fe80::f816:3eff:fefc:5459/64].
I0316 08:09:18.504371  737621 interface.go:224] Checking addr  10.0.16.71/24.
I0316 08:09:18.504456  737621 interface.go:231] IP found 10.0.16.71

## 2. 네트워크 인터페이스 및 노드 IP 확인
I0316 08:09:18.504543  737621 interface.go:263] Found valid IPv4 address 10.0.16.71 for interface "eth0".
I0316 08:09:18.504662  737621 interface.go:443] Found active IP 10.0.16.71

## 3. Kubelet 설정 확인
I0316 08:09:18.504969  737621 kubelet.go:196] the value of KubeletConfiguration.cgroupDriver is empty; setting it to "systemd"
I0316 08:09:18.528738  737621 version.go:187] fetching Kubernetes version from URL: https://dl.k8s.io/release/stable-1.txt
W0316 08:09:18.552813  737621 version.go:104] could not fetch a Kubernetes version from the internet: unable to get URL "https://dl.k8s.io/release/stable-1.txt": Get "https://dl.k8s.io/release/stable-1.txt": dial tcp: lookup dl.k8s.io on 10.0.16.2:53: server misbehaving
W0316 08:09:18.553123  737621 version.go:105] falling back to the local client version: v1.29.11
[init] Using Kubernetes version: v1.29.11
[preflight] Running pre-flight checks

## 4. 사전 점검 (Pre-flight Checks) - Kubernetes 클러스터를 정상적으로 초기화할 수 있는지 사전 점검 수행
I0316 08:09:18.554538  737621 checks.go:563] validating Kubernetes and kubeadm version
I0316 08:09:18.554831  737621 checks.go:168] validating if the firewall is enabled and active
I0316 08:09:18.602915  737621 checks.go:203] validating availability of port 6443
I0316 08:09:18.603716  737621 checks.go:203] validating availability of port 10259
I0316 08:09:18.603816  737621 checks.go:203] validating availability of port 10257
I0316 08:09:18.604011  737621 checks.go:280] validating the existence of file /etc/kubernetes/manifests/kube-apiserver.yaml
I0316 08:09:18.604063  737621 checks.go:280] validating the existence of file /etc/kubernetes/manifests/kube-controller-manager.yaml
I0316 08:09:18.604107  737621 checks.go:280] validating the existence of file /etc/kubernetes/manifests/kube-scheduler.yaml
I0316 08:09:18.604164  737621 checks.go:280] validating the existence of file /etc/kubernetes/manifests/etcd.yaml
I0316 08:09:18.604300  737621 checks.go:430] validating if the connectivity type is via proxy or direct
I0316 08:09:18.604429  737621 checks.go:469] validating http connectivity to first IP address in the CIDR
I0316 08:09:18.604475  737621 checks.go:469] validating http connectivity to first IP address in the CIDR
I0316 08:09:18.604509  737621 checks.go:104] validating the container runtime
I0316 08:09:18.730215  737621 checks.go:639] validating whether swap is enabled or not
I0316 08:09:18.730521  737621 checks.go:370] validating the presence of executable crictl
I0316 08:09:18.730601  737621 checks.go:370] validating the presence of executable conntrack
I0316 08:09:18.730654  737621 checks.go:370] validating the presence of executable ip
I0316 08:09:18.730701  737621 checks.go:370] validating the presence of executable iptables
I0316 08:09:18.730762  737621 checks.go:370] validating the presence of executable mount
I0316 08:09:18.730838  737621 checks.go:370] validating the presence of executable nsenter
I0316 08:09:18.730906  737621 checks.go:370] validating the presence of executable ethtool
I0316 08:09:18.730939  737621 checks.go:370] validating the presence of executable tc
I0316 08:09:18.730997  737621 checks.go:370] validating the presence of executable touch
I0316 08:09:18.731039  737621 checks.go:516] running all checks
I0316 08:09:18.761905  737621 checks.go:401] checking whether the given node name is valid and reachable using net.LookupHost
I0316 08:09:18.762099  737621 checks.go:605] validating kubelet version
I0316 08:09:18.902113  737621 checks.go:130] validating if the "kubelet" service is enabled and active
    [WARNING Service-Kubelet]: kubelet service is not enabled, please run 'systemctl enable kubelet.service'
I0316 08:09:18.962511  737621 checks.go:203] validating availability of port 10250
I0316 08:09:18.962922  737621 checks.go:329] validating the contents of file /proc/sys/net/bridge/bridge-nf-call-iptables
I0316 08:09:18.963310  737621 checks.go:329] validating the contents of file /proc/sys/net/ipv4/ip_forward
I0316 08:09:18.963381  737621 checks.go:203] validating availability of port 2379
I0316 08:09:18.963512  737621 checks.go:203] validating availability of port 2380
I0316 08:09:18.963706  737621 checks.go:243] validating the existence and emptiness of directory /var/lib/etcd
[preflight] Pulling images required for setting up a Kubernetes cluster
[preflight] This might take a minute or two, depending on the speed of your internet connection
[preflight] You can also perform this action in beforehand using 'kubeadm config images pull'

## 5. 이미지 다운로드 확인
I0316 08:09:18.964216  737621 checks.go:828] using image pull policy: IfNotPresent
I0316 08:09:19.023967  737621 checks.go:846] image exists: 10.0.16.62:8080/new/kube-apiserver:v1.29.11
I0316 08:09:19.067897  737621 checks.go:846] image exists: 10.0.16.62:8080/new/kube-controller-manager:v1.29.11
I0316 08:09:19.121899  737621 checks.go:846] image exists: 10.0.16.62:8080/new/kube-scheduler:v1.29.11
I0316 08:09:19.166452  737621 checks.go:846] image exists: 10.0.16.62:8080/new/kube-proxy:v1.29.11
I0316 08:09:19.227060  737621 checks.go:846] image exists: 10.0.16.62:8080/new/coredns:v1.11.1
I0316 08:09:19.346328  737621 checks.go:846] image exists: 10.0.16.62:8080/new/pause:3.9
I0316 08:09:19.404943  737621 checks.go:846] image exists: 10.0.16.62:8080/new/etcd:3.5.16-0

## 6. 인증서 생성
[certs] Using certificateDir folder "/etc/kubernetes/pki"
I0316 08:09:19.405351  737621 certs.go:112] creating a new certificate authority for ca
[certs] Generating "ca" certificate and key
I0316 08:09:19.705783  737621 certs.go:519] validating certificate period for ca certificate
[certs] Generating "apiserver" certificate and key
[certs] apiserver serving cert is signed for DNS names [k8s-master-2 kubernetes kubernetes.default kubernetes.default.svc kubernetes.default.svc.cluster.local] and IPs [10.96.0.1 10.0.16.71]
[certs] Generating "apiserver-kubelet-client" certificate and key
I0316 08:09:20.334959  737621 certs.go:112] creating a new certificate authority for front-proxy-ca
[certs] Generating "front-proxy-ca" certificate and key
I0316 08:09:20.612167  737621 certs.go:519] validating certificate period for front-proxy-ca certificate
[certs] Generating "front-proxy-client" certificate and key
I0316 08:09:20.901589  737621 certs.go:112] creating a new certificate authority for etcd-ca
[certs] Generating "etcd/ca" certificate and key
I0316 08:09:21.065271  737621 certs.go:519] validating certificate period for etcd/ca certificate
[certs] Generating "etcd/server" certificate and key
[certs] etcd/server serving cert is signed for DNS names [k8s-master-2 localhost] and IPs [10.0.16.71 127.0.0.1 ::1]
[certs] Generating "etcd/peer" certificate and key
[certs] etcd/peer serving cert is signed for DNS names [k8s-master-2 localhost] and IPs [10.0.16.71 127.0.0.1 ::1]
[certs] Generating "etcd/healthcheck-client" certificate and key
[certs] Generating "apiserver-etcd-client" certificate and key
I0316 08:09:22.239465  737621 certs.go:78] creating new public/private key files for signing service account users
[certs] Generating "sa" key and public key
[kubeconfig] Using kubeconfig folder "/etc/kubernetes"
I0316 08:09:22.372382  737621 kubeconfig.go:112] creating kubeconfig file for admin.conf

## 7. Kubeconfig 파일 생성
[kubeconfig] Writing "admin.conf" kubeconfig file
I0316 08:09:22.496756  737621 kubeconfig.go:112] creating kubeconfig file for super-admin.conf
[kubeconfig] Writing "super-admin.conf" kubeconfig file
I0316 08:09:22.792774  737621 kubeconfig.go:112] creating kubeconfig file for kubelet.conf
[kubeconfig] Writing "kubelet.conf" kubeconfig file
I0316 08:09:22.902729  737621 kubeconfig.go:112] creating kubeconfig file for controller-manager.conf
[kubeconfig] Writing "controller-manager.conf" kubeconfig file
I0316 08:09:23.377538  737621 kubeconfig.go:112] creating kubeconfig file for scheduler.conf
[kubeconfig] Writing "scheduler.conf" kubeconfig file

## 8. Etcd 및 Control Plane 구성
[etcd] Creating static Pod manifest for local etcd in "/etc/kubernetes/manifests"
I0316 08:09:23.577173  737621 local.go:65] [etcd] wrote Static Pod manifest for a local etcd member to "/etc/kubernetes/manifests/etcd.yaml"
[control-plane] Using manifest folder "/etc/kubernetes/manifests"
[control-plane] Creating static Pod manifest for "kube-apiserver"
I0316 08:09:23.577465  737621 manifests.go:102] [control-plane] getting StaticPodSpecs
I0316 08:09:23.577920  737621 certs.go:519] validating certificate period for CA certificate
I0316 08:09:23.578028  737621 manifests.go:128] [control-plane] adding volume "ca-certs" for component "kube-apiserver"
I0316 08:09:23.578045  737621 manifests.go:128] [control-plane] adding volume "etc-pki" for component "kube-apiserver"
I0316 08:09:23.578057  737621 manifests.go:128] [control-plane] adding volume "k8s-certs" for component "kube-apiserver"
I0316 08:09:23.578069  737621 manifests.go:128] [control-plane] adding volume "usr-share-ca-certificates" for component "kube-apiserver"
I0316 08:09:23.579347  737621 manifests.go:157] [control-plane] wrote static Pod manifest for component "kube-apiserver" to "/etc/kubernetes/manifests/kube-apiserver.yaml"
[control-plane] Creating static Pod manifest for "kube-controller-manager"
I0316 08:09:23.579416  737621 manifests.go:102] [control-plane] getting StaticPodSpecs
I0316 08:09:23.579692  737621 manifests.go:128] [control-plane] adding volume "ca-certs" for component "kube-controller-manager"
I0316 08:09:23.579728  737621 manifests.go:128] [control-plane] adding volume "etc-pki" for component "kube-controller-manager"
I0316 08:09:23.579741  737621 manifests.go:128] [control-plane] adding volume "flexvolume-dir" for component "kube-controller-manager"
I0316 08:09:23.579753  737621 manifests.go:128] [control-plane] adding volume "k8s-certs" for component "kube-controller-manager"
I0316 08:09:23.579764  737621 manifests.go:128] [control-plane] adding volume "kubeconfig" for component "kube-controller-manager"
I0316 08:09:23.579779  737621 manifests.go:128] [control-plane] adding volume "usr-share-ca-certificates" for component "kube-controller-manager"
I0316 08:09:23.581881  737621 manifests.go:157] [control-plane] wrote static Pod manifest for component "kube-controller-manager" to "/etc/kubernetes/manifests/kube-controller-manager.yaml"
[control-plane] Creating static Pod manifest for "kube-scheduler"
I0316 08:09:23.581936  737621 manifests.go:102] [control-plane] getting StaticPodSpecs
I0316 08:09:23.582247  737621 manifests.go:128] [control-plane] adding volume "kubeconfig" for component "kube-scheduler"
I0316 08:09:23.583044  737621 manifests.go:157] [control-plane] wrote static Pod manifest for component "kube-scheduler" to "/etc/kubernetes/manifests/kube-scheduler.yaml"
I0316 08:09:23.583145  737621 kubelet.go:68] Stopping the kubelet
[kubelet-start] Writing kubelet environment file with flags to file "/var/lib/kubelet/kubeadm-flags.env"
[kubelet-start] Writing kubelet configuration to file "/var/lib/kubelet/config.yaml"
[kubelet-start] Starting the kubelet
I0316 08:09:24.001747  737621 waitcontrolplane.go:83] [wait-control-plane] Waiting for the API server to be healthy

## 9. kubeadm init을 실행 -- 에러가 날 경우: kubelet이 static Pod를 실행하지 못하고 있을 가능성이 있음.
[wait-control-plane] Waiting for the kubelet to boot up the control plane as static Pods from directory "/etc/kubernetes/manifests". This can take up to 4m0s
[apiclient] All control plane components are healthy after 10.004837 seconds
I0316 08:09:34.015390  737621 kubeconfig.go:606] ensuring that the ClusterRoleBinding for the kubeadm:cluster-admins Group exists
I0316 08:09:34.020403  737621 kubeconfig.go:682] creating the ClusterRoleBinding for the kubeadm:cluster-admins Group by using super-admin.conf
I0316 08:09:34.058422  737621 uploadconfig.go:112] [upload-config] Uploading the kubeadm ClusterConfiguration to a ConfigMap
[upload-config] Storing the configuration used in ConfigMap "kubeadm-config" in the "kube-system" Namespace
I0316 08:09:34.107281  737621 uploadconfig.go:126] [upload-config] Uploading the kubelet component config to a ConfigMap
[kubelet] Creating a ConfigMap "kubelet-config" in namespace kube-system with the configuration for the kubelets in the cluster
I0316 08:09:34.188089  737621 uploadconfig.go:131] [upload-config] Preserving the CRISocket information for the control-plane node
I0316 08:09:34.188347  737621 patchnode.go:31] [patchnode] Uploading the CRI Socket information "unix:///var/run/containerd/containerd.sock" to the Node API object "k8s-master-2" as an annotation
[upload-certs] Storing the certificates in Secret "kubeadm-certs" in the "kube-system" Namespace
[upload-certs] Using certificate key:
23911e0dbad42ca9c82419f332ffc9367fa1b3ca5c5ab74011026f96240b4e12
[mark-control-plane] Marking the node k8s-master-2 as control-plane by adding the labels: [node-role.kubernetes.io/control-plane node.kubernetes.io/exclude-from-external-load-balancers]
[mark-control-plane] Marking the node k8s-master-2 as control-plane by adding the taints [node-role.kubernetes.io/control-plane:NoSchedule]
[bootstrap-token] Using token: sewekg.e85zilfzi0v3vxf3
[bootstrap-token] Configuring bootstrap tokens, cluster-info ConfigMap, RBAC Roles
[bootstrap-token] Configured RBAC rules to allow Node Bootstrap tokens to get nodes
[bootstrap-token] Configured RBAC rules to allow Node Bootstrap tokens to post CSRs in order for nodes to get long term certificate credentials
[bootstrap-token] Configured RBAC rules to allow the csrapprover controller automatically approve CSRs from a Node Bootstrap Token
[bootstrap-token] Configured RBAC rules to allow certificate rotation for all node client certificates in the cluster
[bootstrap-token] Creating the "cluster-info" ConfigMap in the "kube-public" namespace
I0316 08:09:35.526354  737621 clusterinfo.go:47] [bootstrap-token] loading admin kubeconfig
I0316 08:09:35.527022  737621 clusterinfo.go:58] [bootstrap-token] copying the cluster from admin.conf to the bootstrap kubeconfig
I0316 08:09:35.527270  737621 clusterinfo.go:70] [bootstrap-token] creating/updating ConfigMap in kube-public namespace
I0316 08:09:35.538323  737621 clusterinfo.go:84] creating the RBAC rules for exposing the cluster-info ConfigMap in the kube-public namespace
I0316 08:09:35.606931  737621 kubeletfinalize.go:91] [kubelet-finalize] Assuming that kubelet client certificate rotation is enabled: found "/var/lib/kubelet/pki/kubelet-client-current.pem"
[kubelet-finalize] Updating "/etc/kubernetes/kubelet.conf" to point to a rotatable kubelet client certificate and key
I0316 08:09:35.611075  737621 kubeletfinalize.go:135] [kubelet-finalize] Restarting the kubelet to enable client certificate rotation
[addons] Applied essential addon: CoreDNS
[addons] Applied essential addon: kube-proxy

Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

Alternatively, if you are the root user, you can run:

  export KUBECONFIG=/etc/kubernetes/admin.conf

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

You can now join any number of the control-plane node running the following command on each as root:

  kubeadm join 10.0.16.71:6443 --token sewekg.e85zilfzi0v3vxf3 \
    --discovery-token-ca-cert-hash sha256:cd8b1e4f1b3311b5160c036cda22168247d30983f41702ed0f1e4b64a117eae1 \
    --control-plane --certificate-key 23911e0dbad42ca9c82419f332ffc9367fa1b3ca5c5ab74011026f96240b4e12

Please note that the certificate-key gives access to cluster sensitive data, keep it secret!
As a safeguard, uploaded-certs will be deleted in two hours; If necessary, you can use
"kubeadm init phase upload-certs --upload-certs" to reload certs afterward.

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 10.0.16.71:6443 --token sewekg.e85zilfzi0v3vxf3 \
    --discovery-token-ca-cert-hash sha256:cd8b1e4f1b3311b5160c036cda22168247d30983f41702ed0f1e4b64a117eae1



에러 종류
보통 5,6,9번에서 에러가 남 
특히 private 환경에서 k8s를 구성할때 이미지 문제가 난다면 5번
인증서 부분의 문제면 6번, 최종 네트워크 연결인 kubelet에서 에러가 난다면 9번에서 에러가 난다. 
그래서 로그를 확인하기 위해 init 명령어에 --v=5 옵션을 추가함!!
sudo kubeadm init --image-repository=10.0.16.62:8080/new --control-plane-endpoint=10.0.16.71:6443 --upload-certs --v=5




실시간 로그 확인 명령어

실시간 kubelet 로그 확인: journalctl -u kubelet -f
실시간 시스템 전체 로그 확인: journalctl -xe -f





[Github] The requested URL returned error: 403
Sun, 16 Mar 2025 09:49:19 GMT
깃허브로 레파지토리를 만들어 문서들을 저장하려고 했는데 에러가 떴다. 오랜만이라서 다 잊어버림 ;; 
에러로그

The requested URL returned error: 403


github에서 토큰도 발급하고 제대로 붙여 넣었는데 왜 이런 에러가 뜰까?




저장소 확인 : git remote -v
내가 만든 저장소와 제대로 동기화 되어있는지 확인하자





제대로 동기화되어있는데 403 에러가 뜬거면 토큰이 잘못 생성된 문제다.
Setting > Developer settings > Personal access tokens > Tokesns (classic)에서 만든 토큰 설정에서 repo권한을 추가하여 만들어야 한다.


유저 등록: git push --set-upstream origin master
userid , token 값을 넣어 다시 해보자





k8s 삭제 & 초기화
Mon, 03 Mar 2025 11:27:05 GMT
k8s를 재설치할때 삭제하는 과정이 가장 중요하다. 이전의 설정파일이나 etcd 등 파일들이 잔존해있다면 새로운 에러들이 발생하기 때문이다. 테스트용 서버면 상관없지만 다중 마스터 + 다중 노드 구성 혹은 실제 서버에서 이런일이 일어나면 끔찍하니까... 
지난 글의 public 환경에서 설치한 k8s를 삭제하는 과정을 정리함 

삭제되어야 하는 것들


잔존한 pv,pvc -> deploy -> pod 삭제하기
cni 네트워크 구성 삭제 
kubeadm reset (여기서부터 시작)
containerd 삭제 
k8s 데이터 삭제 






디스크 공간 사용량 확인
```
[root@k8s-master-2 ~]# df -h
Filesystem                    Size  Used Avail Use% Mounted on
devtmpfs                      4.0M     0  4.0M   0% /dev
tmpfs                         3.8G     0  3.8G   0% /dev/shm
tmpfs                         1.6G  9.4M  1.5G   1% /run
/dev/vda4                      49G   34G   16G  68% /
/dev/vda3                     960M  170M  791M  18% /boot
/dev/vda2                     200M  7.1M  193M   4% /boot/efi

10.0.16.71:/data/cmp-nas/k8s   49G   34G   16G  68% /data/cmp-storage-k8s
tmpfs                         769M     0  769M   0% /run/user/0
shm                            64M     0   64M   0% /run/containerd/io.containerd.grpc.v1.cri/sandboxes/8c9d69891fb277dac8fe349389509ef37fae3de224d88d1451a5f3ade20cd7e2/shm
overlay                        49G   34G   16G  68% /run/containerd/io.containerd.runtime.v2.task/k8s.io/8c9d69891fb277dac8fe349389509ef37fae3de224d88d1451a5f3ade20cd7e2/rootfs
shm                            64M     0   64M   0% /run/containerd/io.containerd.grpc.v1.cri/sandboxes/305d1a64a736c9963ca6c7ea2b2f7f2bf2d03b03604050a349fe37048e7f9e6f/shm
shm                            64M     0   64M   0% /run/containerd/io.containerd.grpc.v1.cri/sandboxes/5fd79c42421880a8a32382f79444b079848a7c6c9c4275eced65b283e22667ab/shm
shm                            64M     0   64M   0% /run/containerd/io.containerd.grpc.v1.cri/sandboxes/78481a4c241d58864340b7b44750745b93b5667b6d7e9bfb5c8125ab19dfff11/shm
overlay                        49G   34G   16G  68% /run/containerd/io.containerd.runtime.v2.task/k8s.io/305d1a64a736c9963ca6c7ea2b2f7f2bf2d03b03604050a349fe37048e7f9e6f/rootfs
overlay                        49G   34G   16G  68% /run/containerd/io.containerd.runtime.v2.task/k8s.io/5fd79c42421880a8a32382f79444b079848a7c6c9c4275eced65b283e22667ab/rootfs
overlay                        49G   34G   16G  68% /run/containerd/io.containerd.runtime.v2.task/k8s.io/78481a4c241d58864340b7b44750745b93b5667b6d7e9bfb5c8125ab19dfff11/rootfs
overlay                        49G   34G   16G  68% /run/containerd/io.containerd.runtime.v2.task/k8s.io/0d21036db7d10b2562c4282dc0e8dba98f75da5b2a9a54becd8c091ca77a2d7c/rootfs
overlay                        49G   34G   16G  68% /run/containerd/io.containerd.runtime.v2.task/k8s.io/a2314e21319fcf4032ea08153b734d72a0ec7df87194b3a9b886e2f49cef6b19/rootfs
overlay                        49G   34G   16G  68% /run/containerd/io.containerd.runtime.v2.task/k8s.io/ebb6de4659547ac76a8db7ee359a199a7f185b9871c06a86d3839d3eeaf5f402/rootfs
overlay                        49G   34G   16G  68% /run/containerd/io.containerd.runtime.v2.task/k8s.io/89d8260f9f4a33608574baac4c4d11adc44c126df0a7f84784fd48e4cba56098/rootfs
tmpfs                         7.5G   12K  7.5G   1% /var/lib/kubelet/pods/08d6b196-6ba4-4547-a73b-660bfe91080e/volumes/kubernetes.io~projected/kube-api-access-jbwv5
shm                            64M     0   64M   0% /run/containerd/io.containerd.grpc.v1.cri/sandboxes/04a16e875f57322ec34f52a1dc36374b0ed73e03ec432d9bbf78c94fc1909809/shm
overlay                        49G   34G   16G  68% /run/containerd/io.containerd.runtime.v2.task/k8s.io/04a16e875f57322ec34f52a1dc36374b0ed73e03ec432d9bbf78c94fc1909809/rootfs
overlay                        49G   34G   16G  68% /run/containerd/io.containerd.runtime.v2.task/k8s.io/f15a69c8e52e8556492eaeb4da4fda7d8a35925cb835c69aed185c93368d48da/rootfs

* k8s reset
sudo kubeadm reset -f
![](https://velog.velcdn.com/images/jupiter-j/post/bb0b7e2d-1dc7-41a1-b1db-76c6c5fe91c4/image.png)

* 컨트롤 플레인 및 worker 노드의 Kubernetes 구성 제거
systemctl stop kubelet
kubeadm reset --cri-socket unix:///var/run/containerd/containerd.sock
rm -rf /etc/cni/net.d $HOME/.kube/config




* iptables, 네트워크 브릿지 설정 초기화
[root@k8s-worker-1 lib]# iptables -F && iptables -X && iptables -t nat -F && iptables -t nat -X
[root@k8s-worker-1 lib]# iptables -t mangle -F && iptables -t mangle -X && iptables -P FORWARD ACCEPT



* Kubernetes 노드에서 불필요한 이미지 및 컨테이너 정리
containerd 및 kubelet 재시작으로 클린 상태 유지
디스크 공간 확보 및 환경 초기화
nerdctl rmi $(nerdctl images -a -q) -f && nerdctl container prune && systemctl restart kubelet && systemctl restart containerd && nerdctl system prune -a
> * `nerdctl rmi $(nerdctl images -a -q) -f`
    모든 이미지 목록(-a) 에서 이미지 ID만 출력(-q)
    위에서 얻은 모든 이미지 ID를 nerdctl rmi 명령어에 전달하여 강제 삭제 (-f)
* `nerdctl container prune` : 실행 중이 않은 모든 컨테이너를 정리
* `systemctl restart kubelet && systemctl restart containerd` : Kubelet과 containerd를 재시작하여 변경 사항 반영 및 정상 동작하도록 함.
* `nerdctl system prune -a` : 불필요한 리소스(네트워크, 볼륨 등)까지 모두 정리 -a 옵션을 붙이면 사용하지 않는 이미지, 컨테이너, 볼륨, 네트워크 등 전부 삭제


**현재 실행 중인 컨테이너는 정리되지 않지만, 정지된 컨테이너와 사용되지 않는 리소스는 모두 삭제됨.
**
[root@k8s-master-2 lib]# df -h
Filesystem                    Size  Used Avail Use% Mounted on
devtmpfs                      4.0M     0  4.0M   0% /dev
tmpfs                         3.8G     0  3.8G   0% /dev/shm
tmpfs                         1.6G  8.7M  1.5G   1% /run
/dev/vda4                      49G   33G   17G  67% /
/dev/vda3                     960M  170M  791M  18% /boot
/dev/vda2                     200M  7.1M  193M   4% /boot/efi
10.0.16.71:/data/cmp-nas/k8s   49G   33G   17G  67% /data/cmp-storage-k8s
tmpfs                         769M     0  769M   0% /run/user/0
![](https://velog.velcdn.com/images/jupiter-j/post/cdbffc56-ac5d-42d2-97c4-a85cb852894c/image.png)

* kubelet, kubeadm, kubectl 삭제
sudo dnf remove -y kubelet kubeadm kubectl
sudo rm -rf /etc/yum.repos.d/kubernetes.repo
* containerd 삭제
[root@k8s-master-2 lib]# sudo systemctl stop containerd
[root@k8s-master-2 lib]# sudo systemctl disable containerd
Removed "/etc/systemd/system/multi-user.target.wants/containerd.service".
[root@k8s-master-2 lib]# sudo rm -rf /usr/local/bin/containerd /usr/local/bin/containerd-shim* /usr/local/sbin/runc
[root@k8s-master-2 lib]# sudo rm -rf /etc/containerd /var/lib/containerd
[root@k8s-master-2 lib]# sudo rm -rf /opt/cni/bin /etc/cni /var/lib/cni

* k8s 데이터 삭제
sudo rm -rf ~/.kube
sudo rm -rf /etc/kubernetes/
sudo rm -rf /var/lib/kubelet
sudo rm -rf /var/lib/etcd
```



Public 환경에서 k8s 구성하기
Mon, 03 Mar 2025 11:22:01 GMT
Public 환경에서 k8s 구성하기

외부망 환경에서 k8s 설치하는 경우, 별도의 레지스토리나 이미지를 다운받아서 사용할 필요가 없다.



설치 버전 정보
Contianerd(1.7.13v)/ CNI-Plugin(1.3.0v)/ runC(1.1.12v)/ k8s(1.30v) 으로 설치



운영체제 : RHEL 9.4
Master2 / Worker1을 사용하여 실습

1. 운영체제 준비

k8s는 리눅스 기반 컨테이너 환경을 지원하기 때문에 RHEL, RockyLinux, Ubuntu 등을 사용한다.
나의 경우는 RHEL 9.4v을 사용

2. 패키지 및 시스템 설정
외부접속 확인

서버가 외부접속이 가능한지 확인 vi /etc/resolv.conf
  /etc/resolv.conf 파일은 어떤 DNS 서버를 사용할지 적혀있는 설정파일이다. nameserver는 DNS 서버의 주소를 정해주는 설정이다. 수정후 인터넷 외부접속이 가능한지 ping으로 확인한다. 
  [root@k8s-master-2 ~]# cat /etc/resolv.conf
  # Generated by NetworkManager
  search openstacklocal
  nameserver 8.8.8.8 # 추가 
  nameserver 10.0.16.3
  nameserver 10.0.16.4
  nameserver 10.0.16.2

  [root@k8s-master-2 ~]# ping 8.8.8.8
  PING 8.8.8.8 (8.8.8.8) 56(84) bytes of data.
  64 bytes from 8.8.8.8: icmp_seq=1 ttl=117 time=39.7 ms
  64 bytes from 8.8.8.8: icmp_seq=2 ttl=117 time=35.8 ms
  64 bytes from 8.8.8.8: icmp_seq=3 ttl=117 time=35.4 ms


메모리 확인

메모리 공간 확인 : free -h
  시스템의 메모리(RAM)사용량을 확인한다. 
  [root@k8s-master-2 ~]# free -h
                 total        used        free      shared  buff/cache   available
  Mem:           7.5Gi       2.4Gi       4.0Gi        11Mi       1.3Gi       5.1Gi
  Swap:             0B          0B          0B

스왑 메모리 비활성화

스왑 메모리 비활성화: swapoff -a

스왑 메모리가 0인지 확인: free -m
  SwapMemory: RAM이 부족할때 디스크의 일부를 가상 메모리로 사용하는 기능이다. 스왑 메모리가 있으면 실제 메모리 사용량을 정확하게 파악하지 못하기 때문에 k8s의 리소스 관리와 스케줄링에 혼란을 줄 수 있다. 

비활성화가 되어있지 않은경우:  sudo sed -i '/swap/s/^/#/' /etc/fstab
  /etc/fstab 파일에서 스왑 관련 항목을 찾아 그앞에 # 주석처리를 하여 비활성화 하는 명령어 




```bash
[root@k8s-master-2 ~]# swapoff -a
[root@k8s-master-2 ~]# free -m
               total        used        free      shared  buff/cache   available
Mem:            7683        2500        4071          11        1363        5182
Swap:              0           0           0
```
방화벽 비활성화

방화벽 비활성화 설정
  k8s를 구성하기 위해서는 방화벽을 비활성화 해야한다. k8s는 서로 통신하기 위해 여러 포트를 개방해야한다. 방화벽이 활성화된 상태에서는 포트들을 차단할 가능성이 높기때문에 네트워크 문제가 발생할 수 있다.



서비스
포트 번호



api-server
6443


etcd
2379-2380


kubelet
10250


kube-scheduler
10259


kube-controller-manager
10257


- 방화벽이 설치되어있는 경우



  # 방화벽 비활성화
  # systemctl disable firewalld && systemctl stop firewalld

  # SELinux 일시적으로 비활성화
  # setenforce 0

  # SELinux 영구적으로 비활성화
  # sed -i 's@SELINUX=.*@SELINUX=disabled@g' /etc/selinux/config
  나의 경우 방화벽 자체를 설치하지 않았음 
  [root@k8s-master-2 ~]# systemctl status firewalld
  Unit firewalld.service could not be found.


Cgroup 설정

파일 시스템 확인: findmnt /sys/fs/cgroup
파일시스템: 운영체제가 데이터를 저장하고, 읽고, 관리하는 방식이다. 데이터 저장 및 관리, 파일 디렉터리 구조 제공, 접근제어 및 권한 관리등 역할을 한다.



    | 파일 시스템 | 설명 |
    | --- | --- |
    | **ext4** | 리눅스에서 가장 많이 쓰이는 파일 시스템 (ext2 → ext3 → ext4) |
    | **XFS** | 대용량 파일과 고성능을 지원하는 파일 시스템 |
    | **Btrfs** | 고급 기능(Snapshot, RAID 지원)을 제공하는 차세대 파일 시스템 |
    | **tmpfs** | RAM(메모리)에 데이터를 저장하는 파일 시스템 (재부팅 시 삭제됨) |
    | **cgroup2** | 컨테이너 리소스 제한을 위한 파일 시스템 |
- 여기서 cgroup2는 컨테이너 리소스 cpu, 메모리등을 관리하는 역할을 함
- findmnt는 Linux에서 마운트된 파일 시스템을 확인하는 명령어

```bash
[root@k8s-master-2 ~]# findmnt /sys/fs/cgroup
TARGET         SOURCE  FSTYPE  OPTIONS
/sys/fs/cgroup cgroup2 cgroup2 rw,nosuid,nodev,noexec,relatime,nsdelegate,memory_recursiveprot
```

Cgroup 확인

Cgroup이란 control group 리눅스 커널에서 제공하는 리소스 관리 기능으로 프로세스 그룹에 대해 cpu, 메모리,  네트워크 등 리소스를 제한 및 할당이 가능 하다.

k8s는 왜 cgroup을 사용하는가: k8s는 kubelet과 컨테이너 런타임(containerd, cri-o)은 Cgroup을 사용하여 리소스를 제안하고 관리한다. k8s는 기본적으로 cgroup v1 또는 cgroupv2를 사용함.

k8s 1.24버전 이상부터는 cgroup v2를 권장한다.*
# /sys/fs/cgroup 디렉토리의 파일 시스템 타입을 확인하는 명령어
[root@k8s-master-2 ~]# stat -fc %T /sys/fs/cgroup
cgroup2fs

# mount -l | grep cgroup
[root@k8s-master-2 ~]# mount -l | grep cgroup
cgroup2 on /sys/fs/cgroup type cgroup2 (rw,nosuid,nodev,noexec,relatime,nsdelegate,memory_recursiveprot)



cgroup v2가 설정되어 있지 않은 경우
  GRUB: GRand Unified Bootloader 리눅스 시스템을 부팅할때 실행되는 부트로더이다. 

systemd.unified_cgroup_hierarchy=1 → cgroup v2 활성화 하겠다.
```bash
cgroup v2가 설정되어 있지 않을때
GRUB 설정 변경
k8s_all.hcpkube ~]$ sudo vi /etc/default/grub

------------CHANGE-------------
GRUB_CMDLINE_LINUX 항목에 "systemd.unified_cgroup_hierarchy=1" 추가
GRUB_CMDLINE_LINUX="crashkernel=1G-4G:192M,4G-64G:256M,64G-:512M resume=/dev/mapper/rhel-swap rd.lvm.lv=rhel/root rd.lvm.lv=rhel/swap systemd.unified_cgroup_hierarchy=1"

------------CHANGE-------------END
GRUB 설정을 업데이트 하여 부팅시 새로운 옵션을 적용
k8s_all.hcpkube ~]$ sudo grub2-mkconfig -o /boot/grub2/grub.cfg
Generating grub configuration file ...
Adding boot menu entry for UEFI Firmware Settings ...
done
커널 버전을 확인
k8s_all.hcpkube ~]$ sudo uname -r


  5.14.0-427.13.1.el9_4.x86_64
현재 실행 중인 커널이 GRUB에서 cgroupv2 를 사용하도록 설정
  k8s_all.hcpkube ~]$ sudo grubby --update-kernel=/boot/vmlinuz-5.14.0-427.13.1.el9_4.x86_64 --args="systemd.unified_cgroup_hierarchy=1"
  k8s_all.hcpkube ~]$ sudo reboot



커널 모듈 설정

커널: 운영체제의 핵심 부분으로 하드웨어와 소프트웨어에서 다리 역할을 하는 프로그램
overlay 모듈: 컨테이너가 이미지 계층을 공유할 수 있도록 지원(Containerd, Docker 등)
br_netfilter ****모듈: iptables가 브릿지 네트워크의 트래픽을 필터링할 수 있도록 설정하여, Kubernetes 네트워크 정책 및 Pod 간 통신을 관리할 수 있도록 함.

k8s_all.hcpkube ~]$ sudo vi /etc/modules-load.d/k8s.conf
-------------ADD-------------
overlay
br_netfilter
-------------ADD-------------END
k8s_all.hcpkube ~]$ sudo vi /etc/sysctl.conf
-------------ADD-------------
fs.file-max=66536
-------------ADD-------------END

# 커널 모듈 적용
sysctl --system



개념
설명
위 설정 중 해당하는 부분



커널 모듈
리눅스 커널의 기능을 확장하는 플러그인 같은 것
/etc/modules-load.d/k8s.conf (→ overlay, br_netfilter 모듈 로드)


커널 파라미터
리눅스 커널이 동작하는 방식을 조정하는 값
/etc/sysctl.conf, /etc/sysctl.d/k8s.conf (→ 네트워크 설정, IP 포워딩 등)


파일 시스템
데이터를 저장하는 구조 및 방식
(해당 없음, 하지만 overlay 모듈은 파일 시스템 관련)





iptables 추가 (네트워크 패킷 설정) & NAT 테이블 초기화
vi /etc/sysctl.d/k8s.conf

net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward=1

iptables: 리눅스 방화벽 및 패킷 필터링 도구. 네트워크에서 들어오고 나가는 패킷을 필터링하고 제어하는 역할을 한다.
net.bridge.bridge-nf-call-iptables = 1 브리지 네트워크를 통해 전달되는 IPv4 패킷이 iptables를 통해 필터링 되도록한다. 기본적으로 리눅스 시스템에서는 0으로 설정되어 iptables규칙 적용을 받지 않는다. 1로 설정하면서 k8s의 네트워크 구성요소들이 iptables를 통해 트래픽을 제어하고 관리할 수 있게 한다.
net.bridge.bridge-nf-call-ip6tables = 1 IPv6 패킷이 ip6tables를 통해 필터링 되도록한다
net.ipv4.ip_forward = 1 시스템이 패킷 포워딩을 허용하도록 한다.

# 방화벽 규칙확인 - ACCEPT : 현재 특별한 방화벽 규칙이 적용되지 않음
[root@k8s-master-2 ~]# iptables -L
Chain INPUT (policy ACCEPT)
target     prot opt source               destination

Chain FORWARD (policy ACCEPT)
target     prot opt source               destination

Chain OUTPUT (policy ACCEPT)
target     prot opt source               destination

## 모든 방화벽 규칙 삭제 F / 사용자 정의 체인 삭제 X / 패킷 및 바이트 카운터 초기화 Z
[root@k8s-master-2 ~]# sudo iptables -F && sudo iptables -X && sudo iptables -Z
[root@k8s-master-2 ~]# iptables --table nat --flush
--------------------------------------------------------------------- 아래는 추가
k8s_all.hcpkube ~]$ sudo iptables -L
k8s_all.hcpkube ~]$ sudo iptables -F && sudo iptables -X && sudo iptables -Z  (또는 iptables --flush; iptables --delete-chain; iptables --zero )
k8s_all.hcpkube ~]$ sudo iptables --table nat --flush   (또는 iptables -t nat -F)
k8s_all.hcpkube ~]$ sudo systemctl disable firewalld --now && sudo systemctl stop firewalld
k8s_all.hcpkube ~]$ sudo sed -i 's@SELINUX=.*@SELINUX=disabled@g' /etc/selinux/config && cat /etc/selinux/config | grep SELINUX
k8s_all.hcpkube ~]$ sudo setenforce 0 && getenforce



구분
iptables (기본 방화벽 기능)
NAT 테이블 (IP 주소 변환 기능)



역할
패킷을 허용, 차단, 로깅하는 방화벽 역할
IP 주소를 변환하여 내부/외부 네트워크 간 통신을 중계


주요 체인
INPUT, OUTPUT, FORWARD
PREROUTING, POSTROUTING, OUTPUT


사용 목적
특정 포트/프로토콜을 제한하여 보안 강화
사설 네트워크와 외부 네트워크 간 통신 가능하게 함








명령어
의도
이유



iptables -L
현재 방화벽 규칙 확인
기존 설정 점검


iptables -F
기존 방화벽 규칙(룰) 삭제
Kubernetes 네트워크 충돌 방지


iptables -X
사용자 정의 체인 삭제
커스텀 방화벽 규칙 제거


iptables -Z
패킷 및 바이트 카운터 초기화
새로운 트래픽 모니터링 가능하게 함


iptables -t nat -F
NAT 테이블 초기화
Kubernetes의 CNI 플러그인과 충돌 방지





파일 디스크립터 제한 늘리기
기본적으로 리눅스 시스템은 사용자가 열수 있는 파일 수에 제한을 두고 있다. k8s와 같은 대규모 오케스트레이션 플랫폼에서는 다수의 컨테이너와 프로세스가 동시에 시작되기 때문에 소프트 및 하드 제한을 늘려준다. 
cat << EOF | sudo tee -a /etc/security/limits.conf
*               soft    nofile          65536
*               hard    nofile          65536
root            soft    nofile          65536
root            hard    nofile          65536
EOF





3. Containerd, CNI-Plugin, RunC 설치
k8s나 docker같은 컨테이너 오케스트레이션 도구는 직접 컨테이너를 실행하지 않기 때문에 컨테이너 실행을 담당하는 컨테이너 런타임이 필요하다.

containerd는 k8s가 컨테이너를 실행하고 관리하는데 필요한 엔진이다
  kubelet(파드실행해줘 요청) → container runtime(containerd 요청을 runc에게 전달) → OCI runtime(runc 실제로 실행) → 컨테이너 실행 

Docker는 불필요한 기능들이 많음, dockershim거쳐서 사용해야한다는 불편함

containerd를 설치할 때 CNI 플러그인을 함께 설치하는 이유는 기본적인 네트워크 설정을 하기 위해서

Flannel: 가벼운 오버레이 네트워크 제공 (기본 선택)
Calico: 네트워크 정책 지원 (보안 강화)
Weave: 자동 피어링 지원
Bridge (기본 CNI): 단순한 브리지 네트워크 (테스트용)


기본 플러그인 말고 Cilium 을 추가적으로 하는 이유는?
  CNI 플러그인으로도 Pod 간 통신이 가능하지만, 보안, 성능, 정책 관리가 부족하기 때문에 Cilium을 추가로 설치

k8s에서 containerd, runc가 필요한 이유


| 구성 요소 | 역할 |
| --- | --- |
| **kubelet** | Kubernetes 노드에서 컨테이너를 실행 및 관리 |
| **containerd** | 컨테이너 런타임으로서 컨테이너 생성 및 이미지 관리 |
| **runc (OCI)** | 리눅스 **네임스페이스와 cgroup을 사용하여 컨테이너 실행** |




Containerd 설치
dnf install wget
wget https://github.com/containerd/containerd/releases/download/v1.7.13/containerd-1.7.13-linux-amd64.tar.gz
tar Cxzvf /usr/local containerd-1.7.13-linux-amd64.tar.gz

[root@k8s-master-2 ~]# cd /usr/local/bin
[root@k8s-master-2 bin]# ls
...
buildkit-qemu-aarch64    containerd               nerdctl
buildkit-qemu-arm        containerd-shim          rootlessctl
buildkit-qemu-i386       containerd-shim-runc-v1  rootlesskit
buildkit-qemu-mips64     containerd-shim-runc-v2  rootlesskit-docker-proxy
buildkit-qemu-mips64el   containerd-stress
buildkit-qemu-ppc64le    crictl

containerd 파일 시스템 등록
  Kubernetes에서 컨테이너 런타임을 설정하고, 시스템 부팅 시 자동으로 실행되도록 하여 클러스터 관리 및 컨테이너 실행의 기반을 설정한다. 


sudo mkdir -p /usr/local/lib/systemd/system
curl -o /usr/local/lib/systemd/system/containerd.service https://raw.githubusercontent.com/containerd/containerd/main/containerd.service

# 서비스 파일 인식
sudo systemctl daemon-reload
# 서비스 시작 및 자동 실행 설정 
sudo systemctl enable --now containerd
systemctl status containerd

containerd의 기본 설정 파일(config.toml)을 생성 및 초기화
  SystemdCgroup = true 설정은 containerd가 systemd의 cgroup 관리 방식을 사용하도록 하여, Kubernetes와 containerd의 리소스 관리가 일관성 있게 통합되도록 한다. 


sudo mkdir -p /etc/containerd
containerd config default | sudo tee /etc/containerd/config.toml

[root@k8s-master-2 bin]# vi /etc/containerd/config.toml
135             Root = ""
136             ShimCgroup = ""
137             SystemdCgroup = true ## 변경 
138

------------------------------------------------------------------
[root@k8s-master-2 bin]# cat /etc/containerd/config.toml | grep -E "root =|sandbox_image|config_path|SystemdCgroup"
root = "/var/lib/containerd"
    sandbox_image = "registry.k8s.io/pause:3.8"
        runtime_root = ""
          runtime_root = ""
            SystemdCgroup = true ## 확인하기 
        runtime_root = ""
      config_path = ""
    plugin_config_path = "/etc/nri/conf.d"
    runtime_root = ""
    config_path = ""

systemctl restart containerd
systemctl status containerd    



CNI - plugin 설치
wget https://github.com/containernetworking/plugins/releases/download/v1.3.0/cni-plugins-linux-amd64-v1.3.0.tgz
sudo mkdir -p /opt/cni/bin
sudo tar Cxzvf /opt/cni/bin cni-plugins-linux-amd64-v1.3.0.tgz

systemctl daemon-reload
systemctl restart containerd

runC 설치
wget https://github.com/opencontainers/runc/releases/download/v1.1.12/runc.amd64
sudo install -m 755 runc.amd64 /usr/local/sbin/runc



모든 설치 확인
[root@k8s-master-2 k8s_lv1]# containerd --version
containerd github.com/containerd/containerd v1.7.13 7c3aca7a610df76212171d200ca3811ff6096eb8
[root@k8s-master-2 k8s_lv1]# which containerd
/usr/local/bin/containerd
[root@k8s-master-2 k8s_lv1]# runc --version
runc version 1.1.12
commit: v1.1.12-0-g51d5e946
spec: 1.0.2-dev
go: go1.20.13
libseccomp: 2.5.4
[root@k8s-master-2 k8s_lv1]# which runc
/usr/local/sbin/runc

## 만약 이 가이드 기준 runc version이 뜨지 않는다면
echo "export PATH=$PATH:/usr/local/sbin" >> ~/.bashrc
source ~/.bashrc




4. k8s 설치
[root@k8s-master-2 k8s_lv1]# cd /etc/yum.repos.d/
[root@k8s-master-2 yum.repos.d]# ls
local.repo  nexus.repo
[root@k8s-master-2 yum.repos.d]# cat <


cgroup 설정 (Kubelet에 systemd 사용)

[root@k8s-master-2 yum.repos.d]# sudo mkdir -p /etc/default
[root@k8s-master-2 yum.repos.d]# echo 'KUBELET_EXTRA_ARGS="--cgroup-driver=systemd"' | sudo tee /etc/default/kubelet
KUBELET_EXTRA_ARGS="--cgroup-driver=systemd"

[root@k8s-master-2 yum.repos.d]# cd /etc/default
[root@k8s-master-2 default]# ls
grub  kubelet  useradd

[root@k8s-master-2 default]# pwd
/etc/default
[root@k8s-master-2 default]# cat /etc/default/kubelet
KUBELET_EXTRA_ARGS="--cgroup-driver=systemd"

[root@k8s-master-2 default]# systemctl status kubelet
● kubelet.service - kubelet: The Kubernetes Node Agent
     Loaded: loaded (/usr/lib/systemd/system/kubelet.service; enabled; preset: disabled)
    Drop-In: /usr/lib/systemd/system/kubelet.service.d
             └─10-kubeadm.conf
     Active: activating (auto-restart) (Result: exit-code) since Wed 2025-02-26 00:28:31 EST; 7s ago
       Docs: https://kubernetes.io/docs/
    Process: 139741 ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_CONFIG_ARGS $KUBELET_KUBEADM_ARGS $KUBELET_E>
   Main PID: 139741 (code=exited, status=1/FAILURE)
        CPU: 137ms

init전 필요한 이미지 당겨오기

# 필요한 이미지 목록 확인
[root@k8s-master-2 manifests]# kubeadm config images list
I0303 05:09:45.913718    7380 version.go:256] remote version is much newer: v1.32.2; falling back to: stable-1.30
registry.k8s.io/kube-apiserver:v1.30.10
registry.k8s.io/kube-controller-manager:v1.30.10
registry.k8s.io/kube-scheduler:v1.30.10
registry.k8s.io/kube-proxy:v1.30.10
registry.k8s.io/coredns/coredns:v1.11.3
registry.k8s.io/pause:3.9
registry.k8s.io/etcd:3.5.15-0

# 필요한 이미지 pull
[root@k8s-master-2 kubeadm_v]# kubeadm config images pull
I0226 00:35:34.543630  140145 version.go:256] remote version is much newer: v1.32.2; falling back to: stable-1.30
[config/images] Pulled registry.k8s.io/kube-apiserver:v1.30.10
[config/images] Pulled registry.k8s.io/kube-controller-manager:v1.30.10
[config/images] Pulled registry.k8s.io/kube-scheduler:v1.30.10
[config/images] Pulled registry.k8s.io/kube-proxy:v1.30.10
[config/images] Pulled registry.k8s.io/coredns/coredns:v1.11.3
[config/images] Pulled registry.k8s.io/pause:3.9
[config/images] Pulled registry.k8s.io/etcd:3.5.15-0

마스터 노드에서 init 명령어 수행

sudo kubeadm init --apiserver-advertise-address=10.0.16.71 **--v=5**
Alternatively, if you are the root user, you can run:

  export KUBECONFIG=/etc/kubernetes/admin.conf

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 10.0.16.71:6443 --token zbgtjh.d14vq735od97url0 \
    --discovery-token-ca-cert-hash sha256:28f7a78b3b913ceec0f039f9f8a38ff0770f473d34698c4b2f055df822f0d9fe

마스터 노드 조인시
  ## certificate-key 생성
  kubeadm token create --certificate-key 

  ## join할 마스터 노드에 certificate-key 추가
  kubeadm join 10.0.16.71:6443 --token **zbgtjh.d14vq735od97url0 \
      --discovery-token-ca-cert-hash sha256:28f7a78b3b913ceec0f039f9f8a38ff0770f473d34698c4b2f055df822f0d9fe** --control-plane --certificate-key 

워커 노드 조인시
  kubeadm join 10.0.16.71:6443 --token zbgtjh.d14vq735od97url0 \
      --discovery-token-ca-cert-hash sha256:28f7a78b3b913ceec0f039f9f8a38ff0770f473d34698c4b2f055df822f0d9fe


[root@k8s-master-2 ~]# k get no
NAME           STATUS     ROLES           AGE     VERSION
k8s-master-2   NotReady   control-plane   8m35s   v1.30.10

[root@k8s-master-2 ~]# k get po -A
NAMESPACE     NAME                                   READY   STATUS    RESTARTS   AGE
kube-system   coredns-55cb58b774-87sng               0/1     Pending   0          8m29s
kube-system   coredns-55cb58b774-n8zcw               0/1     Pending   0          8m29s
kube-system   etcd-k8s-master-2                      1/1     Running   3          8m37s
kube-system   kube-apiserver-k8s-master-2            1/1     Running   3          8m35s
kube-system   kube-controller-manager-k8s-master-2   1/1     Running   3          8m36s
kube-system   kube-proxy-qhls9                       1/1     Running   0          8m29s
kube-system   kube-scheduler-k8s-master-2            1/1     Running   3          8m39s

[root@k8s-master-2 ~]# k get no
NAME           STATUS     ROLES           AGE     VERSION
k8s-master-2   NotReady   control-plane   9m18s   v1.30.10
k8s-worker-1   NotReady             6s      v1.30.10


레이블 추가

[root@k8s-master-2 ~]# k label node k8s-worker-1 node-role.kubernetes.io/worker-1=worker-1
node/k8s-worker-1 labeled
[root@k8s-master-2 ~]# k get no
NAME           STATUS     ROLES           AGE     VERSION
k8s-master-2   NotReady   control-plane   13m     v1.30.10
k8s-worker-1   NotReady   worker-1        3m56s   v1.30.10 # 반영됨

CoreDNS가 Pending 상태인 이유는 네트워크 플러그인(예: Calico 또는 Flannel 등)이 제대로 설치되지 않았기 때문






디렉토리 & 파일 정리


/etc/resolv.conf : 시스템에서 DNS(Domain Name System) 설정을 관리하는 파일



/sys/fs/cgroup : cgroup(control group) 관련 파일들이 위치한 디렉토리로, 리소스 제한, 계층 구조 등을 설정하는 파일 시스템을 제공하는 디렉토리
/etc/default/grub : 리눅스 시스템에서 부트 로더 역할을 하며, 시스템 부팅 시 운영 체제를 로드하는 프로그램 (파일)
/etc/modules-load.d/k8s.conf: 리눅스 커널 모듈을 자동으로 로드하는 설정 파일
  → Kubernetes가 정상적으로 동작하기 위해 필요한 커널 모듈을 자동으로 로드하는 파일
/etc/sysctl.d/k8s.conf : Kubernetes 클러스터를 운영할 때 네트워크와 관련된 커널 설정을 최적화하는 역할의 파일
  → Kubernetes가 정상적으로 동작하도록 커널 매개변수(sysctl 설정)를 적용하는 파일
/etc/security/limits.conf : 리눅스에서 사용자별 또는 그룹별로 시스템 리소스 제한을 설정하는 파일
/usr/local/lib/systemd/system : 디렉토리는 systemd의 사용자 정의 서비스 파일을 저장하는 위치
/etc/containerd/config.toml : containerd의 주요 설정 파일로, containerd의 동작 방식을 제어하는 여러 가지 설정을 포함





번외 : CA인증서 추가 설치
k8s가 CA인증서를 사용하는 이유

k8s는 내부적으로 TLS인증을 사용해서 클러스터 내에서 통신을 보호한다. kubeadm init을 하면 /etc/kubernetes/pki/ 경로에 자동으로 CA인증서가 생성된다.
API Server, Kubelet, Controller Manager, Scheduler등의 구성요소간 TLS인증을 제공한다.

따로 CA인증서를 적용해야 하는 이유

보통 Kubeadm이 자동으로 CA를 생성하지만 기업 환경이나 보안 요구사항이 높은 경우에는 직접 CA를 생성해야하는 경우가 있다.

외부 CA 사용
 기업에서 이미 신뢰하는 CA를 사용해서 보안정책을 통제하는 경우 

고가용성 HA 클러스터 구축
 각 마스터 노드가 자체적으로 CA를 생성하면 인증이 일관되지 않기 때문에 공통된 CA를 만들어서 마스터에게 동일하게 적용시켜야하기 때문

클러스터 재설치 혹은 마스터 노드 교체를 해야할때
 클러스터를 재설치하거나 마스터 노드를 교체할때 인증서가 필요함

사용자 인증
 RBAC정책을 적용하는 경우 사용자 또는 서비스 계정에 맞는 인증서를 발급해야함

서비스간 TLS 보안 통신
 Pod간의 보안 통신을 암호화하기 위해 TLS를 적용할때 별도의 CA를 사용할 수 있다. 




/etc/kubernetes/pki/
├── ca.crt  # 클러스터의 루트 CA 인증서
├── ca.key  # 클러스터의 루트 CA 개인 키
├── apiserver.crt  # Kube API 서버 인증서
├── apiserver.key  # Kube API 서버 개인 키
├── apiserver-kubelet-client.crt  # Kubelet이 API 서버와 통신할 때 사용하는 인증서
├── apiserver-kubelet-client.key
├── front-proxy-ca.crt  # 프록시 CA 인증서
├── front-proxy-ca.key
├── front-proxy-client.crt  # 프록시 클라이언트 인증서
├── front-proxy-client.key
├── etcd/
│   ├── ca.crt  # etcd CA 인증서
│   ├── ca.key
│   ├── server.crt  # etcd 서버 인증서
│   ├── server.key
│   ├── peer.crt  # etcd 노드 간 통신 인증서
│   ├── peer.key


인증서 생성방법

[root@k8s-master-2 yum.repos.d]# mkdir -p /etc/kubernetes/pki
[root@k8s-master-2 yum.repos.d]# cd /etc/kubernetes/pki
[root@k8s-master-2 pki]# openssl genrsa -out ca.key 2048
[root@k8s-master-2 pki]# openssl req -x509 -new -nodes -key ca.key -subj "/CN=kubernetes-ca" -days 10000 -out ca.crt

[root@k8s-master-2 pki]# cd /etc/kubernetes/pki
[root@k8s-master-2 pki]# ls
ca.crt  ca.key

/etc/kubernetes/pki/ca.crt  # CA 인증서
/etc/kubernetes/pki/ca.key  # CA 개인 키
수동으로 ca.key와 ca.crt를 생성한 후 kubeadm init을 실행하면 k8s의 기본 동작 방식이 달라진다. 원래는 init시에 CA인증서가 자동생성되지만 init을 실행하면 기존 CA파일을 그대로 사용한다.
CA는 클러스터내 모든 컴포넌트가 서로 신뢰하도록 하기위해 사용됨! 
(kube-apiserver, kubelet, controller-manager, scheduler 등)



k8s Pod 생성 과정 정리
Mon, 03 Mar 2025 11:17:59 GMT
k8s Pod 생성 과정 정리





사용자가 Deployment, Pod 생성 요청 (kubectl, API call)

API Server가 요청을 받아 etcd에 저장 (클러스터 상태 반영)

Scheduler가 적절한 노드를 선택하여 Pod 배치

kubelet이 해당 노드에서 Pod 실행 요청 처리 (이 요청은 gRPC 프로토콜을 통해 전달됨)

CRI(Container Runtime Interface)를 통해 containerd와 통신
 CRI는 Kubernetes가 Container Runtime(여기서는 containerd)와 통신할 수 있도록 해주는 인터페이스. CRI-containerd는 이 인터페이스를 통해 containerd에 요청을 전달하여 컨테이너 실행을 요청

containerd는 먼저 sandbox container(보통 pause 컨테이너)를 생성하여 Pod의 네트워크 및 기본 환경을 설정

Pod 내부 컨테이너들이 동일한 네트워크를 쓰게 하려면, 네트워크 네임스페이스를 공유해야 함. 이 역할을 하는 것이 바로 sandbox 컨테이너
Pod 내부 컨테이너들은 이 sandbox 컨테이너의 네트워크를 공유하게됨


CNI(Container Network Interface)를 통해 네트워크 설정 (sandbox container에 적용)

CNI는 네트워크 설정을 담당하는 플러그인. sandbox 컨테이너에 IP 할당, 네트워크 라우팅 등을 설정하여 Pod 내부의 컨테이너들이 동일한 네트워크를 공유하도록 함


containerd가 OCI Runtime(runc)을 사용하여 애플리케이션 컨테이너 실행

runc는 컨테이너를 실제로 실행하고 관리하는 역할을 함


cgroup, namespace를 사용해 컨테이너 격리

모든 컨테이너가 정상적으로 실행되면 Pod가 Ready 상태가 됨








컴포넌트
역할 및 기능



kubelet
- 해당 노드에서 Pod 실행을 관리하는 Kubernetes 에이전트- API Server로부터 Pod 실행 요청을 받고, 컨테이너 런타임(containerd 등)에게 컨테이너 실행 요청을 전달


CRI (Container Runtime Interface)
- kubelet과 컨테이너 런타임(containerd, CRI-O 등) 간의 표준 API 인터페이스- Kubernetes가 다양한 컨테이너 런타임을 지원할 수 있도록 설계됨


CRI-containerd
- containerd가 CRI 요청을 처리할 수 있도록 지원하는 플러그인- kubelet이 CRI를 통해 컨테이너를 실행할 수 있도록 함


OCI (Open Container Initiative)
- 컨테이너 런타임 및 이미지 포맷을 표준화하는 조직- runc, crun 같은 실행 환경을 제공


CNI (Container Network Interface)
- 컨테이너의 네트워크 설정을 담당하여 Pod 간 통신을 가능하게 함- Calico, Flannel 같은 네트워크 플러그인 사용


gRPC
- kubelet과 containerd가 통신할 때 사용하는 RPC(Remote Procedure Call) 프로토콜


containerd client
- kubelet이 containerd에게 컨테이너 생성/삭제 요청을 하는 클라이언트


cgroup
- 컨테이너의 CPU, 메모리 등 리소스를 제한 및 관리


namespace
- 컨테이너마다 격리된 실행 환경을 제공하여 다른 컨테이너와 분리


sandbox container
- Pod 내 네트워크 및 보안 환경을 설정하는 컨테이너 (pause 컨테이너)





Virtualbox-SSH접속-포트포워딩
Sun, 02 Feb 2025 08:21:24 GMT


사용하고 있는 가상머신: Virtualbox



RedHat9.4v






1. SSH 설치


로컬 PC와 VM이 SSH로 통신하려면 22번포트가 열려있어야 한다.


설치 명령어
dnf install openssh-server
dnf apt-get update
dnf apt-get install net-tools
dnf install net-tools



설치되어있는지 확인 rpm -qa | grep ssh
[root@vbox ~]# rpm -qa | grep ssh
libssh-config-0.10.4-13.el9.noarch
libssh-0.10.4-13.el9.x86_64
openssh-8.7p1-43.el9.x86_64
openssh-clients-8.7p1-43.el9.x86_64
openssh-server-8.7p1-43.el9.x86_64







설치된 ssh 위치 확인 which ssh[root@vbox ~]# which ssh
/usr/bin/ssh






ssh config파일에서 설정 추가 & 주석 해제시키기

vi /etc/ssh/sshd_config*
[root@vbox ~]# vi /etc/ssh/sshd_config
21 Port 22  ##주석 해제
22 #AddressFamily any
23 #ListenAddress 0.0.0.0
..
39 #LoginGraceTime 2m
40 PermitRootLogin prohibit-password  ##주석해제
41 #StrictModes yes
42 #MaxAuthTries 6
22포트 Linsten중인지 확인하기 netstat -na | grep tcp | grep 22
[root@vbox ~]# netstat -na | grep tcp | grep 22
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN     
tcp6       0      0 :::22                   :::*                    LISTEN     





sshd 상태 확인 systemctl status sshd
아래 server listening on port 22가 보여야함 [root@vbox ~]# systemctl status sshd



![](https://velog.velcdn.com/images/jupiter-j/post/61e2ce59-5db9-41b3-8767-e95978401ede/image.png)






# 2. 가상머신 포트포워딩
---
> ### 왜 포트 포워딩이 필요할까?
* **NAT 모드의 네트워크 제한:**
NAT 모드에서는 VM이 내부 네트워크에 속해 있고, 호스트 시스템(로컬 PC)이 인터넷 또는 외부 네트워크와 통신할 수 있다.
하지만, 외부 시스템에서 VM에 직접 접근할 수 없다. NAT 모드는 VM에 고유한 공인 IP 주소를 할당하지 않고, 호스트 시스템의 IP 주소를 사용하여 네트워크 통신을 하기 때문
* **외부 접속을 위한 포트 연결:**
포트 포워딩을 사용하면, 호스트 시스템의 특정 포트(예: 2222번)를 통해 들어오는 트래픽을 VM의 22번 포트 (SSH 포트)로 전달할 수 있다.
이렇게 하면, 로컬 PC에서 VM의 SSH 포트에 접근할 수 있게 된다.




VM설정에서 setting -> expert 모드를 선택해야함.
그래야 네트워크에서 포트포워딩을 추가할 수 있다.
![](https://velog.velcdn.com/images/jupiter-j/post/5e24907d-cf63-4da5-aee1-32d566dd91e5/image.png)

* 호스트 ip: VM이 실행되는 실제 컴퓨터
    예를 들어, 로컬 PC 또는 서버에서 VirtualBox, VMware 등의 가상화 소프트웨어가 실행되는 경우 이 PC의 IP 주소가 호스트 IP이다. 
    * 확인방법: 로컬 PC에서 ipconfig(Windows) 또는 ifconfig 또는 ip a(Linux/macOS) 명령어를 통해 호스트 IP를 확인

> 명령프롬포트 -> ipconfig -> 무선LAN - IPv4주소
![](https://velog.velcdn.com/images/jupiter-j/post/eb2fddf0-982f-4f01-9484-2be10890112d/image.png)




## Xterm 접속
---
![](https://velog.velcdn.com/images/jupiter-j/post/a78ff516-661f-4dd0-9121-58378db4f0a3/image.png)





가상머신과 xterm 서로 ssh 접속이 잘된것을 확인할 수 있음

![](https://velog.velcdn.com/images/jupiter-j/post/e68f57f8-c224-4023-adf3-79aad776b9f8/image.png)


Kubernetes Udemy MOCK -2
Sat, 10 Aug 2024 14:28:00 GMT
기본설정
source <(kubectl completion bash) # bash-completion 패키지를 먼저 설치한 후, bash의 자동 완성을 현재 셸에 설정한다
echo "source <(kubectl completion bash)" >> ~/.bashrc # 자동 완성을 bash 셸에 영구적으로 추가한다

source <(kubectl completion bash) echo "source <(kubectl completion bash)" >> ~/.bashrc


alias k=kubectl
complete -o default -F __start_kubectl k
backup
Take a backup of the etcd cluster and save it to /opt/etcd-backup.db.

kuberntes doc - etcdctl backup
https://kubernetes.io/docs/tasks/administer-cluster/configure-upgrade-etcd/


built in stnapshot#ETCDCTL_API=3 etcdctl etcdctl --endpoints $ENDPOINT snapshot save snapshot.db

controlplane ~ ➜  #ETCDCTL_API=3 etcdctl etcdctl --endpoints $ENDPOINT snapshot save snapshot.db

controlplane ~ ➜  ETCDCTL_API=3 etcdctl snapshot save -h
NAME:
        snapshot save - Stores an etcd node backend snapshot to a given file

USAGE:
        etcdctl snapshot save 

GLOBAL OPTIONS:
      --cacert=""                               verify certificates of TLS-enabled secure servers using this CA bundle
      --cert=""                                 identify secure client using this TLS certificate file
      --command-timeout=5s                      timeout for short running command (excluding dial timeout)
      --debug[=false]                           enable client-side debug logging
      --dial-timeout=2s                         dial timeout for client connections
  -d, --discovery-srv=""                        domain name to query for SRV records describing cluster endpoints
      --endpoints=[127.0.0.1:2379]              gRPC endpoints
      --hex[=false]                             print byte strings as hex encoded strings
      --insecure-discovery[=true]               accept insecure SRV records describing cluster endpoints
      --insecure-skip-tls-verify[=false]        skip server certificate verification
      --insecure-transport[=true]               disable transport security for client connections
      --keepalive-time=2s                       keepalive time for client connections
      --keepalive-timeout=6s                    keepalive timeout for client connections
      --key=""                                  identify secure client using this TLS key file
      --user=""                                 username[:password] for authentication (prompt if password is not supplied)
  -w, --write-out="simple"                      set the output format (fields, json, protobuf, simple, table)

매개변수를 파악하기 위해 서버 매니페스트 파일을 살펴본다 
controlplane ~ ➜  cat /etc/kubernetes/manifests/etcd.yaml | grep file
    - --cert-file=/etc/kubernetes/pki/etcd/server.crt
    - --key-file=/etc/kubernetes/pki/etcd/server.key
    - --peer-cert-file=/etc/kubernetes/pki/etcd/peer.crt
    - --peer-key-file=/etc/kubernetes/pki/etcd/peer.key
    - --peer-trusted-ca-file=/etc/kubernetes/pki/etcd/ca.crt
    - --trusted-ca-file=/etc/kubernetes/pki/etcd/ca.crt
    seccompProfile:

✅ 엔드포인트를 확인
controlplane ~ ➜  vi /etc/kubernetes/manifests/etcd.yaml

controlplane ~ ✖ ETCDCTL_API=3 etcdctl --endpoints=127.0.0.1:2379 snapshot save snapshot.db --cacert=/etc/kubernetes/pki/etcd/ca.crt \
> --cert=/etc/kubernetes/pki/etcd/server.crt \
> --key=/etc/kubernetes/pki/etcd/server.key
Snapshot saved at snapshot.db


## 정답
export ETCDCTL_API=3
etcdctl snapshot save --endpoints https://[127.0.0.1]:2379 --cacert /etc/kubernetes/pki/etcd/ca.crt --cert /etc/kubernetes/pki/etcd/server.crt --key=/etc/kubernetes/pki/etcd/server.key  /opt/etcd-backup.db
2. Pod Pv 생성

emptyDir
https://kubernetes.io/docs/concepts/storage/volumes/

volumes:
  - name: cache-volume
    emptyDir:
      sizeLimit: 500Mi


emptyDir은 Kubernetes에서 사용하는 Volume 타입으로, Pod이 생성될 때 빈 디렉토리로 시작하고, Pod의 생명 주기 동안만 존재합니다. Pod이 삭제되면 emptyDir Volume에 저장된 데이터도 함께 삭제됩니다. 이 Volume은 컨테이너 간 데이터 공유 및 임시 데이터 저장에 유용합니다. 데이터는 노드의 로컬 디스크에 저장됩니다.


Create a Pod called redis-storage with image: redis:alpine with a Volume of type emptyDir that lasts for the life of the Pod.
## pod yaml 생성
controlplane ~ ✖ k run redis-storage --image=redis:alpine --dry-run=client -o yaml
apiVersion: v1
kind: Pod
metadata:
  creationTimestamp: null
  labels:
    run: redis-storage
  name: redis-storage
spec:
  containers:
  - image: redis:alpine
    name: redis-storage
    resources: {}
  dnsPolicy: ClusterFirst
  restartPolicy: Always
status: {}

controlplane ~ ➜  k run redis-storage --image=redis:alpine --dry-run=client -o yaml > redis.yaml

## pv 추가
controlplane ~ ➜  vi redis.yaml

controlplane ~ ➜  cat redis.yaml
apiVersion: v1
kind: Pod
metadata:
  creationTimestamp: null
  labels:
    run: redis-storage
  name: redis-storage
spec:
  containers:
  - image: redis:alpine
    name: redis-storage
    resources: {}
    volumeMounts: ⭐️
    - mountPath: /data/redis
      name: cache-volume  
  dnsPolicy: ClusterFirst
  restartPolicy: Always
  volumes: ⭐️
  - name: cache-volume
    emptyDir: {} 
status: {}

controlplane ~ ➜  k create -f redis.yaml
pod/redis-storage created

controlplane ~ ➜  k get po
NAME            READY   STATUS              RESTARTS   AGE
redis-storage   0/1     ContainerCreating   0          3s

controlplane ~ ➜  k describe po redis-storage 
Name:             redis-storage
Namespace:        default
Priority:         0
Service Account:  default
Node:             node01/192.21.81.12
Start Time:       Sat, 10 Aug 2024 14:23:34 +0000
Labels:           run=redis-storage
Annotations:      
Status:           Running
IP:               10.244.192.1
IPs:
  IP:  10.244.192.1
Containers:
  redis-storage:
    Container ID:   containerd://4ed7364200a01b46a5464056b5856c3c33deda24c2fb0afd1f368db98031cd34
    Image:          redis:alpine
    Image ID:       docker.io/library/redis@sha256:eaea8264f74a95ea9a0767c794da50788cbd9cf5223951674d491fa1b3f4f2d2
    Port:           
    Host Port:      
    State:          Running
      Started:      Sat, 10 Aug 2024 14:23:37 +0000
    Ready:          True
    Restart Count:  0
    Environment:    
    Mounts:
      /data/redis from cache-volume (rw)
      /var/run/secrets/kubernetes.io/serviceaccount from kube-api-access-pbplj (ro)
Conditions:
  Type                        Status
  PodReadyToStartContainers   True 
  Initialized                 True 
  Ready                       True 
  ContainersReady             True 
  PodScheduled                True 
Volumes:
  cache-volume:
    Type:      ✅ EmptyDir (a temporary directory that shares a pod's lifetime)
    Medium:     
    SizeLimit:  
  kube-api-access-pbplj:
    Type:                    Projected (a volume that contains injected data from multiple sources)
    TokenExpirationSeconds:  3607
    ConfigMapName:           kube-root-ca.crt
    ConfigMapOptional:       
    DownwardAPI:             true
QoS Class:                   BestEffort
Node-Selectors:              
Tolerations:                 node.kubernetes.io/not-ready:NoExecute op=Exists for 300s
                             node.kubernetes.io/unreachable:NoExecute op=Exists for 300s
Events:
  Type    Reason     Age   From               Message
  ----    ------     ----  ----               -------
  Normal  Scheduled  80s   default-scheduler  Successfully assigned default/redis-storage to node01
  Normal  Pulling    79s   kubelet            Pulling image "redis:alpine"
  Normal  Pulled     77s   kubelet            Successfully pulled image "redis:alpine" in 1.388s (1.388s including waiting). Image size: 17173585 bytes.
  Normal  Created    77s   kubelet            Created container redis-storage
  Normal  Started    77s   kubelet            Started container redis-storage
3. PV 보안 설정

docs: security capability
https://kubernetes.io/docs/tasks/configure-pod-container/security-context/

apiVersion: v1
kind: Pod
metadata:
  name: security-context-demo-4
spec:
  containers:
  - name: sec-ctx-4
    image: gcr.io/google-samples/hello-app:2.0
    securityContext:
      capabilities:
        add: ["NET_ADMIN", "SYS_TIME"]
controlplane ~ ➜  k run super-user-pod --image=busybox:1.28 --command --dry-run=client -o yaml -- sleep 4800
apiVersion: v1
kind: Pod
metadata:
  creationTimestamp: null
  labels:
    run: super-user-pod
  name: super-user-pod
spec:
  containers:
  - command:
    - sleep
    - "4800"
    image: busybox:1.28
    name: super-user-pod
    resources: {}
  dnsPolicy: ClusterFirst
  restartPolicy: Always
status: {}
controlplane ~ ➜  k run super-user-pod --image=busybox:1.28 --command --dry-run=client -o yaml -- sleep 4800 > busy.yaml
controlplane ~ ➜  vi busy.yaml
controlplane ~ ➜  cat busy.yaml
apiVersion: v1
kind: Pod
metadata:
  creationTimestamp: null
  labels:
    run: super-user-pod
  name: super-user-pod
spec:
  containers:
  - command:
    - sleep
    - "4800"
    image: busybox:1.28
    name: super-user-pod
    resources: {}
    securityContext: ✅ 추가 Sys_time
      capabilities:
        add: ["SYS_TIME"]  
  dnsPolicy: ClusterFirst
  restartPolicy: Always
status: {}
controlplane ~ ➜  k create -f busy.yaml
pod/super-user-pod created
controlplane ~ ➜  k get po
NAME             READY   STATUS    RESTARTS   AGE
redis-storage    1/1     Running   0          8m12s
super-user-pod   1/1     Running   0          3s



4. PV mount
A pod definition file is created at /root/CKA/use-pv.yaml. Make use of this manifest file and mount the persistent volume called pv-1. Ensure the pod is running and the PV is bound.
mountPath: /data
persistentVolumeClaim Name: my-pvc 

이 작업은 /root/CKA/use-pv.yaml 파일을 사용하여 파드를 정의하고, pv-1이라는 퍼시스턴트 볼륨을 /data 경로에 마운트하도록 하는 것. 또한, 파드가 정상적으로 실행 중인지, PVC가 퍼시스턴트 볼륨에 바인딩되었는지 확인하는 것이 중요함



PV, PVC

Persistent Volume (PV): 관리자가 사전에 프로비저닝한 실제 스토리지를 나타냅니다. Kubernetes 클러스터에서 사용할 수 있는 스토리지 리소스.
Persistent Volume Claim (PVC): 사용자가 필요로 하는 스토리지 요구 사항을 정의한 요청서. PVC가 제출되면, Kubernetes는 요구 사항에 맞는 PV를 할당(바인딩)한다.
따라서, PV는 실제 스토리지 리소스이고, PVC는 그 스토리지를 요청하는 선언이다


pvc 생성
포드 내의 볼륨 마운트로 설정 
볼륨을 볼륨 마운트로 설정


PVC doc: PersistentBolumeClaims
https://kubernetes.io/docs/concepts/storage/persistent-volumes/#persistentvolumeclaims

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: myclaim
spec:
  accessModes:
    - ReadWriteOnce
  volumeMode: Filesystem
  resources:
    requests:
      storage: 8Gi
1. pvc 생성
controlplane ~ ➜  cat /root/CKA/use-pv.yaml
apiVersion: v1
kind: Pod
metadata:
  creationTimestamp: null
  labels:
    run: use-pv
  name: use-pv
spec:
  containers:
  - image: nginx
    name: use-pv
    resources: {}
  dnsPolicy: ClusterFirst
  restartPolicy: Always
status: {}

controlplane ~ ➜  k get pv
NAME   CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   VOLUMEATTRIBUTESCLASS   REASON   AGE
pv-1   10Mi       RWO            Retain           Available                                                    4m51s

controlplane ~ ➜  k get pvc
No resources found in default namespace.

controlplane ~ ➜  vi pvc.yaml

controlplane ~ ➜  cat pvc.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: my-pvc
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 10Mi

controlplane ~ ➜  k create -f pvc.yaml
persistentvolumeclaim/my-pvc created

controlplane ~ ➜  k get pvc
NAME     STATUS   VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   VOLUMEATTRIBUTESCLASS   AGE
my-pvc   Bound    pv-1     10Mi       RWO                                            3s

PV 사양 추가

      volumeMounts:
      - mountPath: "/var/www/html"
        name: mypd
  volumes:
    - name: mypd
      persistentVolumeClaim:
        claimName: myclaim
2. 포드 내의 볼륨 마운트로 설정 
controlplane ~ ➜  cat /root/CKA/use-pv.yaml
apiVersion: v1
kind: Pod
metadata:
  creationTimestamp: null
  labels:
    run: use-pv
  name: use-pv
spec:
  containers:
  - image: nginx
    name: use-pv
    resources: {}
  dnsPolicy: ClusterFirst
  restartPolicy: Always
status: {}

controlplane ~ ➜  vi /root/CKA/use-pv.yaml

controlplane ~ ➜  vi /root/CKA/use-pv.yaml

controlplane ~ ➜  cat /root/CKA/use-pv.yaml
apiVersion: v1
kind: Pod
metadata:
  creationTimestamp: null
  labels:
    run: use-pv
  name: use-pv
spec:
  containers:
  - image: nginx
    name: use-pv
    resources: {}
    volumeMounts:
      - mountPath: "/data"
        name: mypd  
  dnsPolicy: ClusterFirst
  restartPolicy: Always
  volumes:
    - name: mypd
      persistentVolumeClaim:
        claimName: my-pvc  
status: {}

controlplane ~ ➜  k create -f /root/CKA/use-pv.yaml
pod/use-pv created

controlplane ~ ➜  k get po
NAME             READY   STATUS    RESTARTS   AGE
redis-storage    1/1     Running   0          28m
super-user-pod   1/1     Running   0          20m
use-pv           1/1     Running   0          5s
5. Deploy 업데이트
Create a new deployment called nginx-deploy, with image nginx:1.16 and 1 replica. Next upgrade the deployment to version 1.17 using rolling update.
sage:
  kubectl create deployment NAME --image=image -- [COMMAND] [args...] [options]

Use "kubectl options" for a list of global command-line options (applies to all
commands).

controlplane ~ ➜  k create deploy nginx-deploy --image=nginx:1.16 --replicas=1
deployment.apps/nginx-deploy created

controlplane ~ ➜  k get deploy
NAME           READY   UP-TO-DATE   AVAILABLE   AGE
nginx-deploy   0/1     1            0           5s

이미지 버전 업데이트  k set image --help

controlplane ~ ➜  k set image --help
Update existing container image(s) of resources.
 Possible resources include (case insensitive):
        pod (po), replicationcontroller (rc), deployment (deploy), daemonset
(ds), statefulset (sts), cronjob (cj), replicaset (rs)
Examples:
  # Set a deployment's nginx container image to 'nginx:1.9.1', and its busybox
container image to 'busybox'
  kubectl set image deployment/nginx busybox=busybox nginx=nginx:1.9.1
도움말중  kubectl set image deployment/nginx busybox=busybox nginx=nginx:1.9.1 명령어를 사용
controlplane ~ ➜  # kubectl set image deployment/nginx-deploy nginx=nginx:1.9.1

controlplane ~ ➜  k describe deploy nginx-deploy 
Name:                   nginx-deploy
Namespace:              default
CreationTimestamp:      Sun, 11 Aug 2024 08:19:00 +0000
Labels:                 app=nginx-deploy
Annotations:            deployment.kubernetes.io/revision: 1
Selector:               app=nginx-deploy
Replicas:               1 desired | 1 updated | 1 total | 1 available | 0 unavailable
StrategyType:           RollingUpdate
MinReadySeconds:        0
RollingUpdateStrategy:  25% max unavailable, 25% max surge
Pod Template:
  Labels:  app=nginx-deploy
  Containers:
   nginx:
    Image:         nginx:1.16 ✅
    Port:          
    Host Port:     
    Environment:   
    Mounts:        
  Volumes:         
  Node-Selectors:  
  Tolerations:     
Conditions:
  Type           Status  Reason
  ----           ------  ------
  Available      True    MinimumReplicasAvailable
  Progressing    True    NewReplicaSetAvailable
OldReplicaSets:  
NewReplicaSet:   nginx-deploy-858fb84d4b (1/1 replicas created)
Events:
  Type    Reason             Age    From                   Message
  ----    ------             ----   ----                   -------
  Normal  ScalingReplicaSet  3m36s  deployment-controller  Scaled up replica set nginx-deploy-858fb84d4b to 1

## 🛑 명령어를 맞게 수정
controlplane ~ ➜  kubectl set image deployment/nginx-deploy nginx=nginx:1.17
deployment.apps/nginx-deploy image updated

controlplane ~ ➜  k describe deploy nginx-deploy 
Name:                   nginx-deploy
Namespace:              default
CreationTimestamp:      Sun, 11 Aug 2024 08:19:00 +0000
Labels:                 app=nginx-deploy
Annotations:            deployment.kubernetes.io/revision: 2
Selector:               app=nginx-deploy
Replicas:               1 desired | 1 updated | 2 total | 1 available | 1 unavailable
StrategyType:           RollingUpdate
MinReadySeconds:        0
RollingUpdateStrategy:  25% max unavailable, 25% max surge
Pod Template:
  Labels:  app=nginx-deploy
  Containers:
   nginx:
    Image:         nginx:1.17 ✅
    Port:          
    Host Port:     
    Environment:   
    Mounts:        
  Volumes:         
  Node-Selectors:  
  Tolerations:     
Conditions:
  Type           Status  Reason
  ----           ------  ------
  Available      True    MinimumReplicasAvailable
  Progressing    True    ReplicaSetUpdated
OldReplicaSets:  nginx-deploy-858fb84d4b (1/1 replicas created)
NewReplicaSet:   nginx-deploy-58f87d49 (1/1 replicas created)
Events:
  Type    Reason             Age    From                   Message
  ----    ------             ----   ----                   -------
  Normal  ScalingReplicaSet  4m25s  deployment-controller  Scaled up replica set nginx-deploy-858fb84d4b to 1
  Normal  ScalingReplicaSet  4s     deployment-controller  Scaled up replica set nginx-deploy-58f87d49 to 1
6. 사용자 인증서 생성
Create a new user called john. Grant him access to the cluster. John should have permission to create, list, get, update and delete pods in the development namespace . The private key exists in the location: /root/CKA/john.key and csr at /root/CKA/john.csr.
Important Note: As of kubernetes 1.19, the CertificateSigningRequest object expects a signerName.
Please refer the documentation to see an example. The documentation tab is available at the top right of terminal.

요약


CSR 생성 및 승인: signerName을 포함한 CSR을 생성하고 승인하여 john 사용자의 클라이언트 인증서를 발급받습니다.
사용자 추가: 발급된 인증서를 사용해 kubectl에 john 사용자 정보를 추가합니다.
Role 및 RoleBinding 설정: john 사용자가 development 네임스페이스에서 파드를 관리할 수 있도록 Role 및 RoleBinding을 설정합니다.
이 작업을 통해 john 사용자는 development 네임스페이스에서 파드를 생성, 조회, 가져오기, 업데이트, 삭제할 수 있는 권한을 가지게 됩니다.




Kubernetes Udemy MOCK -1
Tue, 09 Jul 2024 07:10:09 GMT
Kubernetes Udemy MOCK-1
Pod 생성
Deploy a pod named nginx-pod using the nginx:alpine image. Once done, click on the Next

controlplane ~ ➜  k run nginx-pod --image=nginx:alpine
pod/nginx-pod created

controlplane ~ ➜  k get po
NAME        READY   STATUS    RESTARTS   AGE
nginx-pod   1/1     Running   0          3s

controlplane ~ ➜  k describe po nginx-pod 
Name:             nginx-pod
Namespace:        default
Priority:         0
Service Account:  default
Node:             controlplane/192.4.145.9
Start Time:       Mon, 08 Jul 2024 04:09:06 +0000
Labels:           run=nginx-pod
Annotations:      
Status:           Running
IP:               10.244.0.4
IPs:
  IP:  10.244.0.4
Containers:
  nginx-pod:
    Container ID:   containerd://248e912896a33ff427a18acb84f167b4b094a8900f335b5005bd8222bf2362cf
    Image:          nginx:alpine



Pod 상세 설정 생성
Deploy a messaging pod using the redis:alpine image with the labels set to tier=msg.


Use "kubectl options" for a list of global command-line options (applies to all commands).

controlplane ~ ➜   kubectl run hazelcast --image=hazelcast/hazelcast --labels="app=hazelcast,env=prod"^C

controlplane ~ ✖ k run messaging --image=redis:alpine --labels=tier=msg
pod/messaging created

controlplane ~ ➜  k get po
NAME        READY   STATUS              RESTARTS   AGE
messaging   0/1     ContainerCreating   0          6s
nginx-pod   1/1     Running             0          2m36s

controlplane ~ ➜  k describe po messaging 
Name:             messaging
Namespace:        default
Priority:         0
Service Account:  default
Node:             controlplane/192.4.145.9
Start Time:       Mon, 08 Jul 2024 04:11:36 +0000
Labels:           tier=msg
Annotations:      
Status:           Running
IP:               10.244.0.5
IPs:
  IP:  10.244.0.5
Containers:
  messaging:



NS 생성
Create a namespace named apx-x9984574.

controlplane ~ ✖ k get ns
NAME              STATUS   AGE
default           Active   109m
kube-flannel      Active   109m
kube-node-lease   Active   109m
kube-public       Active   109m
kube-system       Active   109m

controlplane ~ ➜  k create ns apx-x9984574
namespace/apx-x9984574 created

controlplane ~ ➜  k get ns
NAME              STATUS   AGE
apx-x9984574      Active   4s
default           Active   109m
kube-flannel      Active   109m
kube-node-lease   Active   109m
kube-public       Active   109m
kube-system       Active   109m



json 파일 복사
Get the list of nodes in JSON format and store it in a file at /opt/outputs/nodes-z3444kd9.json.

controlplane ~ ➜  k get no
NAME           STATUS   ROLES           AGE    VERSION
controlplane   Ready    control-plane   110m   v1.30.0

controlplane ~ ➜  k get no -o json
{
    "apiVersion": "v1",
    "items": [
        {
            "apiVersion": "v1",
            "kind": "Node",
            "metadata": {
                "annotations": {
                    "flannel.alpha.coreos.com/backend-data": "{\"VNI\":1,\"VtepMAC\":\"b6:66:c3:d9:d9:27\"}",
                    "flannel.alpha.coreos.com/backend-type": "vxlan",
                    "flannel.alpha.coreos.com/kube-subnet-manager": "true",
.
.
.

    ],
    "kind": "List",
    "metadata": {
        "resourceVersion": ""
    }
}

⭐️ json 파일을 해당 경로에 복사 
controlplane ~ ➜  k get no -o json > /opt/outputs/nodes-z3444kd9.json.

controlplane ~ ➜  cat  /opt/outputs/nodes-z3444kd9.json.
{
    "apiVersion": "v1",
    "items": [
        {
            "apiVersion": "v1",
            "kind": "Node",
            "metadata": {
                "annotations": {
                    "flannel.alpha.coreos.com/backend-data": "{\"VNI\":1,\"VtepMAC\":\"b6:66:c3:d9:d9:27\"}",
                    "flannel.alpha.coreos.com/backend-type": "vxlan",
                    "flannel.alpha.coreos.com/kube-subnet-manager": "true",
                    "flannel.alpha.coreos.com/public-ip": "192.4.145.9",
                    "kubeadm.alpha.kubernetes.io/cri-socket": "unix:///var/run/containerd/containerd.sock",
                    "node.alpha.kubernetes.io/ttl": "0",
                    "volumes.kubernetes.io/controller-managed-attach-detach": "true"
                },
                "creationTimestamp": "2024-07-08T02:24:59Z",



Service 생성
Create a service messaging-service to expose the messaging application within the cluster on port 6379.


k expose --help 사용

메세지 어플리케이션 접속을 위해 메세지-서비스를 만들어 클러스터 안에 있는 메세지 파드 IP와 서비스 연결
controlplane ~ ➜  k expose po messaging --port 6379 --name messaging-service 
service/messaging-service exposed

controlplane ~ ➜  k get svc
NAME                TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)    AGE
kubernetes          ClusterIP   10.96.0.1                443/TCP    120m
messaging-service   ClusterIP   10.108.125.130           6379/TCP   5s

controlplane ~ ➜  k describe svc messaging-service 
Name:              messaging-service
Namespace:         default
Labels:            tier=msg
Annotations:       
Selector:          tier=msg
Type:              ClusterIP
IP Family Policy:  SingleStack
IP Families:       IPv4
IP:                10.108.125.130
IPs:               10.108.125.130
Port:                6379/TCP
TargetPort:        6379/TCP
Endpoints:         10.244.0.5:6379 ⭐️ endppoint 확인
Session Affinity:  None
Events:            

controlplane ~ ➜  k get pods -o wide
NAME        READY   STATUS    RESTARTS   AGE   IP           NODE           NOMINATED NODE   READINESS GATES
messaging   1/1     Running   0          14m   ⭐️10.244.0.5   controlplane              
nginx-pod   1/1     Running   0          16m   10.244.0.4   controlplane              

controlplane ~ ➜  



레플리카셋 활용
Create a deployment named hr-web-app using the image kodekloud/webapp-color with 2 replicas.

controlplane ~ ➜  k create deployment hr-web-app --image=kodekloud/webapp-color --replicas=2
deployment.apps/hr-web-app created

controlplane ~ ➜  k get deploy
NAME         READY   UP-TO-DATE   AVAILABLE   AGE
hr-web-app   0/2     2            0           7s

controlplane ~ ➜  k get po
NAME                          READY   STATUS    RESTARTS   AGE
hr-web-app-5d6b77db78-tblmg   1/1     Running   0          17s
hr-web-app-5d6b77db78-w8f64   1/1     Running   0          17s
messaging                     1/1     Running   0          16m
nginx-pod                     1/1     Running   0          19m

controlplane ~ ➜  k describe deploy hr-web-app
Name:                   hr-web-app
Namespace:              default
CreationTimestamp:      Mon, 08 Jul 2024 04:28:08 +0000
Labels:                 app=hr-web-app
Annotations:            deployment.kubernetes.io/revision: 1
Selector:               app=hr-web-app
Replicas:            확인 ⭐️  2 desired | 2 updated | 2 total | 2 available | 0 unavailable
StrategyType:           RollingUpdate
MinReadySeconds:        0
RollingUpdateStrategy:  25% max unavailable, 25% max surge



Pod 생성 - 상세설정
Create a static pod named static-busybox on the controlplane node that uses the busybox image and the command sleep 1000.


controlplane ~ ➜  k run static-busybox --image=busybox --dry-run=client -o yaml --comand -- sleep, 1000
error: unknown flag: --comand
See 'kubectl run --help' for usage.

controlplane ~ ✖ k run static-busybox --image=busybox --dry-run=client -o yaml --command -- sleep 1000
apiVersion: v1
kind: Pod
metadata:
  creationTimestamp: null
  labels:
    run: static-busybox
  name: static-busybox
spec:
  containers:
  - command:
    - sleep
    - "1000"
    image: busybox
    name: static-busybox
    resources: {}
  dnsPolicy: ClusterFirst
  restartPolicy: Always
status: {}

controlplane ~ ➜  k run static-busybox --image=busybox --dry-run=client -o yaml --command -- sleep 1000 > static-busybox.yaml

controlplane ~ ➜  ls
sample.yaml  static-busybox.yaml

controlplane ~ ➜  cat static-busybox.yaml 
apiVersion: v1
kind: Pod
metadata:
  creationTimestamp: null
  labels:
    run: static-busybox
  name: static-busybox
spec:
  containers:
  - command:
    - sleep
    - "1000"
    image: busybox
    name: static-busybox
    resources: {}
  dnsPolicy: ClusterFirst
  restartPolicy: Always
status: {}

controlplane ~ ➜  k create -f static-busybox.yaml 
pod/static-busybox created

controlplane ~ ➜  k get po
NAME                          READY   STATUS    RESTARTS   AGE
hr-web-app-5d6b77db78-tblmg   1/1     Running   0          16m
hr-web-app-5d6b77db78-w8f64   1/1     Running   0          16m
messaging                     1/1     Running   0          33m
nginx-pod                     1/1     Running   0          35m
static-busybox                1/1     Running   0          5s

###### ⭐️ static 경로에 두지 않으면 삭제되어도 다시 생기지 않음
controlplane ~ ➜  k delete po static-busybox 
pod "static-busybox" deleted

controlplane ~ ➜  k get po
NAME                          READY   STATUS    RESTARTS   AGE
hr-web-app-5d6b77db78-tblmg   1/1     Running   0          17m
hr-web-app-5d6b77db78-w8f64   1/1     Running   0          17m
messaging                     1/1     Running   0          34m
nginx-pod                     1/1     Running   0          36m

controlplane ~ ➜  

mv static-busybox.yaml /etc/kubernetes/manifests/ 경로 암기 

controlplane ~ ➜  ls
sample.yaml  static-busybox.yaml

controlplane ~ ➜  mv static-busybox.yaml /etc/kubernetes/manifests/

controlplane ~ ➜  k create -f /etc/kubernetes/manifests/static-busybox.yaml
pod/static-busybox created

controlplane ~ ➜  k get po
NAME                          READY   STATUS    RESTARTS   AGE
hr-web-app-5d6b77db78-tblmg   1/1     Running   0          20m
hr-web-app-5d6b77db78-w8f64   1/1     Running   0          20m
messaging                     1/1     Running   0          37m
nginx-pod                     1/1     Running   0          39m
static-busybox                1/1     Running   0          11s
static-busybox-controlplane   1/1     Running   0          48s

controlplane ~ ➜  k describe po static-busybox-controlplane
Name:         static-busybox-controlplane
Namespace:    default
Priority:     0
Node:         controlplane/192.4.145.9
Start Time:   Mon, 08 Jul 2024 04:47:58 +0000
Labels:       run=static-busybox
Annotations:  kubernetes.io/config.hash: 61f6c4844f8c32c1b793af0a920431c9
              kubernetes.io/config.mirror: 61f6c4844f8c32c1b793af0a920431c9
              kubernetes.io/config.seen: 2024-07-08T04:47:58.193630488Z
              kubernetes.io/config.source: file
Status:       Running
IP:           10.244.0.10
IPs:
  IP:           10.244.0.10
Controlled By:  Node/controlplane
Containers:
  static-busybox:
    Container ID:  containerd://a9cfbe573713fefdd98e0b8360468ba966c031350cee7690dad40e196a3bdbaf
    Image:         busybox
    Image ID:      docker.io/library/busybox@sha256:9ae97d36d26566ff84e8893c64a6dc4fe8ca6d1144bf5b87b2b85a32def253c7
    Port:          
    Host Port:     
    Command:
      sleep
      1000
    State:          Running



Create a POD in the finance namespace named temp-bus with the image redis:alpine.
controlplane ~ ➜  k run temp-bus --image=redis:alpine -n finance 
pod/temp-bus created

controlplane ~ ➜  k get po
NAME                          READY   STATUS    RESTARTS   AGE
hr-web-app-5d6b77db78-tblmg   1/1     Running   0          24m
hr-web-app-5d6b77db78-w8f64   1/1     Running   0          24m
messaging                     1/1     Running   0          40m
nginx-pod                     1/1     Running   0          43m
static-busybox                1/1     Running   0          3m53s
static-busybox-controlplane   1/1     Running   0          4m30s

controlplane ~ ➜  k get pods -o wide
NAME                          READY   STATUS    RESTARTS   AGE     IP            NODE           NOMINATED NODE   READINESS GATES
hr-web-app-5d6b77db78-tblmg   1/1     Running   0          24m     10.244.0.6    controlplane              
hr-web-app-5d6b77db78-w8f64   1/1     Running   0          24m     10.244.0.7    controlplane              
messaging                     1/1     Running   0          41m     10.244.0.5    controlplane              
nginx-pod                     1/1     Running   0          43m     10.244.0.4    controlplane              
static-busybox                1/1     Running   0          4m12s   10.244.0.11   controlplane              
static-busybox-controlplane   1/1     Running   0          4m49s   10.244.0.10   controlplane              

controlplane ~ ➜  k get po -n finance  ⭐️ ns를 붙여야만 확인 가능
NAME       READY   STATUS    RESTARTS   AGE
temp-bus   1/1     Running   0       

controlplane ~ ✖ k describe po temp-bus -n finance 
Name:             temp-bus
Namespace:        finance
Priority:         0
Service Account:  default
Node:             controlplane/192.4.145.9
Start Time:       Mon, 08 Jul 2024 04:51:51 +0000
Labels:           run=temp-bus
Annotations:      
Status:           Running
IP:               10.244.0.12
IPs:
  IP:  10.244.0.12
Containers:
  temp-bus:
    Container ID:   containerd://1232ad33519acb1be66aad503d54ffae50663e0afb9de52263809ed9e2a272ac
    Image:          redis:alpine



트러블슈팅
A new application orange is deployed. There is something wrong with it. Identify and fix the issue.
controlplane ~ ➜  k get po
NAME                          READY   STATUS                  RESTARTS      AGE
hr-web-app-5d6b77db78-nvvfq   1/1     Running                 0             4m17s
hr-web-app-5d6b77db78-q4tg2   1/1     Running                 0             4m17s
messaging                     1/1     Running                 0             8m24s
nginx-pod                     1/1     Running                 0             15m
orange                        0/1     Init:CrashLoopBackOff   3 (16s ago)   59s
static-busybox                1/1     Running                 0             119s
static-busybox-controlplane   1/1     Running                 0             2m21s

controlplane ~ ➜  k describe po orange 
Name:             orange
Namespace:        default
Priority:         0
Service Account:  default
Node:             controlplane/192.10.141.6
Start Time:       Tue, 09 Jul 2024 06:30:42 +0000
Labels:           
Annotations:      
Status:           Pending
IP:               10.244.0.13
IPs:
  IP:  10.244.0.13
📌Init Containers:
  init-myservice:
    Container ID:  containerd://6a57d42900025961c790d0a31c84555b3f1ca72eec2433b4a49fe8e5e23c3615
    Image:         busybox
    Image ID:      docker.io/library/busybox@sha256:9ae97d36d26566ff84e8893c64a6dc4fe8ca6d1144bf5b87b2b85a32def253c7
    Port:          
    Host Port:     
    Command:
      sh
      -c
      sleeeep 2;
    State:          Waiting
      Reason:       CrashLoopBackOff
    Last State:     Terminated
      Reason:       Error
      Exit Code:    127
      Started:      Tue, 09 Jul 2024 06:31:25 +0000
      Finished:     Tue, 09 Jul 2024 06:31:25 +0000
    Ready:          False
    Restart Count:  3
    Environment:    
    Mounts:
      /var/run/secrets/kubernetes.io/serviceaccount from kube-api-access-6bgcl (ro)
Containers:
📌  orange-container:
    Container ID:  
    Image:         busybox:1.28
    Image ID:      
    Port:          
    Host Port:     
    Command:
      sh
      -c
      echo The app is running! && sleep 3600
    State:          Waiting
      Reason:       PodInitializing 🛑 Pod 초기화중 
    Ready:          False
    Restart Count:  0
    Environment:    
    Mounts:
      /var/run/secrets/kubernetes.io/serviceaccount from kube-api-access-6bgcl (ro)
Conditions:
  Type                        Status
  PodReadyToStartContainers   True 
  Initialized                 False 
  Ready                       False 
  ContainersReady             False 
  PodScheduled                True 
Volumes:
  kube-api-access-6bgcl:
    Type:                    Projected (a volume that contains injected data from multiple sources)
    TokenExpirationSeconds:  3607
    ConfigMapName:           kube-root-ca.crt
    ConfigMapOptional:       
    DownwardAPI:             true
QoS Class:                   BestEffort
Node-Selectors:              
Tolerations:                 node.kubernetes.io/not-ready:NoExecute op=Exists for 300s
                             node.kubernetes.io/unreachable:NoExecute op=Exists for 300s
Events:
  Type     Reason     Age                From               Message
  ----     ------     ----               ----               -------
  Normal   Scheduled  64s                default-scheduler  Successfully assigned default/orange to controlplane
  Normal   Pulled     63s                kubelet            Successfully pulled image "busybox" in 372ms (372ms including waiting). Image size: 2160406 bytes.
  Normal   Pulled     62s                kubelet            Successfully pulled image "busybox" in 293ms (293ms including waiting). Image size: 2160406 bytes.
  Normal   Pulled     48s                kubelet            Successfully pulled image "busybox" in 284ms (284ms including waiting). Image size: 2160406 bytes.
  Normal   Pulling    21s (x4 over 64s)  kubelet            Pulling image "busybox"
  Normal   Created    21s (x4 over 63s)  kubelet            Created container init-myservice
  Normal   Started    21s (x4 over 63s)  kubelet            Started container init-myservice
  Normal   Pulled     21s                kubelet            Successfully pulled image "busybox" in 295ms (295ms including waiting). Image size: 2160406 bytes.
  Warning  BackOff    6s (x6 over 62s)   kubelet            Back-off restarting failed container init-myservice in pod orange_default(7df5e0c3-879c-44b2-a73c-b8ab542ce760)


🛑 실행주인 pod에서 sleeep-> sleep 수정 
controlplane ~ ➜  k edit pod orange
error: pods "orange" is invalid
A copy of your changes has been stored to "/tmp/kubectl-edit-2975896844.yaml"
error: Edit cancelled, no valid changes were saved.

✅ 수정된 yaml을 실행중인 pod에 적용 
controlplane ~ ✖ k replace --force -f /tmp/kubectl-edit-2975896844.yaml
pod "orange" deleted
pod/orange replaced

controlplane ~ ➜  k get po
NAME                          READY   STATUS    RESTARTS   AGE
hr-web-app-5d6b77db78-nvvfq   1/1     Running   0          11m
hr-web-app-5d6b77db78-q4tg2   1/1     Running   0          11m
messaging                     1/1     Running   0          16m
nginx-pod                     1/1     Running   0          22m
orange                        1/1     Running   0          69s
static-busybox                1/1     Running   0          9m39s
static-busybox-controlplane   1/1     Running   0          10m



Expose the hr-web-app as service hr-web-app-service application on port 30082 on the nodes on the cluster.
The web application listens on port 8080.

Usage:
  kubectl expose (-f FILENAME | TYPE NAME) [--port=port]
[--protocol=TCP|UDP|SCTP] [--target-port=number-or-name] [--name=name]
[--external-ip=external-ip-of-service] [--type=type] [options]

Use "kubectl options" for a list of global command-line options (applies to all
commands).

controlplane ~ ➜  k get po
NAME                          READY   STATUS    RESTARTS   AGE
hr-web-app-5d6b77db78-nvvfq   1/1     Running   0          13m
hr-web-app-5d6b77db78-q4tg2   1/1     Running   0          13m
messaging                     1/1     Running   0          17m
nginx-pod                     1/1     Running   0          24m
orange                        1/1     Running   0          2m22s
static-busybox                1/1     Running   0          10m
static-busybox-controlplane   1/1     Running   0          11m

controlplane ~ ➜  k get no
NAME           STATUS   ROLES           AGE   VERSION
controlplane   Ready    control-plane   64m   v1.30.0

controlplane ~ ➜  k get deploy
NAME         READY   UP-TO-DATE   AVAILABLE   AGE
hr-web-app   2/2     2            2           13m

# expose 대상, svc이름, 적용타입, 연결 포트 
controlplane ~ ➜  k expose deploy hr-web-app --name=hr-web-app-service --type NodePort --port 8080
service/hr-web-app-service exposed

controlplane ~ ➜  k get svc
NAME                 TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)          AGE
hr-web-app-service   NodePort    10.101.22.212         🛑 8080:30893/TCP   14s
kubernetes           ClusterIP   10.96.0.1                443/TCP          68m
messaging-service    ClusterIP   10.110.161.220           6379/TCP         17m

controlplane ~ ➜  k describe svc hr-web-app-service 
Name:                     hr-web-app-service
Namespace:                default
Labels:                   app=hr-web-app
Annotations:              
Selector:                 app=hr-web-app
Type:                     NodePort
IP Family Policy:         SingleStack
IP Families:              IPv4
IP:                       10.101.22.212
IPs:                      10.101.22.212
Port:                       8080/TCP
TargetPort:               8080/TCP
NodePort:                   30893/TCP
Endpoints:                10.244.0.8:8080,10.244.0.9:8080 ⭐️ 2end 확인
Session Affinity:         None
External Traffic Policy:  Cluster
Events:                   

⭐️ 서비스를 수정 : 30893-> 30892
controlplane ~ ➜  k edit svc hr-web-app-service 
service/hr-web-app-service edited

controlplane ~ ➜  k get svc
NAME                 TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)          AGE
hr-web-app-service   NodePort    10.101.22.212            8080:30892/TCP   100s
kubernetes           ClusterIP   10.96.0.1                443/TCP          69m
messaging-service    ClusterIP   10.110.161.220           6379/TCP         19m

kubectl expose deployment hr-web-app --type=NodePort --port=8080 --name=hr-web-app-service --dry-run=client -o yaml > hr-web-app-service.yaml





#### Use JSON PATH query to retrieve the osImages of all the nodes and store it in a file /opt/outputs/nodes_os_x43kj56.txt.
The osImages are under the nodeInfo section under status of each node.

> kubenetes doc: cheat sheet
https://kubernetes.io/ko/docs/reference/kubectl/cheatsheet/
app=cassandra 레이블을 가진 모든 파드의 레이블 버전 조회
kubectl get pods --selector=app=cassandra -o 
  jsonpath='{.items[*].metadata.labels.version}' < 사용

문
controlplane ~ ➜  k get no
NAME           STATUS   ROLES           AGE   VERSION
controlplane   Ready    control-plane   74m   v1.30.0
controlplane ~ ➜  k get no -o json
{
    "apiVersion": "v1",
  📌 "items": [
        {
            "apiVersion": "v1",
            "kind": "Node",
            "metadata": {
                "annotations": {
                    "flannel.alpha.coreos.com/backend-data": "{"VNI":1,"VtepMAC":"3a:69:1b:47:d3:28"}",
                    "flannel.alpha.coreos.com/backend-type": "vxlan",
                    "flannel.alpha.coreos.com/kube-subnet-manager": "true",
                    "flannel.alpha.coreos.com/public-ip": "192.10.141.6",
                    "kubeadm.alpha.kubernetes.io/cri-socket": "unix:///var/run/containerd/containerd.sock",
                    "node.alpha.kubernetes.io/ttl": "0",
                    "volumes.kubernetes.io/controller-managed-attach-detach": "true"
                },
                "creationTimestamp": "2024-07-09T05:35:51Z",
                "labels": {
                    "beta.kubernetes.io/arch": "amd64",
                    "beta.kubernetes.io/os": "linux",
                    "kubernetes.io/arch": "amd64",
                    "kubernetes.io/hostname": "controlplane",
                    "kubernetes.io/os": "linux",
                    "node-role.kubernetes.io/control-plane": "",
                    "node.kubernetes.io/exclude-from-external-load-balancers": ""
                },
                "name": "controlplane",
                "resourceVersion": "6358",
                "uid": "60363d3c-c9a6-4a35-b79e-4637cbc864f7"
            },
            "spec": {
                "podCIDR": "10.244.0.0/24",
                "podCIDRs": [
                    "10.244.0.0/24"
                ]
            },
            "status": {
                "addresses": [
                    {
                        "address": "192.10.141.6",
                        "type": "InternalIP"
                    },
                    {
                        "address": "controlplane",
                        "type": "Hostname"
                    }
                ],
                "allocatable": {
                    "cpu": "36",
                    "ephemeral-storage": "936398358207",
                    "hugepages-1Gi": "0",
                    "hugepages-2Mi": "0",
                    "memory": "214484656Ki",
                    "pods": "110"
                },
                "capacity": {
                    "cpu": "36",
                    "ephemeral-storage": "1016057248Ki",
                    "hugepages-1Gi": "0",
                    "hugepages-2Mi": "0",
                    "memory": "214587056Ki",
                    "pods": "110"
                },
                "conditions": [
                    {
                        "lastHeartbeatTime": "2024-07-09T05:36:13Z",
                        "lastTransitionTime": "2024-07-09T05:36:13Z",
                        "message": "Flannel is running on this node",
                        "reason": "FlannelIsUp",
                        "status": "False",
                        "type": "NetworkUnavailable"
                    },
                    {
                        "lastHeartbeatTime": "2024-07-09T06:48:43Z",
                        "lastTransitionTime": "2024-07-09T05:35:47Z",
                        "message": "kubelet has sufficient memory available",
                        "reason": "KubeletHasSufficientMemory",
                        "status": "False",
                        "type": "MemoryPressure"
                    },
                    {
                        "lastHeartbeatTime": "2024-07-09T06:48:43Z",
                        "lastTransitionTime": "2024-07-09T05:35:47Z",
                        "message": "kubelet has no disk pressure",
                        "reason": "KubeletHasNoDiskPressure",
                        "status": "False",
                        "type": "DiskPressure"
                    },
                    {
                        "lastHeartbeatTime": "2024-07-09T06:48:43Z",
                        "lastTransitionTime": "2024-07-09T05:35:47Z",
                        "message": "kubelet has sufficient PID available",
                        "reason": "KubeletHasSufficientPID",
                        "status": "False",
                        "type": "PIDPressure"
                    },
                    {
                        "lastHeartbeatTime": "2024-07-09T06:48:43Z",
                        "lastTransitionTime": "2024-07-09T05:36:11Z",
                        "message": "kubelet is posting ready status",
                        "reason": "KubeletReady",
                        "status": "True",
                        "type": "Ready"
                    }
                ],
                "daemonEndpoints": {
                    "kubeletEndpoint": {
                        "Port": 10250
                    }
                },
                "images": [
                    {
                        "names": [
                            "docker.io/kodekloud/fluent-ui-running@sha256:78fd68ba8a79adcd3e58897a933492886200be513076ba37f843008cc0168f81",
                            "docker.io/kodekloud/fluent-ui-running:latest"
                        ],
                        "sizeBytes": 389734636
                    },
                    {
                        "names": [
                            "docker.io/library/nginx@sha256:ed6d2c43c8fbcd3eaa44c9dab6d94cb346234476230dc1681227aa72d07181ee",
                            "docker.io/library/nginx:latest"
                        ],
                        "sizeBytes": 70991807
                    },
                    {
                        "names": [
                            "registry.k8s.io/etcd@sha256:44a8e24dcbba3470ee1fee21d5e88d128c936e9b55d4bc51fbef8086f8ed123b",
                            "registry.k8s.io/etcd:3.5.12-0"
                        ],
                        "sizeBytes": 57236178
                    },
                    {
                        "names": [
                            "registry.k8s.io/kube-apiserver@sha256:6b8e197b2d39c321189a475ac755a77896e34b56729425590fbc99f3a96468a3",
                            "registry.k8s.io/kube-apiserver:v1.30.0"
                        ],
                        "sizeBytes": 32663599
                    },
                    {
                        "names": [
                            "docker.io/kodekloud/webapp-color@sha256:99c3821ea49b89c7a22d3eebab5c2e1ec651452e7675af243485034a72eb1423",
                            "docker.io/kodekloud/webapp-color:latest"
                        ],
                        "sizeBytes": 31777918
                    },
                    {
                        "names": [
                            "registry.k8s.io/kube-controller-manager@sha256:5f52f00f17d5784b5ca004dffca59710fa1a9eec8d54cebdf9433a1d134150fe",
                            "registry.k8s.io/kube-controller-manager:v1.30.0"
                        ],
                        "sizeBytes": 31030110
                    },
                    {
                        "names": [
                            "docker.io/weaveworks/weave-kube@sha256:d797338e7beb17222e10757b71400d8471bdbd9be13b5da38ce2ebf597fb4e63",
                            "docker.io/weaveworks/weave-kube:2.8.1"
                        ],
                        "sizeBytes": 30924173
                    },
                    {
                        "names": [
                            "registry.k8s.io/kube-proxy@sha256:ec532ff47eaf39822387e51ec73f1f2502eb74658c6303319db88d2c380d0210",
                            "registry.k8s.io/kube-proxy:v1.30.0"
                        ],
                        "sizeBytes": 29020473
                    },
                    {
                        "names": [
                            "docker.io/flannel/flannel@sha256:c951947891d7811a4da6bf6f2f4dcd09e33c6e1eb6a95022f3f621d00ed4615e",
                            "docker.io/flannel/flannel:v0.23.0"
                        ],
                        "sizeBytes": 28051548
                    },
                    {
                        "names": [
                            "docker.io/library/nginx@sha256:fdbfdaea4fc323f44590e9afeb271da8c345a733bf44c4ad7861201676a95f42",
                            "docker.io/library/nginx:alpine"
                        ],
                        "sizeBytes": 20461204
                    },
                    {
                        "names": [
                            "registry.k8s.io/kube-scheduler@sha256:2353c3a1803229970fcb571cffc9b2f120372350e01c7381b4b650c4a02b9d67",
                            "registry.k8s.io/kube-scheduler:v1.30.0"
                        ],
                        "sizeBytes": 19208660
                    },
                    {
                        "names": [
                            "registry.k8s.io/coredns/coredns@sha256:1eeb4c7316bacb1d4c8ead65571cd92dd21e27359f0d4917f1a5822a73b75db1",
                            "registry.k8s.io/coredns/coredns:v1.11.1"
                        ],
                        "sizeBytes": 18182961
                    },
                    {
                        "names": [
                            "docker.io/library/redis@sha256:de14eedfbd1fc871d0f5aa1773fd80743930e45354d035b6f3b551e7ffa44df8",
                            "docker.io/library/redis:alpine"
                        ],
                        "sizeBytes": 16801716
                    },
                    {
                        "names": [
                            "registry.k8s.io/coredns/coredns@sha256:a0ead06651cf580044aeb0a0feba63591858fb2e43ade8c9dea45a6a89ae7e5e",
                            "registry.k8s.io/coredns/coredns:v1.10.1"
                        ],
                        "sizeBytes": 16190758
                    },
                    {
                        "names": [
                            "docker.io/weaveworks/weave-npc@sha256:38d3e30a97a2260558f8deb0fc4c079442f7347f27c86660dbfc8ca91674f14c",
                            "docker.io/weaveworks/weave-npc:2.8.1"
                        ],
                        "sizeBytes": 12814131
                    },
                    {
                        "names": [
                            "docker.io/flannel/flannel-cni-plugin@sha256:ca6779c6ad63b77af8a00151cefc08578241197b9a6fe144b0e55484bc52b852",
                            "docker.io/flannel/flannel-cni-plugin:v1.2.0"
                        ],
                        "sizeBytes": 3879095
                    },
                    {
                        "names": [
                            "docker.io/library/busybox@sha256:9ae97d36d26566ff84e8893c64a6dc4fe8ca6d1144bf5b87b2b85a32def253c7",
                            "docker.io/library/busybox:latest"
                        ],
                        "sizeBytes": 2160406
                    },
                    {
                        "names": [
                            "docker.io/library/busybox@sha256:c3839dd800b9eb7603340509769c43e146a74c63dca3045a8e7dc8ee07e53966"
                        ],
                        "sizeBytes": 2160005
                    },
                    {
                        "names": [
                            "docker.io/library/busybox@sha256:141c253bc4c3fd0a201d32dc1f493bcf3fff003b6df416dea4f41046e0f37d47",
                            "docker.io/library/busybox:1.28"
                        ],
                        "sizeBytes": 727869
                    },
                    {
                        "names": [
                            "registry.k8s.io/pause@sha256:7031c1b283388d2c2e09b57badb803c05ebed362dc88d84b480cc47f72a21097",
                            "registry.k8s.io/pause:3.9"
                        ],
                        "sizeBytes": 321520
                    },
                    {
                        "names": [
                            "registry.k8s.io/pause@sha256:3d380ca8864549e74af4b29c10f9cb0956236dfb01c40ca076fb6c37253234db",
                            "registry.k8s.io/pause:3.6"
                        ],
                        "sizeBytes": 301773
                    }
                ],
              📌 "nodeInfo": {
                    "architecture": "amd64",
                    "bootID": "aabdead6-7ad3-48f4-9e4e-e7d012582f1e",
                    "containerRuntimeVersion": "containerd://1.6.26",
                    "kernelVersion": "5.4.0-1106-gcp",
                    "kubeProxyVersion": "v1.30.0",
                    "kubeletVersion": "v1.30.0",
                    "machineID": "19d93cf879df4a7dbff7fb9eabd1279f",
                    "operatingSystem": "linux",
              📌    "osImage": "Ubuntu 22.04.4 LTS",
                    "systemUUID": "1a5d0c79-cc3c-637d-7715-012ff9847f27"
                }
            }
        }
    ],
    "kind": "List",
    "metadata": {
        "resourceVersion": ""
    }
}
controlplane ~ ➜  k get nodes -o jsonpath='{.items[].status.nodeInfo.osImage}'
Ubuntu 22.04.4 LTS
controlplane ~ ➜
controlplane ~ ➜  k get nodes -o jsonpath='{.items[].status.nodeInfo.osImage}' > /opt/outputs/nodes_os_x43kj56.txt
controlplane ~ ➜  cat /opt/outputs/nodes_os_x43kj56.txt
Ubuntu 22.04.4 LTS




#### Create a Persistent Volume with the given specification: -
Volume name: pv-analytics
Storage: 100Mi
Access mode: ReadWriteMany
Host path: /pv/data-analytics

> pv 검색
https://kubernetes.io/docs/concepts/storage/persistent-volumes/
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv0003
spec:
  capacity:
    storage: 5Gi
  volumeMode: Filesystem
  accessModes:
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Recycle
  storageClassName: slow

controlplane ~ ➜  ls
sample.yaml
controlplane ~ ➜  vi pv.yaml
controlplane ~ ➜  cat pv.yaml
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv-analytics
spec:
  capacity:
    storage: 100Mi
  accessModes:
    - ReadWriteMany
  hostPath:
    path: /pv/data-analytics
controlplane ~ ➜  k create -f pv.yaml 
persistentvolume/pv-analytics created
controlplane ~ ➜  k get pv
NAME           CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   VOLUMEATTRIBUTESCLASS   REASON   AGE
pv-analytics   100Mi      RWX            Retain           Available                                                    3s
controlplane ~ ➜  k describe pv
Name:            pv-analytics
Labels:          
Annotations:     
Finalizers:      [kubernetes.io/pv-protection]
StorageClass:
Status:          Available
Claim:
Reclaim Policy:  Retain
Access Modes:    RWX
VolumeMode:      Filesystem
Capacity:        100Mi
Node Affinity:   
Message:
Source:
    Type:          HostPath (bare host directory volume)
    Path:          /pv/data-analytics
    HostPathType:
Events:            
```
















[파알문] 7. 깊이,넓이 우선탐색 활용
Tue, 05 Sep 2023 07:52:06 GMT
23.08.30
7-1. 최대 점수 구하기
time, score로 따로 나눠서 구할 생각을 못하고 한번에 튜플로 저장해서 처리할생각을 하니까 구현도, 문제푸는 방식도 한정적이게 됨. 

에러def DFS(L, saveScore, saveTime):
  if L==n-1: #에러
      if saveTime==m:
          return saveScore
  else:
      for i in range(n):
          DFS(L+1, saveScore+score[i], saveTime+time[i])
          DFS(L+1, saveScore, saveTime)



n, m = map(int, input().split())
score = []
time = []
for _ in range(n):
    a, b = map(int, input().split())
    score.append(a)
    time.append(b)
print(DFS(0,0,0))
- 정답
```py
"""
1. 종료조건 잘못함
2. 비교하기 위한 부분을 생각 못함 
"""

def DFS(L, saveScore, saveTime):
    global res
    if saveTime>m:
        return
    if L==n:
        if saveScore>res:
            res=saveScore
    else:
        for i in range(n):
            DFS(L+1, saveScore+score[L], saveTime+time[L])
            DFS(L+1, saveScore, saveTime)

n, m = map(int, input().split())
score = []
time = []
for _ in range(n):
    a, b = map(int, input().split())
    score.append(a)
    time.append(b)
res = -1e9
DFS(0, 0, 0)
print(res)




7-2. 휴가
이코테 dp문제였는데 풀지 못했다는 점이 심각쓰
BFS를 여전히 다루지 못한다는 점 
def DFS(L, sum):
    global res
    if L==n+1:
        if sum>res:
            res=sum
    else:
        if L+t[L]<=n+1: #상담기간 제한
            DFS(L+t[L], sum+p[L]) #(현재날짜+다음상담기간, 금액 누적)
        DFS(L+1, sum) 

n = int(input())
t = []
p = []
for i in range(n):
    a, b= map(int, input().split())
    t.append(a)
    p.append(b)

res = -1e9
t.insert(0,0) #인덱스를 날짜로 하기 위해서 0 넣기
p.insert(0,0)



7-3. 양팔저울

왼, 오, 적용하지 않을경우 3가지로 나눠서 DFS구현


def DFS(L, sum):
    global res
    if L==n:
        if 0




7-4. 동전 바꿔주기
"""
20
3
5 3
10 2
1 5
"""
def DFS(L, sum):
    global cnt
    if sum>t:
        return
    if L==k:
        if sum==t:
            cnt+=1
    else:
        for i in range(cn[L]+1):
            DFS(L+1, sum+(cv[L]*i))

t = int(input())
k = int(input())
cv = []
cn = []
for i in range(k):
    a, b = map(int, input().split())
    cv.append(a)
    cn.append(b)
cnt = 0
DFS(0,0)
print(cnt)



7-5. 동전 분배하기
사람을 기준을 DFS에 넣어서 분배 백트랙킹을 이용했는데 혼자서 구현 X 
"""
동전 분배 하기
7
8
9
11
12
23
15
17

coin = [8,9,11,12,23,15,17]
"""

def DFS(L):
    global res
    if L==n:
        cha=max(money)-min(money)
        if cha




7-6. 알파코드
"""
알파코드
# 한 글자씩 쪼개기
# 26 이하 까지 두 자릿 수로 쪼개기
"""

def DFS(L,P):
    global cnt
    if L==n:
        cnt+=1
        for j in range(P):
            print(chr(res[j]+64), end='')
        print()
    else:
        for i in range(1,27):
            if code[L]==i:
                res[P]=i
                DFS(L+1, P+1)
            elif i>=10 and code[L]==i//10 and code[L+1]==i%10:
                res[P]=i
                DFS(L+2, P+1)

code=list(map(int, input()))
n = len(code) #종착점
code.insert(n, -1) #에러
res=[0]*(n+3)
cnt=0
DFS(0,0)
print(cnt)
7-7. 송아지 찾기
from collections import deque
MAX=100000
s, e = map(int, input().split())
ch=[0]*(MAX+1)
dis=[0]*(MAX+1)
ch[s]=1
dis[s]=0
dQ = deque()
dQ.append(s)

while dQ:
    now = dQ.popleft()
    if now == e:
        break
    for x in (now-1, now+1, now+5):
        if 0

7-8. 사과나무
from collections import deque
n = int(input())
a = [list(map(int, input().split())) for _ in range(n)]
ch=[[0]*n for _ in range(n)]
sum=0
dx = [-1, 0, 1, 0]
dy = [0, 1, 0, -1]
Q = deque()
Q.append((n//2,n//2))
ch[n//2][n//2]=1
sum+=a[n//2][n//2]
L=0

while True:
    if L==n//2:
        break
    h = len(Q)
    for i in range(h):
        tmp= Q.popleft()
        for j in range(4):
            x=tmp[0]+dx[j]
            y=tmp[1]+dy[j]
            if ch[x][y]==0:
                sum+=a[x][y]
                ch[x][y]=1
                Q.append((x,y))
    L+=1
print(sum)





7-9. 미로의 최단거리

정답"""
미로의 최단거리
0 0 0 0 0 0 0 
0 1 1 1 1 1 0 
0 0 0 1 0 0 0 
1 1 0 1 0 1 1 
1 1 0 1 0 0 0 
1 0 0 0 1 0 0 
1 0 1 0 0 0 0



"""
from collections import deque
dx = [-1,0,1,0]
dy= [0,1,0,-1]
board= [list(map(int, input().split())) for _ in range(7)]
dis = [[0]*7 for _ in range(7)]
Q = deque()
Q.append((0,0))
board[0][0]=1
while Q:
    tmp = Q.popleft()
    for i in range(4):
        x=tmp[0]+dx[i]
        y=tmp[1]+dy[i]
        if 0<=x<=6 and 0<=y<=6 and board[x][y]==0:
            board[x][y]=1
            dis[x][y]=dis[tmp[0]][tmp[1]]+1
            Q.append((x,y))
if dis[6][6]==0:
    print(-1)
else:
    print(dis[6][6])



## 7-10. 미로탐색
```py
"""
미로의 최단거리
0 0 0 0 0 0 0
0 1 1 1 1 1 0
0 0 0 1 0 0 0
1 1 0 1 0 1 1
1 1 0 1 0 0 0
1 0 0 0 1 0 0
1 0 1 0 0 0 0

"""

dx=[-1,0,1,0]
dy=[0,1,0,-1]
def DFS(x,y):
    global cnt
    if x==6 and y==6:
        cnt+=1
    else:
        for i in range(4):
            xx=x+dx[i]
            yy=y+dy[i]
            if 0<=xx<=6 and 0<=yy<=6 and board[xx][yy]==0:
                board[xx][yy]=1
                DFS(xx,yy)
                board[xx][yy]=0

board=[list(map(int, input().split())) for _ in range(7)]
cnt=0
board[0][0]=1
DFS(0,0)



7-11. 등산 경로
"""
등산경로
값을 변경되는 방식은 BFS
"""

def DFS(x,y):
    global cnt
    if x == ex and y == ey:
        cnt+=1
    else:
        for k in range(4):
            xx=x+dx[k]
            yy=y+dy[k]
            if 0<=xxboard[x][y]:
                ch[xx][yy]=1
                DFS(xx,yy)
                ch[xx][yy]=0

n = int(input())
board = [[0]*n for _ in range(n)]
ch = [[0]*n for _ in range(n)]
dx = [-1, 0, 1, 0]
dy = [0, 1, 0, -1]
max = -1e9
min = 1e9
for i in range(n):
    tmp = list(map(int, input().split()))
    for j in range(n):
        if tmp[j]max:
            max=tmp[j]
            ex=i
            ey=j
        board[i][j]=tmp[j]
    ch[sx][sy]=1
    cnt=0
    DFS(sx, sy)
    print(cnt)




7-12. 단지 번호 붙이기
"""
7
0110100
0110101
1110101
0000111
0100000
0111110
0111000
"""
dx = [-1, 0, 1, 0]
dy = [0, 1, 0, -1]
def DFS(x,y):
    global cnt
    cnt+=1
    board[x][y]=0
    for i in range(4):
        xx=x+dx[i]
        yy=y+dy[i]
        if 0<=xx

7-13. 섬나라 아일랜드
7-14. 안전영역

만료된 인증서	증상
`admin.conf`	`kubectl` 명령어 에러 발생 (`x509: certificate has expired`)
`apiserver.crt`	API 서버가 부팅 실패, 클러스터 전체 작동 불가
`etcd/server.crt`	etcd 간 통신 실패, 클러스터 데이터 저장/읽기 오류
`kubelet.crt`	노드 상태 보고 불가 (`NotReady`), 파드 스케줄링 안 됨

인증서 종류	유효기간	이유
ca.crt (루트 CA)	10년	이 인증서가 모든 다른 인증서를 서명하므로, 자주 바꾸면 전체 재발급이 필요해 오래 유지
apiserver, etcd, admin.conf 등	1년	외부와 연결되거나 클러스터 내부에서 많이 쓰이므로 주기적으로 갱신이 안전
kubelet.crt	1년 (자동 갱신됨)	워커 노드의 상태를 지속적으로 보장해야 하므로 자동 갱신 처리

분류	설명	예시	기본 유효기간
1. 루트 인증서 (Root CA Certificates)	다른 인증서를 서명해주는 최상위 인증서	`ca.crt`, `etcd-ca.crt`, `front-proxy-ca.crt`	보통 10년
2. 클러스터 인증서 (Component/Leaf Certificates)	실제 각 컴포넌트가 사용하는 인증서	`apiserver.crt`, `admin.conf`, `kubelet.crt`, `etcd/server.crt` 등	보통 1년

컴포넌트	역할 및 기능
kubelet	- 해당 노드에서 Pod 실행을 관리하는 Kubernetes 에이전트- API Server로부터 Pod 실행 요청을 받고, 컨테이너 런타임(containerd 등)에게 컨테이너 실행 요청을 전달
CRI (Container Runtime Interface)	- kubelet과 컨테이너 런타임(containerd, CRI-O 등) 간의 표준 API 인터페이스- Kubernetes가 다양한 컨테이너 런타임을 지원할 수 있도록 설계됨
CRI-containerd	- containerd가 CRI 요청을 처리할 수 있도록 지원하는 플러그인- kubelet이 CRI를 통해 컨테이너를 실행할 수 있도록 함
OCI (Open Container Initiative)	- 컨테이너 런타임 및 이미지 포맷을 표준화하는 조직- runc, crun 같은 실행 환경을 제공
CNI (Container Network Interface)	- 컨테이너의 네트워크 설정을 담당하여 Pod 간 통신을 가능하게 함- `Calico`, `Flannel` 같은 네트워크 플러그인 사용
gRPC	- kubelet과 containerd가 통신할 때 사용하는 RPC(Remote Procedure Call) 프로토콜
containerd client	- kubelet이 containerd에게 컨테이너 생성/삭제 요청을 하는 클라이언트
cgroup	- 컨테이너의 CPU, 메모리 등 리소스를 제한 및 관리
namespace	- 컨테이너마다 격리된 실행 환경을 제공하여 다른 컨테이너와 분리
sandbox container	- Pod 내 네트워크 및 보안 환경을 설정하는 컨테이너 (`pause` 컨테이너)

통신 대상	흐름 예시	누가 어떤 인증서를 사용하나?
👤 사용자 ↔ apiserver	`kubectl get pods`	`admin.conf` 안의 인증서로 사용자 인증
kubelet ↔ apiserver	워커 노드가 상태 보고	kubelet은 `kubelet.crt`로 인증apiserver는 `apiserver-kubelet-client.crt`로 인증
apiserver ↔ etcd	apiserver가 etcd에 데이터 요청	apiserver는 `apiserver-etcd-client.crt` 사용etcd는 `etcd/server.crt`로 응답
controller-manager ↔ apiserver	새 파드 생성 명령	`controller-manager.conf`의 인증서로 인증
scheduler ↔ apiserver	어디에 파드를 배치할지 결정	`scheduler.conf`의 인증서로 인증

서비스	포트 번호
api-server	6443
etcd	2379-2380
kubelet	10250
kube-scheduler	10259
kube-controller-manager	10257
- 방화벽이 설치되어있는 경우

개념	설명	위 설정 중 해당하는 부분
커널 모듈	리눅스 커널의 기능을 확장하는 플러그인 같은 것	`/etc/modules-load.d/k8s.conf` (→ `overlay`, `br_netfilter` 모듈 로드)
커널 파라미터	리눅스 커널이 동작하는 방식을 조정하는 값	`/etc/sysctl.conf`, `/etc/sysctl.d/k8s.conf` (→ 네트워크 설정, IP 포워딩 등)
파일 시스템	데이터를 저장하는 구조 및 방식	(해당 없음, 하지만 `overlay` 모듈은 파일 시스템 관련)

구분	iptables (기본 방화벽 기능)	NAT 테이블 (IP 주소 변환 기능)
역할	패킷을 허용, 차단, 로깅하는 방화벽 역할	IP 주소를 변환하여 내부/외부 네트워크 간 통신을 중계
주요 체인	`INPUT`, `OUTPUT`, `FORWARD`	`PREROUTING`, `POSTROUTING`, `OUTPUT`
사용 목적	특정 포트/프로토콜을 제한하여 보안 강화	사설 네트워크와 외부 네트워크 간 통신 가능하게 함

명령어	의도	이유
`iptables -L`	현재 방화벽 규칙 확인	기존 설정 점검
`iptables -F`	기존 방화벽 규칙(룰) 삭제	Kubernetes 네트워크 충돌 방지
`iptables -X`	사용자 정의 체인 삭제	커스텀 방화벽 규칙 제거
`iptables -Z`	패킷 및 바이트 카운터 초기화	새로운 트래픽 모니터링 가능하게 함
`iptables -t nat -F`	NAT 테이블 초기화	Kubernetes의 CNI 플러그인과 충돌 방지

jupiter

ETCD 백업 및 복구 테스트

1. ETCD CTL 명령어 전에 알아야 할 정보

2. ETCD 확인

etcd 리더 확인

etcd 클러스터 확인

3. 백업 실행

정상 복제인지 확인

스냅샷 임시 복원

임시 ETCD 실행

전체 키 확인

4.백업자동화

스크립트

서비스 파일 생성

5. 백업 로그 삭제 주기 설정

harbor debug

서버에서 harbor가 있는지 확인

이미지 pull에러가 났을경우 테스트

요청 과정

인증서가 적용되어야 하는 장소

harbor

containerd

ca.crt 방식 vs hosts.toml 방식

1. ca.crt 방식

인증서 복사

containerd 재시작

ctr에 hosts-dir 명시적으로 지정

harbor

harbor

docker 설치

harbor 설치

harbor system서비스 등록

프로젝트 생성 및 파일 업로드, 다운

프로젝트 생성

파일 업로드

harbor 설정파일 확인

[k8s] ETCD외부 설치 & 인증서 갱신

외부 ETCD를 설치하는 이유

VM 환경

외부 ETCD 설치

1. 외부 etcd설치 및 TLS 구성

k8s설치

시스템 설정

필요한 패키지 설치

k8s 패키지 설치

ETCD 인증서 갱신

인증서 체크

etcd 외부 인증서 갱신

[CCCR] 프라이빗 오픈 클라우드를 위한 오픈스택 구축 및 운영 (4)

인스턴스 생성

스토리지

Manila

[CCCR] 프라이빗 오픈 클라우드를 위한 오픈스택 구축 및 운영 (3)

볼륨 삭제

컨테이너 생성

오브젝트(파일) 업로드

오브젝트 목록 확인

[CCCR] 프라이빗 오픈 클라우드를 위한 오픈스택 구축 및 운영 (2)

개념

가상화

클라우드

오픈스택

오픈스택 아키텍쳐

오픈스택 컴포넌트

대시보드

역할

인스턴스 생성

실습 설정

실습

이미지 생성

[CCCR] 프라이빗 오픈 클라우드를 위한 오픈스택 구축 및 운영 (1)

오픈스택 설치

파이썬 가상환경 활성화

kolla-ansible 깃허브

도메인

대시보드 접속

프로젝트 생성 - GUI

프로젝트 생성 - CLI

할당량 관리

실습