시험 30분전에 링크에 접속해서 내 사진과 시험 보는 장소 주변사진을 찍어 첨부하고 대기했다. 대기 후 인도사람인것 같은 감독관이 메시지를 보내왔고 곧 연결하겠다는 내용이었다. 감독관이 들어와서 이것저것 요청을 했는데 무슨말인지 알아듣기 어려웠다. 분명 모니터는 전원만 꺼져있으면 된다고 했는데 치워야 한다고 해서 침대 위에 책상펴고 시험 봤다. 그러던 와중에 갑자기 감독관이랑 연결이 끊어졌는데 연결이 불안정하다면서 대기열 맨뒤로 넘어갔다..... 5분인가 기다리고 다음 차례를 기다리고 있는데 연결이 불안정하다면서 다시 대기열로 넘어갔다^^ 결국 시험은 원래 시간보다 10분 후에 진행이 되었다. 시험은 10분도 안걸려서 끝났다. 덤프에서 많이 나왔으며 문제는 36문제였다. 시험은 쉬운편이며 편하게 준비하고 시험에 응해도 될것같다. 시험 후기를 기록하는 편은 아니지만 계속 대기열로 넘어가길래 검색했더니 후기가 없어서 기록해 본다.

Paas, Saas, Iaas 비교

리소스 그룹

❌ 다른 리소스 그룹 내부에 리소스 그룹을 생성할 수 있음

❌ Azure 가상 시스템은 여러 리소스 그룹에 속할 수 있음

⭕ 리소스 그룹에는 여러 Azure영역의 리소스가 포함될 수 있음

Azure Active Directory(Azure AD)

⭕ Azure AD의 각 사용자 계정에는 하나의 라이선스만 할당 할 수 있음

❌ Azure AD는 Azure 및 Microsoft365에서 호스팅되는 리소스에 대한 인증 서비스를 제공

❌ Azure AD는 Azure 가상 머신에 도메인 컨트롤러를 구현해야 함

⭕ 온프레미스 Active Directory에 저장된 ID를 Azure AD와 동기화 할 수 있음

❌ Azure 리소스에 대한 액세스 권한은 Azure AD 사용자에게만 제공될 수 있음

⭕ Azure AD에서 그룹정책을 만들 수 있음

❌ Android 기기 Azure AD에 가입

Q. 보안 토큰을 검색하나요?

A. Azure AD

Q. 5000개의 사용자 게정, 모든 네트워크 리소르를 Azure로 마이크레이션, 사용자에게 미치는 영향 최소화

A. 모든 Activate Directory 사용자 계정을 Azure AD에 동기화

구독

❌ Azure 구독을 여러 Azure AD 테넌트에 연결할 수 있습니다

⭕ Azure 구독이 연결된 Azure AD 테넌트를 변경할 수 있습니다

❌ Azure 구독이 만료되면 관련 Azure Active Directory가 자동으로 삭제됩니다.

가상 머신 배포

여러 Azure 가상 머신을 배포할 계획입니다.

단일 데이터 센터가 실패할 경우 가상 머신에서 실행 중인 서비스를 사용할 수 있는지 확인

⭕ 가상 머신을 둘 이상의 지역에 배포

❌ 가상 머신을 둘 이상의 리소스 그룹에 배포

❌ 가상 머신을 확장 집합에 배포

Azure Cloude Shell

⭕ Q. Azure Portal에서 Azure Cloud Shell을 실행하고 PowerShell을 선택합니다. Cloud Shell에서 명령어를 실행합니다.

⭕  Q. Windows 10을 실행하는 컴퓨터에서 Azure CLI를 설치합니다. 명령 프롬프트에서 Azure에 로그인한 다음 명령을 실행합니다.

⭕ Q. MacOS를 실행하고 PoweShell Core 6.0이 설치된 컴퓨터에서 스크립트를 실행합니다.

⭕ Q. Chrome OS를 실행하고 Azure Cloud Shell을 사용하는 컴퓨터에서 스크립트를 실행합니다.

Q. Android 랩톱에서 새 Azure 가상 머신을 만들어야 합니다.

솔루션 : Azure Portal을 사용합니다.

A. Yes

❌ Azure Cloud Shell에서 Bash를 사용합니다.

Cost

운영비용 = OpEx

ex) 종량제 가격

자본비용 = CapEx

ex) 자체 데이터 센터

비용을 줄일 수 있는 경우

→ 10개의 공개 IP

Q. 서비스 중단으로 인해 리소스를 장기간 사용할 수 없게 됨

A. Microsoft가 Azure 계정에 크레딧을 제공, 자동으로 Azure 계정에 크레딧 제공

Q. 비용 관리가 필요한 것은?

A. 기업계약 (EA)

문제

Q. Azrue에 20TB의 데이터를 저장할 계획입니다. 데이터에 자주 엑세스 하지 않고 Microsoft PowerBI 를 사용하여 시각화합니다. 데이터에 대한 스토리지 솔루션 추천

A. Azure Data Lake, Azure SQL Data Warehouse

Q. Azure 서비스에 대한 엑세스를 보호하기 위해 Azure 가용성 영역을 사용할 수 있는 오류 식별

A. Azure 데이터 센터 장애

Q. 온-프레미스 네트워크의 클라이언트 컴퓨터가 Azure 가상 머신과 통신할 수 있도록 하는 솔루션 구현할 계획입니다. 계획된 솔루션에 대해 생성해야 하는 Azure 리소스를 권장해햐 합니다. 권장 사항에 포함해야 하는 두 가지 Azure 리소스

A. 가상 네트워크 게이트웨이, 게이트웨이 서브넷

Q. 회사에서 여러 서버를 Azure로 이동할 계획, Finserver라는 서버가 별도의 네트워크 세그먼트에 있어야 한다고 명시, 어떤 솔루션 추천?

A. FinServer를 위한 가상 네트워크와 다른 모든 서버를 위한 또 다른 가상 네트워크

Q. Data thart is stored in the Archive access tier of an Azure Sotrage account__________.

A. must be rehydrated before the data can be accessed

Q. Microsoft에서 Azure 구독에 배포된 리소스에 영향을 줄 수 있는 유지 관리를 수행할 계획인 경우 알림을 받아야 합니다.

A. Azure Service Health

저장소 만들기

버전관리를 하지 않는 로컬 디렉토리

$ mkdir mygit
$ cd mygit

$ git init

기존 Git 저장소 클론

$ git clone <URL>

✔️ Git 프로젝트의 세 가지 상태

✔️ 파일의 생명주기

상태 확인

$ git status

스테이징

$ git add <FILE>
$ git add .

.gitignore 파일

• 아무것도 없는 라인이나, #로 시작하는 라인은 무시한다.
• 표준 Glob 패턴을 사용한다. 이는 프로젝트 전체에 적용된다.
• 슬래시(/)로 시작하면 하위 디렉토리에 적용되지(Recursivity) 않는다.
• 디렉토리는 슬래시(/)를 끝에 사용하는 것으로 표현한다.
• 느낌표(!)로 시작하는 패턴의 파일은 무시하지 않는다.

Staged와 Unstaged 상태 변경 내용 보기 staged 상태가 아닌 파일 비교

$ git diff

커밋과 staged 상태 비교

$ git diff --staged

변경사항 커밋(버저닝, 스냅샷)

$ git commit

기본 에디터 변경 git config --global core.editor <EDITOR>

인라인 메시지

$ git commit -m <MESSAGE>

스테이징 및 인라인 메시지

$ git commit -a -m <MESSAGE>

좋은 Commit 메시지

https://gist.github.com/robertpainsi/b632364184e70900af4ab688decf6f53

파일 삭제

$ rm <FILE>

삭제한 파일 Staged 상태

$ git rm <FILE>

파일명 변경

$ git mv <ORGION> <NEWFILE>

커밋 히스토리/로그

$ git log

로그 출력 변경 git config --global core.pager 'less' git config --global core.pager ''

$ git log --oneline

• Amazon Elastic Kubernetes Service(Amazon EKS)
• EKS는 Kubernetes를 실행하는 데 사용할 수 있는 관리형 서비스이다.
• 노드를 설치, 작동 및 유지 관리할 필요가 없다는 장점

https://docs.aws.amazon.com/ko_kr/eks/latest/userguide/what-is-eks.html

✔️ AWS EKS 사용해보기

$ choco install awscli aws-iam-authenticator eksctl kubernetes-helm

aws 계정 등록

$ aws configure

$ eksctl create cluster --name myeks --nodes=3 --region=ap-northeast-2

⭐ Load Balancer Service ❌ = class lb로생성되기 때문에 nlb로 변경해주어야함 ⭐ Ingress: ❌

✔️ YAML 파일을 이용해서 EKS 배포하기

$ mkdir aws-eks
$ cd aws-eks

myeks.yaml

apiVersion: eksctl.io/v1alpha5
kind: ClusterConfig

metadata:
  name: myeks-custom  # 이름은 같을 수 없다
  region: ap-northeast-2
  version: "1.22"

가용영역 지정 - 필수는 아니나 일반적으로 지정하는 편

# AZ
availabilityZones: ["ap-northeast-2a", "ap-northeast-2b",  "ap-northeast-2c"]

eks와 AWS iam계정을 연결 해 주는 부분 wellKnownPolicies : 계정에 해당되는 기본적인 권한 설정

# IAM OIDC & Service Account
iam:
  withOIDC: true
  serviceAccounts:
    - metadata:
        name: aws-load-balancer-controller # Addon 추가할 때 필요
        namespace: kube-system
      wellKnownPolicies:
        awsLoadBalancerController: true
    - metadata:
        name: ebs-csi-controller-sa
        namespace: kube-system
      wellKnownPolicies:
        ebsCSIController: true
    - metadata:
        name: cluster-autoscaler
        namespace: kube-system
      wellKnownPolicies:
        autoScaler: true

Worker노드의 그룹

# Managed Node Groups
managedNodeGroups:
  # On-Demand Instance
  - name: myeks-ng1
    instanceType: t3.medium
    minSize: 2
    desiredCapacity: 3
    maxSize: 4
    privateNetworking: true
    ssh:
      allow: true
      publicKeyPath: ./keypair/myeks.pub
    availabilityZones: ["ap-northeast-2a", "ap-northeast-2b", "ap-northeast-2c"]
    iam:
      withAddonPolicies:
        autoScaler: true
        albIngress: true
        cloudWatch: true
        ebs: true

# Fargate Profiles
fargateProfiles:
  - name: fg-1
    selectors:
    - namespace: dev
      labels:
        env: fargate

# CloudWatch Logging
cloudWatch:
  clusterLogging:
    enableTypes: ["*"]

키 생성

$ mkdir keypair
$ ssh-keygen -f keypair/myssh

$ eksctl create cluster -f myeks.yaml

✔️ NLB for LoadBalancer Service

✔️ AWS Load Balancer Controller 설치

$ helm repo add eks https://aws.github.io/eks-charts
$ helm repo update

Account 확인

$ aws sts get-caller-identity
{
    "UserId": "AIxxx",
    "Account": "4xxx",
    "Arn": "arn:aws:iam::4xxx"
}

$ helm install aws-load-balancer-controller eks/aws-load-balancer-controller -n kube-system --set clusterName=myeks-lunaris --set serviceAccount.create=false --set serviceAccount.name=aws-load-balancer-controller --set image.repository=[account]412059376128.dkr.ecr.ap-northeast-2.amazonaws.com/amazon/aws-load-balancer-controller

NAME: aws-load-balancer-controller
LAST DEPLOYED: Mon May 30 20:56:35 2022
NAMESPACE: kube-system
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
AWS Load Balancer controller installed!

샘플 코드 myapp.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: myweb-deploy
spec:
  replicas: 3
  selector:
    matchLabels:
      app: web
  template:
    metadata:
      labels:
        app: web
    spec:
      containers:
        - name: myweb
          image: ghcr.io/c1t1d0s7/go-myweb
          ports:
            - containerPort: 8080

`mysvc.yaml

apiVersion: v1
kind: Service
metadata:
  name: myweb-svc-lb
  annotations:
    service.beta.kubernetes.io/aws-load-balancer-type: "external"
    service.beta.kubernetes.io/aws-load-balancer-nlb-target-type: "instance"
    service.beta.kubernetes.io/aws-load-balancer-scheme: "internet-facing"
spec:
  type: LoadBalancer
  selector:
    app: web
  ports:
    - port: 80
      targetPort: 8080

✔️ Ingress for ALB

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: myweb-ing
  annotations:
    kubernetes.io/ingress.class: alb
    alb.ingress.kubernetes.io/target-type: instance
    alb.ingress.kubernetes.io/scheme: internet-facing
spec:
  rules:
    - http:
        paths:
          - path: /
            pathType: Prefix
            backend:
              service:
                name: myweb-svc-lb
                port:
                  number: 80

• alb.ingress.kubernetes.io/target-type
  • instance: EC2 타겟
  • ip: Pod 타겟(Fargate)
• alb.ingress.kubernetes.io/scheme
  • internal: 내부
  • internet-facing: 외부

✔️ EBS for CSI

EBS 스냅샷 EBS 크기 변경

$ eksctl get iamserviceaccount --cluster myeks-custom

NAMESPACE       NAME                            ROLE ARN
kube-system     aws-load-balancer-controller    arn:aws:iam::xxxxx:role/eksctl-myeks-custom-addon-iamserviceaccount-Role1-11N0OKMVG2DYY
kube-system     aws-node                        arn:aws:iam::xxxx:role/eksctl-myeks-custom-addon-iamserviceaccount-Role1-CLMK7A6K5NL3
kube-system     cluster-autoscaler              arn:aws:iam::xxxx:role/eksctl-myeks-custom-addon-iamserviceaccount-Role1-1S02W28MZOSL4
kube-system     ebs-csi-controller-sa           arn:aws:iam::xxxx:role/eksctl-myeks-custom-addon-iamserviceaccount-Role1-15HLE8HBOD9CN

$ eksctl create addon --name aws-ebs-csi-driver --cluster myeks-lunaris--service-account-role-arn  arn:aws:iam::xxxx:role/eksctl-myeks-lunaris-addon-iamserviceaccount-Role1-15HLE8HBOD9CN --force

✔️ Metrics Server

$ kubectl apply -f https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml

✔️ Cluster Autoscaler

✔️ 수동 스케일링

$ eksctl scale nodegroup --name myeks-ng1 --cluster myeks-lunaris --nodes 2

✔️자동 스케일링

$ curl -o cluster-autoscaler-autodiscover.yaml https://raw.githubusercontent.com/kubernetes/autoscaler/master/cluster-autoscaler/cloudprovider/aws/examples/cluster-autoscaler-autodiscover.yaml

cluster-autoscaler-autodiscover.yaml

...
163: - --node-group-auto-discovery=asg:tag=k8s.io/cluster-autoscaler/enabled,k8s.io/cluster-autoscaler/myeks-lunaris
...

$ kubectl apply -f cluster-autoscaler-autodiscover.yaml

$ kubectl patch deployment cluster-autoscaler -n kube-system -p '{"spec":{"template":{"metadata":{"annotations":{"cluster-autoscaler.kubernetes.io/safe-to-evict": "false"}}}}}'

$ kubectl -n kube-system edit deployment.apps/cluster-autoscaler

      - command:
        - ./cluster-autoscaler
        - --v=4
        - --stderrthreshold=info
        - --cloud-provider=aws
        - --skip-nodes-with-local-storage=false
        - --expander=least-waste
        - --node-group-auto-discovery=asg:tag=k8s.io/cluster-autoscaler/enabled,k8s.io/cluster-autoscaler/myeks-custom
        - --balance-similar-node-groups
        - --skip-nodes-with-system-pods=false
        image: k8s.gcr.io/autoscaling/cluster-autoscaler:v1.22.6

수정

• --node-group-auto-discovery=asg:tag=k8s.io/cluster-autoscaler/enabled,k8s.io/cluster-autoscaler/myeks-custom
• --balance-similar-node-groups
• --skip-nodes-with-system-pods=false
• image: k8s.gcr.io/autoscaling/cluster-autoscaler:v1.22.2

$ kubectl set image deployment cluster-autoscaler -n kube-system cluster-autoscaler=k8s.gcr.io/autoscaling/cluster-autoscaler:v1.22.2

샘플 코드

apiVersion: apps/v1
kind: Deployment
metadata:
  name: myweb-deploy
spec:
  replicas: 2
  selector:
    matchLabels:
      app: web
  template:
    metadata:
      labels:
        app: web
    spec:
      containers:
        - name: myweb
          image: ghcr.io/c1t1d0s7/go-myweb:alpine
          ports:
            - containerPort: 8080
          resources:
            requests:
              cpu: 200m
              memory: 200M
            limits:
              cpu: 200m
              memory: 200M

✔️CloudWatch Container Insight

ClusterName=myeks-custom
RegionName=ap-northeast-2
FluentBitHttpPort='2020'
FluentBitReadFromHead='Off'
[[ ${FluentBitReadFromHead} = 'On' ]] && FluentBitReadFromTail='Off'|| FluentBitReadFromTail='On'
[[ -z ${FluentBitHttpPort} ]] && FluentBitHttpServer='Off' || FluentBitHttpServer='On'
curl https://raw.githubusercontent.com/aws-samples/amazon-cloudwatch-container-insights/latest/k8s-deployment-manifest-templates/deployment-mode/daemonset/container-insights-monitoring/quickstart/cwagent-fluent-bit-quickstart.yaml | sed 's/{{cluster_name}}/'${ClusterName}'/;s/{{region_name}}/'${RegionName}'/;s/{{http_server_toggle}}/"'${FluentBitHttpServer}'"/;s/{{http_server_port}}/"'${FluentBitHttpPort}'"/;s/{{read_from_head}}/"'${FluentBitReadFromHead}'"/;s/{{read_from_tail}}/"'${FluentBitReadFromTail}'"/' | kubectl apply -f - 

✔️ 클러스터 삭제

eksctl delete cluster -f .\myeks.yaml --force --disable-nodegroup-eviction

minikube란? minikube는 로컬에서 Kubernetes를 실행하는데 사용할 수 있는 유틸리티이다. 이 클러스터를 쿠버네티스를 설치하는 시간과 리소스 소모를 절약할수 있다.

✔️ Minikube 기본 활용

⭐ Window powershell에서 실행한 것이다.

minikube 설치

$ choco install minikube

$ choco install kubernetes-cli --version=1.22.4

클러스터 생성 및 실행

$ minikube start

클러스터 중지

$ minikube stop

클러스터 상태

$ minikube status

VM 접속

$ minikube ssh

⭐ minikube 가 생성한 vm : docker 명령⭕ 패키지 관리자❌ kubectl 명령❌

✔️ VM 내의 Docker Engine 사용하기

윈도우에 도커 명령어 설치 - 서버 설치 아님

$ choco install docker-cli

powershell에서의 적용 시켜야 할 환경 변수

 minikube docker-env
$Env:DOCKER_TLS_VERIFY = "1"
$Env:DOCKER_HOST = "tcp://192.168.59.103:2376"
$Env:DOCKER_CERT_PATH = "C:\Users\kiki1\.minikube\certs"
$Env:MINIKUBE_ACTIVE_DOCKERD = "minikube"
# To point your shell to minikube's docker-daemon, run:
# & minikube -p minikube docker-env --shell powershell | Invoke-Expression

*환경 변수 적용 *

$ minikube -p minikube docker-env --shell powershell | Invoke-Expression

터미널 닫으면 다시 적용 시켜주어야 한다

추가 옵션을 적용한 클러스터 생성/시작

$ minikube start --cpus 4 --memory 4G --disk-size 30G --driver virtualbox --kubernetes-version v1.22.9

노드 추가

$ minikube node list
$ minikube node add

서비스 목록 확인

$ minikube service list

애드온

$ minikube addons list

$ minikube addons enable metrics-server
$ minikube addons enable ingress

$ minikube addons configure metallb

-- Enter Load Balancer Start IP: 192.168.X.200
-- Enter Load Balancer End IP: 192.168.X.209

클러스터 기본 옵션 지정

$ minikube config set cpus 2
$ minikube config set memory 4G
$ minikube config set driver virtualbox
$ minikube config set kubernetes-version v1.22.9
$ minikube config view

✔️ Prometheus Monitoring

$ helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
$ helm update

prom-value.yaml

grafana:
  service:
    type: LoadBalancer

$ kubectl create ns monitor

$ helm install prom prometheus-community/kube-prometheus-stack -f prom-value.yaml -n monitor

✔️EFK Logging

ELK Stack: Elasticsearch + Logstash + Kibana EFK Stack: Elasticsearch + Fluentd + Kibana Elasticsearch + Fluent Bit + Kibana Elastic Stack: Elasticsearch + Beat + Kibana

✔️ Elasticsearch

$ helm repo add elastic https://helm.elastic.co
$ helm repo update

$ helm show values elastic/elasticsearch > es-value.yaml

es-value.yaml

 18 replicas: 1
 19 minimumMasterNodes: 1

 80 resources:
 81   requests:
 82     cpu: "500m"
 83     memory: "1Gi"
 84   limits:
 85     cpu: "500m"
 86     memory: "1Gi"

$ kubectl create ns logging

$ helm install elastic elastic/elasticsearch -f es-value.yaml -n logging

✔️ Fluent Bit

https://github.com/fluent/fluent-bit-kubernetes-logging

$ git clone https://github.com/fluent/fluent-bit-kubernetes-logging.git

$ cd  fluent-bit-kubernetes-logging

$ kubectl create -f fluent-bit-service-account.yaml
$ kubectl create -f fluent-bit-role-1.22.yaml
$ kubectl create -f fluent-bit-role-binding-1.22.yaml

$ kubectl create -f output/elasticsearch/fluent-bit-configmap.yaml

output/elasticsearch/fluent-bit-ds.yaml

 32         - name: FLUENT_ELASTICSEARCH_HOST
 33           value: "elasticsearch-master"

$ kubectl create -f output/elasticsearch/fluent-bit-ds.yaml

✔️ Kibana

$ helm show values elastic/kibana > kibana-value.yaml

kibana-value.yaml

 49 resources:
 50   requests:
 51     cpu: "500m"
 52     memory: "1Gi"
 53   limits:
 54     cpu: "500m"
 55     memory: "1Gi"

119 service:
120   type: LoadBalancer

$ helm install kibana elastic/kibana -f kibana-value.yaml -n logging

http://192.168.100.X:5601

Version 3사용

✔️ Helm 설치하기

$ curl https://baltocdn.com/helm/signing.asc | gpg --dearmor | sudo tee /usr/share/keyrings/helm.gpg > /dev/null

$ sudo apt-get install apt-transport-https --yes

$ echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/helm.gpg] https://baltocdn.com/helm/stable/debian/ all main" | sudo tee /etc/apt/sources.list.d/helm-stable-debian.list

$ sudo apt-get update
$ sudo apt-get install helm

~/.zshrc 자동완성 기능 추가

...
plugins=
        (git
        zsh-autosuggestions
        zsh-completions
        kubectl
        helm
        )
...

Helm Chart 검색 https://artifacthub.io/

차트 구조

<Chart Name>/
  Chart.yaml
  values.yaml
  templates/

• Chart.yaml: 차트의 메타데이타
• values.yaml: 패키지를 커스터마이즈/사용자화
• templates: YAML 오브젝트 파일

✔️ helm 사용법

aritifacthub 검색

$  helm search hub <PATTERN>

저장소 추가하기

$ helm repo add worepress https://charts.bitnami.com/bitnami

$ helm repo list
NAME            URL
worepress       https://charts.bitnami.com/bitnami

저장소 검색하기

$ helm search repo wordpress

차트 설치하기

$ helm install [NAME] [CHART] [flags] 

릴리즈 확인

$ helm list

릴리즈 삭제

$ helm uninstall mywordpress

차트 정보 확인

$ helm show readme [Chart]/wordpress
$ helm show chart [Chart]/wordpress
$ helm show values [Chart]/wordpress

차트 사용자화

$ helm install mywp [Chart]/wordpress --set replicaCount=2
$ helm install mywp [Chart]/wordpress --set replicaCount=2 --set service.type=NodePort

릴리즈 업그레이드

$ helm show value [Chart]/wordpress > wp-value.yaml
파일 수정

$ helm upgrade mywp [Chart]/wordpress -f wp-value.yaml

릴리즈 업그레이드 히스토리

$ helm history mywp

릴리즈 롤백

$ helm rollback mywp 1

wp-value2.yaml

replicaCount: 1

service:
  type: LoadBalancer

$ helm upgrade mywp bitnami/wordpress -f wp-value2.yaml

git clone --depth=1 https://github.com/romkatv/powerlevel10k.git ${ZSH_CUSTOM:-$HOME/.oh-my-zsh/custom}/themes/powerlevel10k

~/.zshrc

ZSH_THEME="powerlevel10k/powerlevel10k"

exec zsh

p10k configure

✔️ kubectx & kubens

거의 필수처럼 사용하는 프로그램

kubectx 다중 클러스터를 사용할 때 클러스터 전환을 쉽게 해주는 툴

kubens k8s 클러스터 내에서 namespace를 쉽게 전환해주는 툴

https://github.com/ahmetb/kubectx

wget https://github.com/ahmetb/kubectx/releases/download/v0.9.4/kubectx

wget https://github.com/ahmetb/kubectx/releases/download/v0.9.4/kubens

install 명령어

• 기본 설치 파일 지정

  sudo install kubectx /usr/local/bin
  sudo install kubens /usr/local/bin

파드의 집합

✔️ ReplicationController

• 파드의 복제본 개수 관리
• 컨트롤러에 의해서 관리되는 파드는 label이 붙어있어야함

myweb-rc.yaml

apiVersion: v1
kind: ReplicationController
metadata:
  name: myweb-rc
spec:
  replicas: 3
  selector:
    app: web
# Pod Configure
  template:
    metadata:
      labels:
        app: web
    spec:
      containers:
        - name: myweb
          image: ghcr.io/c1t1d0s7/go-myweb
          ports:
            - containerPort: 8080
              protocol: TCP

$ kubectl create -f myweb-rc.yaml

$ watch kubectl get rc,pods --show-labels -o wide

NAME                 READY   STATUS    RESTARTS   AGE   LABELS
pod/myweb-rc-7m4v7   1/1     Running   0          29m   app=web
pod/myweb-rc-7s4vp   1/1     Running   0          78m   app=web
pod/myweb-rc-jtq7d   1/1     Running   0          78m   app=web

$ kubectl label pod myweb-rc-jtq7d app=db --overwrite

$ kubectl label pod myweb-rc-jtq7d app=web --overwrite

✔️ RC 스케일링

명령형 커맨드

$ kubectl scale rc myweb-rc --replicas=5

명령형 오브젝트 구성

$ kubectl replace -f myweb-rc.yaml

$ kubectl patch -f myweb-rc.yaml -p '{"spec": {"replicas": 3}}'
$ kubectl patch rc myweb-rc.yaml --patch-file replicas.json

replicas.json

{"spec": {"replicas": 3}}

$ kubectl edit -f myweb-rc.yaml
$ kubectl edit rc myweb-rc
$ kubectl edit rc/myweb-rc

선언형 오브젝트 구성

$ kubectl apply -f myweb-rc.yaml

✔️ ReplicaSets

ReplicationController -> ReplicaSets

apiVersion: apps/v1
kind: ReplicaSets
metadata:
  name: myweb-rs
spec:
  replicas: 3
  selector:
    matchLabels:
      app: web
      env: dev
  template:
    metadata:
      labels:
        app: web
        env: dev
    spec:
      containers:
        - name: myweb
          image: ghcr.io/c1t1d0s7/go-myweb
          ports:
            - containerPort: 8080
              protocol: TCP

apiVersion: apps/v1
kind: ReplicaSet
metadata:
  name: myweb-rs-set
spec:
  replicas: 3
  selector:
    matchExpressions:
      - key: app
        operator: In
        values: 
          - web
      - key: env
        operator: Exists
  template:
    metadata:
      labels:
        app: web
        env: dev
    spec:
      containers:
        - name: myweb
          image: ghcr.io/c1t1d0s7/go-myweb
          ports:
            - containerPort: 8080
              protocol: TCP

$ cd ~/kubespray

✔️ Job

파드가 성공적으로 종료될 때까지 계속해서 파드를 실행한다 안전한 종료를 보장

Pending 스케줄링 되기 전, 이미지 받기 전, 컨테이너가 준비 되기 전 Running 컨테이너가 실행 중, 실행 전, 재시작 중 Succeed 정상 종료(0) Failed 비정상 종류(!0) Unknown 노드의 통신 문제로 상태 알 수 없음

✔️ Container 상태

Waiting : 이미지 받기 전, 볼륨 연결 되기 전 Running : 실행 중 Terminated : 종료

✔️ 재시작 정책

pod.spec.restartPolicy Always(기본) OnFailure Never

지수 백오프 파드 실패시 재시작 정책에 의해 재시작 재시작 시간 10,20,40, ...300 초까지 유예기간

✔️ 컨테이너 프로브

프로브 종류

• liveness
  • 애플리케이션 실행, 작동 여부
• readiness
• startup
  • 애플리케이션이 시작 되었는지를 나타냄
  • 성공할 때까지 나머지 프로브는 비활성화

프로브 매커니즘

• httpGet
  • Web, WepApp
  • 응답 코드 2XX, 3XX
• tcpSocket
  • 해당 포트 TCP 연결
• grpc
  • grpc 프로토콜 연결
• exec
  • 명령 실행
  • 종료 코드 0@

프로브 결과 success failuer unknown

pods.spec.containers.livenessProbe

• exec
• httpGet
• tcpSocket
• periodSeconds: 프로브 주기
• failureThreshold: 실패 임계값
• successThreshold: 성공 임계값
• initialDelaySecond: 프로브 유예 기간
• timeoutSeconds: 프로브 타임아웃

레이블 확인

$ kubectl get pods --show-labels

$ kubectl get pods X -o yaml

$ kubectl describe pods X

레이블 관리

$ kubectl label pods myweb APP=apache

$ kubectl label pods myweb ENV=developments

$ kubectl label pods myweb ENV=staging

$ kubectl label pods myweb ENV=staging --overwirte

$ kubectl label pods myweb ENV-

✔️ LabelSelector

LabelSelector

• 검색
• 리소스 간 연결

일치성(equality base)

• =
• ==
• !=

$ kubectl get pods -l APP=nginx
$ kubectl get pods -l APP==nginx

$ kubectl get pods -l 'APP!=nginx'

집합성(set base)

• in
• notin
• exists: 키만 매칭
  • kubectl get pods -l 'APP'
• doesnotexists: 키 제외 매칭
  • kubectl get pods -l '!APP'

✔️ Annotations

레이블과 비슷 비 식별 메타데이타

명령형 커맨드

$ kubectl annotate pods myweb created-by=luna

$ kubectl annotate pods myweb created-by=Kim --overwrite

$ kubectl annotate pods myweb created-by-

YAML

apiVersion: v1
kind: Pod
metadata:
  name: myweb-label-anno
  labels:
    APP: apache
    ENV: staging
  annotations:
    Created-by: Jang
spec:
  containers:
    - name: myweb
      image: httpd
      ports:
        - containerPort: 80
          protocol: TCP

리소스를 분리

• 서비스 별
• 사용자 별
• 환경: 개발, 스테이징, 프로덕션

네임스페이스 확인

$ kubectl get namespaces
$ kubectl get ns

kube-system Kubernetes의 핵심 컴포넌트

kube-public 모든 사용자가 읽기 권한

kube-node-lease 노드의 HeartBeat 체크를 위한 Lease 리소스가 존재

• default: 기본 작업 공간

$ kubectl create ns developments

$ kubectl delete ns developments

$ kubectl get pods -A | --all-namespaces

$ kubectl get pods -n kube-system

ns-dev.yaml

apiVersion: v1
kind: Namespace
metadata:
  name: dev

$ kubectl create -f ns-dev.yaml

myweb-dev.yaml

apiVersion: v1
kind: Pod
metadata:
  name: myweb
  namespace: dev
spec:
  containers:
    - name: myweb
      image: httpd
      ports:
        - containerPort: 80
          protocol: TCP          

$ kubectl create -f myweb-dev.yaml

$ kubectl delete -f myweb-dev.yaml

$ kubectl api-resouces

✔️ 오브젝트 정의

기본 형식

apiVersion:
kind:
metdata:
spec:

• apiVersion: 지원하는 오브젝트의 버전
• kind: 오브젝트의 종류
• metadata: 데이터를 설명하기 위한 데이터
  • 이름, 네임스페이스, Label, 주석(annoatation) ==파일에 대한 메타데이터
• spec: 오브젝트에 대해 어떤 상태를 의도하는지 (선언? 절차?)

$ kubectl explain pods
$ kubectl explain pods.metadata
$ kubectl explain pods.spec
$ kubectl explain pods.spec.containers
$ kubectl explain pods.spec.containers.images
$ kubectl explain pods.spec --recursive

✔️ 오브젝트 관리

명령형 커멘드

• yaml 파일을 작성하지 않고 kubectl 명령어로만 구성
  • $ kubectl create
  • $ kubectl run
  • $ kubectl expose

명령형 오브젝트 구성

• YAML 파일을 순서대로 하나씩 실행
  • $ kubectl create -f a.yaml
  • $ kubectl replace -f a.yaml
  • $ kubectl patch -f a.yaml
  • $ kubectl delete -f a.yaml

선언형 오브젝트 구성

• YAML 파일의 모음을 한번에 실행
  • $ kubectl apply -f resources/

관리할 수 있는 가장 작은 워크로드

✔️ 파드 생성 및 관리

명령형 커맨드로 파드 생성

$ kubectl run myweb --image httpd

파드 목록 확인

$ kubectl get pods

특정 파드 확인

$ kubectl get pods myweb

파드 상세 정보

$ kubectl get pods -o wide

$ kubectl get pods -o yaml

$ kubectl get pods -o json

$ kubectl describe pods myweb

애플리케이션 로그

$ kubectl logs myweb

파드 삭제

$ kubectl delete pods myweb

✔️ YAML 파일로 파드 정의

myweb.yaml

apiVersion: v1
kind: Pod 
metadata:
  name: myweb
spec:
  containers:
    - name: myweb
      image: httpd
      ports:
        - containerPort: 80
          protocol: TCP

kubectl explain pods

$ kubectl create -f myweb.yaml

$ kubectl get -f myweb.yaml

$ kubectl describe -f myweb.yaml

$ kubectl delete -f myweb.yaml

✔️ kubectl 명령의 서브 명령

• create
• get
• describe
• logs
• delete
• replace
• patch
• apply
• diff

✔️ 파드 디자인

• 단일 컨테이너: 일반 적인 형태
• 멀티 컨테이너: 메인 애플리케이션이 존재 메인 애플리케이션 기능을 확장 하기 위한 컨테이너를 배치

• sidecar: 기능의 확장
• ambassador: 프록시/LB
• adpator: 출력의 표준

✔️ 포트 및 포트 포워딩

테스트 & 디버깅 목적

$ kubectl port-forward pods/myweb 8080:80

✔️ 이름 & UID

이름 네임스페이스 유일

UID 클러스터에서 유일

1. kube-apiserver
2. kube-controller-manager, kube-cloud-controller-manage, kube-scheduler
3. kubelet(Control Plane -> Worker Node)
4. kube-proxy(Control Plane -> Worker Node)

✔️ Kubeadm 클러스터 업그레이드

1.22.9 --> 1.22.9

1. Control Plane의 kubeadm 업그레이드
2. Control Plane의 kubeadm으로 api, cm, sched 업그레이드
3. Control Plane의 kubelet, kubectl 업그레이드
4. Work Node의 kubeadm 업그레이드
5. Work Node의 kubeadm으로 업그레이드
6. Work Node의 kubelet, kubectl 업그레이드

Control Plane

업그레이드 하기 위해 잠금 해제

$ sudo apt-mark unhold kubeadm

$ sudo apt update

$ sudo apt upgrade kubeadm=1.22.9-00 -y

$ kubeadm version

$ sudo apt-mark hold kubeadm

$ sudo kubeadm upgrade plan

$ sudo kubeadm upgrade apply v1.22.9

$ sudo apt-mark unhold kubelet kubectl

$ sudo apt upgrade kubectl=1.22.9-00 kubelet=1.22.9-00 -y

$ sudo apt-mark hold kubelet kubectl

$ kubelet --version
$ kubectl version

drain 작업 이후

$ sudo systemctl daemon-reload
$ sudo systemctl restart kubelet

uncordon 작업

$ systemctl status kubelet

Work Node

$ sudo apt-mark unhold kubeadm

$ sudo apt update

$ sudo apt upgrade kubeadm=1.22.9-00 -y

$ kubeadm version

$ sudo apt-mark hold kubeadm

$ sudo kubeadm upgrade node

drain 작업

$ sudo apt-mark unhold kubelet kubectl

$ sudo apt upgrade kubectl=1.22.9-00 kubelet=1.22.9-00 -y

$ sudo apt-mark hold kubelet kubectl

$ kubelet --version
$ kubectl version

$ sudo systemctl daemon-reload
$ sudo systemctl restart kubelet

uncordon 작업

$ sudo apt-get update

$ sudo apt-get install \
    ca-certificates \
    curl \
    gnupg \
    lsb-release

GPG 키 추가

$ curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg

저장소 추가

$ echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu \
  $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

인덱스 정보 재업데이트

$ sudo apt-get update

도커 최신 버전 설치

$ sudo apt-get install docker-ce docker-ce-cli containerd.io docker-compose-plugin

$ sudo usermod -aG docker vagrant

✔️ kubeadm, kubelet, kubectl 설치

sudo apt-get install -y apt-transport-https ca-certificates curl

$ sudo curl -fsSLo /usr/share/keyrings/kubernetes-archive-keyring.gpg https://packages.cloud.google.com/apt/doc/apt-key.gpg

$ echo "deb [signed-by=/usr/share/keyrings/kubernetes-archive-keyring.gpg] https://apt.kubernetes.io/ kubernetes-xenial main" | sudo tee /etc/apt/sources.list.d/kubernetes.list

$ sudo apt-get update

$ sudo apt-get install kubeadm=1.22.8-00 kubelet=1.22.8-00 kubectl=1.22.8-00 -y

✔️ K8s Cluster Join

 sudo kubeadm join --token 97p4pn.xkm447t9vz39b6y9 192.168.100.100:6443 --discovery-token-ca-cert-h
ash sha256:86747560fdfeb86646a588ffe5a250ac93f14e95305c09f61d4250ee11e998e2

Control Plane

• Node를 관리
• 일반적으로 최소 3개로 구성한다
• 절대 짝수로 구성하지 않는다
  • 5:5 Split Brain이 발생 할 수 있다

API server

• 모든 시스템은 API server을 통한다

c-m (Controller-manager)

• 클러스터 전체를 컨트롤
• 종류
  • 노드 컨트롤러
  • 레플리케이션 컨트롤러 = pod들의 복제를 관리
  • 엔드포인트 컨트롤러
  • 서비스 어카운트 & 토크 컨트롤러

Sched

• 스케쥴러
• pod를 어디에 어떻게 배치할지 관리

etcd (etc daemon)

• key value 스토리지

k-proxy (kube-proxy)

• 노드의 네트워크 규칙을 유지 관리

애드온

DNS (kube-dns)

• 애드온이지만 거의 필수
• Service Discovery = 어떠한 서비스를 찾는 것을 의미
• 쿠버네티스

컨테이너 리소스 모니터링

• 중앙 데이터베이스 내의 컨테이너들에 대한 포괄적인 시계열 매트릭스를 기록하고 그 데이터를 열람하기 위한 UI를 제공

클러스터-레벨 로깅

• 메커니즘은 검색/열람 인터페이스와 함께 중앙 로그 저장소에 컨테이너 로그를 저장

✔️ 쿠버네티스 설치

Kubeadm = 쿠버네티스를 설치하기 위한 도구 Kubespray(Kubeadm+Ansible) = 실제로 많이 쓰임

설치 Kubeadm 1.22.8 쿠버네티스 apt 리포지터리를 사용하는 데 필요한 패키지를 설치

$ sudo apt-get update
$ sudo apt-get install -y apt-transport-https ca-certificates curl

서명 키 복사

$ sudo curl -fsSLo /usr/share/keyrings/kubernetes-archive-keyring.gpg https://packages.cloud.google.com/apt/doc/apt-key.gpg

저장소 추가

$ echo "deb [signed-by=/usr/share/keyrings/kubernetes-archive-keyring.gpg] https://apt.kubernetes.io/ kubernetes-xenial main" | sudo tee /etc/apt/sources.list.d/kubernetes.list
$ sudo apt-get update # 저장소 추가 했으니 한번 더 실행

설치 버전 확인

$  apt-cache madison kubeadm | grep 1.22.8
   kubeadm |  1.22.8-00 | https://apt.kubernetes.io kubernetes-xenial/main amd64 Packages

$ sudo apt-get install kubeadm=1.22.8-00 kubelet=1.22.8-00 kubectl=1.22.8-00 -y

패키지 업데이트시 자동업데이트를 막기위한 hold

$ sudo apt-mark hold kubelet kubeadm kubectl

클러스터 생성

$ kubeadm init --control-plane-endpoint 192.168.100.100 --pod-network-cidr 172.16.0.0/16 --apiserver-advertise-address 192.168.100.100

사용하고 있는 네트워크와 충돌을 방지하기 위해 172.16.0.0/16 사용

Cgroup driver 오류

• kubelet이 실행이 되지 않아 발생

docker info | grep 'Cgroup Driver'

 Cgroup Driver: cgroupfs # 버전이 바뀌면서 cgroupfs 지원 하지 않음

/etc/docker/daemon.json

{
  "exec-opts": ["native.cgroupdriver=systemd"]
}

재실행

sudo systemctl restart docker

$ docker info | grep 'Cgroup Driver'

 Cgroup Driver: systemd

$ sudo systemctl daemon-reload && sudo systemctl restart kubelet

kubeadm init 실패 시 실행

$ sudo kubeadm reset

$ sudo kubeadm init --control-plane-endpoint 192.168.100.100 --pod-network-cidr 172.16.0.0/16 --apiserver-advertise-address 192.168.100.100

 $ mkdir -p $HOME/.kube
 $ sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
 $ sudo chown $(id -u):$(id -g) $HOME/.kube/config

k8s 인증파일 생성 됨 - 노출 되면 안됨

 $ cd .kube
 $ ls
 config
 $ ls -l
 total 8
 -rw------- 1 vagrant vagrant 5639 May 13 08:08 config

$ kubectl get nodes
NAME     STATUS     ROLES                  AGE     VERSION
docker   NotReady   control-plane,master   9m20s   v1.22.8

✔️ Callico Network Add-on

$ kubectl create -f https://projectcalico.docs.tigera.io/manifests/tigera-operator.yaml

$ curl https://projectcalico.docs.tigera.io/manifests/custom-resources.yaml -O

costoum-resources.yaml

...
    cidr: 172.16.0.0/16
...

$ kubectl create -f custom-resources.yaml

클러스트 상태 확인

$ kubectl get pods -A   

NAMESPACE          NAME                                       ...
calico-apiserver   calico-apiserver-c9565f67b-2p29k           ...
calico-apiserver   calico-apiserver-c9565f67b-slthl           ...
calico-system      calico-kube-controllers-5d74cd74bc-sg7dn   ...
calico-system      calico-node-tgxks                          ...
calico-system      calico-typha-7447fdc844-txrdb              ...
kube-system        coredns-78fcd69978-4ztkq                   ...
kube-system        coredns-78fcd69978-jpwxx                   ...
kube-system        etcd-docker                                ...
kube-system        kube-apiserver-docker                      ...
kube-system        kube-controller-manager-docker             ...
kube-system        kube-proxy-5st98                           ...
kube-system        kube-scheduler-docker                      ...
tigera-operator    tigera-operator-7cf4df8fc7-kx87z           ...

$ kubectl get nodes

NAME     STATUS   ROLES                  AGE   VERSION
docker   Ready    control-plane,master   30m   v1.22.8

isolation 해제

$ kubectl taint node docker node-role.kubernetes.io/master-

예제

$ kubectl create deployment myweb --image=ghcr.io/c1t1d0s7/go-myweb

$ kubectl get deployments,replicasets,pods

NAME                    READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/myweb   1/1     1            1           4m40s

NAME                              DESIRED   CURRENT   READY   AGE
replicaset.apps/myweb-97dbf5749   1         1         1       4m40s

NAME                        READY   STATUS    RESTARTS   AGE
pod/myweb-97dbf5749-8tq2l   1/1     **Running**   0          4m40s

Pod 외부 노출

• 쿠버네티스는 기본적으로 포트포워딩을 지원하지 않기 때문에 외부로 노출 시켜주어야 한다.

  $ kubectl expose deployment myweb --port=80 --protocol=TCP --target-port=8080 --name myweb-svc --type=NodePort

$ kubectl get services

NAME         TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)        AGE
kubernetes   ClusterIP   10.96.0.1       <none>        443/TCP        33m
myweb-svc    NodePort    10.103.90.115   <none>        80:32338/TCP   10s

$ curl 192.168.100.100:32338

Hello World!
myweb-97dbf5749-qb8tm

복제본 생성

$ kubectl scale deployment myweb --replicas=3

$ kubectl get pods

NAME                      STATUS                 AGE
myweb-97dbf5749-4krhf     ContainerCreatin       5s
myweb-97dbf5749-c5s7h     ContainerCreating      5s
myweb-97dbf5749-qb8tm     Running               9m18s

서비스 삭제 & deployment 삭제

$ kubectl delete service myweb-svc
$ kubectl delete deployment myweb

mkdir -p ~/golang/hello
cd ~/golang/hello

Golang 설치

sudo apt install golang

go mod init hello

hello.go

package main

import "fmt"

func main() {
        fmt.Println("hello go world")
}

실행

• 빌드 후 실행 됨 ```shell $ go run . # go mod 파일 있어야 사용 가능
• OR- $ go run 파일명

$ go build . # go mod 파일 있어야 사용 가능
-OR-
$ go build -o [실행파일명] [소스코드 파일명]

Dockerfile

FROM golang:1.18-buster AS gobuilder
COPY . /app
WORKDIR /app
RUN go build .

FROM scratch
COPY --from=gobuilder /app/hello /
CMD ["/hello"]

docker build -t gohello .

docker run gohello

⭐️ Http Web

mkdir ~/golang/goweb
cd ~/golang/goweb

go mod init goweb

goweb.go

package main

import (
        "fmt"
        "log"
        "net/http"
)

func handler(w http.ResponseWriter, r *http.Request) {
        fmt.Fprintf(w, "Hi there, I love %s!", r.URL.Path[1:])
}

func main() {
        http.HandleFunc("/", handler)
        log.Fatal(http.ListenAndServe(":8080", nil))
}

go run .

curl 192.168.100.100:8080
curl 192.168.100.100:8080/encore

go build .

.dockerignore

goweb
Dockerfile
.dockerignore

Dockerfile

FROM golang:1.18-buster AS gobuilder
ENV CGO_ENABLED 0
COPY . /app
WORKDIR /app
RUN go build -o goweb .

FROM scratch
COPY --from=gobuilder /app/goweb /
CMD ["/goweb"]
EXPOSE 8080

docker build -t goweb .

docker run -d -p 80:8080 goweb

⭐️ Gin

$ mkdir ~/golang/gogin
$ cd ~/golang/gogin

$ go mod init gogin

gogin.go

package main

import "github.com/gin-gonic/gin"

func main() {
    r := gin.Default()
    r.GET("/ping", func(c *gin.Context) {
        c.JSON(200, gin.H{
            "message": "pong",
        })
    })
    r.Run() // listen and serve on 0.0.0.0:8080 (for windows "localhost:8080")
}

$ go mod tidy

$ cat go.sum

Dockerfile

FROM golang:1.18-buster AS gobuilder
ENV CGO_ENABLED 0
COPY . /app
WORKDIR /app
RUN go build -o gogin .

FROM scratch
COPY --from=gobuilder /app/gogin /
CMD ["/gogin"]
EXPOSE 8080

$ docker build -t gogin .

$ docker run -d -p 80:8080 gogin

$ curl 192.168.100.100/ping

⭐️ Node.js

$ mkdir ~/nodejs/web
$ cd ~/nodejs/web

app.js

const http = require('http');

const hostname = '0.0.0.0';
const port = 3000;

const server = http.createServer((req, res) => {
  res.statusCode = 200;
  res.setHeader('Content-Type', 'text/plain');
  res.end('Hello World');
});

server.listen(port, hostname, () => {
  console.log(`Server running at http://${hostname}:${port}/`);
});

$ node app.js
Server running at http://0.0.0.0:3000/

예제

https://nodejs.org/en/docs/guides/nodejs-docker-webapp/

package.json

{
  "name": "docker_web_app",
  "version": "1.0.0",
  "description": "Node.js on Docker",
  "author": "First Last <first.last@example.com>",
  "main": "server.js",
  "scripts": {
    "start": "node server.js"
  },
  "dependencies": {
    "express": "^4.16.1"
  }
}

server.js

'use strict';

const express = require('express');

// Constants
const PORT = 8080;
const HOST = '0.0.0.0';

// App
const app = express();
app.get('/', (req, res) => {
  res.send('Hello World');
});

app.listen(PORT, HOST);
console.log(`Running on http://${HOST}:${PORT}`);

실행

$ npm install

added 57 packages, and audited 58 packages in 7s

7 packages are looking for funding
  run `npm fund` for details

found 0 vulnerabilities
npm notice
npm notice New minor version of npm available! 8.5.5 -> 8.10.0
npm notice Changelog: https://github.com/npm/cli/releases/tag/v8.10.0
npm notice Run npm install -g npm@8.10.0 to update!
npm notice

$ ls
node_modules  package-lock.json  package.json  server.js

nodejs는 패키지를 node_moduels에 저장 == 도커 이미지에 넣으면 안됨 package-lock.json : 패키지 목록 == 도커 이미지에 넣어주어야함

.dockerignore

node_moduels/
Dockerfile
.dockerignore        

Docerfile

FROM node:16

WORKDIR /usr/src/app
COPY . .
RUN npm install # package-lock.json파일 보고 패키지 설치
EXPOSE 8080
CMD [ "node", "server.js" ]

$ docker build -t mynode .

$ docker run -d -p 80:8080 mynode

⭐️ Docer hub

$ docker login

로그인되면 ./docker/config.json에 인증 정보 저장 image 빌드 시 홈 디렉토리, 루트 에서는 절대 안됨

$ docker push pyhello:v1
The push refers to repository [docker.io/library/pyhello]
7201388967b8: Preparing
673874d26a0c: Preparing
003d829fbdc9: Preparing
c624266426ab: Preparing
ca6c84023067: Preparing
8272ebc3fc9d: Waiting
74f08751ac3f: Waiting
58b24c6222e3: Waiting
7ae08394a32a: Waiting
f70b727d55c3: Waiting
denied: requested access to the resource is denied

-> 이미지 형식이 맞지 않아서 denied 가 뜬다

기존 이미지에 태그 달아주기

$ docker tag 기존이미지명:태그명 도커계정명/새로운이미지명:태그명
$ docker tag pyhello:v1 사용자계정/pyhello:v1

-> 이미지이름이 바뀌는 것이 아니라 뒤에 태그가 더 추가 되는 것

⭐️ Docer Compose

Docker IaC

docker-compose -> docker compose

docker-compose.yaml 또는 docker-compose.yml -> 파일명은 정해져 있음

예제1

docker-compose.yaml

version: '3' # 3버전에서 사용할 수 있는 최신 버전 사용

services: # 컨테이너를 서비스란 개념으로 사용
  web:    # 컨테이너 이름
    image: httpd  # 이미지 지정

실행

$ docker compose up -d

프로젝트 목록 확인

$ docker compose ls

서비스 목록(컨테이너)

$ docker compose ps

삭제

docker compose down

예제2

version: '3'

services:
  web:   # 서비스 1
    image: httpd   # 이미지
    restart: always  # 재시작 정책
    ports:
      - 80:80
    environment:    #환경변수
    MSG: hello world 
    volumes:
      - web-contents:/var/www/  # 볼륨을 컨테이너 내부에 실행
    networks:
      - web-net
  web2:     # 서비스 2
    image: nginx
    networks:  # 네트워크
      - web-net

volumes:
  web-contents:

networks:
  web-net:

docker compose up -d

docker compose exec web bash

> apt update; apt install curl
> curl web2

도커 컴포즈로 배포한 컨테이너는 서로 이름으로 통신가능

예제3

version: '3'

services:

  myflask:
    build: ./hello-flask

  mydjango:
    build: ./hello-django

cp -r ~/python/hello-django .
cp -r ~/python/hello-flask .

a.sh

#!/bin/sh

echo "\$MSG = $MSG"
echo "\$@ = $@"
echo "\$0 = $0"
echo "\$1 = $1"
echo "\$2 = $2"
echo "\$3 = $3"

MSG="Hello World" ./a.sh 1 2 3 4 5 6

• $0: 명령어
• $1: 첫번째 argument
• $2: 두번째 argument
• $@: 모든 argument

⭐️Alpine Linux

Busybox + APK(패키지 관리자)

패키지 인덱스

apk update

패키지 검색

apk search <PKG>

패키지 추가

apk add <PKG>

패키지 제거

apk del <PKG>

Dockerfile 명이 다른 경우

Dockerfile-alpine

docker build -f Dockerfile-alpine -t pyhello:v1 .

⭐️ Flask

• python3
• python3-pip
• python3-venv

sudo apt install python3-pip python3-venv

mkdir ~/python/hello-flask
cd ~/python/hello-flask

가상환경/프로젝트 생성

python3 -m venv 가상환경이름

가상환경 활성화

. venv/bin/activate

가상환경 비활성화

deactivate

pip3 install Flask

hello.py

from flask import Flask

app = Flask(__name__)

@app.route("/")
def hello_world():
    return "<p>Hello, World!</p>"

• 실행

  export FLASK_APP=hello
  flask run
  flask run --host='0.0.0.0' [--port='8080']

  기본 포트 : 5000

• freeze -현재 설치한 패키지들을 txt파일로 저장

pip3 freeze > requirements.txt

• 가상 환경 구성 후 txt파일에 저장되어 있는 패키지 설치

  pip3 install -r requirements.txt

⭐️ Django

Django : 풀스택 프레임 워크

mkdir ~/python/hello-django
cd ~/python/hello-django

• 가상환경을 사용하기 위한 설치

  python3 -m venv [가상환경이름]

pip3 install Django # $ python -m pip install Django와 동일

pip3 freeze > requirements.txt

mysite/settings.py

...
ALLOWED_HOSTS = ['*']
...

cd mysite
python3 manage.py runserver 0.0.0.0:8000

⭐️ C

Language

• 컴파일: C, C++, Golang, Rust -> 실행파일
  • Java, .NET(C#) -> Bytecode
• 스크립트: Shell, Perl, Python, Ruby, Javascript
  • 인터프리터/런타임

sudo apt install gcc

mkdir ~/clang
cd ~/clang

hello.c

#include <stdio.h>

int main() {
        printf("Hello C World\n");
        return 0;
}

동적 바이너리

gcc hello.c -o hello

file hello

... dynamically linked ...

ldd hello

    linux-vdso.so.1 (0x00007ffcd014b000)
    libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007fe1a8ed2000)
    /lib64/ld-linux-x86-64.so.2 (0x00007fe1a90d2000)

so : c 라이브러리를 의미

mkdir -p lib/x86_64-linux-gnu
mkdir lib64

cp /lib/x86_64-linux-gnu/libc.so.6 lib/x86_64-linux-gnu/
cp /lib64/ld-linux-x86-64.so.2 lib64/

Dockerfile

FROM scratch
COPY lib /lib
COPY lib64 /lib64
COPY hello /
CMD ["/hello"]

docker build -t hello:dynamic .

docker run hello:dynamic

정적 바이너리

gcc hello.c -static -o helloc

Dockerfile-static

FROM scratch
COPY helloc /
CMD ["/helloc"]

docker build -f Dockerfile-static -t hello:static .

docker run hello:static

멀티 빌드

Dockerfile-multi

FROM gcc AS cbuilder
WORKDIR /root
ADD hello.c .
RUN gcc hello.c -static -o hello

FROM scratch
COPY --from=cbuilder /root/hello /
CMD ["/hello"]

docker build -f Dockerfile-multi -t hello:multi .

docker run hello:multi

라우팅 정책

1) 단순 라우팅 정책

도메인에 대해 특정 기능을 수행하는 하나의 리소스만 있는 경우에 사용

2) 장애 조치 라우팅 정책

Active-Passive 장애 조치를 구성하려는 경우에 사용

3) 지리 위치 라우팅 정책

사용자의 위치에 기반하여 트래픽 라우팅하려는 경우에 사용

4) 지리 근접 라우팅 정책

리소스의 위치를 기반으로 트래픽을 라우팅하고 필요에 따라 한 위치의 리소스에서 다른 위치의 리소스로 트래픽을 보내려는 경우 사용

5) 지연 시간 라우팅 정책

여러 AWS 리전에 리소스가 있고, 최상의 지연시간을 제공하는 리전으로 트래픽을 라우팅하려는 경우에 사용

6) 다중 응답 라우팅 정책

Route 53이 DNS 쿼리에 무작위로 선택된 최대 8개의 정상 레코드로 응답하게 하려는 경우에 사용

7) 가중치 기반 라우팅 정책

사용자가 지정하는 비율에 따라 여러 리소스로 트래픽을 라우팅하려는 경우 사용

Amazon Route 53

• 높은 가용성, 확장성이 뛰어난 클라우드 DNS 웹 서비스
• 최종 사용자를 인터넷 애플리케이션으로 라우팅 할 수 있는 매우 안정적이고 비용 효율적인 방법을 개발자와 기업에 제공하기 위해 설계

Amazon S3

• Amazon Simple Storage Service
• 최고의 확장성과 데이터 가용성 및 보안과 성능을 제공하는 객체 스토리지 서비스
• 원하는 만큼의 데이터를 저장하고 보호가능
• 사용하기 쉬운 관리 기능을 제공 하여 데이터를 조직화하고 세부적인 액세스 제어 구성 가능

Amazon EFS

• Amazon Elastic File System
• AWS 클라우드 서비스와 온프레미스 리소스에서 사용할 수 있는 간단하고 확장 가능하며, 탄력적인 완전 관리형 NFS 파일 시스템 제공
• 애플리케이션을 중단 없이 온디맨드 방식으로 확장하도록 구축되어, 파일을 추가하고 제거할 때 자동으로 확장 및 축소
• 확장 규모에 맞게 용량을 프로비저닝 및 관리 할 필요 X

Amazon EC2 스팟 인스턴스

• 중단될 수 있는 EC2로 컨테이너화 된 워크로드에 적합
• 온디맨드 가격보다 저렴한 비용으로 사용할수 있는 미사용 EC2 인스턴스
• 용량이 가용 상태이고, 요청에 대한 시간당 최고 가격이 스팟가격보다 높을때마다 실행
• 애플리케이션이 실행되는 시간을 유연하게 조정할 수 있고, 애플리케이션을 중단할 수 있는 경우에 선택하는 비용 효율적인 방법
• ex) 데이터 분석, 배치 작업, 백그라운드 프로세싱 및 선택적 작업에 적합

AWS IAM

• AWS 리소스에 대한 개별 액세스 및 그룹 액세스를 안전하게 제어 가능
• 사용자 자격 증명을 생성 및 관리
• 사용자에게 리소스에 액세스 할 수 있는 권한 부여 가능
• 외부의 사용자에게 권한 부여 가능

✔️ IAM 사용자 및 액세스 관리

• 사용자를 생성하거나, 사용자에게 개별 보안 자격증명 할당 가능
• AWS 서비스 및 리소스에 대한 액세스를 제공할 수 있도록** 임시 보안 자격 증명** 요청 가능
• 사용자가 수행할 수 있는 작업을 제어하는 권한 지정 가능

  ✔️ 연동 사용자의 액세스 관리

• 기업 디렉터리에서 관리하는 사용자에 대해 만료를 구성할 수 있는 보안자격증명을 요청하여, IAM 사용자 계정을 생성하지 않고도 리소스에 대한 보안 액세스 제공 가능
• 보안 자격 증명에 권한을 지정하여 사용자가 수행할 수 있는 작업 제어

AWS CodeDeploy

• EC2. Fargate, Lambda 및 온프레미스 서버와 같은 다양한 서비스에 대한 소프트웨어 배포를 자동화하는 완전관리형 배포 서비스
• 새로운 기능을 더 쉽고 빠르게 출시 가능
• 애플리케이션을 배포하는 동안 가동 중지 시간을 줄이는데 도움
• 복잡한 애플리케이션 업데이트 작업을 처리 가능
• 소프트웨어 배포를 자동화함으로써 오류가 발생하기 쉬운 수동 작업을 제거 가능
• 배포 요구 사항에 맞게 서비스 확장 가능

📌 클라우드 개념

AWS 마이그레이션 이점

• 낮은 가변 비용 및 낮은 초기비용 1) 자본 비용을 가변 비용으로 교환
• 데이터 센터와 서버에 대해 막연한 투자대신 컴퓨팅 리소스 사용시에만 비용 지불

2) 대규모 경제의 이점

• 클라우드 컴퓨팅 사용시, 스스로 얻는것 보다 더 낮은 가변 비용을 달성 가능

3) 용량 추측 중지

• 인프라 용량 요구에 대한 추측 제거
• 필요한 만큼의 용량에 액세스 가능

4) 속도 및 민첩성 향상

• 새로운 IT 리소스는 클릭 한번으로 가능
• 개발가가 리소스를 사용할 수 있도록 하는데 걸리는 시간을 단축할수 있음
• 실험 및 개발에 소요되는 비용과 시간이 현저히 낮기 때문에 민첩성 향상

5) 데이터 센터 운영 및 유지 비용 지출 중단

• 인프라가 아닌 비즈니스에 집중 가능
• 서버 랙, 스태킹 및 전원 공급의 부담이 X

클라우딩 컴퓨팅의 주요 모델

✔️ IaaS 서비스로서의 인프라

• 네트워킹 기능, 컴퓨터(가상 또는 전용 HW) 및 데이터 스토리지 공간 제공
• IT리소스에 대해 가장 높은 수준의 유연성과 관리 제어를 제공

✔️ PaaS 서비스로서의 플랫폼

• 기본 인프라(HW, OS 등)를 관리할 필요 X , 애플리케이션 개발과 관리에 집중 가능
• 애플리케이션 실행과 관련된 리소스구매, 용량 계획, SW 유지 관리, 패치 또는 다른 모든 획일적인 작업에 부담 감소

✔️ SaaS 서비스로서의 소프트웨어

• 서비스 제공자에 의해 실행되고 관리되는 완전한 제품을 고객에게 제공
• 서비스가 어떻게 유지 관리되는지, 기본 인프라의 관리 여부를 생각할 필요 X
• ex) 웹 기반 이메일

AWS Transit Gateway

• 중앙 허브를 통해 VPC와 온프레미스 네트워크 연결
• 네트워크가 간소화되고 확장성 개선
• 단일 위치에서 모든 트래픽을 관리하고 모니터링 가능

📌 보안 및 준수

Amazon Macie

• 완전 관리형의 데이터 보안 및 데이터 프라이버시 서비스
• 기계학습 및 패턴 매칭을 활용하여 AWS에서 민감한 데이터 검색 및 보호

AWS Web Application Firewall (WAF)

• 가용성에 영향, 보안 위협, 리소스 과사용을 발생시키는 일반적인 웹 공격에 대한 보호 제공
• 공격패턴 차단하는 보안규칙 및 사용자가 정의한 특정 트래픽 패턴을 필터링 하는 규칙 생성 가능

DDoS

• 분산 서비스 거부
• 여러개의 손상된 시스템이 많은 양의 트래픽으로 대상에 서비스 장애를 발생시키기 위한 공격
• 합법적 사용자의 서비스 액세스 방해, 시스템 충돌 발생
• AWS는 AWS Shield Standard 및 AWS Shield Advanced 2개의 보호 제공

AWS CloudHSM

• 클라우드에서 자체 암호화 키를 손쉽게 생성 및 사용하게 지원하는 클라우드 기반 하드웨어 보안 모듈(HSM)
• 사용자를 위해 하드웨어 프로비저닝, 소프트웨어 패치, 고가용성, 백업 등 시간 소모적인 관리 작업을 자동화하는 완전 관리형 서비스

📌 결제 및 요금

AWS Billing 비용 할당 태그

• 태그 : 사용자 또는 AWS가 AWS 리소스에 할당하는 레이블, _키+값_으로 구성
• 각 리소스에 대해 고유한 태그 키를 가져야 하며, 각 태그 키는 하나의 값만 가질수 있음
• AWS에서 생성한 태그와 사용자 정의 태그를 별도로 활성화 해야, 비용 탐색기 똔느 비용할당 보고서에 표시 될수 있음

방법

• docker commit 명령
• Dockerfile

명령으로 이미지 생성

docker diff

docker diff <CONTAINER>

기준 이미지 <-> 컨테이너 차이

• A: Add
• C: Change
• D: Delete

docker commit

$ docker commit [OPTIONS] CONTAINER [REPOSITORY[:TAG]]

CMD 변경

$ docker commit -c "CMD XXX" CONTAINER [REPOSITORY[:TAG]]

ExposedPort 변경

$ docker commit -c "EXPOSE PORT/PROTOCOL" CONTAINER [REPOSITORY[:TAG]]

ExposedPort는 실제 작동여부와 상관 X CMD /usr/sbin/apache2ctl -D FOREGROUND /bin/sh -c /usr/sbin/apache2ctl -D FOREGROUND

docker cp

컨테이너 -> 도커 호스트

$ docker cp CONTAINER:SRC_PATH DEST_PATH

도커 호스트 -> 컨테이너

$ docker cp SRC_PATH CONTAINER:DEST_PATH

/bin/sh -c /usr/sbin/apache2ctl -DFOREGROUND

이미지 레이어

레이어를 가지는 이유 == 저장소 및 네트워크 전송 효율성 높임

httpd:latest

sha256:9c1b6dd6c1e6be9fdd2b1987783824670d3b0dd7ae8ad6f57dc3cea5739ac71e
sha256:1d1a2486e901871ad1257512d588eebb30ae0605d8353abb6635e2d313b2187c
sha256:ec02eb7f3cf4dd78bc518d3a8ccf57f57336ceacb9638303891787ff2ec2e96f
sha256:67bb571b5bd2b65cbdf2c93c6f9dc8e89414055dd7444df617b23466996f3be7
sha256:e83f42350a11889083536c5af330dcf15fd3624f8e956f4086e1f0cfb07ff246

myhttpd:latest

sha256:9c1b6dd6c1e6be9fdd2b1987783824670d3b0dd7ae8ad6f57dc3cea5739ac71e
sha256:1d1a2486e901871ad1257512d588eebb30ae0605d8353abb6635e2d313b2187c
sha256:ec02eb7f3cf4dd78bc518d3a8ccf57f57336ceacb9638303891787ff2ec2e96f
sha256:67bb571b5bd2b65cbdf2c93c6f9dc8e89414055dd7444df617b23466996f3be7
sha256:e83f42350a11889083536c5af330dcf15fd3624f8e956f4086e1f0cfb07ff246
sha256:4b8c655a2e61d6f017f3a5cc103fe6bbb6f71bba663085fdae697861dd57695

myhttpd:p8080

sha256:9c1b6dd6c1e6be9fdd2b1987783824670d3b0dd7ae8ad6f57dc3cea5739ac71e
sha256:1d1a2486e901871ad1257512d588eebb30ae0605d8353abb6635e2d313b2187c
sha256:ec02eb7f3cf4dd78bc518d3a8ccf57f57336ceacb9638303891787ff2ec2e96f
sha256:67bb571b5bd2b65cbdf2c93c6f9dc8e89414055dd7444df617b23466996f3be7
sha256:e83f42350a11889083536c5af330dcf15fd3624f8e956f4086e1f0cfb07ff246
sha256:4b8c655a2e61d6f017f3a5cc103fe6bbb6f71bba663085fdae697861dd57695a
sha256:fffe7ea283ae8867d740e17f619c4db845cb0d75fc655809185e582601786521

docker history

이미지 생성 로그 확인

$ docker history <IMAGE>

docker export

컨테이너 -> 아카이브

$ docker export <CONTAINER> -o <TARFILE>

docker import

아카이브 -> 이미지

$ docker import <TARFILE> <IMAGE>:<TAG>

1개의 레이어로 가져오기

⭐️ Dockerfile 이미지 생성

FROM

Base Image

$ FROM <image>
$ FROM <image>[:<tag>]
$ FROM <image>[@<digest>]

RUN

빌드시 실행할 명령

Shell Form

RUN yum install httpd

=> /bin/sh -c yum install httpd

Exec Form

RUN ["yum", "install", "httpd"]

=> exec yum install httpd

exec는 명령 X

CMD

기본 실행 어플리케이션

Shell Form

CMD /usr/sbin/httpd -DFOREGROUND

=> /bin/sh -c yum install httpd

Exec Form(선호)

CMD ["/usr/sbin/httpd", "-DFOREGROUND"]

EXPOSE

외부에 노출할 포트 및 프로토콜

$ EXPOSE <PORT>/<PROTOCOL>

ENV

쉘 환경 변수

ENV MY_NAME="John Doe"
ENV MY_DOG=Rex\ The\ Dog
ENV MY_CAT=fluffy

ADD/COPY

도커 호스트 -> 컨테이너 파일 복사

ADD <SRC> <DEST>
COPY <SRC> <DEST>

ADD는 SRC로 URL 지정 가능

ENTRYPOINT

CMD의 명령으로 사용

VOLUME

자동으로 마운트할 볼륨 마운트 포인트 지정

VOLUME /myvol

WORKDIR

작업 디렉토리 RUN, CMD, ENTRYPOINT, ADD, COPY에 영향을 미침

WORKDIR /usr/local

레이어

RUN, ADD, COPY 레이어를 만듦

예제

mkdir -p ~/image-build/myweb
cd ~/image-build/myweb

Dockerfile

FROM centos:7
RUN yum install -y httpd
ADD index.html /var/www/html/index.html
CMD ["/usr/sbin/httpd", "-DFOREGROUND" ]
EXPOSE 80/tcp

index.html

hello dockerfile

docker build -t myweb:centos .

Linux Timezone 설정

/etc/localtime 파일이 가리키고 있는 파일이 시간대

시간대 /usr/share/zoneinfo/*

$ sudo ln -sf /usr/share/zoneinfo/Asia/Seoul /etc/localtime

$ sudo timedatectl

ubuntu 20.04/focal 이미지 부터 시간대가 설정되어 있지 않음 우회: ENV DEBIAN_FRONTEND=noninteractive