Mobile 환경 QA를 하다 보면 한 번쯤 꼭 부딪히는 문제가 있습니다. 바로 “모바일에서 staging 환경을 어떻게 자연스럽게 테스트할 것인가?” 입니다.

Mobile QA에서 겪는 현실적인 문제

PC 환경에서는 비교적 간단합니다. /etc/hosts 파일만 수정하면 특정 도메인을 원하는 IP로 매핑해서, staging 서버로 트래픽을 보낼 수 있기 때문입니다.

하지만 모바일 환경은 이야기가 다릅니다.

• 모바일 환경에서는 /etc/hosts 파일을 직접 수정하기 어려움
• 서비스 도메인을 IP로 직접 입력하거나 우회 방법을 써야 하는 번거로움 존재
• 실제 서비스 도메인을 기반으로 한 동작(쿠키, 인증 등)을 검증하기 어려움

결국, “진짜 사용자 환경과 동일한 QA”를 하기가 쉽지 않습니다.

이 문제를 해결하기 위해 접근한 방식은 단순합니다. 모바일에서 hosts 수정은 어렵지만, Wi-Fi에 연결된 DNS 서버는 변경할 수 있습니다.

여기서 등장하는 게 바로 dnsmasq 입니다.

구성 아이디어

구성은 생각보다 단순합니다.

1. 간단한 DNS 서버(dnsmasq) 구축
2. 특정 도메인을 staging IP로 강제 매핑
3. 테스트용 Wi-Fi에서 해당 DNS를 사용하도록 설정

이렇게 되면?

test.example.com → (DNS) → staging IP 🎯 목적

이 구조의 핵심 목적은 명확합니다.

모바일 테스트 환경에서도 실제 서비스 도메인을 그대로 사용 요청은 staging 서버로 전달 테스트 단말은 Wi-Fi 연결만으로 자동 세팅 완료

👉 즉, “아무 설정 없이 QA 가능한 환경”을 만드는 것

기대 효과

이 방식의 장점은 꽤 강력합니다.

✅ 1. QA 준비 시간 단축 매번 IP 입력하거나 별도 설정할 필요 없음 Wi-Fi 연결만 하면 바로 테스트 가능 ✅ 2. 실제 환경과 동일한 테스트 도메인을 그대로 사용 쿠키 / 인증 / 세션 / 리디렉션 정상 동작 ✅ 3. 테스트 일관성 확보 QA 인원마다 환경 차이 없음

에뮬레이터나 IP 직접 입력 방식은 결국 한계가 있습니다.

하지만 DNS 기반으로 진행하면 가장 현실에 가까운 QA 환경을 만들 수 있어 간단하게 구축하는 방법을 소개하고자 합니다.

1. 구성도

앞서 이야기 한 것처럼 생각보다 구축은 간단합니다. 테스트 DNS 서버에 dnsmasq 패키지를 설치한 후, QA 환경에 맞게 config 파일을 수정해주면 됩니다.

• 구축 환경
  • OS : Ubuntu 24.04
  • Dnsmasq : version 2.90

2. DNS 서버 구축

2.1 dnsmasq 설치

• dnsmasq 설치

  apt update
  apt update dnsmasq

• 로컬 DNS Resolver 변경

대부분 리눅스에서 systemd-resolved는 기본으로 떠있고,

127.0.0.53:53  ← systemd-resolved (stub resolver)

이미 systemd-resolver가 53번 포트 점유하고 있어 dnsmasq로 Resolver를 변경합니다.

vi /etc/systemd/resolved.conf

## resolved.conf 
#Cache=no-negative
#CacheFromLocalhost=no
DNSStubListener=no
#DNSStubListenerExtra=

rm /etc/resolv.conf
ln -s /run/systemd/resolve/resolv.conf /etc/resolv.conf
systemctl restart systemd-resolved
systemctl restart dnsmasq

• 서비스 체크

  netstat -nltp

  

2.2 dnsmasq 설정 변경

• config 설정 변경

  vi /etc/dnsmasq.conf
  

dnsmasq.conf

interface=ens3 # 각 서버 네트워크 인터페이스에 맞게 조정 bind-interfaces log-queries log-facility=/var/log/dnsmasq.log local-service

상위 DNS 서버 지정 (dnsmasq가 모르는 도메인은 여기로 물어봄)

server=1.1.1.1 server=8.8.8.8

로컬 도메인 우선 참조

domain-needed bogus-priv

- **resolver 설정 변경**
``` bash
vi /etc/resolv.conf
nameserver 127.0.0.1
#nameserver 1.1.1.1 # 기존 nameserver 주석처리
search openstacklocal

• dnsmasq 재시작

  systemctl restart dnsmasq.service
  systemctl status dnsmasq.service

  

3. DNS 사용 방법

• host 설정

  • /etc/hosts 에서 host 설정 진행
  • CNAME으로 위임된 Domain은 CNAME까지 hosts 설정

• host 설정 후 dnsmasq 재시작

  systemctl restart dnsmasq.service

3.1 iOS Wi-Fi 설정

• Wi-Fi 연결 후 설정 진입
• DNS 구성 클릭
• DNS: 수동, DNS 서버: DNS 서버 IP입력

3.2 Android 설정

• Wi-Fi 연결 후 더보기 열기
• DNS: 고정, DNS1: 서버 IP입력

3.3 정상 질의 확인

• dnsmasq.log 확인

  tail -f /var/log/dnsmasq.log

  

모바일 환경에서는 단순한 설정 하나도 제약이 많지만, DNS를 활용하면 오히려 더 유연하고 강력한 테스트 환경을 구성할 수 있습니다.

이번 구성을 통해 Wi-Fi 연결만으로 staging 환경을 자연스럽게 검증할 수 있는 QA 환경을 만들 수 있었고, 실제 사용자와 동일한 조건에서 테스트할 수 있다는 점에서 큰 의미가 있었습니다.

리눅스를 사용하며 root 비밀번호를 잃어버리거나 인스턴스(VM)이 정상적으로 부팅이 되지 않을 때가 있습니다. 저 역시 최근 PAM 정책 설정을 Ansible로 진행하다가 Script 오타로 인해 SSH 접근이 막혀 곤란했던 경험이 있습니다. 이런 곤란한 경험을 조금이라도 줄여주는 Single User Mode 부팅 방법을 설명드리겠습니다.

1. Single User Mode란?

• Single User Mode?

  • 한 명의 사용자(root)만 접속 가능한 최소 환경으로 OS를 부팅하는 방식
  • 네트워크, 대부분의 서비스, 데몬을 띄우지 않음
  • 윈도우의 안전모드와 비슷한 방식
  • 리눅스의 경우 GRUB라는 부트로더를 통해 부팅 진행
  • runlevel 1로 실행

• 사용 사례?

  • root 비밀번호 분실
  • 파일 시스템(fstab 등) 오류 복구
  • 네트워크 없이 로컬에서 강제 복구

2. GRUB(부트로더)란?

간단하게 부트로더 및 서버 부팅 흐름에 대해 설명하겠습니다 (알면 좋음)

• 서버 부팅 흐름

위에서 보이는 그림 중 Boot Loader에 대해 알아보고 가겠습니다~!

• GRUB?
  • Linux에서 가장 많이 쓰이는 부트로더
  • OS/커널 로딩
    • 디스크에서 Linux 커널과 initramfs(Initial RAM File System)를 직접 읽어 RAM에 적재
  • 커널 실행 후 제어권을 커널에 넘김

3. Single Mode 부팅 방법

위의 내용들을 잘 생각 하면서, Single Mode로 부팅하는 방법을 알아보겠습니다.

3.1 GRUB 진입

진입하는 방법은 OS에 따라 다르지만 ctrl + X, ESC, Shift 키 등 다양합니다. 전원을 넣은 즉시 연속적으로 클릭하여 GRUB에 진입합니다.

3.2 GRUB Kernel Parameter 수정

부팅 할 OS 선택 후 E 키를 눌러 커널 진입 화면을 내리다 보면 해당 파라메터들이 보입니다.

3.3 시스템 재시작

ro 부분을 rw init=/bin/bash로 변경 이후 Ctrl + X를 눌러 재부팅을 진행해 줍니다. 재부팅이 된다면 아래와 같이 Single Mode에서 패스워드 재시작 및 파일시스템 재마운트를 진행해주시면 됩니다.

3.4 간단한 방법(Recovery Mode)

4. GRUB 보안

앞서 말씀드린 방법을 사용하여 AWS, GCP 등 CSP 계정을 탈취 당하였을때 서버 내부의 정보들이 해킹당할 위험이 있을텐데요 이 위험을 방지하기 위해 GRUB에 암호를 설정하여 비인가 사용자의 접근이나 커널 매개변수 조작을 방지할 수 있습니다.

4.1 GRUB 비밀번호 생성

sudo grub-mkpasswd-pbkdf2

패스워드 입력 후 결과 값을 복사해둡니다.

4.2 GRUB 커스텀 설정 파일 수정

sudo vi /etc/grub.d/40_custom

set superusers="admin"
password_pbkdf2 admin [비밀번호_해시]

4.3 설정 업데이트 및 적용

sudo update-grub

4.4 설정 적용 확인

앞서 말씀드린대로 다시 재부팅을 실행하고 GRUB에 진입하려고 할 때 아래와 같이 username과 password를 입력하는 창이 나오게 됩니다.

4.5 실무 적용

만약 위의 설정처럼 적용하게 된다면 서버가 오류로 인해 재부팅이 될 경우 GRUB 화면에서 멈춰 Kernel을 로드하지 못해 서버가 정상적으로 재부팅 되지 않을 것입니;다. 실무에서는 부팅 메뉴 편집 제한을 통해 GRUB 보안을 강화합니다.

• 설정 파일 수정

  sudo vi /etc/grub.d/10_linux

  # 수정 전
  CLASS="--class gnu-linux ..."
  
  # 수정 후
  CLASS="--class gnu-linux --class gnu --class os --unrestricted"

• 설정 업데이트 및 적용

  sudo update-grub

해당 설정을 적용하게 된다면, GRUB 수정을 진행하려고 할 때 아까와 같이 super user의 ID와 PW를 요구하게 됩니다.

이전 포스팅에서 잠깐 언급했던 DRM에 대해 이번 글에서 좀 더 자세히 소개해보려고 합니다! 요즘은 Netflix, Disney+, Coupang Play 등 다양한 OTT 서비스를 통해 디지털 콘텐츠를 시청하는데요, 이때 콘텐츠 보안은 매우 중요한 요소입니다. 콘텐츠가 유출될 경우 서비스 제공자뿐 아니라 제작사에도 큰 피해가 발생할 수 있기 때문이죠. 이러한 이유로 많은 기업들은 Multi DRM 솔루션을 도입해 콘텐츠 유출을 방지하고, 보다 안전하게 콘텐츠를 제공하고 있습니다. 이번 포스팅에서는 Multi DRM이 무엇인지, 그리고 어떤 역할을 하는지 쉽게 이해할 수 있도록 설명해드리겠습니다.

1. DRM이란?

• DRM(Digital Rights Management)?

  • 각종 디지털 콘텐츠의 불법적인 사용을 제한하고, 승인된 사용자의 콘텐츠 사용을 저작권 소유자의 의도에 따라 제어하는 기술
  • DRM은 콘텐츠를 암호화하고, 이용권(라이선스)을 인증된 사용자·기기에게만 발급해 합법적 범위 내에서만 재생 및 이용을 허용

• DRM의 중요 기능

  • 접근 제어 인증된 사용자나 유효한 라이선스를 가진 경우에만 콘텐츠 접근을 허용
  • 복사 방지 콘텐츠 파일 자체를 무단으로 복사하거나 저장하는 것을 방지
  • 사용기간 / 횟수 제한 콘텐츠를 특정 기간 동안만 사용하게 하거나, 정해진 횟수만큼만 재생/열람할 수 있게 제한
  • 스크린샷 제한 화면 캡처(스크린샷) 기능을 막아 콘텐츠 유출을 방지
  • 워터마크/핑거프린트 콘텐츠에 사용자의 고유 식별 정보나 소유권 정보를 삽입하여 불법 유통 시 출처를 추적할 수 있게 함

• DRM의 작동 방식

위 그림은 DRM인증을 받는 플로우를 간단하게 Sequence 다이어그램으로 표현한 것입니다. DRM 인증서버 중간에 Video Service(백엔드)가 결합되어 있다는 가정하에 설명드리겠습니다.

1. 콘텐츠 패키징 및 암호화

• 원본 콘텐츠를 "콘텐츠 키"로 암호화 하여 키 없이는 내용을 볼 수 없게 만듭니다.

2. 사용자 인증 및 Token 요청

• 사용자가 콘텐츠 재생을 요청하면(재생 버튼 클릭) DRM 모듈을 통해 Video Service에 토큰 발급을 요청합니다.
• 이 때 사용자의 인증정보, 장치 정보 등 다양한 정보가 전송됩니다.

3. 라이선스 발급 및 전송

• DRM 서버에서는 사용자 인증 정보 및 Token 정보를 확인하여 해당 사용자, Token이 유효한지 판단하고 유효하다면 라이선스를 발급해줍니다.

4. 복호화 및 콘텐츠 재생

• 사용자는 발급받은 라이선스를 이용하여 암호화된 콘텐츠를 복호화 하고, 콘텐츠를 재생합니다.

이렇게 4단계로 암호화된 콘텐츠를 복호화 하여 콘텐츠를 재생 합니다.

2. Multi DRM이란?

앞서 말씀드린것처럼 복잡한 암호화 / 복호화 과정을 거쳐야만 콘텐츠를 재생할 수 있는 DRM은 운영체제(Android, iOS 등)와 브라우저(MS Edge, Chrome 등)마다 지원 방식이 서로 다릅니다. 또한 휴대폰, PC, 태블릿, TV 등 재생 환경이 매우 다양하기 때문에, 모든 기기에서 안정적으로 콘텐츠를 보호하고 재생하기 위해 Multi DRM 솔루션을 사용하는 것이 일반적입니다.

• Multi DRM?

  • Multi-DRM은 하나의 서비스에서 Widevine, PlayReady, FairPlay 같은 서로 다른 DRM들을 한꺼번에 관리·제공해서, 어떤 기기·브라우저에서도 동일한 콘텐츠를 안전하게 재생할 수 있게 만드는 통합 DRM 시스템

• Multi DRM 솔루션 종류

  • Google Widevine: 안드로이드 및 크롬 브라우저에서 사용
  • Apple FairPlay: iOS 및 Safari 브라우저에서 사용
  • Microsoft PlayReady: 윈도우 및 엣지 브라우저에서 사용

• Multi DRM의 장점

  • 다양한 기기·브라우저에 대한 광범위한 호환성 확보
  • 콘텐츠 보안 정책의 통합 관리
  • 빠른 기술 적용 및 확장성
  • 관리·운영·모니터링의 단일화

• Multi DRM의 지원환경 DoveRunner / Multi DRM 지원환경

멀티 DRM의 지원 환경은 위 페이지에서 확인 가능합니다(DoveRunner사)

3. Multi DRM의 간단한 예제

지금까지 Multi DRM에 대해 알아보았으니 간단하게 DRM 인증 과정 예제를 보겠습니다.

위 그림은 Multi DRM(DoveRunner 사)이 적용된 샘플 예제입니다.

1. 플레이어(Client)에서 Token 발급 요청 → manifest.mpd 사용자는 Video Service(백엔드)로 Token 발급을 요청합니다. (manifest.mpd) 해당 파일 안에는

cenc(여러 DRM을 공통 포맷으로 암호화하는 표준) 해상도 값 DRM 정보 등이 존재합니다.

2. 라이선스 키 요청 → LicenseManager.do 발급받은 토큰을 활용하여 DRM Server에 라이선스를 요청합니다.

3. 영상 재생 → mpd.m4s 마지막으로 실제 영상 데이터가 담긴 비디오, 오디오 Segments를 재생합니다.

이렇게 DRM, Multi DRM에 대해 알아보았는데요 DRM과 Multi DRM은 단순한 암호화 기술을 넘어, 다양한 기기와 플랫폼에서 콘텐츠를 안전하게 보호하고 원활하게 재생할 수 있도록 하는 필수 기능입니다. 앞으로도 스트리밍 환경과 기기 다양성이 늘어날수록, Multi DRM의 중요성은 계속 커질 것입니다.

참고문헌

https://doverunner.com/kr/blogs/drm-introduction-application-guide/ https://docs.doverunner.com/ko/content-security/multi-drm/license/license-token/ https://docs.doverunner.com/ko/content-security/multi-drm/getting-started/supported-env/ https://www.cdnetworks.com/ko/glossary/digital-rights-management/

VPN 운영 중 다음과 같은 애로사항이 있었습니다.

1. 접속 로그는 남지만 실시간 접속 현황을 확인하기 어려움
2. UDP Inbound/Outbound가 차단된 환경에서는 VPN 사용이 어려움 이러한 문제를 해결하기 위해 기존 VPN에 TCP 연동을 추가하고, 보안 강화를 위해 접속 알림 기능을 구성하였습니다.

해당 글은 VPN 환경이 구성되었다는 전제 하에 작성된 글이기 때문에 VPN 구축에 대해 궁금하신 분들은 아래 글에서 구축 방법을 확인하고 오시는것도 도움이 될 것 같습니다!

VPN 서버 구축(feat. openvpn)

1. VPN TCP 연동

• 구축 배경

  • 일부 네트워크망(Wi-Fi, 관공서망, 해외망 등)에서 VPN 접속이 불가능한 사례 존재
  • OpenVPN의 기본 통신 프로토콜은 UDP이기 때문에, UDP 차단 환경에서는 연결이 이루어지지 않음
  • 따라서 TCP 연결을 구현하여 UDP가 차단되는 일부 망에서 TCP를 통한 VPN 연결을 지속하고자 함

• VPN TCP config 파일 생성

  cd /etc/openvpn/server
  cp server.conf server-tcp.conf

• server-tcp.conf 수정

  # server-tcp.conf
  # 포트변경
  port 443
  
  # TCP 연결
  proto tcp
  ;proto udp
  
  #가상 네트워크 인터페이스 변경
  dev tun1
  
  # TCP, UDP 서브네팅
  server 10.9.0.0 255.255.255.0
  
  # TCP, UDP 로깅 변경
  status /var/log/openvpn/openvpn-status-tcp.log
  
  # By default, log messages will go to the syslog (or
  # on Windows, if running as a service, they will go to
  # the "\Program Files\OpenVPN\log" directory).
  # Use log or log-append to override this default.
  # "log" will truncate the log file on OpenVPN startup,
  # while "log-append" will append to it.  Use one
  # or the other (but not both).
  log         /var/log/openvpn/openvpn-tcp.log
  log-append  /var/log/openvpn/openvpn-tcp.log
  
  # UDP에서 사용하는 옵션 제거
  ;explicit-exit-notify 1

• systemctl을 이용하여 VPN-TCP 서비스 등록 및 서비스 시작

  systemctl enable openvpn-server@server-tcp
  systemctl start openvpn-server@server-tcp.service
  systemctl status openvpn-server@server-tcp.service
  

  서비스 Active 확인

• TCP, UDP 포트 확인

  netstat -nlutp

  

• TCP 프로토콜 전용 .ovpn 생성

  • TCP로 통신하기 위해서는 새로운 .ovpn 파일이 필요
  • 기존 base.conf 파일을 cp해 새로운 config 파일 생성

  cp base.conf base-tcp.conf

  • base-tcp.conf

    ;dev tap
    dev tun1
    # Windows needs the TAP-Win32 adapter name
    # from the Network Connections panel
    # if you have more than one.  On XP SP2,
    # you may need to disable the firewall
    # for the TAP adapter.
    ;dev-node MyTap
    

  Are we connecting to a TCP or

  UDP server? Use the same setting as

  on the server.

  proto tcp ;proto udp

  The hostname/IP and port of the server.

  You can have multiple remote entries

  to load balance between the servers.

  remote my-server-2 443 #서버 IP 입력 ;remote my-server-2 1194

2. VPN 로그인 알림 설정(with Slack)

• 구축 배경
  • 보안 강화 및 무단 접속 탐지
  • 접속 이력의 투명성 및 감사 로그 확보
  • 운영 및 장애 대응 편의성

해당 설정은 OpenVPN에서 기본적으로 제공하는 OpenVPN Client Script Hooks 기능을 사용하여 구성하였습니다.

• Client 접속 성공 시 알림 스크립트 작성

  #!/bin/bash
  
  # ===============================================
  # FileName: client-connect.sh
  # Description: VPN 접속 시 user,ip,protocol,time 등의 정보를
  # Slack에 전송해주는 스크립트
  # server.conf, server-tcp.conf 에서 해당 스크립트 실행
  # Author: Chanyoung, Han
  # ver: 1.0.0
  # Last Modified: 2025-11-07
  # ===============================================
  
  SLACK_WEBHOOK_URL="WEBHOOKS URL"
  USER="$common_name"
  IP="$ifconfig_pool_remote_ip"
  SRC_IP="$trusted_ip"
  PROTO="$PROTO"
  TIME="$(date '+%Y-%m-%d %H:%M:%S')"
  
  MESSAGE="🟢  *VPN Connected*  
  *User:* ${USER}  
  *Protocol:* ${PROTO}
  *VPN IP:* ${IP}  
  *Source IP:* ${SRC_IP}  
  *Time:* ${TIME}"
  
  PAYLOAD=$(cat <<EOF
      {
      "channel": "#channel_name",
      "username": "VPN",
      "text": "${MESSAGE}",
      "icon_emoji": ":openvpn:"
      }
  EOF
  )
  
  curl -X POST -H "Content-type: application/json" --data "$PAYLOAD" "$SLACK_WEBHOOK_URL"
  

• Client 접속 해제 시 알림 스크립트 작성

  #!/bin/bash
  
  # ===============================================
  # FileName: client-disconnect.sh
  # Description: VPN 접속해제 시 user,ip,protocol,time 등의 정보를
  # Slack에 전송해주는 스크립트
  # server.conf, server-tcp.conf 에서 해당 스크립트 실행
  # Author: Chanyoung, Han
  # ver: 1.0.0
  # Last Modified: 2025-11-07
  # ===============================================
  
  SLACK_WEBHOOK_URL="WEBHOOKS URL"
  USER="$common_name"
  IP="$ifconfig_pool_remote_ip"
  SRC_IP="$trusted_ip"
  PROTO="$PROTO"
  TIME="$(date '+%Y-%m-%d %H:%M:%S')"
  
  MESSAGE="🔴 *VPN DisConnected*  
  *User:* ${USER}  
  *Protocol:* ${PROTO}
  *VPN IP:* ${IP}  
  *Source IP:* ${SRC_IP}  
  *Time:* ${TIME}"
  
  PAYLOAD=$(cat <<EOF
      {
      "channel": "#channel_name",
      "username": "VPN",
      "text": "${MESSAGE}",
      "icon_emoji": ":openvpn:"
      }
  EOF
  )
  
  curl -X POST -H "Content-type: application/json" --data "$PAYLOAD" "$SLACK_WEBHOOK_URL"

• Scripts 권한 부여

  chmod +x client-connect.sh
  chmod +x client-disconnect.sh

• server.conf 변경

  • 해당 내용 추가 후 저장

    # VPN Login Configs
    client-connect /etc/openvpn/client-connect.sh
    client-disconnect /etc/openvpn/client-disconnect.sh
    script-security 2   # 보안 Level 조정(Scripts 실행 허용)
    setenv PROTO UDP    # TCP일때는 PROTO TCP
    

• 시스템 재시작

  systemctl restart openvpn-server@server.service

• 알림 결과

저번 1탄에서는 트랜스코딩의 기본 개념과 테스트 설계에 대해 설명해 보았습니다. 이번 2탄에는 실제 서버에서 트랜스코딩 환경을 구축해보고 테스트 결과를 보겠습니다. 트랜스코딩에 대해 궁금하신 분은 아래 링크를 통해 내용을 보고 오시는 것을 추천드립니다!

GPU 트랜스코딩에 하드웨어 가속 얹어보기(feat. NVIDIA) - 1탄

1. 트랜스코딩 환경 구축

• 구축 환경
  • OS : Ubuntu 22.04
  • GPU : Quadro RTX 4000(Turing 아키텍처)
  • ffmpeg : 4.4.2

1.1 NVIDIA-Driver 설치

NVIDIA Driver란? 운영체제(OS)와 GPU 하드웨어를 연결해주는 소프트웨어 GPU를 인식하고, 연산·그래픽·인코딩 같은 기능을 사용할 수 있게 해준다

• 기존 NVIDIA Driver 삭제

  apt purge '^nvidia-.*'
  apt autoremove --purge
  apt clean

• NVIDIA Driver 설치

  apt install ubuntu-drivers-common
  ubuntu-drivers devices

  명령어 이후 나오는 recommended를 설치하시면 됩니다!

    apt-get install nvidia-driver-575
    nvidia-smi

  

1.2 CUDA Toolkit 설치

CUDA Toolkit 이란? NVIDIA GPU를 활용해 병렬 계산을 할 수 있게 해주는 플랫폼 & 개발 툴킷. 인코딩, 디코딩에는 쓰이지 않지만, FFmpeg CUDA 필터(scale_cuda, hwupload_cuda 등 GPU 연산용 필터)를 쓰려면 CUDA Toolkit이 필요

• NVIDIA Driver와 호환되는 Cuda 확인 Cuda 호환성 확인 위에 보이시는것처럼 제 NVIDIA-Driver는 575.57.08이기 때문에 CUDA 12.9 Update 1을 설치 진행하겠습니다.

• CUDA 설치 진행 CUDA ToolKit Archive

  • OS, Architecture 등 자신의 환경에 맞는 CUDA 선택

  • 하기 명령어대로 설치 진행

    wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin
    sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600
    wget https://developer.download.nvidia.com/compute/cuda/12.9.1/local_installers/cuda-repo-ubuntu2204-12-9-local_12.9.1-575.57.08-1_amd64.deb
    sudo dpkg -i cuda-repo-ubuntu2204-12-9-local_12.9.1-575.57.08-1_amd64.deb
    sudo cp /var/cuda-repo-ubuntu2204-12-9-local/cuda-*-keyring.gpg /usr/share/keyrings/
    sudo apt-get update
    sudo apt-get -y install cuda-toolkit-12-9

  • 환경변수 추가 및 저장

    vi /etc/profile
    

  export PATH=$PATH:/usr/local/cuda/bin export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/lib64 export CUDADIR=/usr/local/cuda

  환경변수 저장

  source /etc/profile

  - CUDA 설치 확인
  ```bash
  nvcc -V

  

1.3 nv-codec-headers 설치

nv-codec-headers 이란? FFmpeg이 NVENC/NVDEC API를 호출할 수 있게 해주는 헤더 파일 모음

• nv-codec-headers 설치 진행

  git clone https://github.com/FFmpeg/nv-codec-headers.git
  cd nv-codec-headers
  git checkout n11.1.5.1
  make && sudo make install

왜 최신 버전이 아니라 11.1.5.1로 설치하는가? 라고 말하면 ffmpeg 4.4.2 에 맞는 header가 저것이기 때문... 12버전으로 설치하는 순간 바로 ERROR 로그가 우수수....

여기까지가 ffmpeg을 설치하기 위한 사전 과정이였습니다.

이쯤에서 느끼는.. 패키지 매니저의 중요성.... apt install만 하면 설치되던것이 버전 맞추고 설정 해야하고... 생각보다 중요한 부분이였네요 ^^,,

1.4 ffmpeg 설치(4.4.2)

Ubuntu 22에서 공식적으로 지원하는 ffmpeg은 4.4.2 입니다. ffmpeg은 7버전까지 나왔지만 디코딩, 스케일링 가속은 4.4.2 버전에서도 가능해서 OS가 지원하는 최고 버전으로 설치 진행하였습니다.

추후 언급될 scale_npp 옵션을 사용하기 위해 github에서 소스를 다운받은 뒤 직접 컴파일 하여 ffmpeg을 사용하겠습니다. ffmpeg 하드웨어 가속 참고문서 ffmpeg 업데이트 News

• 필수 패키지 설치

  sudo apt-get install build-essential yasm cmake libtool libc6 libc6-dev unzip wget libnuma1 libnuma-dev

• ffmpeg git repo 다운로드

  git clone https://git.ffmpeg.org/ffmpeg.git ffmpeg/
  cd ffmpeg
  git checkout n4.4.2

• ffmpeg Configure

  ./configure \
    --enable-nonfree \
    --enable-nvenc \
    --enable-cuda-nvcc \
    --enable-libnpp \
    --extra-cflags="-I/usr/local/cuda/include -I/usr/local/include" \
    --extra-ldflags=-L/usr/local/cuda/lib64 \
    --nvccflags="-gencode arch=compute_75,code=sm_75" \
    --enable-gpl \
    --enable-libass \
    --enable-libbluray \
    --enable-libfontconfig \
    --enable-libfribidi \
    --enable-libfreetype \
    --enable-libvidstab \
    --enable-libx264 \
    --enable-libx265 \
    --enable-libvpx \
    --enable-libfdk-aac \
    --enable-libopus \
    --enable-libmp3lame \
    --enable-libxvid \
    --enable-libzmq \
    --enable-libzimg \
    --enable-libaom \
    --enable-libshine \
    --enable-libopenjpeg \
    --enable-libwebp \
    --enable-libsoxr \
    --enable-libspeex \
    --enable-libopenh264 \
    --enable-libmfx

• ffmpeg 컴파일

  make -j 8

• ffmpeg 설치

  sudo make install

• ffmpeg 버전 확인

  ffmpeg -version

  

2. GPU 트랜스코딩 테스트

이제 모든 환경이 준비되었으니 테스트를 진행해보겠습니다.

모든 테스트는 같은 환경(서버)에서 진행되었습니다.

2.1 GPU Pipeline vs CPU + GPU 트랜스코딩(단일파일)

# CPU + GPU 트랜스코딩 명령어
time ffmpeg -y -i input.mp4 -vf "scale=1280:720" -c:a copy -c:v h264_nvenc -b:v 5M output.mp4
#

# GPU pipeline 트랜스코딩 명령어
time ffmpeg -y -hwaccel cuda -hwaccel_output_format cuda -i input.mp4 -vf "scale_npp=1280:720" -c:a copy -c:v h264_nvenc -b:v 5M output.mp4

테스트 결과

GPU Pipeline으로 단일 파일을 트랜스코딩 한 결과가 약 2배 이상 빠른것으로 테스트 결과가 나왔습니다.

2.2 GPU Pipeline vs CPU + GPU 트랜스코딩(다중파일 3EA)

• CPU + GPU 동시 트랜스코딩 스크립트 "해당 스크립트는 동시 트랜스코딩 성능을 측정하기 위해 작성하였습니다."

  #!/bin/bash
  

3개의 ffmpeg 인코딩 작업을 동시에 실행하고,

각 실행의 출력 및 time 결과를 ffmpeg_time2.log에 저장

for i in {1..3}; do echo "=== Run $i ===" >> ffmpeg_time2.log { time ffmpeg -y -i input.mp4
-vf "scale=1280:720"
-c:a copy
-c:v h264_nvenc -b:v 5M
output_$i.mp4 ; } >> ffmpeg_time2.log 2>&1 & echo "" >> ffmpeg_time2.log done

wait echo "모든 인코딩 작업이 완료되었습니다."

- **GPU Pipeline 동시 트랜스코딩 스크립트**
"해당 스크립트는 동시 트랜스코딩 성능을 측정하기 위해 작성하였습니다."

```bash
#!/bin/bash

# 3개의 ffmpeg 인코딩 작업을 동시에 실행하고,
# 각 실행의 출력 및 time 결과를 ffmpeg_time.log에 저장

for i in {1..3}; do
    echo "=== Run $i ===" >> ffmpeg_time.log
    { time ffmpeg -y -hwaccel cuda -hwaccel_output_format cuda -i input.mp4 \
        -vf "scale_npp=1280:720" \
        -c:a copy \
        -c:v h264_nvenc -b:v 5M \
        output_$i.mp4 ; } >> ffmpeg_time.log 2>&1 &
    echo "" >> ffmpeg_time.log
done

wait
echo "모든 인코딩 작업이 완료되었습니다."

테스트 결과

이전 테스트에 비해 속도가 느려졌지만, 여전히 GPU Pipeline 구성이 더 빠른것을 확인할 수 있습니다.

2.3 GPU Pipeline vs CPU + GPU 트랜스코딩(다중파일 6EA)

스크립트는 2.2 스크립트에서 for문을 조정하면 됩니다!

테스트 결과

3. 테스트 종합

디코딩 + 스케일링을 사용하여 실제 모니터링을 진행했을때 ENC, DEC에서 GPU를 사용하는 것을 확인 할 수 있었습니다.

또한 테스트를 종합해볼때 6EA 이상 다중 트랜스코딩을 진행할때 GPU Pipeline 트랜스코딩의 성능이 줄어드는 결과가 나왔습니다.

왜 이러한 결과가 나왔을까요?

• GPU 리소스 경쟁
  • NVENC/NVDEC/커널 연산 등 GPU 내부 리소스는 한정됨.
  • NVDEC 디코딩, NPP 스케일링, NVENC 인코딩이 모두 동시에 여러 스트림을 처리할 때 GPU 내부 메모리, CUDA 코어, 엔진이 경쟁 → 스케줄링 대기 발생.
  • 1~2개는 GPU가 충분히 커버하지만 3개, 6개 이상부터는 큐 대기 및 context switch가 발생 → 성능 하락.

따라서 자신의 서버, GPU의 성능을 정확히 파악하여 특정 Queue 개수를 제한하여 트랜스코딩 성능을 향상하는 것이 중요합니다!

참고문헌 https://docs.nvidia.com/video-technologies/video-codec-sdk/11.1/ffmpeg-with-nvidia-gpu/index.html https://ffmpeg.org/index.html#news https://github.com/m-ab-s/media-autobuild_suite/issues/2522 https://developer.nvidia.com/blog/enabling-customizable-gpu-accelerated-video-transcoding-pipelines/

최근에 운영 중인 서버의 OS 업그레이드 작업을 맡게 되었습니다. 이 서버는 주로 FFmpeg을 이용한 동영상 트랜스코딩을 담당하고 있었는데, OS 버전이 올라가면서 기존에 사용하던 FFmpeg 패키지와의 호환성 문제로 인해 FFmpeg 패키지도 최신 버전으로 업그레이드를 진행했습니다. 업그레이드 검토 중 문서를 살펴보다 보니 FFmpeg이 생각보다 꽤 많은 기능이 추가되어 있었고 문득 이런 생각이 들었습니다. “지금 이 서버가 내는 성능(속도)이 과연 최선일까?” 그래서 단순히 업그레이드에서 끝내지 않고, 실제로 성능 테스트와 튜닝을 진행해 보기로 했습니다. 이번 글에서는 그 과정과 성능 최적화 테스트 결과를 공유하고자 합니다.

1. 트랜스코딩이란?

• 트랜스코딩(Transcoding)은 원본 미디어 파일을 다른 형식이나 설정으로 변환하는 과정입니다.
• 왜 트랜스코딩 과정을 거치지?
  • 호환성 확보 → 모든 장치가 미디어 형식(코덱)을 지원하지 않기 때문에 미디어 파일을 재생할 수 있는 호환 장치의 수를 최대화하기 위해
  • 파일 크기 최적화 → 고화질의 원본은 크기가 매우 커 공간 많이 차지해 스트리밍 시 버퍼링 문제를 일으킬 가능성이 많아 크기 최적화을 진행
  • 품질 조정 → 사용자의 네트워크 환경에 따라 다양한 해상도로 재생하기 위해 1080P, 720P 등 다양한 품질로 미디어 파일을 변환

2. 트랜스코딩 진행 로직

트랜스코딩에 대해 개념을 알았으니 이제 미디어 파일(동영상)이 어떻게 트랜스코딩 되어 사용자들에게 보여지는지 과정을 알아보겠습니다

• Input File
  • 원본 미디어 파일을 트랜스코딩 하기 위해 준비하는 작업
  • ex) test.mp4, sample.mkv
• Demuxing
  • 입력 파일에서 비디오, 오디오, 자막 등 여러 데이터 스트림을 분리하는 과정
  • ex) sample.mkv 파일에서 H.265 비디오 스트림과 DTS 오디오 스트림을 분리
• Decoding
  • 분리된 데이터 스트림의 압축을 해제하여 원시 데이터로 만드는 과정
  • ex) 압축된 비디오 스트림을 RGB나 YUV와 같은 원시 비디오 데이터로 변환
• Filters & Processing
  • 디코딩 된 원시 데이터(영상/음성)를 원하는 형태로 가공
  • ex) 해상도 변경 : 4K원본 비디오를 1080P 해상도로 줄인다 로고 추가 : 비디오 오른쪽 하단에 회사 로고 삽입
• Encoding
  • 필터링된 원시 데이터를 원하는 코덱을 사용해 다시 압축
  • ex) H.265 → H.264로 변환, DTS → AAC 변환, Bitrate 변환
• Muxing
  • 새롭게 인코딩 된 비디오와 오디오 스트림을 하나의 파일에 합치는 과정
  • ex) H.264 비디오 스트림 + AAC 오디오 스트림 = final.mp4
• Output File
  • 위의 모든 과정을 거쳐 최종적으로 생성된 파일
  • ex) final.mp4 / 1080p, 5M Bitrate, .mp4

3. GPU 하드웨어 가속이란?

• GPU 하드웨어 가속은 미디어 처리(인코딩, 디코딩 등)에서 GPU의 병렬 처리 능력을 활용하여 작업 성능을 극적으로 높이는 기술입니다.

앞서 이야기 했던 Decoding, Filters & Processing, Encoding을 CPU 대신 GPU를 이용하여 동영상 트랜스코딩의 속도를 획기적으로 향상시킬 수 있습니다.

• 어떻게?
  • 추후에 기술할 NVIDIA의 GPU에는 전용 디코더(NVDEC)과 인코더(NVENC)이 내장되어 있어 이 전용 GPU가 압축된 스트림을 처리합니다.
  • 디코더가 만든 프레임은 GPU 메모리에 올라갑니다. 이 상태에서 GPU 필터(scale_npp)로 처리하고 다시 인코더로 넘겨 GPU Pipeline을 만듭니다.

4. 테스트 설계(GPU Pipeline 구성)

먼저 기존의 트랜스코딩 로직을 분석해 보았습니다.

• 기존 트랜스코딩 로직 기존 트랜스코딩 로직에서는 Encoding 과정에서만 GPU를 사용하여 미디어를 변환하고 있었습니다. 실제 서버에서 확인했을경우 아래의 사진처럼 decoding에는 GPU를 하나도 쓰지 않는것을 확인 할 수 있었습니다.

• GPU Pipeline 로직 기존 CPU로 처리하던 Decoding, Filters & Processing 과정을 GPU로 처리하여 하나의 GPU Pipeline을 만들어 속도를 획기적으로 높일 수 있습니다.

간단하게 비교표를 만들어 보았습니다.

위 내용을 간단하게 정리해보면

데이터 전송 병목 현상을 완전히 제거하여 CPU-GPU 간 데이터 전송 없이 모든 연산이 GPU 내부에서 고속으로 이루어지므로, 트랜스코딩 속도가 획기적으로 향상됩니다.

해당 로직을 바탕으로 패키지를 설치해보고 테스트를 진행해보도록 하겠습니다.

참고문헌

https://www.cdnetworks.com/ko/blog/media-delivery/what-is-transcoding/ https://towardsdatascience.com/breaking-the-bottleneck-gpu-optimised-video-processing-for-deep-learning/

[CDN] GPU 트랜스코딩에 하드웨어 가속 얹어보기(feat. NVIDIA) - 2탄

실무를 수행하며 HLS라는 단어를 처음 들어봤습니다. CDN 업무를 수행하며 OVP(Online Video Platform)을 운영하고 있는데요 처음에 HLS에 대한 정보도 부족하고 어떻게 실제 작동하는지에 대한 지식이 부족해 어려움을 겪었습니다. 지금은 어느정도 HLS에 대해 이해하고 있지만 알고 있는 내용을 한번 정리해 보기 위해 이 글을 씁니다.

1. HLS란?

• HTTP Live Streaming(HLS)는 Apple에서 개발한 미디어 스트리밍 프로토콜로 비디오 콘텐츠를 인터넷을 통해 실시간 또는 On-demand로 스트리밍 하는데 사용됩니다. 현재 널리 사용되는 Adaptive Bitrate StReaming(ABR) 입니다.

• HLS의 특징으로는

  • HTTP 기반의 스트리밍
  • 적응형 비트레이트(Adaptive Bitrate) 지원
  • 파일 분할 및 플레이리스트 구조
  • 높은 호환성 및 접근성
  • CDN과의 통합 용이
  • VOD, Live 모두 사용 가능

  이 있습니다.

2. HLS의 구조

• Master Playlist(.m3u8)
  • 여러 개의 미디어 플레이리스트를 참조하는 최상단 m3u8, 서로 다른 해상도, 비트레이트를 포함합니다.
• Media Playlist(.m3u8)
  • 각 세그먼트들의 위치(URL), 순서, 길이 등의 정보를 담고 있는 메타데이터 파일 입니다.
• Media Segment(ts)
  • 전체 영상이 수 초 단위로(보통 2~10초) 분할된 미디어 조각입니다. MPEG-TS 포맷을 주로 사용합니다.

그림을 보면 조금 더 이해가 쉬워 그림을 한번 봐볼까요?

위의 그림처럼 Master Playlist 안에는 다양한 품질의 Media Playlist가 있으며 그 안에는 미디어 조각들인 Media Segment가 존재합니다.

예시를 보며 조금 더 자세히 알아보겠습니다.

실제 HLS 영상을 분석할때, Chrome 개발자 도구를 사용해서 Master Playlist, Media Playlist, Media Segment를 다운로드 하는 것을 볼 수 있습니다.

먼저 Master Playlist의 내용을 보겠습니다. (여기에서는 playlist.m3u8)

#EXTM3U
#EXT-X-STREAM-INF:BANDWIDTH=3513750,RESOLUTION=1920x1080,FRAME-RATE=25.000,NAME="1080P",CLOSED-CAPTIONS=NONE
https://test/good_1080P/v/chunklist.m3u8
#EXT-X-STREAM-INF:BANDWIDTH=1241250,RESOLUTION=1280x720,FRAME-RATE=25.000,NAME="720P",CLOSED-CAPTIONS=NONE
https://test/good_720P/v/chunklist.m3u8
#EXT-X-STREAM-INF:BANDWIDTH=351250,RESOLUTION=640x360,FRAME-RATE=25.000,NAME="360P",CLOSED-CAPTIONS=NONE
https://test/good_360P/v/chunklist.m3u8

앞서 설명드렸던 것처럼 다양한 품질의 Media Playlist들의 URL을 가지고 있는것을 알 수 있습니다.

이 URL을 바탕으로 사용자들의 대역폭(Bandwidth)를 측정하여 대역폭에 맞는 동영상을 재생하게 됩니다.

그러면 사용자의 대역폭은 어떻게 알 수 있을까요? ➡️ 플레이어(HLS.js, Safari 등)가 일부 세그먼트를 다운로드해보고, 그 속도와 크기를 기반으로 실제 네트워크 대역폭을 계산해서 알맞은 해상도를 선택합니다.

위의 Master Playlist의 태그의 의미는 #EXTM3U : 파일이 M3U8 형식(HLS playlist)임을 나타내는 태그 #EXT-X-STREAM-INF : 미디어 플레이리스트에 대한 정보를 제공하는 태그

두번째로 Media Playlist 입니다. (여기서는 chunklist.m3u8)

#EXTM3U
#EXT-X-VERSION:3
#EXT-X-TARGETDURATION:10
#EXT-X-MEDIA-SEQUENCE:0
#EXTINF:10.0,
/test/good_1080P/v/0.ts
#EXTINF:10.0,
/test/good_1080P/v/1.ts
#EXTINF:10.0,
/test/good_1080P/v/2.ts
#EXTINF:7.28,
/test/good_1080P/v/3.ts
#EXT-X-ENDLIST

Media Playlist안에는 전체 영상에서 특정 시간 초로 분리된 미디어 조각들의 정보가 있습니다. 이 미디어 조각들을 다운로드 하며 영상을 재생하는 구조로 설명할 수 있습니다.

위의 Media Playlist의 태그의 의미는

#EXTM3U : 파일이 M3U8 형식(HLS playlist)임을 나타내는 태그 #EXT-X-VERSION:3 : HLS 버전 3 사용 #EXT-X-TARGETDURATION:10 : 가장 긴 세그먼트의 재생 시간 (초) 기준값 #EXT-X-MEDIA-SEQUENCE:0 : 첫 세그먼트의 순번 (시작 인덱스) #EXTINF:10.0 : 다음 세그먼트의 재생 시간 (초 단위) #EXT-X-ENDLIST : 더 이상 세그먼트가 없음을 의미 (VOD 완료 표시) 입니다.

마지막으로 Media Segmnet입니다. (여기에서는 0.ts)

이 Segment 는 실제 미디어이기 때문에 실제 브라우저 창에 0.ts의 요청 URL을 입력하게 되면 10초로 분리 된 동영상이 다운로드 됩니다.

실제 .ts 파일을 URL에 입력했을 경우

위의 그림과 같이 조각난 동영상의 일부가 다운로드 되게 됩니다. 이 동영상들을 조합하게 된다면 하나의 완전한 동영상이 완성되게 됨으로서 스크린 녹화를 하지 않고도 원본 동영상을 얻을 수 있습니다. 이러한 악용사례를 방지하기 위해 DRM 솔루션들이 있는데, 그 부분은 다음번에 다뤄보겠습니다.

3. HLS의 동작방식

그러면 HLS는 어떻게 동작할까요?

1. 인코딩 & 패키징

• 원본 미디어 파일을 여러 품질(해상도/비트레이트)로 인코딩합니다.
• 인코딩된 파일들을 짧은 세그먼트(기본 6초, 보통 2~10초)로 분할(Segmenting)합니다.
• 각 품질마다 개별 Playlist 생성
• Master Playlist에 각각의 M3U8들을 링크로 연결

2. 전송

• 모든 세그먼트와 플레이리스트 파일들을 HTTP 서버에 업로드
• Master Playlist를 받아 적절한 품질의 M3U8을 선택하고 스트리밍을 시작

3. 재생

• 클라이언트는 M3U8을 파싱해 세그먼트를 순차적으로 요청하며 다운로드하고 재생
• 네트워크 상황에 따라 다른 해상도의 스트림으로 자동 전환

이러한 순서로 동작하게 됩니다.

그림으로 보면 조금 이해하기 쉬울것 같습니다!

HLS는 HTTP 형식이기 때문에 앞서 말한것 처럼 CDN 적용이 가능하여 아직까지도 많은 사랑을 받고 있습니다!

참고문헌

https://developer.apple.com/library/archive/referencelibrary/GettingStarted/AboutHTTPLiveStreaming/about/about.html https://www.cloudflare.com/ko-kr/learning/video/what-is-http-live-streaming/ https://developer.apple.com/documentation/http-live-streaming

최근 한 기업이 랜섬웨어 공격으로 인해 업무에 큰 차질을 겪었다는 보안 기사를 접했습니다. 해킹 그룹이 Brute Force 기법을 이용해 SSL-VPN에 무차별 로그인 시도를 한 끝에 내부망을 장악한 것이 원인이었습니다. 이 기사를 보고 저희가 운영 중인 VPN도 동일한 위협에 노출될 수 있다는 우려가 생겼고, 이에 따라 로그인 시도를 제한하는 방안을 검토하게 되었습니다.

1. fail2ban이란?

• Fail2Ban은 서버 보안을 강화하기 위해 널리 사용되는 침입 방지 도구(IPS, Intrusion Prevention System)입니다. 주로 SSH, FTP, SMTP, Apache, Nginx, VPN 등 외부 접근이 가능한 서비스에서 발생하는 비정상적인 로그인 시도를 자동으로 탐지하고 차단하는 데 사용합니다.

• fail2ban의 주요 기능

  기능	설명
  로그 분석	/var/log/secure, /var/log/auth.log 등 로그 파일을 실시간 감시
  IP 차단	공격으로 의심되는 IP를 iptables, firewalld, nftables, 또는 route 명령어로 차단
  다중 jail 지원	각 서비스별로 감시 규칙(jail)을 개별 설정 가능
  차단 해제	일정 시간이 지나면 자동으로 차단 해제 (또는 수동 해제 가능)
  Slack, 이메일 알림	공격 탐지 시 관리자에게 알림 전송 가능

2. fail2ban 기본 환경 구성

• fail2ban 설치

  apt-get install fail2ban -y

• fail2ban 프로세스 시작

  systemctl enable fail2ban
  systemctl start fail2ban

• fail2ban 프로세스 상태 확인

  systemctl status fail2ban.service

  

3. fail2ban 기본 구조

먼저 fail2ban의 기본 구조를 살펴 보겠습니다. 가장 중점적으로 볼 부분은

• action.d/
  • 액션 정의 디렉토리
  • fail2ban이 특정 조건을 만족할 때 어떤 Action을 행할지 정의한 템플릿이 들어있는 폴더
  • iptables-common.conf, ufw.conf 등 다양한 템플릿이 기본적으로 내장되어 있음
• filter.d/
  • 로그 필터 정의 디렉토리
  • 로그에서 공격을 탐지하기 위한 정규식 필터가 있는 폴더
  • sshd.conf, gitlab.conf 등 다양한 정규식 필터가 있음
• jail.local
  • 사용자 정의 Jail 설정 파일
  • 기존에 설정되어 있는 jail.conf를 덮어쓰는 우선순의 파일(해당 파일은 생성해야함)

입니다. 이 3가지의 구조로 기본적인 IP 차단 룰을 구현 할 수 있기 때문에 나머지 부분은 참고해주시면 됩니다.

/etc/fail2ban
├── action.d/               # 액션 정의 파일들 (예: IP 차단 방식)
├── fail2ban.conf           # fail2ban 기본 설정 파일
├── fail2ban.d/             # fail2ban 설정 조각(디렉토리 override용)
├── filter.d/               # 로그 필터 정의 (regex 기반)
├── jail.conf               # 기본 jail 설정 파일
├── jail.d/                 # 개별 jail 설정 파일 모음
├── jail.local              # 사용자 정의 jail 설정 파일 (우선 적용됨)
├── paths-arch.conf         # Arch 리눅스용 로그 경로 설정
├── paths-common.conf       # 공통 로그 경로 설정
├── paths-debian.conf       # Debian 계열용 로그 경로 설정
├── paths-opensuse.conf     # OpenSUSE용 로그 경로 설정

4. VPN 환경에 fail2ban 적용

기존에 운영하던 VPN에 해당 프로세스를 적용한 뒤, 고도화로 내용으로 Slack과 연동을 진행해 보겠습니다 VPN 구축이 궁금하신 분은 아래의 링크 참고 부탁드립니다

VPN 서버 구축기

• fail2ban 정책 생성

  cp /etc/fail2ban/jail.conf /etc/fail2ban/jail.local

  • jail.local 파일 최하단에 VPN 내용 삽입

    [vpn]
    enabled = true
    filter = vpn-auth
    port = 1111
    protocol = udp   # 프로토콜 default는 TCP
    logpath = /var/log/로그경로.log 
    maxretry = 5     # 최대 시도 횟수
    bantime = 600    # 차단 시간
    findtime = 300   # 탐지 범위
    action = %(action_)s   # 차단 후 Action
         slack-notify

    

• 기존 sshd fail2ban disable

  vi /etc/fail2ban/jaid.d/defaults-debian.conf

  [sshd]
  enabled = false

  sshd도 같이 차단 정책을 걸고 싶으면 해당 부분은 true로 설정하시면 됩니다.

• 로그 포맷 설정

  vi /etc/fail2ban/filter.d/vpn-auth.conf

  [Definition]
  maxlines = 10
  
  prefregex = ^\s*(?:(?:[A-Za-z]{3}\s+\d+\s+\d{2}:\d{2}:\d{2}\s+[\w\d\.-]+\s+)?(?:vpn\[\d+\]:)?\s*)PLUGIN AUTH-PAM: BACKGROUND: user '(?P<user>[^']+)' failed to authenticate: Authentication failure
  
  failregex = ^(?:<F-NOFAIL>IP:Port SENT CONTROL \[UNDEF\]: 'AUTH_FAILED' \(status=1\)</F-NOFAIL>\s+)?<HOST>:\d+ SENT CONTROL \[UNDEF\]: 'AUTH_FAILED' \(status=1\)$
  
  ignoreregex =
  

  • prefregex
    • 로그 메시지 앞부분의 공통된 패턴을 정의하기 위한 정규식
  • failregex
    • 차단 대상이 되는 로그 메시지를 감지하기 위한 정규식
    • 해당 정규식에 매칭되는 로그가 탐지되면, fail2ban은 해당 로그의 IP를 추출하여 차단 대상으로 지정
    • ignoreregex
      • 예외 처리 패턴, 무시할 로그 패턴

  저는 로그인을 시도한 IP와 user명을 Slack으로 알림 보내기 위해 failregex와 같이 prefregex를 사용하였습니다. 각 환경에 맞게 정규식을 조정하시면 됩니다.

• IP 차단 후 Action 설정 편집

  vi /etc/fail2ban/action.d/slack-notify.conf

  [Definition]
  actionstart =
  actionstop =
  actioncheck =
  
  # 'actionban'은 IP가 차단될 때 실행될 명령어
  # 스크립트에 다음 인자들을 전달합니다:
  # 1. <ip>: 차단될 IP 주소 (Fail2Ban이 자동으로 제공)
  # 2. BANNED: 조치 타입
  # 3. <name>: 조치를 유발한 Jail 이름 (Fail2Ban이 자동으로 제공)
  # 4. <F-USER>: 필터에서 캡처된 사용자 ID
  actionban = /etc/fail2ban/slack-notify.sh <ip> BANNED <name> <F-USER>
  
  # 'actionunban'은 IP 차단이 해제될 때 실행될 명령어
  # 동일한 인자들을 전달합니다.
  actionunban = /etc/fail2ban/slack-notify.sh <ip> UNBANNED <name> <F-USER>

• Slack 알림 스크립트 생성

  vi /etc/fail2ban/slack-notify.sh

  #!/bin/bash
  # Slack 웹훅 URL WEBHOOK_URL="https://hooks.slack.com/test" # 이 부분을 본인의 웹훅 URL로 변경해주세요!
  # Fail2Ban으로부터 전달받는 인자들
  HOST="$1"    # 차단되거나 해제된 IP 주소 (Fail2Ban이 차단하는 대상)
  ACTION="$2"  # 'BANNED' 또는 'UNBANNED'
  JAIL="$3"    # 조치가 발생한 Fail2Ban Jail 이름
  USERID="$4"  # 필터에서 캡처된 사용자 ID
  
  # Slack 알림을 보낼 채널 설정
  CHANNEL="#test" 
  
  if [[ "$ACTION" == "BANNED" ]]; then
    COLOR="#ff0000"
  elif [[ "$ACTION" == "UNBANNED" ]]; then
    COLOR="#36a64f"
  else
    COLOR="#cccccc"
  fi
  
  # 메시지 내용
  TEXT="*IP 차단 알림*
  *조치:* ${ACTION}
  *IP 주소:* ${HOST}
  *사용자 ID:* ${USERID}
  *시간:* $(date +'%Y-%m-%d %H:%M:%S %Z')"
  
  # JSON 페이로드 생성
  PAYLOAD=$(cat <<EOF
  {
    "channel": "${CHANNEL}",
    "username": "test",
    "icon_emoji": ":happy:",
    "attachments": [
      {
        "color": "${COLOR}",
        "text": "${TEXT}"
      }
    ]
  }
  EOF
  )
  
  # Slack으로 메시지 전송
  curl -X POST -H "Content-type: application/json" --data "${PAYLOAD}" "${WEBHOOK_URL}"

• fail2ban 재시작 및 로그 확인

  systemctl restart fail2ban.service
  tail -50 /var/log/fail2ban.log

  

• Jail List 확인

  fail2ban-client status

  

• IP 차단 테스트

  fail2ban-client status {JAIL-NAME}

  

• 차단 되었을 경우

• 차단 해제

  fail2ban-client set <jail-name> unbanip <IP>

  

올해 신규 보안 프로젝트의 일환으로 Vault Cluster를 구축해 보았습니다. 기술 관련 오픈채팅방을 종종 살펴보면서 Vault를 사용하는 실무자가 의외로 많다고 생각했었는데 이번 프로젝트를 통해 Vault에 대한 실질적인 지식을 쌓을 수 있는 좋은 기회가 되었습니다.

Why? 왜 Vault를 사용했는가? 많은 실무자들이 AWS를 활용하면서 동시에 AWS CLI도 같이 사용합니다. 저 역시 실무에서 AWS CLI를 사용하는데, 이때 /root/.aws 디렉터리에 AWS Secret Key가 평문으로 저장되어 있다는 점이 보안상 큰 취약점이라고 판단했습니다. 그래서 Vault를 활용하면 Secret Key를 동적으로 발급받을 수 있으며 이 키는 일정 시간이 지나면 만료가 되어 보안 수준을 한 층 높일 수 있다고 생각했습니다.

1. Vault란?

• Vault는 UI, CLI 또는 HTTP API를 사용하여 애플리케이션이나 인프라에서 사용되는 민감 정보(Secrets) ex) API 키, 비밀번호, 인증서, 데이터베이스 자격 증명 등을 안전하게 저장하고 제어할 수 있게 도와주는 비밀 관리 시스템(Secret Management System) 입니다.

• Vault의 기능?

  기능	설명
  Secret 저장	민감한 정보를 중앙에서 안전하게 저장하고 액세스를 제어할 수 있음
  동적 자격증명(Dynamic Secrets)	요청 시마다 짧은 TTL(Time-To-Live)을 가진 임시 자격증명을 생성 예: DB 계정, AWS IAM credentials 등
  암호화 서비스(Encryption as a Service)	Vault를 통해 데이터를 직접 암복호화 할 수 있음 (앱에 키를 저장할 필요 없음)
  정책 기반 접근 제어	사용자/서비스의 권한을 세밀하게 제어 가능 (ACL 정책)
  감사 로그(Audit Logs)	누가 어떤 Secret에 접근했는지 기록을 남겨 보안 감사에 유용
  멀티 백엔드 저장소 지원	AWS S3, 파일 시스템, Consul, PostgreSQL 등 다양한 스토리지 백엔드를 사용 가능

• Vault의 장점?
  • 민감한 정보들이 소스코드, 환경변수, 파일 등에 직접 노출되지 않음
  • 자격증명이 자동으로 만료되고 폐기되므로, 유출 시 피해를 최소화할 수 있음
  • 자격 증명별 권한과 경로를 매우 세밀하게 정의 가능
  • 감사로그(Audit Logs)를 지원하여 비밀에 접근하는지를 기록 가능

2. Vault Cluster 구성

• Vault Cluster의 필요성

  • HA 구성 가능 → 하나의 서비스가 중단 되더라도 장애 X (무중단 운영 가능)
  • Auto Failover → 운영자가 개입 하지 않고도 follwer Node가 Leader Node로 자동 승격
  • 데이터 내구성 → 저장된 Secrets 및 정보가 사라져도 복제된 다른 Node에서 정보 받아옴

• Vault Cluster 구성 요소?

  • 최소 3EA Node로 구성 (1개의 Active Node, 2개의 Stanby Node)
  • Active Node: 클러스터에서 실제로 요청을 처리하는 주 노드입니다. 이 노드는 Vault의 모든 API 요청을 처리하며, 읽기 및 쓰기 작업을 수행할 가능
  • Standby Node: 주로 Active Node의 상태를 복제하고 있습니다. Standby Node는 요청을 처리하지 않으며, Active Node에 장애가 발생할 경우 자동으로 Active Node 역할을 맡는다.

• Raft Storage 구성도

  암호화된 데이터를 보관하는 여러가지의 Storage 중 HA를 지원하는 Raft Storage를 선택했습니다.

  

  Raft Storage는 Raft Consensus 알고리즘 사용하여 Leader 선출하는데 자세한 내용은 Google에... 질문하시면 더 자세한 정보를 얻을 수 있습니다!

3. Vault Cluster 구축

3.1 Vault 설치

• GPG, wget 설치

  sudo apt update && sudo apt install gpg wget

• Keyring 다운로드

  wget -O- https://apt.releases.hashicorp.com/gpg | sudo gpg --dearmor -o /usr/share/keyrings/hashicorp-archive-keyring.gpg

• Keyring 확인

  gpg --no-default-keyring --keyring /usr/share/keyrings/hashicorp-archive-keyring.gpg --fingerprint

  
• Vault 설치

  sudo apt update && sudo apt install vault

• Vault Version 확인

  vault -version

  
• Vault 시작

  systemctl enable vault.service
  systemctl start vault.service

  

같은 방식으로 3EA 서버에 Vault 세팅 진행하면 됩니다

3.2 Vault Cluster 구성

• 데이터 폴더 생성 - Vault 1, Vault 2, Vault 3 서버

  mkdir -p /data/vault

• 인증서 폴더 생성 - Vault 1, Vault 2, Vault 3 서버

  mkdir -p /data/vault/tls

• Vault User에게 소유권 부여 - Vault1, Vault2, Vault3

  chown -R vault:vault /data/vault

  
• 인증서 구성 파일 옮기기

  cd /data/vault/tls

  • cert.pem
  • chain.pem
  • fullchain.pem
  • privkey.pem

• Vault 환경 구성 진행

  vi /etc/vault.d/vault.hcl

  • vault.hcl 파일 수정 - Vault1, Vault2, Vault3

    # Copyright (c) HashiCorp, Inc.
    # SPDX-License-Identifier: BUSL-1.1
    

  Full configuration options can be found at https://developer.hashicorp.com/vault/docs/configuration

  ui = true # UI 모드 Enable

  #mlock = true #disable_mlock = true

  #storage "file" {

  path = "/opt/vault/data"

  #}

  #storage "consul" {

  address = "127.0.0.1:8500"

  path = "vault"

  #}

  HTTP listener

  #listener "tcp" {

  address = "127.0.0.1:8200"

  tls_disable = 1

  #}

  cluster_addr = "https://sample1.domain.com:8201" api_addr = "https://sample1.domain.com:8200"

  메모리 부족 오류 방지

  disable_mlock = true

  HTTPS listener

  HTTPS 구성

  listener "tcp" { address = "0.0.0.0:8200" cluster_address = "0.0.0.0:8201" tls_cert_file = "/data/vault/tls/fullchain.pem" tls_key_file = "/data/vault/tls/privkey.pem" tls_client_ca_file = "/data/vault/tls/chain.pem" tls_disable = 0 }

  Storage 구성 각 node_id는 달라야함!!

  storage "raft" { path = "/data/vault" node_id = "raft_node_1"

  retry_join { leader_api_addr = "https://sample1.domain.com:8200" leader_tls_servername = "sample1.domain.com" leader_ca_cert_file = "/data/vault/tls/chain.pem" leader_client_cert_file = "/data/vault/tls/fullchain.pem" leader_client_key_file = "/data/vault/tls/privkey.pem" } retry_join { leader_api_addr = "https://sample2.domain.com" leader_tls_servername = "sample2.domain.com" leader_ca_cert_file = "/data/vault/tls/chain.pem" leader_client_cert_file = "/data/vault/tls/fullchain.pem" leader_client_key_file = "/data/vault/tls/privkey.pem" } retry_join { leader_api_addr = "https://sample3.domain.com:8200" leader_tls_servername = "sample3.domain.com" leader_ca_cert_file = "/data/vault/tls/chain.pem" leader_client_cert_file = "/data/vault/tls/fullchain.pem" leader_client_key_file = "/data/vault/tls/privkey.pem" } }

  Enterprise license_path

  This will be required for enterprise as of v1.8

  #license_path = "/etc/vault.d/vault.hclic"

  Example AWS KMS auto unseal

  #seal "awskms" {

  region = "us-east-1"

  kms_key_id = "REPLACE-ME"

  #}

  Example HSM auto unseal

  #seal "pkcs11" {

  lib = "/usr/vault/lib/libCryptoki2_64.so"

  slot = "0"

  pin = "AAAA-BBBB-CCCC-DDDD"

  key_label = "vault-hsm-key"

  hmac_key_label = "vault-hsm-hmac-key"

  #}

실제 상용 서버에 구성하기 때문에 보안향상을 위해 TLS을 사용하여 구성 진행하였습니다. 또한 각 Vault 서버별로 node ID를 다르게 구성 하셔야 합니다.

• Vault 데몬 재시작 - Vault1, Vault2, Vault3

  vi /etc/profile
  export VAULT_ADDR="https://sample1.domain.com:8200" or sample2. sample3(각 서버에 맞게)
  source /etc/profile

  

• Vault 초기화 - Vault1(Leader Node)

  vault operator init

초기화를 진행하게 되면, Unseal Key가 나오는데 5개 중 3개를 입력해야지 Seal이 해제 됩니다.

• Leader Node에서 Cluster 적용 확인

  vault operator raft list-peers

  

4. Terraform과 연동

Vault Cluster 활용법으로 Terraform과 연동 진행해 보았습니다. 앞서 언급한것처럼 기존에는 평문으로 AWS Token을 저장하여 Terraform을 사용하였는데, 보안 향상을 위해 Terraform Provider에서 Token을 주입해 AWS 리소스들을 다룰 수 있습니다.

Terraform에서는 임시 AWS Secret을 동적으로 provider에 주입하여 사용! (단, Secret인증은 30분간 유효)

1. vault_token으로 Vault에 연결 (provider "vault")
2. Vault에서 AWS 자격증명 가져오기 (data "vault_aws_access_credentials")
3. AWS provider에 동적으로 그 자격증명 주입
4. 이제 Terraform이 AWS 자원 생성/조회 가능

4.1 Terraform 연동을 위한 구성 GSLB + TLS

• GSLB 구성 이유?
  • Terraform은 Vault 클러스터의 모든 노드 주소를 인식하지 못하므로, 장애가 발생한 노드로 요청이 전달되면 Vault로부터 응답을 받지 못할 수 있다.
  • 이러한 문제를 방지하기 위해, GSLB의 헬스 체크 기능을 통해 장애 노드를 자동으로 감지하고 정상 노드로 트래픽을 우회시킨다

• GSLB 구성이 안 되어 있을 경우 Vault 2번으로 Terraform은 주소를 알고 있지만 장애가 발생하여 HA 구성을 통해 Vault 1번으로 Active Node로 전환 되었을 때 Terraform과 Vault Cluster는 통신이 불가합니다.

• GSLB 구성이 되어 있을 경우 GSLB를 통해 어디로 통신이 되든 Stanby Node는 Active Node로 요청을 Redirect 하기 때문에, 만약 Vault 2번이 장애가 나도 GSLB는 장애가 난 Node에게는 요청을 보내지 않기 때문에 서로 통신이 가능합니다.

  단) GSLB는 sample.domain.com으로 요청을 받아야 합니다. 각 Node들은 고유의 도메인을 가지고 있으며(sample1, sample2, sample3) sample.domain.com 으로 요청을 받아 요청을 Balancing 해주게 됩니다.

4.2 Terraform 서버 수정

• Vault Token 저장

  vi /etc/profile
  export TF_VAR_vault_token="{Vault Token}”
  source /etc/profile

• provider.tf 교체 및 재작성
  • vi provider.tf

variable "vault_token" {
  type = string
  sensitive = true # 토큰 값을 보호하기 위해 sensitive로 설정
}

provider "vault" {
  address = "https://sample.domain.com:8200" # Vault 서버의 주소
  token   = sensitive(var.vault_token)          # Vault Token
}

data "vault_aws_access_credentials" "example" {
  backend = "aws-test" # 원하는 secret 설정
  role    = "terraform"  # Vault에서 설정한 역할 이름
}

provider "aws" {
  access_key = data.vault_aws_access_credentials.example.access_key
  secret_key = data.vault_aws_access_credentials.example.secret_key
  region     = "ap-northeast-2"
}

• Terraform - Vault 연동 테스트

  terraform init
  terraform plan

보안을 위해 몇가지 빠진 부분이 있지만, Vault Cluster 구축 및 Terraform과 연동을 위한 분들께 도움이 되었으면 좋겠습니다..!

참고문헌

Install Vault | Vault | HashiCorp Developer Vault with integrated storage deployment guide | Vault | HashiCorp Developer Vault with integrated storage deployment guide | Vault | HashiCorp Developer Vault with integrated storage reference architecture | Vault | HashiCorp Developer

이번주 센터 업무를 진행하면서 서버 폐기, OS 재설치 등 오랜만에 하드웨어 관련업무를 진행했습니다. OS 설치를 하며 RAID를 구성하던 중 기존에는 OS파티션은 RAID 1 데이터파티션은 RAID 6로 구성했었는데 왜 그렇게 구성을 진행했는지, 그리고 각 RAID의 차이점을 알아보기 위해 이 글을 작성합니다.

1. RAID란?

• RAID(Redundant Array of Independent Disks)는 여러 개의 하드디스크 드라이브(HDD) 또는 SSD를 하나의 논리적 장치처럼 구성하여 데이터 보호, 성능 향상 또는 두 가지 모두를 목표로 하는 기술

• RAID의 장점

  • 성능향상
  • 데이터 보호 및 내결함성 제공
  • 서비스 연속성 유지

2. RAID의 구성방식

RAID를 구성하는 방식에는 주로 3가지 방식이 사용됩니다.

• Striping(스트라이핑)

  • 데이터를 여러 디스크에 블록 단위로 나누어 분산 저장하는 기술
  • 각 디스크에 데이터의 일부(스트립)를 동시에 기록하여 읽기/쓰기 성능을 크게 향상
  • RAID 0, RAID 5, RAID 6 등에서 사용
  • 디스크 중 하나라도 고장 나면 전체 데이터가 손실될 수 있음

• Mirroring(미러링)

  • 동일한 데이터를 두 개 이상의 디스크에 복제하여 저장하는 방식

  • 한 디스크에 장애가 발생해도 다른 디스크에 동일한 데이터가 있어 데이터 손실 없이 복구 가능

  • RAID 1, RAID 10 등에서 사용

  • 저장 효율이 50%로 떨어져, 디스크 용량이 두 배로 필요

  • Parity (패리티)

    • 데이터 보호를 위해 추가로 계산된 정보를 저장하는 방식
    • XOR 연산 등으로 생성된 패리티 비트를 별도의 디스크(혹은 분산) 저장하여, 한 개 또는 두 개의 디스크 장애 시에도 데이터 복구가 가능
    • RAID 3, RAID 4, RAID 5(분산 패리티), RAID 6(이중 패리티) 등에서 사용
    • 패리티 정보는 전용 디스크에 저장하거나(전용 패리티), 모든 디스크에 분산 저장(분산 패리티)할 수 있다.

3. RAID의 종류

RAID 0 - Striping(스트라이핑)

• Striping(스트라이핑)이라고도 불리며, 데이터를 여러 디스크에 번갈아 가며 분산 저장하는 방식
• 최소 2개 이상의 디스크가 필요하며, 중복성이나 오류 검출 기능이 없어 데이터 안정성은 가장 낮습니다.

• 동작원리? 데이터는 일정한 크기의 블록(스트라이프)으로 나뉘어 순차적으로 각 디스크에 기록됩니다. 예를 들어, 2개의 디스크로 구성된 RAID 0 어레이에서 데이터 A는 디스크 1에, 데이터 B는 디스크 2에, 데이터 C는 디스크 1에, 데이터 D는 디스크 2에 기록되는 방식입니다.

[예시] 1TB 의 디스크 4개를 RAID 0으로 구성하게 된다면 총 사용할 수 있는 용량은? ➡️ 4TB

RAID 1 - Mirroring(미러링)

• Mirroring(미러링)이라고 불리며, 데이터를 두 개 이상의 디스크에 완전히 동일하게 복제하여 저장하는 방식 최소 2개의 디스크가 필요하며, 높은 데이터 안정성을 제공

• 동작원리? 하나의 디스크에 데이터를 기록하면, 동시에 다른 모든 디스크에도 동일한 데이터가 기록됩니다. 따라서 모든 디스크는 동일한 데이터의 복사본을 갖게 됩니다

[예시] 1TB 의 디스크 4개를 RAID 1으로 구성하게 된다면 총 사용할 수 있는 용량은? ➡️ 2TB

RAID 2

• Bit-level Striping(비트 레벨 스트라이핑) + Hamming Code(ECC) 패리티

• 디스크 최소 3개 이상 필요

• 데이터는 비트 단위로 스트라이핑되어 여러 데이터 디스크에 분산 저장되고, 오류 검출 및 수정을 위한 해밍 코드 패리티 정보는 별도의 디스크에 기록됩니다.

• 데이터를 비트 단위로 나누어 각 데이터 디스크에 순차적으로 저장하고, 이 데이터 블록에 대한 해밍 코드 패리티를 생성하여 전용 패리티 디스크에 저장

• 실무에서는 거의 사용되지 않음

• 동작원리? 데이터는 비트 단위로 나뉘어 여러 데이터 디스크에 순차적으로 분산 저장 동시에, 이 데이터 블록에 대한 해밍 코드 패리티 정보가 생성되어 별도의 패리티 디스크 세트에 기록

[예시] 1TB 의 디스크 4개를 RAID 2으로 구성하게 된다면 총 사용할 수 있는 용량은? ➡️ 데이터 Disk 2EA, ECC(오류검출) 2EA일 경우 2TB ➡️ 데이터 Disk 3EA, ECC(오류검출) 1EA일 경우 3TB

RAID 3

• 바이트 레벨 스트라이핑(Byte-level Striping) + 전용 패리티 디스크
• 데이터를 바이트 단위로 스트라이핑
• 디스크 최소 3개 이상 필요
• 동작원리? 데이터는 바이트 단위로 분할되어 여러 데이터 디스크에 순차적으로 기록됩니다. 각 스트라이프에 대한 패리티(Parity) 정보는 별도의 전용 디스크에 저장된다.

[예시] 1TB 의 디스크 4개를 RAID 3으로 구성하게 된다면 총 사용할 수 있는 용량은? ➡️ 3TB

RAID 4

• 블록 레벨 스트라이핑(Block-level Striping) + 전용 패리티 디스크
• 디스크 최소 3개 이상 필요
• 성능 이슈로 인해 실무에서는 잘 쓰이지 않는다.
• 동작원리? 데이터는 블록 단위로 분할되어 여러 데이터 디스크에 순차적으로 기록됩니다. 각 스트라이프에 대한 패리티 정보는 별도의 전용 패리티 디스크에 저장

  [예시] 1TB 의 디스크 4개를 RAID 4으로 구성하게 된다면 총 사용할 수 있는 용량은? ➡️ 3TB

RAID 5

• 블록 레벨 스트라이핑(Block-level Striping) + 분산 패리티(Distributed Parity)
• 디스크 최소 3개 이상 필요
• 데이터와 패리티 정보는 모든 디스크에 분산되어 저장
• 동작원리? 데이터를 블록 단위로 나누어 여러 데이터 디스크에 스트라이핑하고, 각 스트라이프에 대한 패리티 정보를 생성, 패리티 블록은 특정 전용 디스크가 아닌 각 디스크에 순차적으로 분산

  [예시] 1TB 의 디스크 4개를 RAID 5으로 구성하게 된다면 총 사용할 수 있는 용량은? ➡️ 3TB

RAID 6

• 블록 레벨 스트라이핑(Block-level Striping) + 이중 분산 패리티(Dual Distributed Parity)
• 데이터와 두 개의 독립적인 패리티 정보가 모든 디스크에 분산되어 저장
• 최소 4개 이상의 디스크 필요
• 동작원리? 데이터를 블록 단위로 나누어 여러 데이터 디스크에 스트라이핑하고, 각 스트라이프에 대해 두 개의 서로 다른 패리티 블록을 생성

  [예시] 1TB 의 디스크 4개를 RAID 6으로 구성하게 된다면 총 사용할 수 있는 용량은? ➡️ 2TB

RAID 10 (RAID 1+0)

• RAID 1(미러링) + RAID 0(스트라이핑)
• 최소 4개의 디스크 필요
• 먼저 데이터를 여러 디스크 쌍으로 미러링하고(RAID 1), 이 미러링된 디스크 쌍들을 스트라이핑(RAID 0)
• 동작원리? 데이터를 먼저 두 개씩 짝지어 미러링하여 데이터의 복사본을 만들고, 이렇게 구성된 미러링된 디스크 쌍들을 하나의 그룹으로 묶어 RAID 0 방식으로 스트라이핑

[예시] 1TB 의 디스크 4개를 RAID 10으로 구성하게 된다면 총 사용할 수 있는 용량은? ➡️ 2TB

4. RAID 정리

앞서 말한 모든 내용을 간단하게 표로 정리해 보겠습니다.

참고: https://www.prepressure.com/library/technology/raid

저번 글에는 CPU의 Architecture에 대해 알아보았습니다 그러면 실제 서버나 노트북을 구매할때 어떤 CPU를 구입해야 운영하는 서비스에 알맞은 성능을 발휘 할 수 있는지 알려면, CPU 구성요소에 대해 조금 더 알아보며 명령어까지 학습하면 좋을 것 같습니다.

1. CPU란?

• CPU : 컴퓨터에서 모든 연산과 명령을 처리하는 핵심 장치

• CPU의 기능?

  • 명령어를 해석하고 실행
  • 산술 연산, 논리 연산, 입출력 제어

• 물리적인 CPU 개수 확인 명령어

  grep "physical id" /proc/cpuinfo | sort -u | wc -l

  

위 사진에서 "물리적인" CPU의 갯수는 1개 입니다.

2. Core란?

• Core : CPU 내부의 처리 유닛으로, 하나의 코어가 하나의 명령어 흐름을 처리할 수 있으며, 하나의 물리적인 칩 아에 여러개의 Core가 존재 가능합니다.

• Core의 기능?

  • 각 Core는 독립적으로 명령어 처리 가능
  • 멀티코어라면 동시에 여러 작업을 병렬로 처리 가능

• Core의 개수 확인 명령어

  grep "core id" /proc/cpuinfo | sort | uniq | wc -l

  

위 사진에서 확인한 Core의 개수는 4개 입니다.

3. Thread란?

• Thread : Core가 동시에 처리할 수 있는 작업 흐름 단위

• Thread의 기능?

  • Core 내에서 동시성 향상
  • Thread는 하나의 프로그램 내부에서 실행되는 작은 단위

• Thread의 개수 확인 명령어

  grep "processor" /proc/cpuinfo | wc -l

  

위 사진에서 확인한 Thread의 개수는 8개 입니다.

1개의 물리 Core에서 여러개의 Thread를 쓸 수 있는 이유는 Hyper-Threading == SMT(Simultaneous Multi-Threading)이 있어 가능합니다! Intel → Hyper-Threading AMD → SMT(Simultaneous Multi-Threading)

4. CPU vs Core vs Thread

위의 내용을 종합해 보자면 물리적인 CPU는 1개, Core는 4개 Thread는 8개이므로 1개의 Core 당 2개의 Thread가 가용하다고 볼 수 있습니다.

한번에 볼 수 있는 명령어는

lscpu | egrep "Socket|Core|Thread"

• CPU, Core, Thread를 비교한 표를 아래에 적어두겠습니다.

위 CPU를 그림으로 그려보자면 아래의 사진처럼 구성되있음을 알 수 있습니다.

• 예시 사진

5. CPU의 성능

그러면 궁금증이 생깁니다. Core수가 많고, Thread가 많으면 무조건 좋은 CPU일까요?

반은 맞고 반은 틀린 이야기 입니다.

CPU의 성능을 결정하는 요소는 많은 것들이 있는데, 그 중 대표적인 몇가지만 알아보겠습니다.

• Core
• Thread
• 클럭(Clock) Speed
• IPC
• Cache Memory

Core와 Thread는 앞에서 서술했기 때문에, Clock과 Cache Memory에 대해 알아보겠습니다

Clock?

• CPU가 초당 몇 번의 명령어 사이클(Clock Cycle)을 실행할 수 있는지를 나타낸다.
• 단위는 Hz(헤르츠)로 표현한다.
• 1Hz(헤르츠)는 1초에 1번의 Clock Cycle을 의미한다.

현재 서버의 Clock을 확인하려면

lscpu

위의 사진처럼 2400MHz = 2.4GHz 초당 약 24억 Cycle을 돌 수 있습니다.

Clock Speed ↑ / 성능 ↑

IPC?

• IPC(Instructions Per Cycle)는 1클럭 사이클당 처리할 수 있는 명령어 수를 의미한다.
• IPC = 초당 실행된 명령어 수 / 초당 클럭 사이클 수

위의 언급된 것처럼 Clock Speed가 빠르면 무조건 좋을까요? 아래의 예시를 보며 판단해보시죠!

• 예시
• CPU A*: 4GHz, IPC 1.0 → 4G instr/sec
• CPU B*: 3GHz, IPC 2.0 → 6G instr/sec

A가 B보다 Clock Speed는 좋지만 IPC가 낮아 CPU B가 더 우수한 성능을 보이며 IPC가 높을 수록 성능이 좋은 것을 알 수 있습니다!

IPC ↑ / 성능 ↑

Cache Memory?

• CPU 내부 또는 가까이에 위치한 임시 저장 공간
• 자주 사용하는 데이터나 명령어를 미리 저장해두고, CPU가 빠르게 접근하도록 합니다.

Cache Memory도 계층적 구조로 나뉘게 됩니다.

L1 → L2 → L3 → 주기억장치 순으로 탐색하며 Cache Hit율이 올라갈 수록 성능은 향상됩니다.

위의 그림을 보면 L1d cache(데이터 캐시) : 32KiB L1i cache(명령어 캐시) : 32KiB L2 cache : 256KiB L3 cache : 12288KiB

을 알 수 있습니다!

마찬가지로 Cache 크기가 커지면 성능도 좋아지겠죠?

Cache Memory ↑ / 성능 ↑

서비스를 운영하면서 java 버전을 업그레이드 해달라는 개발팀의 요청이 있었습니다. 특정 버전의 java를 찾으면서 당황했는데 그 이유는...?

위와 같이 여러개의 Architecture가 있었고, 현재 운영중인 서버 Architecture에 맞춰 java 버전 업그레이드는 진행했지만 정확히 CPU Architecture가 무엇인지 모르는 나 자신을 발견하여... 자세히 알아보기로 했습니다...ㅎ (AMD에 주식 투자하는건 안비밀)

1. CPU Architecture란?

중앙처리장치(CPU)의 설계 방식과 명령어 집합(Instruction Set Architecture, ISA)을 정의하는 구조를 의미합니다.

• ISA(Instruction Set Architecture)? CPU가 이해하고 실행할 수 있는 명령어의 집합 (예: x86, ARM)

그런데! 같은 ISA라도 각 벤더사에 따라 성능이 달라지게 됩니다. ex) Intel x86 vs AMD x86

그 이유는 각 벤더사마다 Microarchitecture (미세 아키텍처) 가 다르기 때문에 성능에도 차이가 발생하는 것입니다.

• Microarchitecture? ISA를 구현하는 방식 (예: Intel Core, AMD Zen)

2. CPU Architecture의 종류

그러면 현재 사용되는 Architecture의 종류들은 대표적으로 어떤 것이 있을까요?

• CISC(Complex Instruction Set Computing) 복잡한 명령어를 사용하여 한 번의 명령어로 여러 작업을 수행 (예: x86, x86-64{amd64}, x64)

• RISC (Reduced Instruction Set Computing) 단순하고 짧은 명령어를 사용하여 실행 속도를 높임 (예: ARM, RISC-V)

아래 표는 각 Architecture 별 자주 사용되는 종류를 정리한 표입니다.

3. CPU Architecture별 사용 사례

데스크톱 & 게이밍 PC

• 사용 아키텍처: x86-64 (CISC)
• 사용 CPU: Intel Core, AMD Ryzen
• 특징: 강력한 연산 능력, 고성능 그래픽 지원.

스마트폰 & 태블릿

• 사용 아키텍처: ARM (RISC)
• 사용 CPU: Apple M3, Snapdragon, MediaTek, Exynos
• 특징: 저전력 & 배터리 효율 최적화.

서버 & 데이터 센터

• 사용 아키텍처: x86-64 (CISC), ARM (RISC)
• 사용 CPU: Intel Xeon, AMD EPYC, AWS Graviton
• 특징: 고성능 병렬 처리, 클라우드 컴퓨팅 지원.

인공지능 & 머신러닝

• 사용 아키텍처: ARM (RISC), RISC-V
• 사용 CPU: NVIDIA Grace, Google TPU, Apple Neural Engine
• 특징: AI 연산 가속, 저전력 최적화.

임베디드 시스템 & IoT

• 사용 아키텍처: ARM (RISC), RISC-V
• 사용 CPU: Raspberry Pi, ESP32, STM32
• 특징: 소형 & 저전력 최적화.

여담으로 여러분이 사용하고 있는 CPU의 Architecure를 확인해보며 개념을 이해하면 더 좋을 것 같습니다.

• 노트북 Architecture 확인 방법 시스템 → 정보 → 장치사양 노트북은 x64 Architecture를 사용하고 있네요!!

• 서버(Linux) Architecture 확인방법

  uname -m

  서버는 x86_64를 사용하고 있었습니다! : )

Linux를 사용하면서 파일 권한 문제로 인해 프로세스가 정상적으로 동작하지 않거나, 적절한 권한을 부여해야 하지만, 모든 권한을 부여하는 상황이 있을 것 입니다. 이 기회에 파일 권한에 대한 내용을 완벽히 이해하여 각 조건에 맞는 권한을 부여하는 능력을 키워보겠습니다.

🖥️ 테스트 환경

• Linux
• Ubuntu 22.04 LTS

1. 파일 권한의 구성 요소

• 읽기(Read)
• 쓰기(Write)
• 실행(Excute)
• 없음(No Access)

리눅스에서는 파일 권한이 10개의 문자로 구성된 표기로 나타납니다.

권한 확인 명령어

ls -al

예시

아래와 같이 권한이 나올때는

-rw-r--r--

일반파일 + 읽기 쓰기 가능 (소유자) + 읽기 가능 (그룹) + 읽기 가능(기타 사용자)

2. 숫자 형태의 권한

위에는 *r , w , x , - * 의 4가지 형태로 10자리 표현이 되었다면, 숫자 형태는 3자리로 표현됩니다

r : 4 , w : 2 x : 1 로 표현이 되는데, 아래 예시를 보며 기호 → 숫자로 변환해 보겠습니다.

3. 파일 권한 변경 명령어

chmod

기호를 통해 특정 권한을 부여하거나 제거 할 수 있습니다.

예시

chmod u+x test.sh  # 1번  소유자(user)에게 실행(x) 권한 추가
chmod u-w test.sh  # 2번 그룹(group)에서 쓰기(w) 권한 제거
chmod o=x test.sh  # 3번 기타 사용자(others)에게 읽기(r)만 부여
chmod ugo=rwx test.sh  # 4번 모든 사용자에게 읽기, 쓰기, 실행 권한 부여

실무를 하면서 VPN을 구축할 일이 생겼습니다. 원격으로 상용서버를 접속 할 때 Any IP를 오픈하면 안되니 하나의 접속 포인트에서 상용서버들을 접속하는게 보안상 안전할 것입니다.

먼저 VPN 서버를 구축 하기 전에 VPN이 뭔지 간단하게 개념을 짚고 넘어가겠습니다.

🤔VPN이란?

VPN(가상 사설 네트워크, Virtual Private Network)은 공용 네트워크를 통해 데이터를 전송할 때, 사용자의 연결을 암호화하고 보안을 강화해 주는 기술입니다. 이를 통해 인터넷 연결이 보다 안전해지고, 사용자의 프라이버시를 보호할 수 있습니다.

👍VPN의 장점?

1. 데이터 암호화
2. 익명성 보호
3. 지역 차단 우회
4. 안전한 원격 접속

1. OpenVPN 및 Easy-RSA 설치

• OpenVPN, Easy-RSA 설치

  sudo apt-get install update
  sudo apt-get install openvpn easy-rsa

• 폴더 생성 및 심볼릭 링크 생성

  # 폴더 생성
  mkdir ~/easy-rsa
  # 심볼릭 링크 생성
  ln -s /usr/share/easy-rsa/* ~/easy-rsa/

  • 결과화면

2. OpenVPN용 PKI 만들기

PKI란? --> PKI(Public Key Infrastructure)는 공개 키 암호화 기술을 활용하여 네트워크 상에서 보안성과 신뢰성을 제공하는 체계

• vars 파일 생성 및 수정

  # 폴더로 이동
  cd easy-rsa
  
  # vars 파일 생성
  vi vars
  
  # 세팅 값 붙여넣기
  set_var EASYRSA_ALGO "ec"
  set_var EASYRSA_DIGEST "sha512"

  • 결과화면

• PKI 생성

    ./easyrsa init-pki

3. OpenVPN용 서버 인증서 요청 및 개인키 생성

• 인증서 생성

  cd /easy-rsa
  
  ./easyrsa build-ca nopass
  -> Enter
  ./easyrsa gen-req server nopass
  -> Enter

  • 결과

    sudo cp /home/ubuntu/easy-rsa/pki/private/server.key /etc/openvpn/server/

4. OpenVPN 서버 인증서 요청 서명 및 암호화 자료 구성

• 인증서 서명 및 암호화 자료 구성

  sudo cp ~/easy-rsa/pki/private/server.key /etc/openvpn/server/
  
  # 인증서 서명
  ./easyrsa sign-req server server
  -> yes
  
  sudo cp ~/easy-rsa/pki/issued/server.crt /etc/openvpn/server/
  sudo cp ~/easy-rsa/pki/ca.crt /etc/openvpn/server/

  • 

• Diffie-Hellman key 생성 및 ta.key 생성

  # Diffie-Hellman key 생성
  ./easyrsa gen-dh
  
  # ta.key 생성
  sudo openvpn --genkey --secret ta.key
  
  # ta.key, dh.pem 파일 복사
  sudo cp ~/easy-rsa/ta.key /etc/openvpn/server/
  sudo cp ~/easy-rsa/pki/dh.pem /etc/openvpn/server/

  ---

  5. 클라이언트 인증서 및 키 쌍 생성

• VPN Clinet 계정 만들기

  # 폴더 생성 및 권한 부여
  mkdir -p ~/client-configs/keys
  chmod -R 777 ~/client-configs
  
  # 계정 인증서 생성
  ./easyrsa gen-req 유저명 nopass
  -> Enter

  • 

• 파일 복사

  # 키 파일 이동
  sudo cp pki/private/유저명.key ~/client-configs/keys/
  
  # 인증서 생성
  ./easyrsa sign-req client 유저명
  -> yes
  
  sudo cp pki/issued/유저명.crt ~/client-configs/keys/

• ta.key 복사

  sudo cp ~/easy-rsa/ta.key ~/client-configs/keys/
  sudo cp ta.key /etc/openvpn/server
  sudo cp /etc/openvpn/server/ca.crt ~/client-configs/keys/
  
  # 권한 부여
  sudo chmod -R 777 ~/client-configs

  6. OpenVPN 설정

• Server.conf 수정

  # 파일 이동
  sudo cp /usr/share/doc/openvpn/examples/sample-config-files/server.conf  /etc/openvpn/server
  
  # Server.conf 수정
  sudo vi /etc/openvpn/server/server.conf

• server.conf

  일부 설정은 제외 하였습니다.

  
    ;local a.b.c.d
  
    port 1194
  
    # TCP or UDP server?
    ;proto tcp
    proto udp
  
    dev tun
  
    ca /etc/openvpn/server/ca.crt
    cert /etc/openvpn/server/server.crt
    key /etc/openvpn/server/server.key  # This file should be kept secret
  
    dh /etc/openvpn/server/dh.pem
    topology subnet
  
    server 10.8.0.0 255.255.255.0
  
    ifconfig-pool-persist /var/log/openvpn/ipp.txt
  
    ;server-bridge 10.8.0.4 255.255.255.0 10.8.0.50 10.8.0.100
  
    ;server-bridge
  
    push "route 192.168.10.0 255.255.255.0"
    push "route 192.168.20.0 255.255.255.0"
  
    ;client-config-dir ccd
    ;route 192.168.40.128 255.255.255.248
    ;client-config-dir ccd
    ;route 10.9.0.0 255.255.255.252
    ;learn-address ./script
  
    push "redirect-gateway def1 bypass-dhcp"
  
    push "dhcp-option DNS 8.8.8.8"
    push "dhcp-option DNS 1.1.1.1"
  
    ;client-to-client
  
    ;duplicate-cn
  
    keepalive 10 120
  
    tls-auth ta.key 0
    key-direction 0
    cipher AES-256-GCM
    auth SHA256
  
    ;compress lz4-v2
    ;push "compress lz4-v2"
  
    ;comp-lzo
  
    ;max-clients 100
  
    user nobody
    group nogroup
  
    persist-key
    persist-tun
    status /var/log/openvpn/openvpn-status.log
  
    log         /var/log/openvpn/openvpn.log
    log-append  /var/log/openvpn/openvpn.log
  
    verb 3
  
    ;mute 20
  
    explicit-exit-notify 1
  
    #### OTP 설정 ####
    reneg-sec 0
    plugin openvpn-plugin-auth-pam.so "openvpn login USERNAME password PASSWORD 'verification code' OTP"
    verify-client-cert none
    username-as-common-name

7. OpenVPN 서버 네트워킹 및 방화벽 구성 변경

• 네트워크 구성 변경

  sudo vi /etc/sysctl.conf
  
  # 주석 해제
  net.ipv4.ip_forward=1

  

  • 결과확인

    sudo sysctl -p

  • 

• 네트워크 NAT 설정

  • 네트워크 인터페이스 조회

    ip route list default

    

• 자신의 인터페이스 nat 설정

  vi /etc/iptables/rules.v4
  
  # 추가
  ##### NAT #####
  *nat
  :PREROUTING ACCEPT [0:0]
  :INPUT ACCEPT [0:0]
  :OUTPUT ACCEPT [0:0]
  :POSTROUTING ACCEPT [0:0]
  -A POSTROUTING -o ens3 -j MASQUERADE
  COMMIT

  

  • 결과확인

    iptables -t nat -L

    

• 적용

  iptables-restore < /etc/iptables/rules.v4

8.OpenVPN 시작 및 Client 구성

• OpenVPN 시작

  sudo systemctl -f enable openvpn-server@server.service
  sudo systemctl start openvpn-server@server.service

• VPN 상태 확인

  systemctl status openvpn-server@server

  

• Client 추가 구성

  # 폴더 생성
  mkdir -p ~/client-configs/files
  
  # 샘플 파일 복사
  sudo cp /usr/share/doc/openvpn/examples/sample-config-files/client.conf ~/client-configs/base.conf
  
  sudo vi ~/client-configs/base.conf

자신의 환경에 맞게 base.conf를 수정하시면 됩니다!

• Simple Script(make_config.sh) 작성

  vi ~/client-configs/make_config.sh
  
  # make_config.sh
  
  #!/bin/bash
  
  # First argument: Client identifier
  
  KEY_DIR=/home/ubuntu/client-configs/keys
  OUTPUT_DIR=/home/ubuntu/client-configs/files
  BASE_CONFIG=/home/ubuntu/client-configs/base.conf
  
  cat ${BASE_CONFIG} \
        <(echo -e '<ca>') \
        ${KEY_DIR}/ca.crt \
        <(echo -e '</ca>\n<cert>') \
        ${KEY_DIR}/${1}.crt \
        <(echo -e '</cert>\n<key>') \
        ${KEY_DIR}/${1}.key \
        <(echo -e '</key>\n<tls-auth>') \
        ${KEY_DIR}/ta.key \
        <(echo -e '</tls-auth>') \
        > ${OUTPUT_DIR}/${1}.ovpn

• Config file 권한부여

  sudo chmod 777 ~/client-configs/make_config.sh

9. ovpn 파일(vpn 접속에 필요한 파일) 생성

• .ovpn 생성

  cd /home/ubuntu/client-configs
  
  ./make_confing.sh 계정명
  ex) ./make_config.sh asher

• 생성확인(파일 위치)

  cd ~/client-configs/files
  ll

10. VPN 접속

• OpenVPN 다운로드 OpenVPN 바로가기 https://openvpn.net/community-downloads/

• .ovpn 파일 위치 변경 C:\Program Files\OpenVPN\config 에 ovpn 이동

• OpenVPN 접속

• 결과화면

Container와 Host간의 파일 복사에 대해 알아보자

Docker를 사용하다 보면, Container → Host, Host → Container로 파일을 복사 할 일이 생긴다. scp를 이용해서 파일을 복사할 수 있지만, 더 쉽고 간편한 방법이 있어 소개한다.

Container → Host 파일 복사

docker cp [컨테이너 이름]:[컨테이너 내부경로] [host 파일 경로]
docker cp nginx:/home/asher/test.txt /home/ubuntu

현재 컨테이너에 test.txt 파일이 있다 이 파일을 host 경로로 이동하면

• 이동 전
• 이동 후

Successfully라는 명령어가 나오며 옮겨진 것을 확인 할 수 있다.

Host → Container 파일 복사

docker cp [host 파일경로] [컨테이너 이름]:[컨테이너 내부경로]
docker cp /home/ubuntu/test2.txt nginx:/home/asher

• 이동 전
• 이동 후 마찬가지로 Successfully라는 명령어가 나오며 정상적으로 파일 복사가 진행되었다.

Docker를 처음 접하시는 분들을 위해 Linux에서 Docker를 설치하는 방법을 작성해봅니다!

1. 기존 도커 커뮤니티 에디션 및 도커 엔진 제거

sudo apt-get remove docker docker-engine docker.io containerd runc

2. 도커 설치에 필요한 패키지 설치

sudo apt-get update
sudo apt-get -y install apt-transport-https ca-certificates curl \
gnupg-agent software-properties-common

3. 도커 인증 키 추가

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -

• 인증 키 추가 확인

  sudo apt-key fingerprint 0EBFCD88

  

  4. 도커 저장소 추가

  sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"

  

  5. 패키지 업데이트 및 도커 설치

  sudo apt-get update
  sudo apt-get install docker-ce docker-ce-cli containerd.io

  6. 도커 버전 확인

  docker version

  

• Docker 상태 확인

  # OS부팅 시 자동 시작
  sudo systemctl enable docker
  sudo systemctl status docker

  

Docker Compose 설치

1. Docker Compose 설치

sudo curl -L https://github.com/docker/compose/releases/latest/download/docker-compose-$(uname -s)-$(uname -m) -o /usr/local/bin/docker-compose

2. Docker Compose 실행 권한 부여

sudo chmod +x /usr/local/bin/docker-compose

3. Docker Compose 버전 확인

docker compose version

APM 구축하기 2탄 입니다. 1탄이 궁금하신 분들은 [APM] 2Tier 기반 APM(Apache, PHP, MySQL) 구축 1탄 여기를 클릭해주세요!

구축방법

• php 설치 sudo apt install php php-mysql

• 보안그룹 Open

  • Web-Server 2 대 -> DB 2대 Inbound Traffic 허용

• Test PHP 설정

      // PHP 저장 파일 폴더로 이동
          cd /var/www/html
  
      // test.php 파일 작성
  
      sudo vi test.php
  
      // test.php
  
      <?php
  
            error_reporting(E_ALL);
  
            ini_set("display_errors", 1);
  
            date_default_timezone_set('Asia/Seoul');
  
            $conn = mysqli_connect( "공인 IP", "chan", "7975", "hi", "3306" );
                                    #DB IP   Username   PW     DB    PORT
  
            if( empty( $conn ) == true ) {
  
                  echo ( "#############" );
  
                      echo ( "</br> default DBMS 접속 호스트 정보가 정확하지 않습니다. </br>\n\n" );
  
                      exit ( "#################" );
  
            } else {
  
                  echo ( "#######" );
  
                      echo ( "</br> default DBMS 접속에 성공하였습니다. </br>\n\n" );
  
                      echo ( "-----------------------------------------------------------------------------" );
  
                      echo ( "<pre>" );
  
                      print_r ( $conn );
  
                      echo ( "</pre>" );
  
                      exit ( "##########################" );
  
            }
  
  
  

        mysqli_close( $conn );

    ?>
 ```


- 결과 확인
    ![](https://velog.velcdn.com/images/berry_good/post/25804835-0dcc-46c1-a531-4004a03223c0/image.png)

❗DBMS 접속이 안될 때

- 보안그룹이 제대로 열려있는지 WEB → DB 확인!
- MySQL 재시작 해보자….
`sudo service mysql restart`
- PHP 문법이 제대로 맞는지 확인!

• signup_action.php 작성 및 DB 적재 확인

```shell
// 폴더로 이동
cd /var/www/html

// signup_action 열기
sudo vi signup_action.php

// signup_action.php
<?php
$name=$_POST['name'];
$email=$_POST['email'];
$num=$_POST['num'];
$con = mysqli_connect("공인IP","chan2","7975","hi") or die ("Can't access DB");
$query = "insert into exam (name,email,num) values('".$name."','".$email."','".$num."')";
$resut=mysqli_query($con,$query);
if(!$result)
{?>
    <script> alert('회원가입이 완료되었습니다.'); location.href=".."; </script>
<?php
} else {?>
    <script> alert('회원가입에 실패했습니다.\n다시 시도해 주세요.'); location.href=".."; </script>
<?php } ?>
```

- 결과확인

![](https://velog.velcdn.com/images/berry_good/post/7c9b6bc0-4000-4379-a715-e551b7f2a44b/image.png)

• LB 생성 및 보안 그룹 연결

  • LB 생성
  • 인스턴스에 LB 보안그룹 연결

  • 어떤 CSP던 상관 없습니다

• DB Replication (양방향)

  • mysqld.cnf 수정 + 보안그룹 OPEN

      // **DB1 Instance**
      // 폴더이동 
      cd /etc/mysql/mysql.conf.d
    
      // mysqld.cnf 수정
      sudo vi mysqld.cnf
    
      # 서버 ID
      server-id = 1
      # Log 저장 위치
      log_bin = /var/log/mysql/mysql-bin.log
      # Replication 할 DB
      binlog_do_db = hi
    
      //mysql 재시작
    
      sudo service mysql restart

    • 결과확인

    ```bash
    // **DB2 Instance**
    // 폴더이동 
    cd /etc/mysql/mysql.conf.d

    // mysqld.cnf 수정
    sudo vi mysqld.cnf

    # 서버 ID
    server-id = 2
    # Log 저장 위치
    log_bin = /var/log/mysql/mysql-bin.log
    relay-log = /var/log/mysql/mysql-relay-bin.log
    # Replication 할 DB
    binlog_do_db = hi

    //mysql 재시작

    sudo service mysql restart
    ```

    - 결과확인      
![](https://velog.velcdn.com/images/berry_good/post/1e704c2d-0ad8-4966-9f43-1a2b57643915/image.png)

- MASTER, SLAVE 정보 확인 및 설정
    - MySQL 접속 (DB 1)
        `SHOW MASTER STATUS;`

    ![](https://velog.velcdn.com/images/berry_good/post/4b8db1b8-8e14-4dfa-8527-03d8b1439c3c/image.png)


    - MASTER - SLAVE 양방향 설정 DB1, DB2 둘 다

    ```bash

    // DB2에 적용
    CHANGE MASTER TO 
    MASTER_HOST='DB 사설 IP 1', 
    MASTER_PORT=3306,
    MASTER_USER='chan', 
    MASTER_PASSWORD='7975', 
    MASTER_LOG_FILE='mysql-bin.000001', 
    MASTER_LOG_POS=  1525;

    LOG_POS, LOG_FILE 잘 확인
    IP는 사설 IP로 적용

    // DB1에 적용
    CHANGE MASTER TO 
    MASTER_HOST='DB 사설 IP 2',
    MASTER_PORT=3306,
    MASTER_USER='chan2', 
    MASTER_PASSWORD='7975', 
    MASTER_LOG_FILE='mysql-bin.000002', 
    MASTER_LOG_POS=  444;
    ```


- Slave 상태 확인

    `SHOW SLAVE STATUS\G;`
    ![](https://velog.velcdn.com/images/berry_good/post/9bbd713c-2a54-4ba8-b21e-a015c4f7d294/image.png)![](https://velog.velcdn.com/images/berry_good/post/7954f41e-c3b7-4240-8d73-8377903a3eec/image.png)

APM?

Apache + PHP + MySQL을 합쳐 부르는 말이다.

기술스택

• Apache 2.4.14
• MySQL 8.0.35
• PHP 7.4.3
• Ubuntu 20.04.1
• Web-Server Instance 2대
• DB Instance 2대
• LoadBalancer 1대

🏗️Architecture

구축방법

참고로 제가 구축하는 환경은 Cloud 환경입니다.

Apache2 설치(Web-Server Instance 생성 후)

• 패키지 업데이트 sudo apt-get update

• Apache2 설치 sudo apt-get install apache2

• Apache2 상태 확인 systemctl status apache2

• 공인 IP 접속 -> 정상 작동 확인

  공인 IP:80 ex) 1.255.428.17:80

  

위와 똑같은 방식으로 Web-Server 1대 더 만들어 주시면 됩니다.

MySQL 설치(DB Instance 생성 후)

• apt 패키지 업데이트 sudo apt-get update

• MySQL-Server 설치 sudo apt-get install mysql-server

• MySQL-Server 상태 확인 systemctl status mysql

• DB 사용자 추가 및 권한 할당

  • user 권한 검색

    use mysql;
    select host, user from user;

  

- User 추가

    // 사용자 추가 및 PW 설정
    create user '[ID입력]'@'%' identified by '[PW 입력]';

    // 변경사항 즉시 반영
    FLUSH privileges;

![](https://velog.velcdn.com/images/berry_good/post/1d0cbf18-fd77-4cf0-9cf5-d0d282d25479/image.png)

- 권한부여

    // chan2 User에게 모든 권한 부여
    GRANT ALL PRIVILEGES ON *.* TO 'chan2'@'%';

    // 변경사항 즉시 반영
    FLUSH privileges;

• 외부접속 허용 sudo vi /etc/mysql/mysql.conf.d/mysqld.cnf

  • bind-address = 0.0.0.0으로 변경

• Mysql 재시작 sudo service mysql restart

• DB 스키마 생성

  • MySQL 접속 및 DB생성

    mysql -u chan2 -p
    create database hi;
    show databases;

    

  • DB 테이블 생성

    CREATE TABLE exam (
    id int NOT NULL AUTO_INCREMENT,
    name varchar(30),
    email varchar(40),
    num varchar(30),
    PRIMARY KEY(id)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8;

    

위와 같은 방식으로 DB 1대 더 만들어 주시면 됩니다. 구축을 완료했다면, 현재

• Web-Server 2대
• DB 2대 총 4대의 Instance가 생성이 되어야 합니다.

2탄에서 계속... [APM] 2Tier 기반 APM(Apache, PHP, MySQL) 구축 2탄