vagrant - 스크립트 기반의 가상 머신 구축 솔루션 - virtual box, VMware 지원 vagrant Docs

1. install

$ brew install vagrant

🍻홈브루로 설치 후 버전 확인~ (하이퍼바이저는 vbox7.0 버전으로 진행)

2. command

$ vagrant init --기본 파일 생성
               --디렉토리에 Vagrantfile 생성
$ vagrant up --Vagrantfile 확인 후 프로비저닝
$ vagrant ssh --vm 원격 접속
$ vagrant halt --vm 종료
$ vagrant destroy --vm 삭제
$ vagrant provision --변경사항 동기화

3. test

_ 🎈 vagrant box는 여기서 확인 가능_

3-1) vagrant init

$ vagrant init

init 실행 후 생성된 파일을 열어보면, 기본 설정만 있는 것을 확인 할 수 있다! (첫줄의 mode는 작성된 언어를 의미)

3-2) Vagrantfile 수정

config.vm.box = "base" 해당 부분이 설치할 os 이미지를 지정하는 구문이다. 클라우드에 접속하여 하단의 이미지로 설치를 진행해보자.

기본 파일의 주석을 제거하고 필요한 부분만 남겨 설정을 마친다.

Vagrant.configure("2") do |config|
  config.vm.box = "centos/7"
  config.vm.box_check_update = false
  config.vm.network "forwarded_port", guest: 22, host: 2200, host_ip: "127.0.0.1", auto_correct: true, id: "ssh"
  config.vm.network "private_network", ip: "192.168.33.10"
  config.vm.network "public_network"
  config.vm.synced_folder "../data", "/vagrant_data", disabled: true

  config.vm.provider "virtualbox" do |vb|
     vb.cpus = 2
     vb.memory = "1024"
  end
end

이후 vagrant up 명령으로 생성!

(⬆️ 중간에 네트워크 인터페이스를 지정해줘야함)

설치시 Installing Virtualbox Guest Additions 7.0.6 - guest version is unknown 라는 에러가 출력되는데, GA가 없어서 발생하는 것이라고 한다. 당장은 필요 없으니 스킵

조금 기다리면 필요한 패키지가 설치되고 vm이 실행된 것을 확인 할 수 있다.

3-3) vm 접속

$ vagrant ssh

명령으로 접속하여 확인해본다. os 버전도 일치하고, ip도 맞게 들어갔다. vagrant로 vm 간단 구축 완료~~✌️

옵션을 통해 쉘 스크립트의 오동작, 버그를 줄이는 명령.

• e : 첫번째 실행 실패시 쉘 스크립트 종료 (없는 파일, 디렉토리, 오타 등의 오류)
• x : 맨 윗줄 #! 뒤에 작성해 사용가능, 디버깅시 주로 사용 (변수값 확인시 유용)
• u : 정의되지 않은 변수 사용시 에러메세지 출력
• o : '-o: on' '+o: off' 앞에 작성한 옵션 사용여부 지정
• pipefail : 모든 명령이 true인 경우 true 출력

inflearn - linux bash shell script(실전편)

🖊️ mariabackup

📌 mariaDB의 백업을 간단히 할 수 있는 유틸리티.

$ mariabackup 
    --backup 
    --no-lock 
    --target-dir='백업 파일 저장경로'
    --host='host ip' 
    --port=3306 
    --user='username' 
    --password='password' 

📌 온라인 백업의 경우 실행중인 서비스의 업데이트 내용(백업중에 변경/생성된 내용)을 포함하기 위해 백업에 ib_logfile0을 포함해야한다.

$ mariadbbackup
    --prepare
    --target-dir='백업 파일 저장경로'

해당 명령으로 진행한다!

📌 복구

$ mariabackup 
    --move-back
    --target-dir='백업한 디렉토리 경로'
    --data-dir='복구할 디렉토리 경로'
    --user='username'
    --password='password'

🖊️ backup script

백업 정책

• web-db-storage의 구조
• 각각 소스, 서버 설정파일 / 데이터, 서버 설정파일
• 매일 1회 실행
• 스토리지 서버의 /BACKUP 디렉토리에 호스트별로 저장
• 작업 완료 후 텔레그램으로 메세지 전송

❗️tar 명령에서 p: 소유자권한 유지 P: 절대경로 유지 옵션 사용가능!

📌 mount.nfs: access denied by server while mounting ... error

웹 서버의 백업 스크립트를 작성하고 실행하는데 마운트 지점에서 자꾸 에러가 났다. 좀 찾아보니 /etc/exports 파일이 원인인듯 했다. vBOX의 IP 대역 이슈때문에 파일을 다 수정했었는데 저 파일은 확인을 못해서 발생한 에러였다.. 참고링크

스토리지 서버에서 해당 파일을 수정해주고 다시 실행하니 정상적으로 작동하게 되었다~~

inflearn - linux bash shell script(실전편)

✏️ 디스크 파티션 사용량 감시 스크립트

$ df -h | awk '{gsub("%", ""); USE=$5; MNT=$6; if ( USE > 10 ) print USE, MNT}' | column -t | grep -v "^[A-Z]"

파이프라인으로 쭉 작성한 명령을 스크립트로 다시 작성한다.

TEXT="$(df -h | \
        awk '{
                gsub("%","");
                USE=$5;
                MNT=$6;
                if ( USE > 80 )
                        print MNT,"파티션이 ",USE,"%를 사용중입니다."
                }' |\
        grep -v "^[A-Z]")"


# 텔레그램 메세지 전송 스크립트 작성 ... 

🖍️ warnig: shell level (1000) too high, resetting to 1 ... error

스크립트를 실행하는데 해당 에러가 떴다.... 재귀호출로 인해 발생하는 에러라고,,, 여기서 확인해보니까 스크립트에서 텔레그램 실행 파일을 잘못 작성해놨었다 ㅋㅅㅋ..

crontab 스케줄러에 추가

각각의 스크립트를 정각과 30분마다 실행하도록 등록했다.

inflearn - linux bash shell script(실전편)

< crontab >

$ crontab

• 리눅스의 스케줄러이다.
• 사용하는 옵션은 -e(edit), -l(list), -r(remove) 등이 있다.
• 분 시 일 월 요일 실행할 프로그램의 순서로 작성한다.
• 1-6 (월 - 토) / 0,7 (일)

< awk >

$ awk [option] '{action [$1,$2]}' filename

• 텍스트 파일의 데이터를 검사, 조작, 출력하는 명령이다.

🖍️ 내장함수 gsub("변경 전", "변경 후"); 활용 가능

✏️ 텔레그램 메세지 전송 스크립트

참고링크

# telegram bot info
ID="-"
API_TOKEN="-"
URL="https://api.telegram.org/bot${API_TOKEN}/sendmessage"

# date
DATE="$(date "+%Y-%m-%d %H:%M")"

# message
TEXT="${DATE} [$1] $2"

# send message
curl -s -d "chat_id=${ID}&text=${TEXT}" ${URL} > /dev/null

✏️ 로그 디렉토리 감시 스크립트

HOST="$(hostname)"

if [ du -m /var/nginx/log -ge 1024 ]
then
        TEXT="/var/nginx/log 디렉토리 사용량이 1G를 초과하였습니다."
        /telegram.sh "${HOST}" "${TEXT}"
fi

uptime 서버 로드 에버리지 확인 free -m 메모리 사용량 확인 df -h 디스크 사용량 확인

💡 디스크 풀

cannot create temp file for here-document: No space left on device ... -> 웹 서버 로그로 디스크가 꽉 찬 경우

GB 단위 용량을 차지하는 디렉토리 확인하기

$ cd /
$ du -h --max-depth=1 | grep G

--max-depth=1 옵션으로 / 디렉토리의 한단계 하위 디렉토리까지 확인할 수 있다.

$ du -sh * | grep G

* 옵션으로 모든 파일 확인 가능

로그 파일 모니터링

$ watch -n 시간 'ls -al | grep /var/log/nginx/access.log'

디스크 사용량 모니터링

$ watch -n 시간 'df -h'

💡 메모리 풀

💡 시스템 부하

💡 프로그램 문제

vagrant로 가상환경 구성중에 에러가 났다.. 기억해둘겸 포스팅

❗️ host-only network error ...

macOS에서 주로 발생하는 에러인듯 사용가능한 IP 범위에 맞지 않아서 그렇다고 한다!

server01.vm.network "private_network", ip: "192.168.56.10"

vagrantfile의 ip주소를 변경해주면 된다. 참고

❗️ executing VBoxManage ...

1)

Command: ["hostif"], ["create"] ...

이건 vbox의 확장팩이 없어서 발생하는 에러! 확장팩 다운로드 여기서 버전에 맞는 파일을 다운로드 한 뒤, 도구 - 확장 - 설치로 적용한다.

2)

위와 같은 에러인데 Command 부분이 조금 달라졌다. 여기선 vagrant, vBox 모두 재설치 후 커널을 다시 로드하니까 된당

sudo kextload -b org.virtualbox.kext.VBoxDrv;
sudo kextload -b org.virtualbox.kext.VBoxNetFlt;
sudo kextload -b org.virtualbox.kext.VBoxNetAdp;
sudo kextload -b org.virtualbox.kext.VBoxUSB;

참고링크

❗️ guest additional error

GA가 없어서 어쩌구하는 에러

$ vagrant plugin install vagrant-vbguest

해당 플러그인 설치하면 됨

❗️The following SSH command responded with a non-zero exit status.

뭐 하나 해결하면 열줄 실행되다가 뚝 끊김 난생 처음 이클립스 세팅했을 때 느낀 기분

The following SSH command responded with a non-zero exit status.
Vagrant assumes that this means the command failed!

umount /mnt

Stdout from the command:



Stderr from the command:

umount: /mnt: not mounted.

이번엔 vagrant-vbguest 버전을 다운그레이드 해봄

$ vagrant plugin uninstall vagrant-vbguest
$ vagrant plugin install vagrant-vbguest --plugin-version 0.21

ㅋㅋ 뭔가 잘못된 것 같다 난 강의 들을 환경을 세팅하려던 것 뿐인데,,,,, 삽질을 잔뜩 하고 있음

1. firewalld

# apt install firewalld

서버에 들어오는 트래픽을 허용하기위해 80, 443 포트를 열어준다.

✏️ firewall-cmd : firewalld 설정 관리 ✏️ firewall-cmd --reload : 변경사항 적용 ✏️ firewall-cmd --list-services : 방화벽 설정 확인

--add-port에 포트 번호를 입력하는 대신 --add-service의 인자로 프로토콜명을 입력하여 사용 가능

ssh 설정을 위해 기존 컴퓨터에서 규칙을 추가한다. 열심히 설정해놨는데 재부팅하니까 초기화되었다,,

2. ufw

UFW는 데비안 계열 리눅스에서 사용하는 방화벽 관리 프로그램이다. 참고링크

# ufw enable
# ufw allow 80
# uwf allow 443
# ufw allow from 'IP.address' to any port 22

ufw를 활성화한 뒤, HTTP, HTTPS, SSH 규칙을 추가한다. (포트번호로도 지정 가능)

3. SELinux

centOS에는 SELinux가 기본적으로 설치되어 있지만, ubuntu에선 직접 설치해야한다. (보통 AppArmor를 사용한다고함)

# aptinstall setools policycoreutils selinux-basics

✏️ selinux-basic 설치과정에서 unable to locate~ 에러가 나서 AppArmor를 비활성화 해주었더니 해결되었다!

설치가 완료되면 sestatus 명령으로 상태를 확인한다.

세부 설정은 /etc/selinux/config 파일에서 수정한다.

nectcloud의 외부 저장소로 aws s3를 지정한다.

1. awscli 설치

$ apt install python3-pip (pip 없는 경우)
$ pip3 install awscli

설치가 완료되면 세션 종료 후 재접속해야한다.

$ aws configure

계정 액세스 키를 등록한다.

2. s3 버킷 생성

$ aws s3 mb s3://bucketname 

3. nextcloud의 외부 저장소로 지정

administration settings 메뉴에서 외부 저장소로 s3 버킷을 추가한다!

4. 업로드 테스트

s3 버킷이랑 연동은 되었으나 업로드가 되지 않는다.. 아옥 ubuntu 22.04 버전에서 발생하는 ssl 에러인듯..

/etc/ssl/openssl.cnf 파일을 찾아 내용을 수정해주었다!

# List of providers to load
[provider_sect]
default = default_sect
legacy = legacy_sect 
# The fips section name should match the section name inside the
# included fipsmodule.cnf.
# fips = fips_sect

# If no providers are activated explicitly, the default one is activated implicitly.
# See man 7 OSSL_PROVIDER-default for more details.
#
# If you add a section explicitly activating any other provider(s), you most
# probably need to explicitly activate the default provider, otherwise it
# becomes unavailable in openssl.  As a consequence applications depending on
# OpenSSL may not work correctly which could lead to significant system
# problems including inability to remotely access the system.
[default_sect]
activate = 1

[legacy_sect]
activate = 1

참고링크

nextcloud에서 업로드 한 파일이 보인다 오예~

로컬 환경에서 생성한 파일을 버킷에 복사한다.

nextcloud 콘솔, s3 bucket 보드에서 확인할 수 있다! 성공~

Nextcloud로 파일 공유 서버 구축하기

1. VM 준비

지난 미디어 위키 서버는 centOS에서 진행하였으니 이번엔 ubuntu 22.04 live-server 이미지를 준비했다! 매번 그렇지만 새 VM을 생성하는 과정이 제일 재밌다 히히..

2. Nextcloud란 무엇인가?

Nextcloud는 다양한 종류의 문서를 저장, 편집, 활용할 수 있는 스토리지 기능은 물론 음성 및 화상 통화 호스팅과 같은 서비스를 제공하는 오픈 소스 소프트웨어다. nextcloud

드롭박스나 구글 드라이브를 떠올리면 될 것 같다. 프로젝트에 활용하는 경우 민감한 데이터를 내부에 저장하여 보호하거나, 개발시 넥스트클라우드 서버를 프론트단에 배치하여 클라이언트가 미디어에 접근하는 방식을 제어할 수 있다고 한다!

(ubuntu에서 설치할 경우 snap 패키지 관리자를 통해 nextcloud 서버를 바로 설치하고 작동시킬 수 있다.)

3. LAMP 서버 구축

# apt install lamp-server^

이번엔 lamp 패키지로 한번에 뚝딱 설치할 것이다. 설치시 unable to locate package <...> 라는 에러메세지가 나오면

• apt update 명령 실행
• sources.list에 레포지토리 추가 등의 방법으로 해결할 수 있다! 참고링크

LAMP 설치 후 mySQL 보안도구를 설치하여 패스워드 설정을 하는데 계속 오류가 발생했다. 찾아보니 root 권한으로 패스워드를 설정하지 않아서 오류가 발생하는 것이라는데 초기 설정과정에서 왜 이런 에러가 나는건지 모르겟다;; 아무튼 여기를 보고 해결했다..

📌 리눅스에서 패키지의 개념

패키지란 리눅스 시스템에서 소프트웨어를 설치하는데 필요한 파일의 묶음이다. 그리고 이러한 패키지를 설치할 때 사용하는 것이 패키지 관리 도구이다. (apt나 yum 같은..) 리눅스를 사용하다보면 저수준 패키지 관리도구와 고수준 패키지 관리도구로 나누어지는 것을 알 수 있는데, 간단히 말해 소프트웨어 설치시의 의존성 문제를 해결한 것이 고수준 패키지 관리 도구이다. 고수준 패키지 관리 도구는 설치하려는 패키지의 의존성을 파악하고 필요한 경우 선행 패키지를 설치해준다. 패키지 참고링크

📌 메타 패키지

메타 패키지는 여러 프로그램을 동시에 설치할 수 있도록 패키지를 그룹화한 묶음이다. 여기에 직접 메타 패키지를 만드는 방법이 나와있다.

4. Apache 설정

# a2enmod rewrite
# a2enmod headers

아파치 서버와 넥스트클라우드를 연동하기 위해 rewrite와 headers 모듈을 활성화한다.

• rewite 모듈은 호출된 URL을 특정 규칙에 의해 변경한 뒤 호출하는 기능
• headers 모듈은 HTTP 요청 헤더와 응답 헤더를 조절하고 수정하는 기능

그리고 보안을 위해 /var/www/nextcloud 디렉토리에 데이터 파일을 보관하도록 지정한다. /etc/apache2/sites-available/000-default.conf 파일에 설정 항목을 추가하면 된다! (들어오는 트래픽을 도큐먼트 루트 디렉토리가 아닌 별도의 nextcloud 어플리케이션으로 전달)

5. Nextcloud 다운로드

Nextcloud에서 파일을 다운받아 /var/www/nextcloud 디렉토리에 저장하고 설정파일을 추가한다.

• /etc/apache2/sites-available/nextcloud.conf 파일 추가
• /etc/apache2/sites-available/000-default.conf에 내용 추가

# chown -R www-data:www-data /var/www/nextcloud

그리고 보안을 위해 nextcloud 디렉토리의 소유자와 소유그룹을 www-data로 변경한다.

📌 www-data

보안을 위해 웹 서버에서 지정하는 특정 사용자의 권한. 참고링크

6. Nextcloud 시작

접속하자마자 친절한 에러 화면을 보여준다 ㅎㅎ.. 모두 설치한 뒤에 재실행하면 관리자 계정을 생성하는 화면이 나온다. 아까 설정했던 MariaDB의 사용자명과 패스워드를 입력하면 완료~

이번에 응시한 saa 자격취득 시험에 합격했다! 마지막 기말고사랑 일정이 겹쳐서 조금 빠듯했지만 나름 무난한 점수로 통과한 것 같아 기분이 좋다 ㅎㅎ 아무래도 시험 비용이 많이들다보니까 무조건 한번에 따야한다는 집념이 날 도운듯.. (운좋게 25% 바우처를 구해서 할인을 좀 받긴했다ㅎ)

SAA 시험은 총 65문제로 점수에 포함되지 않는 테스트용 15문제와 실전용 50문제로 출제된다. 50문제는 총 4과목으로 구성되고 결과표에서 과목별 정답률을 확인할 수 있다! (과목별 출제비율을 알 수는 없지만 ㅎ)

2. 공부한 자료

1) 그림으로 이해하는 AWS 구조와 기술

기본 개념을 정리하기 정말 좋은 책인것 같다. 서비스별로 간단한 설명과 그림을 통한 구조 설명이 명확해서 aws 클라우드를 처음 접할 때 정말 도움이 많이 되었다.

2) 따라하며 배우는 AWS 네트워크 입문

실습은 하고싶은데 뭐부터 해야하는지 막막했을 때 추천을 받아 구매한 책! 입문자들의 바이블인듯.. 서비스별로 환경을 구성하고 검증하는 과정이 자세히 설명되어있다!

3) udemy 강의

saa 시험에 출제되는 서비스 위주로 구성된 강의이다. 서비스별 개념설명과 실습이 잘 정리되어 있지만 여기 나오는 기출문제는 살짝 애매하게 느껴졌다..

4) 덤프

현재 saa 시험은 c03 버전이기때문에 examtopics, koreadump 같은 곳에서 해당 버전의 덤프를 구매하면 된다! 덤프에 있는 문제들이 100% 출제되는 것은 아니지만 유형이 비슷해서 많은 도움이 되었다.

1. apache2, mariaDB, php7.0

centOS 7 버전에서 php를 설치했더니 5.x 버전이 설치되었다. 해당버전에서는 미디어위키 지원이 안되기때문에 기존 php를 삭제하고 7.0 버전으로 재설치 해주었다. (참고) 테스트 완료~

2. 미디어위키 설치 에러

2-1) 확장 모듈 미설치

확장 기능을 설치하지 않아서 접속이 안된다. mbstring이 없다고 친절하게 알려준다.

해당 모듈을 검색하고 php 버전에 맞게 설치해준다. 설치가 완료되면 아파치를 재실행 해주고 다시 접속한다!

링크를 클릭하여 나머지 설정을 해준다.

2-2) 500

진짜 어림도 없음 바로 500 var/log/httpd/error.log 파일을 확인한다.

PHP Fatal error: Class 'DOMDocument' not found in /var/www/html/wiki/includes/cache/LocalisationCache.php:658

찾아보니 xml모듈을 설치하지 않아서 파일을 읽을 수 없다는 듯 하다. 설치 후 재실행 하면 세팅화면이 나온다 ㅜㅜ (php70w-xml) (참고)

3. 미디어위키 세팅

정말 기초적인 세팅(DB 연결)만 해주었다. 설정이 끝나면 LocalSettings.php 파일을 다운로드 할 수 있다. vBox:GA 설치하면서 애를 너무 먹어서 그냥 파일을 다운받아 scp로 서버에 전송해주었다!

3-1) LocalSettings.php not readable 에러

LocalSettings.php 파일을 새로 추가해서 SELinux가 보안상의 이유로 막은듯? 하다. restorecon 명령으로 SELinux 정책에 맞게 파일을 재배치 했다.

$ restorecon -r /var/www/html/

드디어 완성~ 설정할 때 지정했던 사용자 로그인도 잘된다

• ubuntu linux
• apache
• mariaDB
• php

$ sudo apt install lamp-server^

해당 명령을 이용하면 번들 패키지를 통해 웹 서버를 간단하게 구축할 수도 있지만 이번엔 수동으로 설치해보기로 했다!

서버는 vBox를 통해 ubuntu 22.04 버전을 생성했다. (기존PC에서 접속할 수 있도록 가상머신의 네트워크 환경을 변경해야함)

1. apache2 설치 및 설정

$ sudo apt install apache2

호스트PC에서 해당 서버로 접속하기 위해서 ip addr 명령으로 가상머신의 ip 주소를 확인 한 뒤 접속한다. 설치만 해서 아직은 아파치 기본 페이지가 나온다! 이제 페이지를 추가해야한다. /etc/apache2/sites-available/ 디렉토리로 이동하여 000-default.conf 파일을 수정한다.

1-1) vBox에서 공유폴더를 사용할 수 없는 문제

기존에 만들어둔 html 파일을 사용하려고 했는데 vBox에서 공유폴더 기능과 복사, 붙여넣기가 되지 않았다. 설정 - 고급 - 드래그앤드롭, 클립보드 공유 항목을 양방향으로 변경하고 guestAdditions.iso 파일을 설치하려 했으나 자꾸 에러가 생김 ㅠㅠ (맥북 업데이트 후 최신버전의 vBox가 아니면 가상머신이 실행되지 않기에 최신버전을 사용하고 있는데 자잘한 에러가 너무 많이 생김🤬)

결국 22.04 --> 18.04 버전으로 재설치하고 사용할 수 있게 되었다.

1-2) 접속시 403 Forbidden

예전에 작업했던 파일을 옮기는 것은 성공 했으나 접속이 안된다. 에러로그를 확인해보았다!

[Thu Nov 24 12:45:59.019930 2022] [core:error] [ pid 3349:tid 139823158687488] (13)Permission denied: [client 192.168.0.68:49781] AH00035: access to /index.html denied (filesystem path '/var/www/html/starbucks/index.html') because search permissions are missing on a component of the path

DocumentRoot 는 바꿔놓고 해당 디렉토리의 권한을 바꾸지 않아서였다 히히,, 드디어 정상 접속! 삽질의 연속이였다,,

2. mariaDB 설치

$ sudo apt update
$ sudo apt install mariadb-server

설치가 완료되면 systemctl status mysql로 상태를 확인한다.

2-1) 보안 조치

$ mysql_secure_installation

데이터베이스의 루트 패스워드를 설정한다.

2-2) DB 생성 및 데이터 추가

$ mysql -u root 

DB 서버에 접근한 뒤, 새로운 데이터베이스와 테이블을 생성했다. 회원가입 페이지도 만들어져있으니 회원가입용으로 쓰면 되겠군

3. php 설치

$ sudo apt install php
$ sudo apt install libapache2-mod-php

3-1) php 테스트

index.html 파일이 있는 경로에 testPhp.php 파일을 생성한다.

<?php
phpinfo();
?>

그리고 해당 파일 경로로 다시 접속해보면 새로 생성한 파일이 정상적으로 연결되었다! (보안을 위해 확인 후 삭제해야한다!)

🔥 정말 간단한 준비 단계만 끝냈다,,ㅎ

1. aws cli 설치

기존 설치되어 있는 python의 버전을 확인하고 맞는 pip 설치 (python3 - pip3)

$ pip3 install --upgrade --user awscli

2. aws 액세스 키 생성 후 연결

해당 메뉴를 통해 액세스 키를 발급하면 csv 포맷의 파일을 다운로드 할 수 있다.

$ aws configure
 -> 차례로 ID, key, rigion, output format을 지정한다.

3. s3 버킷 생성

$ aws s3 mb s3://'bucket name'

mb: make bucket 명령 버킷명은 전체 s3 서비스 내에 존재하는 버킷명과 중복될 수 없다. (이거 완전 레어닉 삽니다,,)

생각한게 전부 안되길래 결국 강아지 이름으로 했다.. aws s3 ls: 버킷 리스트 출력 명령

4. 버킷에 백업

$ aws s3 sync '백업 대상' s3://'버킷 이름'

테스트용으로 만든 디렉토리를 백업했다. s3 버킷에 정상적으로 파일이 백업되었다. 해당 디렉토리에 새로운 파일을 추가하고 sync 명령을 다시 실행해보면, 새롭게 생성한 파일만 업로드 되는 것을 확인할 수 있다. (기존 파일을 수정한 경우도 동일하게 적용됨)

아카이브는 다수의 파일과 디렉토리로 이루어진 하나의 파일이다. 다수의 파일을 하나로 묶어 사용하면 이동, 공유, 저장 등의 작업이 수월해진다. (파일의 관리와 추적이 용이)

아카이브는 파일시스템 이미지를 만들거나 데이터를 백업하는데에 주로 사용된다.

1️⃣ 파일 아카이빙

1. tar

1-1) 단순 아카이빙

$ tar cvf '아카이브 이름'.tar '대상 파일'

tar 명령어에 주로 사용되는 옵션으로 c, v, f 가 있다.

• c: 새로운 아카이브 생성
• v: 상세 메세지 출력
• f: 아카이브 파일명 지정

1-2) 아카이브의 압축

$ tar cvzf '아카이브 이름'.tar.gz '대상 파일'

기존 명령어에 z 옵션을 추가하면 생성한 아카이브를 gzip 프로그램으로 압축할 수 있다.

➡️ tar 명령은 일반적으로 파일 시스템 전체나 일부분을 아카이빙 하는데 사용한다.

2. split

큰 용량의 파일을 작게 나누는 명령어이다. (용량이 큰 프로그램 로그 파일등에 활용할 수 있음)

$ split -b '쪼갤 용량' '대상 파일' "나눈뒤 사용할 파일 이름"
👇
$ split -b 10M test.tar.gz "test.tar.gz.part"

해당 명령을 실행하면 parta, partb, partc 이런 형태로 파일이 생성된다.

(🤔 다시 합치고 싶다면 cat test.tar.gz.part* > archive.tar.gz와 같이 표준 출력을 리다이렉션하여 가능!)

(--one-file-system: 아카이브를 만들 때 다른 파티션에 있는 데이터를 제외 --exclude='경로': 지정한 파일이나 디렉토리 제외)

로컬 서버에서 원격 서버로 아카이브한 파일을 전송하는 경우

 $ tar czvf - '대상 파일' | ssh '사용자명'@'IP주소'
     "cat > '파일명'.tar.gz"

3. 파일 찾아서 모으기

3-1) find

$ find /var/www/html/ -iname "*.mp4" \
-exec tar -rvf videos.tar {} \;

/var/www/html/ 아래의 .mp4 확장자인 파일을 찾아 -exec 아래의 명령을 수행한다. ({}는 find 명령으로 찾아낸 파일을 의미함)

3-2) locate

$ locate '대상 파일'

find보다 locate가 결과를 더 빠르게 출력한다. (locate 명령은 인덱스를 대상으로 검색하기 때문에 find에 비해 빠른 소요시간을 갖고있으나 정확도가 떨어진다.)

2️⃣ 파티션 아카이빙

1. dd

1-1) 디스크 이미지 생성

$ dd if='원본 드라이브' of='저장할 경로(파일 혹은 장치)[.img]'

1-2) 복원

$ dd if='복원할 대상[.img]' of='복원할 위치'

2. rsync

rsync 명령은 로컬/원격 호스트에 대상 파일이나 디렉토리를 복사하는 명령이다. (주로 백업용으로 사용)

데이터를 압축한 형태로 전송하고, 반복적으로 실행하는 경우 원본과 대조하여 수정된 부분만 전송하기때문에 scp보다 실행 속도가 빠르다.

$ rsync -av '대상 파일' 'user'@'IP 주소':'사본을 저장할 경로'

a: 아카이브 모드(재귀적으로 동작함), v: 상세 결과 출력

🚫 에러

code 127은 원격 호스트에 rsync가 설치되어있지 않기 때문에 발생한다. (lxc를 사용하여 컨테이너로 파일을 복사했는데 발생함)

➡️ dd 명령은 파티션 이미지를 생성하는데 적합하다.

오픈SSH(OpenSSH, OpenBSD Secure Shell)[a]는 시큐어 셸 (Secure Shell, SSH) 프로토콜을 이용하여 암호화된 통신 세션을 컴퓨터 네트워크에 제공하는 컴퓨터 프로그램의 모임이다. SSH 커뮤니케이션스 시큐리티가 제공하는 사유 시큐어 셸 소프트웨어 제품군을 대체할 목적으로 오픈 소스로 작성되었다. 참조

네트워크를 통해 원격 호스트에 접속하기 위하여 SSH를 사용한다. SSH는 암호화 키를 사용하여 plaintext를 암호화, 복호화하여 데이터를 보호한다.

1. openSSH 설치 및 확인

- ubuntu
$ apt install openssh-server 

필요한 경우 설치
$ apt install openssh-client 

대부분의 환경에서는 openssh-client가 기본적으로 설치되어있다.

$ systemctl status ssh

ssh의 실행 상태를 확인하고 필요한 경우 systemctl stop ssh 또는 systemstl start ssh 명령을 사용한다.

부팅시 자동으로 실행되도록 지정해야하는 경우 systemctl enable ssh 명령으로 활성화하고, disable로 비활성화 할 수 있다.

2. 원격 서버에 로그인하기

lxc 컨테이너를 RUNNING상태로 전환한 뒤 해당 IP를 통해 접속한다.

$ ssh '접속할 서버의 계정'@'IP 주소'

3. 패스워드 없이 SSH 접속하기

3-1) 키 생성

클라이언트 서버에서 접속시 사용할 키를 생성한다.

$ ssh-keygen

이를 통해 RSA 알고리즘 기반의 키를 생성하였다. .ssh 디렉토리에 접근하면 id_rsa, id_rsa.pub 파일을 확인할 수 있다.

3-2) 키 복사

$ ssh-copy-id '로그인 할 서버의 사용자명'@'IP주소'

키를 타겟 서버에 자동으로 복사해주는 명령이다.

패스워드를 입력하지 않고 접속할 수 있게 되었다.

4. SCP 사용하기

SCP는 SSH 프로토콜을 사용해 파일과 디렉토리를 원격 서버로 복사한다.

$ scp '복사할 파일 경로' '원격 서버의 사용자명'@'IP주소':'복사한 파일을 저장할 경로'

로컬 서버에 있는 파일을 원격 접속 서버에 복사해보았다. 원격 접속한 서버에서 해당 파일을 정상적으로 확인할 수 있었다.

(🤔 permission denined 에러가 난다면 경로의 접근권한을 확인해보자!)

ssh-copy-id -i .ssh/id_rsa.pub '원격 서버의 사용자명'@'IP주소' 명령을 통해 쉽게 키를 복사할 수도 있다.

1. 컨테이너란?

hostOS와 커널을 공유하며 격리된 환경에서 프로세스를 실행하는 가상화 기술이다. 독립적인 운영체제 수준의 가상화 기술로 '초경량 가상 서버'라고 생각하면 될 듯 하다. (격리된 환경에서 사용하므로 다른 컨테이너에 영향을 주지 않는다.)

보통 가상화라고 한다면 hostOS에 다수의 guestOS를 설치하여 운용하는 기술을 의미하지만 리눅스 컨테이너는 하나의 리눅스 시스템에서 프로세스를 독립적으로 분리하여 환경을 구축하는 것을 의미한다.

🤔 말이 길어질수록 의미가 불분명해지는 것 같다,, 그러니까 컨테이너란 리눅스 시스템에서 프로세스를 분리하여 사용하는 것이고, 해당 프로세스는 독립적인 리눅스 환경을 갖추고 있다! 라는 의미로 이해해야겠다.

컨테이너 기술은 시스템 컨테이너와 애플리케이션 컨테이너로 나누어진다.

• 시스템 컨테이너: LXC, LXD -> 다수의 프로세스가 하나의 환경을 공유
• 애플리케이션 컨테이너: Doker(도커는 LXC를 기반으로 개발됨)

2. 컨테이너의 역할

결국 컨테이너를 통해 무엇을 하는건지가 중요한 것 같다. 컨테이너는 다음과 같은 특징을 가진다.

• 쉽고 빠른 생성 (OS 입장에서는 프로세스를 실행하는 것과 마찬가지이므로 빠른 처리가 가능하다.)
• 가벼운 성능
• 적은 오버헤드
• 뛰어난 이식성 (파일 형태로 환경이 구성되어있어 공유가 쉬움)

이와 같은 기능을 갖춘 컨테이너를 활용하여 서버에서 실행되는 애플리케이션별로 독립적인 환경을 구축하여 테스트, 운영, 배포 등이 가능하다.

3. LXC를 통해 컨테이너 생성하기

🤔 이번엔 ubuntu와 centOS에서 LXC를 실행하여 컨테이너를 생성해보았다.

1) ubuntu

- ubuntu
$ lxc-create -n [컨테이너 이름] -t [사용할 템플릿]

-n 플래그는 컨테이너의 이름을 지정하고, -t는 컨테이너 템플릿을 지정한다. 만약 템플릿 부분에서 에러가 난다면 /usr/share/lxc/templates/ 디렉토리에서 사용가능한 템플릿 목록을 확인해야한다.

해당하는 템플릿이 없다면

- ubuntu
$ apt install lxc-templates

명령으로 다운받으면 된다! (내가 그랬음)

컨테이너를 생성하는 시간이 생각보다 오래 걸린다. 조금 기다리면 위와 같이 로그인시 사용할 패스워드를 알려주며 생성이 완료된다! 초기 설정은 username과 password 모두 'ubuntu' 이다.

2) centOS

- centOS
$ lxc-creat -n [컨테이너 이름] -t [사용할 템플릿]

동일하게 컨테이너를 생성하면 패스워드가 저장된 위치를 알려주는 메세지가 출력된다. /var/lib/lxc/컨테이너이름/tmp_root_pass 파일을 열어 패스워드를 확인할 수 있다.

3) 컨테이너 실행 및 접근

$ lxc-start -n [컨테이너 이름]

컨테이너 생성 후 상태를 확인해보면 STOPPED인 것을 확인할 수 있다. 위 명령을 통해 상태를 RUNNING 으로 활성화시켜준다. (-d 옵션을 붙이면 컨테이너 실행 후 대화형 세션을 열지 않도록 해준다.)

$ lxc-attach -n [컨테이너 이름]

해당 명령으로 컨테이너에 접근한다. 정상적으로 작동한다!

Virtual Private Cloud(VPC)는 사용자의 AWS 계정 전용 가상 네트워크입니다. VPC는 AWS 클라우드에서 다른 가상 네트워크와 논리적으로 분리되어 있습니다. AWS 리소스(예: Amazon EC2 인스턴스)를 VPC에서 시작할 수 있습니다. VPC 피어링 연결은 프라이빗 IPv4 주소 또는 IPv6 주소를 사용하여 두 VPC 간에 트래픽을 라우팅할 수 있도록 하기 위한 두 VPC 사이의 네트워킹 연결입니다. 동일한 네트워크에 속하는 경우와 같이 VPC의 인스턴스가 서로 통신할 수 있습니다. 사용자의 자체 VPC 또는 다른 AWS 계정의 VPC와 VPC 피어링 연결을 만들 수 있습니다. VPC는 상이한 리전에 있을 수 있습니다(리전 간 VPC 피어링 연결이라고도 함). AWS

VPC Peering은 각각의 VPC 간의 연결을 구성하여 프라이빗 IP 주소를 통해 서로 통신해주는 역할을 담당한다.

VPC Peering이 제공하는 기능은 다음과 같다.

• 고속 네트워크 통신(이를 통과하는 트래픽에대해서는 비용 절감이 가능)
• 리전 간 VPC 연결 가능
• 계정 간 VPC 연결 가능

VPC 사용

1. 두개의 VPC를 피어링 연결하기

목표: 두대의 EC2 인스턴스가 서로의 프라이빗 아이피로 연결하고 웹서비스 접근이 가능하도록 설정

1) 환경 준비

• VPC (1,2 두개의 VPC를 생성하고 각각의 퍼블릭 서브넷과 라우팅 테이블, 인터넷 게이트웨이 준비)
• EC2 인스턴스 (VPC 퍼블릭 서브넷과 연결)
• 보안 그룹(SSH, ICMP - 모든영역 접속 가능)

2) 환경 검증

각각의 인스턴스에서 서로의 프라이빗 IP에 접속이 불가함을 확인

• VPC1-EC2의 private IP : 10.41.1.100
• VPC2-EC2의 private IP : 10.42.1.100

3) VPC Peering 연결 생성

연결 대상을 지정하여 새 연결을 생성한 뒤 각각의 라우팅 테이블을 추가한다.

4) 보안규칙 추가

VPC에 연결된 상대방 인스턴스가 웹 서비스 접근이 가능하도록 인바운드 규칙에 HTTP와 대상 IP를 추가한다. (VPC2-EC2에 추가된 인바운드 규칙, VPC1-EC2도 마찬가지로 추가)

5) Private IP 통신 확인

ping 명령으로 확인해보니 Private IP를 통해 정상적으로 통신중임! 새로 추가한 HTTP 규칙으로 웹 서비스도 정상 접근 가능

Amazon CloudFront는 .html, .css, .js 및 이미지 파일과 같은 정적 및 동적 웹 콘텐츠를 사용자에게 더 빨리 배포하도록 지원하는 웹 서비스입니다. CloudFront는 엣지 로케이션이라고 하는 데이터 센터의 전 세계 네트워크를 통해 콘텐츠를 제공합니다. CloudFront를 통해 서비스하는 콘텐츠를 사용자가 요청하면 지연 시간이 가장 낮은 엣지 로케이션으로 요청이 라우팅되므로 가능한 최고의 성능으로 콘텐츠가 제공됩니다. AWS

CloudFront는 AWS에서 제공하는 CDN 기능이다. CDN(Contents Delivery Network)이란 지리적으로 서버를 분산시켜 사용자가 요청한 컨텐츠를 가까운 위치의 서버에서 전송함으로써 컨텐츠 제공 속도를 향상시키는 것을 의미한다.

• CDN 기술의 서버는 원본 컨텐츠를 가지고 있는 오리진 서버와 분산된 위치에 존재하는 캐시 서버로 나누어진다.
• 오리진 서버는 캐시 서버로 컨텐츠를 분산하여 저장한다. (이를 캐싱이라고 함)
• 사용자가 요청한 컨텐츠가 캐시 서버에 없는 경우 Cache Miss 상태가 되어 오리진 서버로 컨텐츠를 요청한다. (존재한다면 Cache Hit 상태)
• 캐싱 방식은 정적 캐싱과 동적 캐싱으로 구분된다.

1. CloudFront 기능

• 글로벌 엣지 네트워크
• 정적/동적 컨텐츠 전송
• 장애 조치
• SSL 지원
• 인증 url과 쿠키를 통한 인증과 접근제어

2. CloudFront 사용하기

1) 국외 리전에 환경을 구성한다

• VPC, Public subnet/routing table, Internet Gateway, Public EC2 Instance(HTTP), Security group(SSH, HTTP)

CloudFront 확인을 위해 상파울루 리전에 환경을 구성하였다.

2) 레코드 추가

Route 53 레코드에 새로운 단순라우팅 레코드를 추가하여 EC2 인스턴스와 연결한 뒤 도메인에 접속하여 지연시간을 확인한다.

웹에 대용량 이미지를 첨부하였기때문에 시간이 오래걸리는 것을 확인할 수 있다. 반복적으로 시도해본 결과 34~37s 정도 걸리는 듯 하다.

3) CloudFront 배포 생성

CloudFront에서 새로운 배포를 생성한다. 모든 엣지 로케이션에 컨텐츠를 배포하고, EC2 인스턴스의 퍼블릭 DNS 주소를 연결하여 지정한다.

배포시 도메인 검증을 위해 연결하고자 하는 도메인의 인증서가 필요하다. 버지니아 리전의 Certification Manager 대시보드에서 발급이 가능하고, 발급한 인증서는 Route 53에 새로운 레코드로 지정해야 검증이 정상적으로 진행된다. (그런데 이 도메인 검증 절차가 생각보다 오래 걸린다,,,) 배포도 5분~10분 정도 기다리니 완료되었다.

4) 대체 도메인에대한 레코드 생성

Route 53에서 cdn.haryun.tk로 새로운 레코드를 정의한다.

5) 검증

모든 설정이 끝났으니 검증을 진행한다. cdn.haryun.tk로 접속한다. 36.88s -> 946ms로 지연시간이 확연히 줄었다! 해당 이미지의 헤더를 확인해보면 'Hit from cloudfront'라고 적혀있음을 확인할 수 있다. 클라우드프론트의 엣지 로케이션에 사용자가 요청한 컨텐츠가 존재한다는 의미이다.

Amazon Route 53는 높은 가용성과 확장성이 뛰어난 클라우드 Domain Name System (DNS) 웹 서비스입니다. 이 서비스는 최종 사용자를 인터넷 애플리케이션으로 라우팅할 수 있는 매우 안정적이고 비용 효율적인 방법을 개발자와 기업에 제공하기 위해 설계되었습니다. 이 서비스에서는 www.example.com과 같은 이름을 192.0.2.1과 같은 컴퓨터 간 연결에 사용되는 숫자 IP 주소로 변환합니다. 또한, Amazon Route 53는 IPv6와 완벽히 호환됩니다. AWS

Route 53은 AWS가 제공하는 DNS로, 운영중인 EC2나 S3와 같은 서비스의 엔드포인트와 접속할 IP 주소를 연결하는 기능을 담당한다. (엔드포인트: 해당 서비스에 접근하는 진입점)

DNS(Domain name system)은 네트워크의 복잡한 IP 주소체계를 도메인 네임에 매핑하여 연결하는 서비스이다. 해당 기능을 사용하기 위해서는 DNS 서버를 생성해야하는데 이 서버는 4가지 유형으로 분류된다.

• DNS 해석기
• 루트 네임 서버
• TLD 네임 서버
• 권한 있는 네임 서버

1. Route 53의 서비스

• 도메인 이름 등록
• DNS를 관리하는 호스팅 영역
• 레코드를 생성하고 라우팅 정책 적용

라우팅 정책의 경우 매우 다양한 방식을 지원하며, 용도에 맞게 적용 가능하다. 대표적인 라우팅 정책은 아래와 같다.

• Simple routing: 도메인에 하나의 리소스만을 지정하여 라우팅
• Weighted routing: 도메인에 다수의 리소스를 지정하고 가중치 값에따라 라우팅
• Latency routing: 다수의 리전에 리소스가 존재하고 지연시간이 가장 짧은 곳으로 라우팅
• Failover routing: 주기적은 상태 확인을 통해 장애발생시 대상을 변경하여 라우팅

이 외에도 다양한 정책이 존재한다.

2. Route 53에 개인 도메인 등록하기

1) Domain 생성

freenom에서 12개월동안 무료로 이용 가능한 도메인을 생성했다.

2) Route 53에 호스팅 영역 추가

생성한 도메인을 새로운 호스팅 영역으로 지정한 뒤, freenom에 접속하여 route 53을 통해 생성된 네임서버를 적용한다. 해당 도메인에 A 레코드 또한 추가해준다.

3) 도메인에 접속하여 검증

생성한 도메인이 매핑한 IP로 정상 연결됨을 확인할 수 있다! (Route 53에 최초 호스팅 영역을 생성하면 비용이 발생한다😭)

3. Route 53 구성하고 라우팅 정책 지정하기

1) 환경 준비

• VPC, public subnet, routing table, Internet gateway, public EC2 Instance, ALB, Security group 생성

  2) Route 53 레코드 생성

  단순 라우팅 정책을 적용하여 test.haryun.tk와 연결되도록 설정 정상 접속 다시 접속하면 ALB가 분산처리 하여 두번째 인스턴스로 연결됨

3) 과정

1) 사용자가 주소 입력창에 test.haryun.tk를 입력하면 DNS 해석기에 해당 주소가 전달되고, DNS 해석기는 이를 루트 네임서버로 요청하여 .tk의 TLD 주소를 받는다. 2) DNS 해석기는 다시 .tk의 TLD 주소를 네임서버로 요청하여 Route 53 호스팅 영역의 주소를 받는다. 3) DNS 해석기는 Route 53 호스팅 영역에 test.haryun.tk의 주소를 요청하여 응답을 받아 출력한다.

4) 장애 조치 라우팅 정책을 적용한 레코드 생성하기

Route 53의 상태검사에 EC2-1,2를 대상으로 추가한다. 장애조치 레코드를 추가한다. 적용 후 해당 도메인에 접속하면 EC2-1 인스턴스로만 접속된다. (상태검사를 통해 정상적으로 작동중이기 때문임)

5) 장애 조치 라우팅 검증

EC2-1 인스턴스를 중지시킨 뒤에 다시 접속한다. 상태 검사가 비정상 인것을 확인할 수 있다. EC2-2 인스턴스로만 접속이 가능하다. (정상적으로 라우팅 되었음)