가상환경 생성

conda create -n {가상환경이름} {파이썬 버전}

ex) conda create -n pruny python=3.7

가상환경 목록 확인

conda env list

가상환경 활성화 / 비활성화

conda activate {가상환경이름}
conda deactivate {가상환경이름)

가상환경 삭제

conda env remove -n {가상환경이름}

DELETE 요청(Method만 바꾸면 Get과 비슷)

녹화파일을 지우는 메서드를 작성하였습니다. 입력받은 recordingId을 PathVariable 형태로 입력하여 요청을 보냅니다.

요청 순서는 아래와 같습니다.

1. RestTemplate 인스턴스를 생성

2. Header 생성

3. Header로 entity 생성

4. restTemplate.exchange()에 url, method, requestEntity, responseType을 담아 요청을 보냅니다.

public void removeRecording(String recordingId) {
        String url = OPENVIDU_BASE_PATH + "recordings/" + recordingId;

        // OPENVIDU REST API 요청
        RestTemplate restTemplate = new RestTemplate(new HttpComponentsClientHttpRequestFactory());
        // Header 생성
        HttpHeaders headers = new HttpHeaders();
        headers.setContentType(MediaType.APPLICATION_JSON);
        headers.setAccept(Collections.singletonList(MediaType.APPLICATION_JSON));
        headers.add("Authorization", "Basic " + OPENVIDU_SECRET);

        HttpEntity<String> entity = new HttpEntity<String>("", headers);
        // request
        try {
            ResponseEntity<String> response = restTemplate.exchange(
                    url, //{요청할 서버 주소}
                    HttpMethod.DELETE, //{요청할 방식}
                    entity, // {요청할 때 보낼 데이터}
                    String.class
            );
        }
        catch (HttpClientErrorException | HttpServerErrorException e){
            HttpStatus statusCode = e.getStatusCode();

            if (statusCode == HttpStatus.NOT_FOUND){        //404: 삭제할 녹황파일이 없는 경우
                throw new NotExistRecordingException();
            }
            else if (statusCode == HttpStatus.CONFLICT) {   //409: 녹화가 진행중인 경우
                throw new RecordingInProgressException();
            }
        }

    }

POST 요청

세션을 초기화하는 메서드를 작성하였습니다. 순서는 아래와 같습니다.

1. RestTemplate 인스턴스를 생성

2. Header 생성

3. Body 생성

4. Header, Body로 entity 생성

5. restTemplate.exchange()에 url, method, requestEntity, responseType을 담아 요청을 보냅니다.

6. response를 가공합니다.

public InitializeSessionResponseDto initializeSession(HttpServletRequest request){
        ...(생략)

        String url = OPENVIDU_BASE_PATH + "sessions";
        String customSessionId = userId + "-" + System.currentTimeMillis();
        String recordingMode = "ALWAYS";

        // OPENVIDU REST API 요청
        RestTemplate restTemplate = new RestTemplate(new HttpComponentsClientHttpRequestFactory());

        // Header 생성
        HttpHeaders headers = new HttpHeaders();
        headers.setContentType(MediaType.APPLICATION_JSON);
        headers.setAccept(Collections.singletonList(MediaType.APPLICATION_JSON));
        headers.add("Authorization", "Basic " + OPENVIDU_SECRET);

        // Body 생성
        JsonObject jsonObject = new JsonObject();
        jsonObject.addProperty("customSessionId",customSessionId);
        jsonObject.addProperty("recordingMode",recordingMode);

        // Header + Body
        HttpEntity<String> entity = new HttpEntity<String>(jsonObject.toString(), headers);

        // request
        ResponseEntity<String> response = restTemplate.exchange(
                url, //{요청할 서버 주소}
                HttpMethod.POST, //{요청할 방식}
                entity, // {요청할 때 보낼 데이터}
                String.class
        );

        // response
        JsonParser parser = new JsonParser();
        JsonObject responseBody = parser.parse(response.getBody()).getAsJsonObject();
        String sessionId = responseBody.get("id").getAsString();

        InitializeSessionResponseDto responseDto = new InitializeSessionResponseDto();
        responseDto.setSessionId(sessionId);
        return responseDto;
    }

at 명령어

프로세스 예약 실행 (주기성)

크론 (cron)

• 미리 정한 시간에 명령어, 프로그램, 작업 등을 실행할 수 있는 서비스

• at 명령어는 단 1회만 예약시간에 작업 실행하는 반면

  크론 서비스는 반복적으로 실행할 수 있음

• 크론 데몬 cron와 예약작업 정보가 담겨있는 설정파일로 구성

크론탭 (crontab)

• cron은 정해진 스케쥴에 따라 작업을 수행하는 데몬

• crontab은 데몬이 바라보는 작업 리스트

• cron 프로세스는 /etc/crontab 파일에 설정된 것을 읽어서 작업을 수행하게 된다.

anacron

• /usr/sbin/anacron 에 위치하며,

  크론과 같이 동작하는 프로그램으로 서버가 일정 시간 중지되었을 때에도 작업이 실행되는 것을 보장하기 위해 사용하는 도구이다.\

crontab 파일 형식

크론설정파일에 크론작업을 정의한다.

총 7개의 필드로 구성되어 있다.

분, 시간, 일, 월, 요일, 사용자명, 실행할 명령어 순으로 기재한다.

20 5 10 * * root /usr/sbin/test

10일 5시 20분에 root 사용자의 test 실행

Tip: 요일의 경우 일(0,7), 월(1), 화(2), 수(3), 목(4), 금(5)

crontab 수정

crontab -e

crontab 재시작

crontab 설정 변경 후 항상 cron 서비스를 재시작 해야한다.

service cron status # 동작 여부 확인

service cron start    # 가동
service cron restart # 재가동

# cron 명령어가 안되면 crond로 실행

crontab 등록된 목록보기

crontab -l

예) 3일 초과한 파일을 삭제하려면 -mtime +2 -delete

예) 3분 초과한 파일을 삭제하려면 -mmin +2 -delete

find /opt/openvidu/recordings/ find -name "*" -mmin +330 -delete

/opt/openvidu/recordings 디렉토리 내에 수정된지 330분 이상 된 모든 파일을 삭제한다.

[옵션]

-maxdepth

찾을 파일들의 경로 depth(깊이)를 지정한다. 1은 현재 2는 현재디렉토리위 한단계 아래의 하부 디렉토리 포함 이런식(옵션의 맨 처음에 와야 함)

 -depth 

찾을 파일들의 경로 depth(깊이)를 지정한다. 뒤의 단계지정은 maxdepth와 동일한데 다른건 maxdepth는 지정한 depth안의 파일을 모두 보여주지만 depth는 지정한 단계의 파일들만 보여줌

-name filename
파일 이름으로 찾는다.
-atime +n
access time 이 n일 이전인 파일을 찾는다.
-atime -n
access time이 n일 이내인 파일을 찾는다.
-mtime +n
n일 이전에 변경된 파일을 찾는다.
-mtime -n
n일 이내에 변경된 파일을 찾는다.
-perm nnn
파일 권한이 nnn인 파일을 찾는다.
-type x
파일 타입이 x인 파일들을 찾는다.(f: file, d: directory)
-size n
사이즈가 n이상인 파일들을 찾는다.
-links n
링크된 개수가 n인 파일들을 찾는다.
-user username
user이름으로 찾는다.
-group groupname
group 이름으로 찾는다.

처리방법 : 찾은 파일을 어떻게 할 것인지를 지정한다.
-print
찾은 파일의 절대 경로명을 화면에 출력한다.
-ls

찾은 내용을 ls처럼 보여줌

-exec cmd {};　
찾은 파일들에 대해 cmd 명령어를 실행한다.

공통점

Restart와 Reload는 변경된 설정을 적용하기위해 사용합니다.

차이점

Restart는 실제로 서버를 shutdown한 후 재시작하는 방식이라면, Reload 서버를 유지한 채 변경된 설정파일만을 적용하는 방식입니다.

// Restart
sudo service nginx restart

// Reload
nginx -s reload

nginx -s [명령어]

nginx -s reload // 설정 파일을 다시 불러오기
nginx -s quit // 서버 shutdown
nginx -s stop // 서버 즉시 중단
nginx -s reopen // 로그 파일을 다시 열기

redisConfig.java

@Configuration
public class RedisConfig {

    @Value("${spring.redis.host}")
    private String redisHost;

    @Value("${spring.redis.port}")
    private String redisPort;

    @Value("${spring.redis.password}")
    private String redisPassword;

    @Bean
    public RedisConnectionFactory redisConnectionFactory() {
        RedisStandaloneConfiguration redisStandaloneConfiguration = new RedisStandaloneConfiguration();
        redisStandaloneConfiguration.setHostName(redisHost);
        redisStandaloneConfiguration.setPort(Integer.parseInt(redisPort));
        redisStandaloneConfiguration.setPassword(redisPassword);
        LettuceConnectionFactory lettuceConnectionFactory = new LettuceConnectionFactory(redisStandaloneConfiguration);
        return lettuceConnectionFactory;
    }

    @Bean
    public RedisTemplate<String, Object> redisTemplate() {
        RedisTemplate<String, Object> redisTemplate = new RedisTemplate<>();
        redisTemplate.setConnectionFactory(redisConnectionFactory());
        redisTemplate.setKeySerializer(new StringRedisSerializer());
        redisTemplate.setValueSerializer(new StringRedisSerializer());
        return redisTemplate;
    }
}

application.yml

spring:
  redis:
    lettuce:
      pool:
        max-active: 10
        max-idle: 10
        min-idle: 2
    port: 6379
    host: {서버 IP}
    password: '비밀번호'

Docker 설치

apt 업데이트

sudo apt update

apt HTTPS 설정

sudo apt install apt-transport-https ca-certificates curl software-properties-common

도커 GPG키 설정 : GPG(GNU Private Guard)는 개인간, 머신간 또는 개인-머신간에 교환되는 메시지나 파일을 암호화하거나 서명을 추가하여 작성자를 확인하고 변조유무를 식별할 수 있게 해주는 도구이다. (기본적으로 RSA와 같은 공개 키 암호화 방식 사용)

도커 GPG키 등록

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -

<<응답>>
OK

apt에 도커 Repository 추가

sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu focal stable"

apt 업데이트

sudo apt update

우분투 Repo 대신 도커 Repo로 설치하는지 확인

apt-cache policy docker-ce

<<응답>>

docker-ce:
  Installed: (none)
  Candidate: 5:20.10.7~3-0~ubuntu-focal
  Version table:
     5:20.10.7~3-0~ubuntu-focal 500
        500 https://download.docker.com/linux/ubuntu focal/stable amd64 Packages
     5:20.10.6~3-0~ubuntu-focal 500
        500 https://download.docker.com/linux/ubuntu focal/stable amd64 Packages
     5:20.10.5~3-0~ubuntu-focal 500
        500 https://download.docker.com/linux/ubuntu focal/stable amd64 Packages
     5:20.10.4~3-0~ubuntu-focal 500
        500 https://download.docker.com/linux/ubuntu focal/stable amd64 Packages
        ...

도커 설치

sudo apt install docker-ce

도커 확인

sudo systemctl status docker

sudo 없이 도커사용하기

도커 그룹에 사용자 추가하기

sudo usermod -aG docker ${USER}

새 그룹 구성원 자격을 적용하기 위해서 다음 명령어를 입력합니다.

sudo su - ${USER}

도커 그룹 확인하기

id -nG

<<응답>>

{USER} ... sudo ... docker

docker.sock 권한 변경

sudo chmod 666 /var/run/docker.sock

jenkins X Gitlab 연동

jenkins 관리 > 플러그인 관리 > Available plugins > "gitlab" 검색

gitlab 설치

Generic Webhook Trigger Plugin 설치

new job > freestyle 생성

소스 코드 관리

• Git

  • Repo URL : gitlab repo 주소

  • Credentials > add > jenkins

    • Kind를 'Username with password'로 변경

    • UserName	gitlab 계정 아이디
      Password	gitlab 계정 비밀번호
      id	Credential을 식별하는 아이디
      Description	Credential에 대한 설명

  • Branch Specifier 설정

    • /main 혹은 /master 혹은 /develop 등

빌드 유발

• Build when a change is pushed to GitLab. GitLab webhook ... 클릭
  • Push Events 체크
  • Opened Merge Request Events 체크

Build Steps

• Add build step > Execute shell

• 아래는 테스트 코드임 (나중에 도커빌드 등 코드 입력)

  echo 'jenkins build started..'

저장

gitlab 접속

연동할 repo > Settings > Webhooks

gitlab에서 빨간 네모부분 작성 후 아래로 스크롤하면

Project Hooks가 생성되어 있음.

Test > push events 클릭 -> 젠킨스에서 자동 빌드 되는지 확인

Jenkins x deploy-server연동

jenkins서버

배포서버 EC2 인스턴스로 접근하기 위해서 pem 형식의 ssh 키 생성

sudo mkdir /var/lib/jenkins/.ssh

ssh-keygen -t rsa -C "키명칭" -m PEM -P "" -f /var/lib/jenkins/.ssh/"키명칭"

ex) sudo ssh-keygen -t rsa -C "jenkins-deploy" -m PEM -P "" -f /var/lib/jenkins/.ssh/jenkins-deploy

공개키를 검색해서 복사

sudo cat /var/lib/jenkins/.ssh/jenkins-deploy.pub

ex)
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABgQDD4HoSH8EbaSRqbf7hLeIlvvn/TnWX5rxJdAJ69GTdwJWi7hwpc6VX2Em5NUHXcE2gGsgFjCNeP1WVMacc3K+F+SCi7R2mpXZh/xbNbykPjBhDc/XtsaCOcyrgO9BvVzJ5Q6NVtn5UbFr+r7/VpcMvfe9/Nn+aIk/t4ZBxs7PZFRfJxXXf/c5Is6oGYInn13hzSq9bhk52FWFG/WtK1Ymm9SLPy2lhtghcbQJ8BZ9CEIfPt8cvEopWHGIzmIMrhgMFk/iQef7Ka/QdQwJiBDEtaQfmOP8fn1Xz0IE4S1jj2s+NoZcsJDoyVlCox3zRzOKuOELZXrlOezvClCGs6j+bo//K8GLjoYg4tQaFOaXd/V2k5KzBqU7flk3ITvAnaTu0CjmzgNrHQ5l7LbhrxTP/WgNYpkxH8sJOgt7E0bbUzuYML+H7heAPZrjZQR3ktzcuDTQv0/G9hHj6ikI9C232U322MGxQmmK9xRBhTDCiqSkkQz3CFAk3X4Zi67qtwiE= jenkins-deploy

배포서버 (사전에 docker 설치)

pub키 등록

ec2 접속 후 아래 명령어 입력하여 상술한 공개키 추가하기(아랫줄에 추가)

sudo nano .ssh/authorized_keys

jenkins 사이트에 접속

publish over ssh 플러그인

jenkins 관리 > 플러그인 관리 > 설치가능 탭에서 publish over ssh 플러그인 설치

jenkins 관리 > 시스템 관리 > publish over ssh 영역의 SSH servers 추가버튼 클릭

Path to Key는 Private key의 경로를 작성

/var/lib/jenkins/.ssh/jenkins-deploy

Key는 Private key 파일안의 내용을 복사 붙여넣기

sudo cat /var/lib/jenkins/.ssh/jenkins-deploy

ex)
-----BEGIN RSA PRIVATE KEY-----
MIIG5AIBAAKCAYEA8T7pTmHEh7sII6NHbCdpzi9yCaTn/CKuSRBnPIGtowE3xw0a
IpSVHpOX6h1ofkuWORty1E9qvat4MPGsQKnBY9xmpKDUKCyox8SN0e4IhES0ZxWQ
QXY4/IWmvKW65uB8z+7O4+Vz3eJoOtZunlWlK8oj5VSgbYnIWxUkkP2yOyG59EdB
26vE9qOv7DtHVtxRPCBIsRLlk/WrOgXe3z5JQHkM8OUQe9bIdqZdcNr5JPvGN1s3
Di8wFZ8+C6jks3wbVzfHbyTv994UD8N/Fji4OYEoY4P6xRcDNu7rzliL1yJ8KaFm
kX5GXNLQWUkCiYOGRt0PwUCXD63V7wCJ2ZEJR3lFHCqgXgaqaGaAyMp50rokfotE
o1eRlQrriZTwrp9GumksTolxfHYhbeCnSs5XNnIuCHbSVmZLLZtQ2LQLHgY+82PR
JrOK38WqlHtPorEQj9OkUY19VAxhE/OoZEb4wjveGbNDNPJBVtKBXiX+grHhOLT4
b97Z5oH/tIxfNM49AgMBAAECggGAJ4q+RwCza+P2I5FBxbJ4HzmboYUMGUG9+2/a
3AoNYehzMgctv3lHL+nVPqRvWjQdfWLIYZBa2JfgbXVPXJH2ht27XUSXQbaAO641
6LDxaGyyfSsFqBUupgVqHQW1Kt6k1pg4BRa49SeFGg/HteAn4JOTaqWCXjH1Syie
A73xlsuiZS3A17bB5ANUdI4K1WvrTMWl5JBKXQQpeqs3qrPU4eJ1go6pMwMzfG8s
ZbEeoTc7eBtVXNfTM9gUHWkjg1/V8ecLY0JLtQitgYbAxJDGPFdYmS5TbFDragYo
InrOo0Ds1vGhZq2FzfszQzL7JGFnGjc5SFb59lNwb7yFx+PzOGt9dUIa71Z4+l5d
um1o/KPn4cTE0C+QMEusrgilx/9hHnKej0y9CQIf85EbWCEjAE/0IhXeohZAdumU
iz5MDuMESO/0gNHOvio8xrlT+KWkW4+Vh12IHUbTQSk10fkLQ+iSSMyWWu11+62h
qcVXtaKxxUEbI/mkIBfmC/aM0N0pAoHBAP/w0j0vU5+NWl/ZOpJ9rELaj2/C6CuS
pkR72vZzToYxQAoBQtAaifqPglV8W6wraCvL2H0u4+zw7Dmmz4MoigXRJjtMXoZ6
NDKZjKbCYh1PI5Vb5dVChcPwR7wQQlJueugPC//FKE+rrh8GB91cZ2lqPIm4bDmh
f2XGjqvptdfhGnLWectXLDUK1Sl628A58IbYu2xgiAJKKiQzds4eOfEGdPu8ElX4
tihiKo+W2REzB9Je9DFGtpXlibP9+vp/PwKBwQDxTTf23UeFKEs/CsRdLpBMT9Pm
Mh2kbH16ieSMhGiX1APWEds0VOasTs9Etg0eJ0Zj79DZAtJS/M+0LwhyrdIiX2Oj
iSxoIDXwm+fdUlGF7IpI1HZgKVeCdnbEktduOjT4ocm0i3aOeR0j1h7lyJwFla8A
9cQ/oyHtoIhKwCZYU66JUQNCnboJy35QZzLG7NRpjClop1KTzDYUM8EGbvjA0Pqy
LYwcOgKxqlA+Wn2Y50s4mx57NBcSXLtO2lkvD4MCgcBrODjrFuuCWNY2dyt5eRp0
O1mBqXZX4qyy3ewh+LY5s2Ivjs2tnqCVDg+8vkctPlX6mwALmVw0w81CbaZbPN1t
iGvqxZiH36QEWp04sxAlVSUECiaji6W8KunyWCFgpRXqJ3uQX8j+b16XcpBS5MYR
vEa2L0NvdT+IpIDadiMO2CebWkxVqiRD6FDaerSat+sSorMJuPrhcq5q0gCAYttF
JL5XQzevOm0dR9qqorg241jwgYTtK8GL1Eg21jyROkMCgcEA7/JaUUgPA5Fi6ch6
JTLVWJ0U2FZDdapQSFbwhu5v13KDcg6FjI9UZklkAC6L8s0ZSO1DH1iX7t/oZoNS
gj7oszdprEgOeWh2WtGdik5+NI9Xnz5ujAbwNxI33hcq1DhbTlYLblY0SU6UNHuK
c/K9eywyPuElCibc6R/2B2b1emWULIX7mPWg9nZ9H9TPAFKmkmJHFwMzsTajHAmu
ywf0oj/s2ttB9RuWbDcw3iA7vp1ZBmvxro/I1YCS3cFwZ8SjAoHBAMwHrZlx7PUg
fDGnxl2yaRxe1efSLGAviU1j1RPqhQbRDm+ItpaNSW4fgsOuXNf5hm2L7qzdDj7F
9mSi7XSwl2X9i0odoz4V3qSIFRFwtBUkZg/WhxvJnBBojNO5iAaNLgEhf+0Q8MHF
fXh1QL17mWyp2McY5kWH3z0im5rzdpZKo3+4L5VytH6oSRp+3fIS0N5IDkW3749G
Itk6dJEvCZizMgeDHrBcpZ63zayA0ERhLPMgVqjLpW9cqgwfDUub+w==
-----END RSA PRIVATE KEY-----

Name은 접속할 ssh 서버의 이름을 작성

ex) deploy-server

hostname은 접속할 인스턴스의 주소(배포서버 ip)

ex) 52.78.76.246

username은 접속할 유저명

ex) ubuntu

Jenkins freestyle

• 빌드 환경 (publish over ssh 플러그인 설치를 미리해야함)

  • Send files or execute commands over SSH after the build runs

    • Name : 배포 서버 이름 입력

    • Exec command : 배포 서버에서 실행할 명령어 입력

      sudo docker ps -q --filter name=test | grep -q . && sudo docker rm -f $(sudo         docker ps -aq --filter name=test)
      sudo docker rmi repo/test
      sudo docker pull repo/test
      sudo docker run --rm -d --name test -p 8090:8090 repo/test

• Build Steps

​ Execute shell

cd BE
chmod +x gradlew
./gradlew clean build --exclude-task test

cd BE
docker build -t {도커 이미지} .
docker push {도커 이미지}

jdk 설치

openjdk-11-jdk 설치

sudo apt-get update

sudo apt-get install openjdk-11-jdk

jenkins 설치

jenkins 설치에 필요한 패키지 업데이트

wget -q -O - https://pkg.jenkins.io/debian/jenkins.io.key | sudo apt-key add -

echo deb http://pkg.jenkins.io/debian-stable binary/ | sudo tee /etc/apt/sources.list.d/jenkins.list

sudo apt update

패키지 업데이트 간 GPG ERROR 발생시 (Error 로그에 16자리키 활용)

sudo apt-key adv --keyserver  keyserver.ubuntu.com --recv-keys [16자리키]

jenkins 설치 및 실행 확인

sudo apt install jenkins

sudo systemctl status jenkins

Active 상태 확인

● jenkins.service - LSB: Start Jenkins at boot time
     Loaded: loaded (/etc/init.d/jenkins; generated)
     Active: active (exited) since Mon 2021-07-19 07:52:33 UTC; 1min 14s ago
       Docs: man:systemd-sysv-generator(8)
      Tasks: 0 (limit: 1160)
     Memory: 0B
     CGroup: /system.slice/jenkins.service

Jul 19 07:52:32 ip-172-31-14-198 systemd[1]: Starting LSB: Start Jenkins at boot time...
Jul 19 07:52:32 ip-172-31-14-198 jenkins[7146]: Correct java version found
Jul 19 07:52:32 ip-172-31-14-198 jenkins[7146]:  * Starting Jenkins Automation Server jenkins
Jul 19 07:52:32 ip-172-31-14-198 su[7189]: (to jenkins) root on none
Jul 19 07:52:32 ip-172-31-14-198 su[7189]: pam_unix(su-l:session): session opened for user jenkins by (uid=0)
Jul 19 07:52:32 ip-172-31-14-198 su[7189]: pam_unix(su-l:session): session closed for user jenkins
Jul 19 07:52:33 ip-172-31-14-198 jenkins[7146]:    ...done.
Jul 19 07:52:33 ip-172-31-14-198 systemd[1]: Started LSB: Start Jenkins at boot time.

jenkins 접속

http://{ip 주소}:8080

비밀번호 입력 (아래 명령어 입력해서 초기비밀번호 get)

sudo cat /var/lib/jenkins/secrets/initialAdminPassword

ex) 0f4a6eca53174a70a4b2f11a0600ab34

Install suggested plugins 클릭해서 설치

계정 생성

(jenkins 타임존 설정: 빌드 시간을 한국시간으로 확인하려면 수행)

jenkins 관리 > Script Console(맨 아래쪽에 있음) > 아래코드 복붙 > 실행

System.setProperty('org.apache.commons.jelly.tags.fmt.timeZone', 'Asia/Seoul')

Docker 설치

apt 업데이트

sudo apt update

apt HTTPS 설정

sudo apt install apt-transport-https ca-certificates curl software-properties-common

도커 GPG키 설정 : GPG(GNU Private Guard)는 개인간, 머신간 또는 개인-머신간에 교환되는 메시지나 파일을 암호화하거나 서명을 추가하여 작성자를 확인하고 변조유무를 식별할 수 있게 해주는 도구이다. (기본적으로 RSA와 같은 공개 키 암호화 방식 사용)

도커 GPG키 등록

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -

<<응답>>
OK

apt에 도커 Repository 추가

sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu focal stable"

apt 업데이트

sudo apt update

우분투 Repo 대신 도커 Repo로 설치하는지 확인

apt-cache policy docker-ce

<<응답>>

docker-ce:
  Installed: (none)
  Candidate: 5:20.10.7~3-0~ubuntu-focal
  Version table:
     5:20.10.7~3-0~ubuntu-focal 500
        500 https://download.docker.com/linux/ubuntu focal/stable amd64 Packages
     5:20.10.6~3-0~ubuntu-focal 500
        500 https://download.docker.com/linux/ubuntu focal/stable amd64 Packages
     5:20.10.5~3-0~ubuntu-focal 500
        500 https://download.docker.com/linux/ubuntu focal/stable amd64 Packages
     5:20.10.4~3-0~ubuntu-focal 500
        500 https://download.docker.com/linux/ubuntu focal/stable amd64 Packages
        ...

도커 설치

sudo apt install docker-ce

도커 확인

sudo systemctl status docker

sudo 없이 도커사용하기

도커 그룹에 사용자 추가하기

sudo usermod -aG docker ${USER}

새 그룹 구성원 자격을 적용하기 위해서 다음 명령어를 입력합니다.

sudo su - ${USER}

도커 그룹 확인하기

id -nG

<<응답>>

{USER} ... sudo ... docker

docker.sock 권한 변경

sudo chmod 666 /var/run/docker.sock

Jenkins에서 Docker login

sudo su - jenkins
docker login

도커허브 로그인

openjdk-11-jdk 설치

sudo apt-get update

sudo apt-get install openjdk-11-jdk

용량 큰 파일 찾기

du -h --max-depth=1 | sort -hr

시작하기

1. papertrail 웹사이트 접속

https://www.papertrail.com/

2. 회원가입 진행

3. 이메일 인증(회원가입 시 입력한 이메일에서 인증하시면 됩니다.)

4. https://papertrailapp.com/start 사이트에서 Add your first system 클릭

​

도커로 logspout 컨테이너 실행하기

로그스파우트
유닉스 세계에는 큰 문제를 풀기 위해 작은 프로그램을 통합하는 오랜 전통이 있다. 로그스파우트(Logspout)에도 도커 컨테이너의 로그를 관리하는 데 마찬가지 철학이 담겨 있다. 로그스파우트는 설정한 호스트의 모든 컨테이너에서 로그(주로 stdout(Standard Output), stderr(Standard Error))를 가져온다. 이 결과 취합된 로그는 HTTP 스트림을 읽어 실시간으로 간편하게 확인할 수 있다. 

원문보기:
https://www.itworld.co.kr/t/35/+/121392#csidx48a6e5afc874040b2aff5cde7d28a00 

On EC2 (Ubuntu)

1. logspout 이미지 다운로드

docker pull gliderlabs/logspout:latest

2. papertrail setup (https://papertrailapp.com/systems/setup?type=system&platform=unix)

​ 빨간 박스에 해당하는 부분을 복사하여 EC2에 붙여넣기 후 실행

​ 그러면 아래와 같이 setup이 완료된 모습을 볼 수 있음

3. 아래 빨간 네모박스 (logsN.papertrailapp.com:port) 부분을 복사

4. logspout (위에서 복사한 내용으로 {logsN.papertrailapp.com:port} 부분 대체) 컨테이너 실행

docker run --name logspout --restart=always -d -v=/var/run/docker.sock:/var/run/docker.sock gliderlabs/logspout:latest syslog+tls://{logsN.papertrailapp.com:port}

예시

docker run --name logspout --restart=always -d -v=/var/run/docker.sock:/var/run/docker.sock gliderlabs/logspout:latest syslog+tls://logs3.papertrailapp.com:20274

컨테이너 실행하기(로그 옵션 설정)

On EC2 (Ubuntu)

예시1 (Flask)

sudo docker run --rm -d -v /home/ubuntu/:/test/api_key -p 5006:5006 --name flask\
--log-driver=syslog\
--log-opt syslog-address=udp://logs3.papertrailapp.com:20274\
--log-opt tag=Flask\
{도커 이미지}

예시2 (SpringBoot)

sudo docker run --rm -d --name springboot -p 8090:8090\
--log-driver=syslog\
--log-opt syslog-address=udp://logs3.papertrailapp.com:20274\
--log-opt tag=SpringBoot\
{도커 이미지}

Events탭(https://my.papertrailapp.com/events)에서 로그를 확인할 수 있습니다.

로깅 툴 활용

설정을 통해 글씨체, 테마 등을 변경할 수 있습니다.

python3 프로세스 종료하기

pkill -9 -ef python3

-9 : KILL 신호를 보내라는 뜻 -e : 로그 출력 옵션 -f : 명령행 전체 참조 옵션

dd 명령어를 통해 swap 메모리를 할당합니다. (128씩 16개의 공간을 만드는 것이여서 우리의 경우 count를 16으로 할당하는 것이 좋습니다. 즉, 2GB정도 차지합니다.)

sudo dd if=/dev/zero of=/swapfile bs=128M count=16

스왑 파일에 대한 읽기 및 쓰기 권한을 업데이트합니다.

sudo chmod 600 /swapfile

Linux 스왑 영역을 설정합니다.

sudo mkswap /swapfile

스왑 공간에 스왑 파일을 추가하여 스왑 파일을 즉시 사용할 수 있도록 만듭니다.

sudo swapon /swapfile

절차가 성공했는지 확인합니다.

sudo swapon -s

/etc/fstab 파일을 편집하여 부팅 시 스왑 파일을 활성화합니다. 편집기에서 파일을 엽니다.

sudo nano /etc/fstab

파일 끝에 다음 줄을 새로 추가하고 파일을 저장한 다음 종료합니다.

/swapfile swap swap defaults 0 0

다음과 같이 적용됬는지 확인을 해봅니다.

free

참고

https://sundries-in-myidea.tistory.com/102 사이트 참고 (메모리 부족 현상 해결)

사용자 정보를 저장합니다.

git config --global user.name "이름"

git config --global user.email "git@email"

인증 이력을 캐시에 저장하도록 설정합니다

git config credential.helper store

최초 1회 git login을 수행합니다. (ex. git pull)

Username for '본인아이디'
Password for '본인 비밀번호'

계정을 입력한 후에는 정보가 서버에 저장되어 매번 아이디/비밀번호를 입력하지 않아도 됩니다.

(선택사항) 계정 정보 유효시간을 설정합니다

git config --global credential.helper 'cache --timeout 7200'

2시간 - 7200
1일 - 86400
7일 - 604800
30일 - 2592000

참고:

https://git-scm.com/docs/git-credential-cache https://tae-hui.tistory.com/entry/ubuntuGit-%EC%95%84%EC%9D%B4%EB%94%94-%ED%8C%A8%EC%8A%A4%EC%9B%8C%EB%93%9C-%EC%A0%80%EC%9E%A5%ED%95%98%EA%B8%B0?category=881302

사전에 aws 인바운드 규칙에 6379 tcp 포트 허용해주기

ubuntu에 redis 설치

sudo apt update
sudo apt install redis-server

레디스 상태 확인

sudo systemctl status redis

포트 개방 (외부 접속 허용)

sudo nano /etc/redis/redis.conf

127.0.0.1 ::1 (변경 전)
0.0.0.0 (변경 후)

ctrl + s (저장)
ctrl + x (나가기)

redis 재실행

sudo systemctl restart redis

포트가 열렸는지 확인

sudo netstat -nltp | grep 6379

redis 서버에 접속

redis-cli

redis 비밀번호 설정

redis-cli

CONFIG SET requirepass "비밀번호"

비밀번호 확인

redis-cli

> ping

> (error) NOAUTH Authentication required.
비밀번호 인증을 하지 않았기 때문에 error가 발생합니다.

> AUTH "비밀번호"

> ping

> pong

set을 사용해서 key-value로 데이터를 입력

set [key] [value]

get[key]로 데이터 값을 조회

get[key]

지정된 key를 검색

keys *검색어*

전체 key 조회

keys *

apt 업데이트

sudo apt update

MariaDB 설치

sudo apt install mariadb-server

sudo apt install mariadb-client

sudo mysql_secure_installation

mariaDB 접속

sudo mysql -u root -p

DB의 목록을 확인

show databases;

버전 확인

select version();

데이터베이스 생성

create database {db이름};

아이디 생성 @'%': 모든 클라이언트에서 접근이 가능합니다 @'localhost': 해당 컴퓨터에서만 접근이 가능합니다

create user '{username}'@'%' identified by '{password}'; 
create user '{username}'@'localhost' identified by '{password}'; 

사용자 권한 주기

GRANT ALL PRIVILEGES ON *.* TO '{username}'@'%'; // 모든 데이터베이스의 모든 테이블에 대한 권한 부여(*.*이 모든 테이블을 의미함)

GRANT ALL PRIVILEGES ON {DB이름}.* TO '{username}'@'%'; // 특정 DB에 모든 권한 부여

GRANT select, insert, update PRIVILEGES ON *.* TO '{username}'@'%'; // 특정 DB에 특정 권한 부여

새로고침(변경한 권한을 즉시 반영해주는 명령어)

FLUSH PRIVILEGES;

heidiSQL로 접속이 안될경우 (10061) 외부접근을 허용해주어야한다.

mariaDB 외부접근 설정

sudo nano /etc/mysql/mariadb.conf.d/50-server.cnf

#bind-address = 127.0.0.1 (변경 전)
bind-address = 0.0.0.0

sudo systemctl restart mariadb

3. 리눅스 파일 시스템에 확장

   sudo resize2fs /dev/root

touch test.sh

sudo chmod 755 test.sh

소유자 rwx
그룹 r-x
기타 r-x

3. vi 혹은 nano 등 편집기로 쉘 파일을 수정합니다

   sudo nano test.sh

   #!/bin/bash
   
   echo "Hello World"

   (저장 : ctrl + s)
   (나가기: ctrl + x)

4. 쉘 파일을 실행합니다.

   sh test.sh
   bash test.sh

   # 결과
   
   Hello World

방법 1 : 컨테이너 환경 변수 설정

docker 컨테이너 실행시 환경 변수를 설정합니다. (key-value 쌍)

sudo docker run --rm -d -e API_KEY="..." -p 5006:5006 {도커 이미지}

Python 파일에서는 os.getenv() 함수로 환경변수 API_KEY(key)의 value값을 호출합니다.

import os
API_KEY = os.getenv('API_KEY')
print(API_KEY) 

방법 2 : 도커 -v 옵션 활용

(참고: 아래 예시는 Jenkins에서 Publish Over SSH 플러그인을 활용한 경우 입니다.) jenkins : Send files or execute commands over SSH after the build runs ...

...

sudo docker run --rm -d -v /home/ubuntu/:/test/api_key -p 5006:5006 {도커 이미지}

여기서 호스트 /home/ubuntu == 컨테이너 /test/api_key 는 완벽히 같은 디렉토리입니다.

# /test/api_key/OPENAI.py
OPENAI_API_KEY = "..."

Python 파일에서는

from api_key import OPENAI
import openai

# 발급받은 API 키 설정 (호스트의 디렉토리를 볼륨하는 방법)
        OPENAI_API_KEY = OPENAI.OPENAI_API_KEY

        openai.api_key = OPENAI_API_KEY

test/api_key/ 디렉토리에 존재하는 OPENAI.py를 import한 후, 내부에 존재하는 OPENAI_API_KEY 변수를 호출하여 사용하는 방식입니다.