dev-jhyun

Docker를 활용한 배포 - Docker Compose와 Docker Network

Fri, 15 Nov 2024 06:42:53 GMT

1. docker-compose.yml을 활용한 배포

docker-compose.yml 작성

Docker를 활용해 MySQL 이미지를 가져와 실행하고, 이를 spring 이미지에서 이용하도록 docker-compose.yml 파일을 작성했다.

services:
  mysql:
    image: mysql:latest
    container_name: mysql-example
    environment:
      MYSQL_ROOT_PASSWORD: ${db_root_password}
      MYSQL_DATABASE: ${db_name}
      MYSQL_USER: ${db_username}
      MYSQL_PASSWORD: ${db_password}
    ports:
      - "3306:3306"

  spring-boot-app:
    image: ${생성한_Docker_image_이름}
    container_name: spring-boot-container
    ports:
      - "8080:8080"
    depends_on:
      - mysql
    environment:
      DB_URL: jdbc:mysql://mysql:3306/${db_name}
      DB_USERNAME: ${db_username}
      DB_PASSWORD: ${db_password}
      SPRING_PROFILES_ACTIVE: prod

오류 발생

MySQL 컨테이너는 계속해서 실행되지만 spring 이미지가 계속해서 종료 되는 문제가 발생했다. 로그를 살펴보니 MySQL이 제대로 시작되기 전에 Spring 컨테이너가 실행이 되면서 DB 연결을 시도해서 자꾸 멈추는 것을 확인했다.

찾아보니 depends_on의 경우는 Docker compose에서 '단순히 서비스의 시작 순서를 설정하는 것이지 서비스의 준비상태까지 보장하는 것은 아니' 라고 한다.

따라서 정상적으로 실행시키기 위해서는 mysql이 실제로 통신가능한 상태인지 확인하는 과정이 필요하다.

해결 방법

1) wait-for-it 사용

wait-for-it은 docker에서 여러 Docker Container들을 동시에 실행해야 할 때 각각의 실행 순서를 정해준다. https://github.com/vishnubob/wait-for-it

github에서 `wait-for-it.sh` 다운로드

curl -o wait-for-it.sh https://raw.githubusercontent.com/vishnubob/wait-for-it/master/wait-for-it.sh
chmod +x wait-for-it.sh

`docker-compose.yml` 또는 `Dockerfile` 수정

Dockerfile.yml

spring-boot-app:
  image: elice_aws_docker_practice
  container_name: spring-boot-container
  ports:
    - "8080:8080"
  depends_on:
    - mysql
  environment:
    DB_URL: jdbc:mysql://mysql:3306/elice
    DB_USERNAME: elice
    DB_PASSWORD: elice1234
    SPRING_PROFILES_ACTIVE: prod
  entrypoint: ["wait-for-it.sh", "mysql:3306", "--", "java", "-jar", "app.jar"]

Dockerfile

FROM openjdk:17-jdk-slim

# wait-for-it.sh 복사
COPY wait-for-it.sh /usr/local/bin/wait-for-it.sh
RUN chmod +x /usr/local/bin/wait-for-it.sh

# 앱 실행 명령어를 wait-for-it.sh로 래핑
CMD ["wait-for-it.sh", "mysql:3306", "--", "java", "-jar", "app.jar"]

MySQL 컨테이너가 완전히 실행되고 난 뒤에 jar 파일을 실행한다.

2) HealthCheck를 사용한 컨테이너 상태 확인

services:
  mysql:
    image: mysql:latest
    container_name: mysql-example
    environment:
      MYSQL_ROOT_PASSWORD: ${db_root_password}
      MYSQL_DATABASE: ${db_name}
      MYSQL_USER: ${db_username}
      MYSQL_PASSWORD: ${db_password}
    ports:
      - "3306:3306"
    healthcheck:
      test: ["CMD", "mysqladmin", "ping", "-h", "localhost"]
      interval: 10s
      timeout: 5s
      retries: 3

  spring-boot-app:
    image: ${생성한_Docker_image_이름}
    container_name: spring-boot-container
    ports:
      - "8080:8080"
    depends_on:
      mysql:
        condition: service_healthy
    environment:
      DB_URL: jdbc:mysql://mysql:3306/${db_name}
      DB_USERNAME: ${db_username}
      DB_PASSWORD: ${db_password}
      SPRING_PROFILES_ACTIVE: prod

HealthCheck를 사용하는경우 MySQL이 정상 작동 상태를 반환하기 전까지 spring-boot-app을 시작하지 않는다

결과

나는 HealthCheck를 활용하는 방법을 선택했다.

위의 사진을 살펴보면 처음 실행했을 때는 mysql-example과 spring-boot-container의 로그가 번갈아 가며 찍히다가 종료되었는데, 이번에는 mysql이 전부 실행된 뒤에 spring이 실행되는 모습을 볼 수 있다. localhost를 통해서 접근도 잘 되는 것을 확인할 수 있다.

2. Docker Network를 활용한 배포

이 방법은 이미 MySQL이나 다른 서비스가 Docker를 이용해 배포되고 있을 때 사용하면 좋을 것 같다. docker-compose를 통해서 docker 컨테이너를 생성 및 실행하는 경우 docker network가 새로 생성되기 때문!

Docker Network 생성

docker network create ${network_name}
docker network ls

MySQL 컨테이너 생성

docker pull mysql
docker run -d --name mysql-container --network ${위에서_설정한_네트워크명} -e MYSQL_ROOT_PASSWORD=${password} mysql:latest
docker ps
docker network inspect ${네트워크명}

MySQL 컨테이너에 접속해 DB 생성

docker exec -it  bash # bash 터미널 실행
mysql -u root -p

위의 명령어를 사용하면 MySQL 컨테이너의 터미널에 접근이 가능하다. 이후 터미널에서 mysql을 실행하고, DB를 생성해준다.

CREATE DATABASE

docker-compose.yml 파일 수정

1) 이미 생성된 Docker image를 사용하는 경우

services:
  spring-app:
    image: your-existing-image:latest  # 사용하려는 Docker 이미지 이름과 태그
    container_name: spring-app-container
    ports:
      - "8080:8080"
    nvironment:
      SPRING_DATASOURCE_URL: jdbc:mysql://${mysql_container_이름}:3306/${db_이름}
      SPRING_DATASOURCE_USERNAME: ${db_username}
      SPRING_DATASOURCE_PASSWORD: ${db_password}
    networks:
      - docker-net-prac

networks:
  docker-net-prac:
    external: true

2) Docker image를 생성하는 경우

services:
  spring-app:
    build:
      context: .
      dockerfile: Dockerfile
    container_name: spring-app-container
    environment:
      SPRING_DATASOURCE_URL: jdbc:mysql://${mysql_container_이름}:3306/${db_이름}
      SPRING_DATASOURCE_USERNAME: ${db_username}
      SPRING_DATASOURCE_PASSWORD: ${db_password}
    ports:
      - "8080:8080"
    networks:
      - docker-net-prac

networks:
  docker-net-prac:
    external: true

docker-compose.yml 파일 설명

context의 역할

Docker 빌드 컨텍스트 경로 지정
- Docker 데몬이 해당 디렉토리를 기준으로 Dockerfile과 빌드에 필요한 파일을 찾음
COPY 명령어에서 사용
- Dockerfile 내에서 COPY나 ADD 명령어를 사용할 때, context로 지정된 디렉토리 기준으로 파일 경로를 참조
빌드 파일 전송
- Docker는 context에서 지정한 경로에 있는 모든 파일을 Docker 데몬에게 전송
- .dockerignore 파일을 사용하면 불필요한 파일들을 제거 가능

external option

이미 존재하는 네트워크를 사용하는 경우 true로 설정함
Docker compose는 기본적으로 고유한 네트워크를 생성하기 때문에 external: true를 통해 이 동작을 막는다.
동일한 네트워크를 생성하려고 하면 충돌 에러가 발생할 수 있기 때문에 Compose가 네트워크를 새로 생성하지 않도록 한다.

[참고자료]

[이론] 네트워크 모델(Network Models)

Wed, 10 Apr 2024 03:14:48 GMT

1. Layered Tasks

Layered Architecture

A single machine, each layer calls upon the services of the layer just below it.

Peer-to-Peer

두 컴퓨터끼리의 통신 → 다른 컴퓨터가 어떻게 통신하는지는 알 필요 없다.

2. The OSI Model

OSI 7 Layers

💡 계층을 나누는 이유 → 독립적으로 작동하게 하여 편리하게 할 수 있다. 하나의 레이어가 달라지더라도 인터페이스만 동일하다면 다른 레이어들 고칠 필요 없다.

왜 Internet 모델로 다시 돌아왔는가?
- 빨라지려면 단순해야 한다.
- OSI 7계층은 ? 복잡하다.

4. TCP/IP Protocol Suite

💡 TCP(Transmission Control Protocol) / IP(Internetworking Protocol)

5. Addressing

Physical Address

Physical Address : 보드에 적힌 Ethernet 주소
- LAN이나 WAN 에 의해 정해지는 주소
- Data Link Layer에서 사용 되는 Frame 안에 포함된다.
- 가장 낮은 레벨의 주소
- 모든 사람이 받아보지만 자기 주소랑 안맞으면 프레임 버린다.

Logical Address(IP 주소)

문자로 표기 된 것은 논리 주소
컴퓨터 물리 주소 알 수는 있지만 실제로 통신 할 때에는 논리 주소인 IP주소를 사용한다

Port Address

6. Basic of Internet Routing

Routong Table Hierarchy

Class of Internet Address

Class A (1.0.0.0 - 127. 255. 255.255) : 7bits(netid- 부여받은 주소) + 24bits(hostId- 정한 주소)
Class B (128.0.0 - 191. 255.255.255) : 14bits(netid- 부여받은 주소) + 16bits(hostId- 정한 주소)
Class C (192.0.0.0 - 223.255.255.255) : 21bits(netid- 부여받은 주소) + 8bits(hostId- 정한 주소)

Step for Basic Routing

packet을 받으면 dst addr 추출
Network Address = Dst addr & SubNet Mask in Entry
network address == dst network address?
1. matching → send
2. else → repeat until right match
No match ⇒ select default

000.000.000.000/26
- 뒤에 붙는 숫자 ⇒ 앞에서부터 1의 갯수 → 32 - 26 = 6 ⇒ 64개씩 그룹

네트워크 계층이 있다 == Routing Table이 있다.
connected ⇒ 직접 연결되어 있다 : ARP 날려서 논리 주소 얻는다
else ⇒ Gateway로 가면 된다

[취업준비] 상반기 1차 점검

Fri, 05 Apr 2024 09:47:56 GMT

미국에서 인턴을 하다가 돌아오고 나니... 갑자기 공채 시즌이 되었다. 한 달 정도는 준비할 시간이 있겠거니 했던 내가 너무 어이없다.

상반기에 합격을 바라는 것은 어려울 거라는 것은 이미 알고 있었지만 그래도 도전해보지 않고 포기할 수는 없으니(코딩 테스트를 봐 본 적이 없어서 경험이 필요하기도 했다) 전부터 가고 싶어했던 기업들 몇 개만 지원서를 넣었다.

토스 - Python 개발자 챌린지

3/8 지원 완료
3/10 과제 테스트

토스에서 파이썬을 쓸 줄 아는 사람이라면 누구나 도전할 수 있고, 코딩 테스트가 아니라 과제 테스트로 진행하길래 지원해봤다. 하지만 Django를 한 번도 안 써본 나에게는 너무 어려운 도전이었고... 시험 당일에 급하게 다녀와야 하는 곳이 있어서 2시간 정도 밖에 살펴 볼 시간이 없었다. 과제 테스트를 한 번도 해본 적이 없어서 어쨌든 어떻게 나오는 지 알 수 있어서 좋은 경험이었다.

네이버 - Infra 직무

모집 기간: 2024.03.05 ~ 2024.03.18
3/17 지원 완료
3/21 온라인 코딩테스트 및 기업 문화 적합도 검사 대상자 안내
3/23 코딩 테스트
4/4 결과 발표 연기 안내 메세지

컴퓨터 공학 전공자라면 누구나 가고 싶어하는 기업이 네이버 아닐까? 서류 탈락은 거의 없다고 하는데 혹시나 서류에서 떨어질까봐 자소서 문항과 제출한 서류들을 세번씩은 본 것 같다. 제출 이후에도 수정할 수 있다는 것이 매우 편리했다. 코딩 테스트에서 아주...아주 망했기 때문에 마음을 비우고 있는 상태였는데 결과 발표가 연기 되었다고 메세지를 보내주셔서 감사했다. 지원자를 배려해주는 기업 같다.

2024/04/09 추가 탈락 메일이 왔다. 탈락 메일은 왜 두 개씩 오는 건가요ㅜㅜ 내년에 다시 한 번 도전해봐야지

삼성전자 DX - DA 사업부

모집 기간: 2024.03.11 ~ 2024.03.18
3/18 지원 완료
4/5 직무적합성평가 결과 안내 메일 오늘 나올 줄 모르고 있었는데 갑자기 메일이 와서 정말 핸드폰을 던질 뻔 했다. 합격 불합격이 메일에 적혀 있는 것은 아니고 삼성 채용 사이트에 들어가서 확인하면 된다. 삼성이 서류가 빡세다는 얘기를 들어서 걱정했는데(SW 말고 다른 직군은 그럴지도) 다행히 코딩테스트를 볼 수 있는 기회를 얻었다. 얼마 안 남았는데 준비하는 게 깝깝하다.

AWS - Data Center Operation Trainee

모집 기간: 2024.02 ~ 모집 완료 시
4/4 지원 완료

정말 고민을 많이 했다. 커리어 페어도 참여해서 듣고 질문도 하고 그랬다.. AWS는 워낙에 채용 과정이 길어서... 잊고 있다 보면 합/불을 알려주려나 하고 있다. 자유형식 영어 이력서라 이력서 작성에 시간을 좀 들였다.

우아한 형제들 - 우아한 테크캠프 7기

모집 기간: 2024.04.04 ~ 2024.04.10
4/4 지원 완료
코딩테스트: 4/13 예정

우아한 테크캠프가 여지껏 지원한 모든 과정 중에 가장 간단하게 접수할 수 있었다. 그만큼 코딩 테스트 결과가 중요하다는 뜻일텐데 아주 걱정이 많다...

[Infra 기초] 1. 서버란 무엇인가

Tue, 26 Mar 2024 01:57:13 GMT

본 글은 Inflearn의 롱런하는 슈퍼 개발자가 되기 위한 필수 지식, IT 인프라 기초 총정리 을 수강하며 정리한 내용입니다.

서버와 클라이언트

서버: 클라이언트에게 네트워크를 통해 정보나 서비스를 제공하는 장치(요청 시 저장되어 있던 응용 프로그램을 전송)
클라이언트: 네트워크를 통하여 서버에 접속해 정보를 확인하거나 서비스를 이용하는 장치(응용 프로그램을 요청한 뒤 실행)

서버는 클라이언트의 요청을 처리하므로 클라이언트로부터 요청을 받아야 제 역할을 다 할 수 있다.

서버의 역할 및 종류

웹 애플리케이션 구성 서버

웹 서비스를 제공하기 위해서는 다양한 서버가 필요하다.(규모가 작은 경우 하나의 서버로 통합할 수 있지만 리소스 부족 가능성이 있다.)
클라이언트가 브라우저를 통해 콘텐츠(소스코드, 텍스트, 이미지, 동영상 등)을 요청하면 서버가 이에 대한 응답을 전송하는 방식

구성 서버의 종류
웹 서버: 클라이언트와 가장 가까이 존재하며, 정적 콘텐츠를 클라이언트에게 전달.

서버는 응답을 보낸 후 요청 내용과 응답 내용을 기록하게 되는데 이를 Log 라고 한다.
애플리케이션 서버: 동적 콘텐츠를 클라이언트에 전달. 웹 서버로부터 요청을 받아 콘텐츠를 전달한다.
데이터베이스(DB) 서버: 애플리케이션의 정보를 저장해서 운영, 관리할 수 있는 데이터베이스를 구동하는 서버
프록시 서버: 클라이언트가 자신을 통해서 다른 네트워크 서비스에 간접적으로 접속할 수 있게 해주는 컴퓨터 시스템. 서버와 서버 사이의 중계기 역할 출처: https://securityboulevard.com/2023/04/what-is-reverse-proxy-how-does-it-works-and-what-are-its-benefits/
- 리버스 프록시 서버:
  - 웹앱서버 / WAS 앞에 놓여져 있으며(인터넷 뒷단에 존재) 서버쪽으로 데이터 요청을 밀어준다.
    - 흔히 사용하는 [Apache, Nginx] <-> [Tomcat] 분리 형태를 Reverse 프록시라고 볼 수 있다.
  - 사용 시 로드 밸런싱, 본래 서버의 IP 노출 방지, 캐싱, 암호화의 이점이 있다.
- 포워드 프록시 서버:
  - 클라이언트 바로 뒤에 놓여 있음.
    - 인터넷을 통해 외부 서버에서 데이터를 가져와 클라이언트에게 응답한다.
    - 사용 시 캐싱을 통한 빠른 응답, 서버에 클라이언트의 IP 주소를 알리지 않음, 암호화의 이점이 있다.

서버 하드웨어와 소프트웨어

서버 하드웨어 분류 by 폼팩터

랙(Rack) 마운트 서버

랙에 밀어넣는 형태의 서버
한 칸을 1U(Unit)이라 하고 크기에 따라 1U 서버 ~ nU 서버라고 부른다.
블레이드(Blade)형 서버
랙 마운트형 서버를 더 얇게 만들고 케이스가 없는 형태의 서버
타워형 서버
일반 데스크탑 PC와 유사한 형태의 서버
워크스테이션이라고도 부른다
서버 하드웨어 분류 by 종류

Main Frame
IBM이 1964년 출시한 통계, 금융 분야에 사용되는 대형 서버
경량화하여 UNIX가 나왔으며 마찬가지로 금융권 및 대기업에서 많이 사용하는 형태의 서버이다.
x86
가장 많이 사용하는 서버 유형
랙서버의 경우 대부분 x86

대표적인 서버 하드웨어 제조사는 HPE, Dell Technologies, Inspur, Lenovo, IBM, Asus등이 있다.

서버 소프트웨어

서버 OS(Operating System)

z/OS : Main Frame에서 사용되는 IBM에서 만든 서버용 OS
AIX, hp UX, Oracle Solaris: UNIX에서 사용되는 서버용 OS
Debian, Ubuntu, CentOS: x86에서 주로 사용되는 Customized 된 리눅스 배포판
RedHat, SUSE: OS 자체는 무료지만 기술지원이 유료인 Linux 기반 상용 소프트웨어
Microsoft Windows Server: 마이크로소프트에서 만든 유료 서버용 OS

서버 소프트웨어: 서버 OS 위에 설치

Apache, Nginx, Microsoft IIS: 서버가 웹서버의 역할을 하게끔 해주는 소프트웨어
FileZilla: FTP(File Transfer Protocol) 서버
Exchange: 메일 송수신을 위한 서버. SMTP(Simple Mail Transfer Protocol)을 사용

참고자료

🌐 Reverse Proxy / Forward Proxy 정의 & 차이 정리

[LLM] Prompt Engineering

Sat, 03 Feb 2024 19:39:33 GMT

요즘 Chat GPT의 출시로 인해 LLM에 대한 관심이 커져가면서 LLM과 연관된 Prompt Engineering에 대한 관심도 높아지고 있다. 나는 주로 Coursera나 Udemy에서 Tech 관련된 강의를 듣는데 Prompt Engineering에 관한 강의들이 많아지고 있다. 물론 LLM 자체를 개발하는 것도 중요하지만 다양한 분야에 앞으로 LLM이 적용되면서 LLM을 어떻게 잘 활용할 것인가?가 중요한 화두가 된 것 같다.

이 글에서는 LLM과 Prompt Engineering에 대해 정리해보고자 한다.

LLM(Large Language Models)

LLM이란 무엇인가

LLM(Large Language Model)은 방대한 양의 텍스트 데이터로 훈련을 해서 자연어 이해 및 생성을 하는 모델로 다양한 언어 관련 작업을 진행할 수 있다. GPT-3, BERT, Transformer 와 같은 대규모 언어 모델의 등장 및 발전을 통해 자연어 처리 분야에서 혁신이 일어나고 있다. 현재 GPT-4 모델이 출시되었고 많은 사람들이 사용하는 Chat GPT는 해당 모델을 활용한 AI 기반 대화 시스템이다.

LLM의 동작 원리

데이터 학습

LLM의 데이터 학습 방식을 이해하기 위해서는 모델이 어떻게 텍스트 데이터를 처리하고 학습하는 지가 중요하다.

데이터 수집: 일반적으로 인터넷에서 수집되며, 해당 데이터를 통해 모델이 다양한 언어 패턴, 문맥, 어휘를 학습하는 데에 도움이 된다.
데이터 전처리: 수집된 데이터를 토큰화(Tokenization) 과정을 통해 긴 텍스트를 더 작은 단위(토큰)으로 분할하고 모델이 텍스트를 처리할 수 있도록 만든다.
모델 훈련: 토큰화된 데이터는 신경망 훈련에 사용된다. 모델은 다양한 언어적 패턴(텍스트의 문맥, 구문, 의미 등)을 학습한다.
파인 튜닝(fine-tuning): 모델이 특정 작업이나 도메인에 적합하도록 추가적으로 학습하는 과정을 의미한다.
지속적인 학습: 지속적으로 새로운 데이터를 학습하여 최신 정보를 반영하고 성능을 향상한다.

자연어 처리 기술

LLM이 언어를 이해하고 생성하기 위해서는 다양한 기술이 필요하다.
Tokenization (토큰화) 출처: https://teetracker.medium.com/llm-fine-tuning-step-tokenizing-caebb280cfc2
- 정의: 토큰화는 긴 텍스트 문자열을 더 작은 단위, 즉 토큰으로 분할하는 과정. 토큰은 단어, 문자, 문장 부호 등이 될 수 있다.
- 목적: 텍스트를 모델이 처리할 수 있는 형태로 변환하는 것. 토큰화를 통해 복잡한 자연어 데이터가 구조화되고, 모델이 학습할 수 있는 형태로 만들어진다.
Embedding (임베딩)
- 정의: 임베딩은 토큰(단어, 문자 등)을 벡터 공간에 매핑하는 과정. 각 토큰은 고차원의 벡터로 변환된다.
- 목적: 자연어의 의미적, 문맥적 정보를 수치적 형태로 표현하는 것. 단어의 의미, 문맥, 관계 등을 학습한다.
Neural Networks (신경망)
- 정의: 신경망은 인간의 뇌를 모방한 인공지능의 핵심 구조로, 다수의 노드(뉴런)가 서로 연결되어 복잡한 계산을 수행한다.
- 종류: LLM에서 주로 사용되는 신경망은 'Transformer' 아키텍처로 Attention 메커니즘을 사용하여 입력 시퀀스의 중요한 부분에 초점을 맞춘다. 출처: https://pub.aimind.so/summary-of-transformer-achitecture-c2cef6dcaca6
- 목적: 신경망은 텍스트 데이터에서 패턴을 학습하고, 이를 바탕으로 문장 생성, 질문에 대한 답변, 텍스트 요약 등의 작업을 수행한다.

Prompt Engineering

Prompt Engineering이란?

LLM에게 특정한 출력을 유도하기 위해 입력(Prompt)를 설계하는 일이다. LLM의 성능은 입력되는 프롬프트에 의해 크게 좌우된다. 같은 내용을 질의하더라도 얼마나 상세하게, 어떤 형식으로 질문하냐에 따라 답변의 질이 달라지게 된다. 이러한 중요성이 강조되면서 Prompt Engineering이라는 분야가 주목받게 되었다.

LLM과 Prompt Engineering

LLM과 Prompt의 상호작용

LLM은 입력된 프롬프트에 따라 출력값이 다르다. 효과적은 Prompt Engineering을 통해 LLM이 보다 정확한 결과를 제공하도록 할 수 있다.

LLM의 활용성 높이기

Prompt Engineering을 통해 LLM의 성능 최적화 및 다양한 산업에 맞춤형 LLM 모델로 만들 수 있다.

Prompt Engineering 관련 강의

https://www.coursera.org/specializations/prompt-engineering https://www.udemy.com/course/chatgpt-ai-masterclass/

추후에 관련 강의를 수강하면서 AI 시대에 어떻게 LLM을 활용할 것인지 공부해보고자 한다.

[Rust] Hot하다고 말만 들었지..

Sat, 03 Feb 2024 18:52:34 GMT

우리 학과에서는 학과는 커리큘럼 상 주언어로 Java, Python, C를 사용한다. 다른 언어들(C++, Ocaml, Java script,...)들을 배우긴 하지만 한 학기정도만 사용하게 되고 프로젝트는 돌고 돌아 친숙한 Java나 Python을 사용하게 된다. 그럼에도 불구하고 일명 HOT한 언어들은 계속해서 나오고 있는데, Type Script라든가 Go, Kotlin 등등 여러 언어가 있지만 그 중 하나가 Rust였다.

Rust는 안전성, 속도, 병렬 처리를 중심으로 설계된 언어로, 다음과 같은 특징들이 있다.

메모리 안전성: 컴파일 시점에서 메모리 안전성을 검사해서 메모리 누수 및 메모리 관련 오류를 방지한다.
소유권 시스템: 각 변수의 데이터에 대한 소유권을 관리하여 데이터 경합과 같은 문제를 효율적으로 관리한다.
병렬 및 동시성 처리: 데이터 경합이 없으므로 안전하게 병렬 처리를 수행할 수 있다.
성능: 저수준 언어의 성능을 유지하면서도 고수준 언어의 추상화를 제공한다.

작년에 졸업 프로젝트를 진행하면서 지도교수님이 상담을 해주셨는데 그 중 C/C++언어를 주 언어로 사용하는 팀원에게 교수님이 "자네는 Rust 공부해 볼 생각 없나?"라고 말씀하셨다.

이렇게 Rust를 들어보긴 했지만 실제로 사용해 볼 일도 별로 없고 같은 프로그램이더라도 Language에 따라 속도가 확연히 차이가 날 수 있다고는 하지만 실감해 본 적이 없었는데 이번에 인턴을 진행하면서 뜻밖의 부분에서 Rust를 마주치게 되었다.

내가 현재 인턴을 진행하는 회사는 Proteomics 관련 회사로, 단백질 분석을 위해 다양한 프로그램들을 사용한다.

출처: https://www.leibniz-fli.de/research/core-facilities-services/cf-proteomics

단백질 분석 과정(위의 사진에서 4번 과정)에서는 FASTA file을 읽고, 효소 소화 과정 시뮬레이션을 통해 단백질 서열을 펩타이드로 분해하고, 질량 분석을 위해 B/Y이온을 만드는 과정이 필요하다. Proteomics Database Search Engine에서 이러한 단백질 서열 분석을 하고 특정한 단백질이나 펩타이드의 존재를 확인하기 위해 해당 기능을 포함하게 된다.

내가 맡은 업무는 아니지만 함께 인턴을 하던 친구가 Fragment Indexing에 Rust를 도입하는 업무를 맡게 되었다. 동일한 Indexing 프로그램을 하나는 C#으로, 다른 하나는 Rust로 작성하였는데 놀랍게도 C#은 소요 시간 5분, Rust는 50초가 나왔다. 물론 여러 경우를 생각해봐야겠지만 단순히 생각하면 언어를 바꿔서 소요시간이 1/6이 되었다. Proteomics도 모르고 Rust를 처음 써본 그 친구가 Fragment Indexing 부분에서 속도를 6배로 높였는데, 만약에 Protemics Database Search Engine이 Rust로 작성되어 있다면?

우리의 멘토링을 담당하시던 박사님이 오픈소스 프로그램 중에서 Rust로 개발된 SAGE를 발견하셨다.

출처: https://github.com/lazear/sage

Github 페이지의 Sage 소개글은 다음과 같이 적혀있다.

Sage: proteomics searching so fast it seems like magic

정말 마법처럼 보일정도로 빠르다. 박사님은 회의 시작 전에 Search를 돌려놓고 회의 중에 결과가 다 나와버렸다며 아주 기뻐하셨다. 우리 회사는 빠르게 SAGE를 도입하기로 결정했고, 나는 SAGE를 클라우드에서, 그리고 우리의 Web Platform에서 실행하도록 Migration하는 역할을 맡았다.

내가 Proteomics에 대한 지식이 풍부했거나 이 분야에서 오랜 기간 일했다면 이 과정을 통해 배우는 것이 더 많았겠지만 내가 이런 Hot한 언어가 현업에서 사용되는 것을 보면서 느낀 것은

프로그램 Language를 변경함으로써 생산성을 말도 안되게 높일 수 있다
- 적절한 Language를 선택하는 것도 중요하다
- 각 언어의 장/단점을 이해하고 있는 것도 도움이 많이 되겠다.
필요한 기능에 대해서 open source 프로그램을 이용하는 것도 좋은 방법이다.
편하다고 안주하지말고 신기술, 새로운 언어를 배우는 것을 멈추지 말자.

였다.

잘 모르는 분야에서 일을 하는 것이 물론 힘이 들 때도 있지만~~(SAGE의 Configuration file을 이해하기 위해서 구글과 ChatGPT와 한참을 싸웠다)~~ 새로운 것을 배운다는 것, 일을 하면서 얻어가는 것이 있다는 것은 정말 즐거운 일이다.

Rust가 Hot한 언어라고 말만 들었을 때의 나와, 실제로 그 Hot한 언어가 어떤 변화를 이끌어내는지 두 눈으로 보고 경험한 나는 분명히 다를 것이다.