family_names = ["park", "kim", "choi"]
for idx, f_name in enumerate(family_names):
    print(str(idx+1), "번째 성:", f_name)

출력 시,

1 번째 성: park
2 번째 성: kim
3 번째 성: choi

Kotlin 에서는 이와 같은 기능을 어떻게 제공하는지 찾아보았다.

• Iterable의 withIndex()

val family_names = arrayListOf("park", "kim", "choi) 
for ((index, f_name) in family_names.withIndex()) { 
    println("index: ${index+1}, name: $f_name") 
}

• Non-blocking I/O, New I/O
• Channel이 양방향 buffer를 통해 외부 데이터와 통신
• 읽기/쓰기를 하나의 통로로 해결

특징

• Non-blocking
  • I/O 작업이 진행되는 동안 유저 프로세스의 작업을 중단시키지 않는 방식
• 비동기
  • I/O 작업이 진행되는 동안 유저 프로세스에는 관심이 없음. 그저 자신의 일을 하다가 이벤트 핸들러에 의해 알림이 오면 처리하는 방식
• Buffer, Channel, Selector 이용하여 성능 향상
  • Buffer: 커널에 의해 관리되는 시스템 메모리를 직접 사용할 수 있는 Buffer Class
    • Channel: 읽기, 쓰기 둘 다 가능한 양방향 입출력 클래스(cf) Stream: 읽기, 쓰기 하나씩 쓸 수 있는 단방향 입출력 클래스
  • Selector: 네트워크 프로그래밍 효율을 높임. 클라이언트 하나당 스레드 하나를 생성해서 처리하는 방식은 스레드 생성 수가 늘어날수록 급격한 성능 저하를 가져오므로, 이를 개선한 Reactor 패턴의 구현체

참고

• OSI 7계층, TCP/IP 4계층

네트워크 상에서 정보를 주고받기 위해서는 여러 계층별 프로토콜이 필요하다. 따라서, 상호 독립적이면서 유기적인 관계를 가진 계층 구조를 바탕으로 데이터가 교환될 수 있다.

여기서는, 전송계층을 다루겠다.

전송계층 (Transport Layer) : 전송계층의 프로토콜은 크게 TCP와 UDP로 나뉜다.

• TCP

  • 연결지향적
  • 데이터를 전송하는 측과 데이터를 전송받는 측에서 전용의 데이터 전송 선로(Session)을 만들어 통신함
  • 데이터 전송 성공/실패에 대한 신뢰도가 중요하다고 판단될 때 사용

• UDP

  • 비연결지향
  • 최소한의 오류제어 기능만 수행
    • 단순히 데이터를 받거나, 보내기만 하는 프로토콜
  • 실시간 멀티미디어 정보를 처리하기 위해 주로 사용됨

TCP가 연결지향적 특성을 갖게 해주는 방법이 바로 3way-handshake!

• 3way-Handshake란? 전송 제어 프로토콜(TCP)에서 통신을 하는 장치 사이에 서로 연결되어 있는지 확인하는 방법

• 3way-Handshake 과정

SYN: Synchronize sequence numbers ACK: Acknowledgements

[Step1] 클라이언트1은 A서버에 접속을 요청하는 SYN 패킷을 보낸다. 이때, 클라이언트1은 요청한 서버로부터 SYN/ACK 응답을 기다리는 SYN_SENT 상태가 된다.

[Step2] A서버는 Listen 상태로 포트 서비스가 가능한 상태여야한다. 닫힌 상태였던 A서버는 SYN요청을 받고 Listen 상태가 되며, 클라이언트1에게 요청을 수락한다는 ACK요청과 SYN flag가 설정된 패킷을 발송한다. 그리고 클라이언트1이 다시 ACK를 보내기를 기다린다. 이때, A서버는 SYN_RECEIVED 상태가 된다.

[Step3] 클라이언트1은 A서버에게 ACK을 보내고 이후로부터는 두 매체 간의 연결이 이루어진다. 이때의 A서버 상태가 ESTABILISHED 이다.

• 실제 과정

3way-Handshake 과정에서, 두 매체는 서로 랜덤한 숫자를 보내고 이를 잘 받았다는 ACK로 1을 더해주는 방식을 사용한다.

이처럼, TCP는 연결지향적인 특성과 자체적으로 오류를 처리하며 순서가 뒤바뀐 패킷을 교정해주는 기능을 제공한다. 데이터 전송의 신뢰도가 중요하다고 판단될 때 쓰이는 방식이지만, 데이터 전송 속도가 중요시되는 경우면 제한적인 방법이다. UDP는 위와 같은 과정없이 단순히 데이터만 전송하기 때문에 속도는 빠르다. 스트리밍 서비스의 경우에는 데이터의 손실은 있더라도 끊기지 않은 데이터 전송이 중요하므로 UDP 방식이 더 사용하기 적합하다.

• 참고 참고 링크 1

#
# Multistage build.
#
ARG TRITON_VERSION=2.9.0
ARG TRITON_CONTAINER_VERSION=21.04

ARG BASE_IMAGE=nvcr.io/nvidia/tritonserver:21.04-py3-min
ARG BUILD_IMAGE=tritonserver_build

############################################################################
##  Build image
############################################################################
FROM ${BUILD_IMAGE} AS tritonserver_build

############################################################################
##  Production stage: Create container with just inference server executable
############################################################################
FROM ${BASE_IMAGE}

ARG TRITON_VERSION
ARG TRITON_CONTAINER_VERSION

ENV TRITON_SERVER_VERSION ${TRITON_VERSION}
ENV NVIDIA_TRITON_SERVER_VERSION ${TRITON_CONTAINER_VERSION}
ENV TRITON_SERVER_VERSION ${TRITON_VERSION}
ENV NVIDIA_TRITON_SERVER_VERSION ${TRITON_CONTAINER_VERSION}
LABEL com.nvidia.tritonserver.version="${TRITON_SERVER_VERSION}"

ENV PATH /opt/tritonserver/bin:${PATH}

ENV TF_ADJUST_HUE_FUSED         1
ENV TF_ADJUST_SATURATION_FUSED  1
ENV TF_ENABLE_WINOGRAD_NONFUSED 1
ENV TF_AUTOTUNE_THRESHOLD       2

# Create a user that can be used to run triton as
# non-root. Make sure that this user to given ID 1000. All server
# artifacts copied below are assign to this user.
ENV TRITON_SERVER_USER=triton-server
RUN userdel tensorrt-server > /dev/null 2>&1 || true &&     if ! id -u $TRITON_SERVER_USER > /dev/null 2>&1 ; then         useradd $TRITON_SERVER_USER;     fi &&     [ `id -u $TRITON_SERVER_USER` -eq 1000 ] &&     [ `id -g $TRITON_SERVER_USER` -eq 1000 ]

# Ensure apt-get won't prompt for selecting options
ENV DEBIAN_FRONTEND=noninteractive

# Common dependencies. FIXME (can any of these be conditional? For
# example libcurl only needed for GCS?)
RUN apt-get update &&     apt-get install -y --no-install-recommends          libb64-0d          libcurl4-openssl-dev          libre2-5 &&     rm -rf /var/lib/apt/lists/*

# python3, python3-pip and some pip installs required for the python backend
RUN apt-get update &&     apt-get install -y --no-install-recommends          python3          python3-pip &&     pip3 install --upgrade pip &&     pip3 install --upgrade wheel setuptools &&     pip3 install --upgrade grpcio-tools grpcio-channelz numpy &&     rm -rf /var/lib/apt/lists/*

WORKDIR /opt/tritonserver
RUN rm -fr /opt/tritonserver/*
COPY --chown=1000:1000 LICENSE .
COPY --chown=1000:1000 TRITON_VERSION .
COPY --chown=1000:1000 --from=tritonserver_build /tmp/tritonbuild/install/bin/tritonserver bin/
COPY --chown=1000:1000 --from=tritonserver_build /tmp/tritonbuild/install/lib/libtritonserver.so lib/
COPY --chown=1000:1000 --from=tritonserver_build /tmp/tritonbuild/install/include/triton/core include/triton/core

COPY --chown=1000:1000 --from=tritonserver_build /tmp/tritonbuild/install/backends backend

# Extra defensive wiring for CUDA Compat lib
RUN ln -sf ${_CUDA_COMPAT_PATH}/lib.real ${_CUDA_COMPAT_PATH}/lib  && echo ${_CUDA_COMPAT_PATH}/lib > /etc/ld.so.conf.d/00-cuda-compat.conf  && ldconfig  && rm -f ${_CUDA_COMPAT_PATH}/lib

COPY --chown=1000:1000 NVIDIA_Deep_Learning_Container_License.pdf /opt/tritonserver
COPY --chown=1000:1000 nvidia_entrypoint.sh /opt/tritonserver

##########################추가한 부분#####################################
COPY --chown=1000:1000 requirements.txt .
COPY --chown=1000:1000 kobert_install.sh .

RUN apt-get update && apt-get install -y python3-dev
RUN pip3 install -r requirements.txt
RUN chmod a+x kobert_install.sh

RUN ./kobert_install.sh

ENV LANGUAGE=en_US.UTF-8
ENV LANG=en_US.UTF-8
ENV LC_ALL=en_US.UTF-8
RUN apt-get clean && apt-get update && apt-get install -y locales
RUN locale-gen en_US.UTF-8
##########################추가한 부분#####################################

ENTRYPOINT ["/opt/tritonserver/nvidia_entrypoint.sh"]

ENV NVIDIA_BUILD_ID <unknown>
LABEL com.nvidia.build.id=<unknown>
LABEL com.nvidia.build.ref=

...(생략)
src/gluonnlp/data/fast_bert_tokenizer.c:14:10: fatal error: Python.h: No such file or directory
       14 | #include "Python.h"
          |          ^~~~~~~~~~
    compilation terminated.
    error: command 'x86_64-linux-gnu-gcc' failed with exit status 1
    ----------------------------------------
ERROR: Command errored out with exit status 1: /usr/bin/python3 -u -c 'import io, os, sys, setuptools, tokenize; sys.argv[0] = '"'"'/tmp/pip-install-ynu4t8bt/gluonnlp_c9b89e59f39b4d0fb4b8ea2323a4d980/setup.py'"'"'; __file__='"'"'/tmp/pip-install-ynu4t8bt/gluonnlp_c9b89e59f39b4d0fb4b8ea2323a4d980/setup.py'"'"';f = getattr(tokenize, '"'"'open'"'"', open)(__file__) if os.path.exists(__file__) else io.StringIO('"'"'from setuptools import setup; setup()'"'"');code = f.read().replace('"'"'\r\n'"'"', '"'"'\n'"'"');f.close();exec(compile(code, __file__, '"'"'exec'"'"'))' install --record /tmp/pip-record-np4sy9qk/install-record.txt --single-version-externally-managed --compile --install-headers /usr/local/include/python3.8/gluonnlp Check the logs for full command output.

이는 "python3-dev"가 설치되어있지 않아서 발생한 문제였고,

$ apt-get install -y python3-dev

로 해결하였다.

$ chown [OPTION] USER[:GROUP] file(s)

• Docker Image 저장

  $ docker save -o {이미지 압축파일명}.tar {타깃 이미지명 혹은 이미지ID}

  해당 경로상에 "{이미지 압축파일명}.tar"이 생성되는 것을 확인한다.

이후, 내 서버에 해당 압축파일을 옮겨온 뒤, 다시 docker image로 로드한다.

• Docker Image 로드

  $ docker load -i {이미지 압축파일명}.tar
  $ docker images

• 원하는 이미지 이름으로 변경

  $ docker tag {바꾸고싶은 이미지ID} {원하는 이미지명:tag}

따라서,

하나의 서버를 구성하는 프로젝트의 하위 패키지 구조 설계에 도움이 되는 Github을 바탕으로 정리해본다.

참고한 Github 주소 https://github.com/osopromadze/Spring-Boot-Blog-REST-API/tree/master/src

• 프로젝트 구조 코드가 시작하는 부분부터 패키지 구조를 그려본 것

| config

      |___ AConfig.java
      |___ BConfig.java
      ...

| controller

      |___ AController.java
      |___ BController.java 
      ...

| exception

      |___ AException.java
      |___ BException.java 
      ...

| model

      |___ AModel

              |___ AEntity.java
            ...

      |___ BModel
      ...

| payload

      |___ request

              |___ ARequest.java
      |___ response
      ...

| repository

      |___ ARepository.java
      |___ BRepository.java 
      ...

| security

      |___ ATokenProvider.java
      ...

| service

      |___ Impl

              |___ AServiceImpl.java
            ...

      |___ AService.java 
      |___ BService.java
      ...

| utils

      |___ ServiceConstant.java
      |___ ServiceUtils.java 
      ...

| Application.java

$ docker network create redis-net

이제 Redis 서버를 실행시킨다.

$ docker run --name redis\
         -p 6379:6379 \
             --network redis-net \
             -v my/folder:/data -d redis:latest redis-server \
             --appendonly yes

redis-cli로 해당 redis server에 접속해본다.

$ docker run -it --network redis-net --rm redis:latest redis-cli -h redis

참고

--rm: 실행할 때, 컨테이너 id가 존재하면 삭제 후 run

Redis server의 docker network ip를 확인한다.

$ docker network inspect redis-net

"Containers"의 "redis"이름에 해당하는 부분에서 IPv4 주소를 확인하면 된다.

redis:latest 이미지를 ash 쉘로 실행하여 redis-cli 접속해본다.

$ docker run -it --network redis-net --rm redis:latest ash

쉘에 접속하면, 아래와 같이 redis server의 컨테이너명을 호스트로 해도 되고, ip를 입력해도 된다.

/data # redis-cli -h redis

• 참고한 블로그 https://emflant.tistory.com/235

MySQL의 like 구문을 활용할 때, % 자체를 사용해야하는데 이를 동적으로 받은 특정 값에 대해서 적용하여 쿼리 string으로 넘길 때, String.format()을 활용해야 했음

근데, String.format의 포멧 string에는 %와 conversion의 조합으로 구성하여 들어가는데, 이때 % 자체를 활용하려면 %%로 두번 입력해줘야 함

예를 들어, projectId를 인자로 받아서 해당 값으로 시작하는 모든 컬럼 값들을 가져오는 쿼리를 작성할 때, 아래의 함수처럼 작성하여 활용함

public String getProjectIdFormat(long projectId){
    return String.format("%d_%%", projectId);
} // return 값 예시: "1_%" -> 1_로 시작하는 컬럼값들을 가져올 때 활용