wxxk_o.log

대규모분산학습-1

Wed, 04 Mar 2026 06:37:11 GMT

분산학습 성공 기록 (Corpus Pretrain)

180 GiB GPU × 16개 = 총 2.8 TiB

이번에는 accelerate 기반으로 분산학습을 어떻게 성공시켰는지 정리한다. 코드는 이미 있었고, 실행 환경만 맞추면 됐다.

사전 확인 사항

스토리지 공유 여부
마스터 노드 공유 여부

1. 스토리지

해당 서버는 NAS로 구성돼 있어 추가 설정은 필요 없었다.
실행 config를 서버별로 다르게 두고, 각 서버에서 실행만 하면 됐다.

2. 마스터 노드

서버 1·2가 같은 마스터 포트(보통 29500)로 서로 연결돼 있어야 한다.

연결 확인 절차

Step 1. 마스터 서버 결정

서버 1, 2 중 마스터를 정한다. 여기서는 서버 1을 마스터로 사용했다.

Step 2. 서버 1의 메인 IP 확인

hostname -I

출력에서 가장 앞에 나오는 IP가 메인 내부 IP다.

Step 3. 포트 연결 테스트

서버 1에서 리스닝:

nc -l 29500

서버 2에서 연결 테스트:

nc -vz 10.x.x.xx 29500

아래처럼 나오면 성공이다.

Connection to 10.x.x.xx 29500 port [tcp/*] succeeded!

방화벽 주의

방화벽은 건드리지 말 것.
방화벽 해제로 시도했다가 서버 이상 동작으로 장애가 난 사례가 있었다.

Tmux 사용 이슈

연결 확인 후 accelerate로 학습을 돌리면 된다. 학습이 오래 걸리므로 nohup이나 tmux를 많이 쓸 텐데, 여기서는 tmux 사용 방식 때문에 문제가 있었다.

증상

서버 1에서 tmux로 학습 실행 → 멈춤
서버 1 tmux 안에서 서버 2로 SSH 접속 후 학습 실행 → 서버 2만 동작

원인 추정

서버 1이 GPU·CPU 메모리를 거의 다 쓰면서, 같은 세션 내 SSH 연결까지 유지하기 어려웠을 가능성

해결

로컬 PC에서 tmux 실행
같은 tmux 세션에서 서버 1, 서버 2에 각각 SSH 접속
각 터미널에서 학습 실행

이런 이슈를 피하려면 nohup으로 돌리는 방식이 더 단순하다.

기타 참고

B200 GPU: Flash Attention 4 미지원이라 사용할 수 없었다.

다음 글 예고

코드 설정(accelerate config 등)을 어떻게 했는지 정리할 예정이다.

컨테이너 생성방법

Wed, 04 Mar 2026 05:50:03 GMT

대규모 GPU 서버 컨테이너 설정 가이드

개요

회사에서 첨단 GPU 활용 지원 사업으로 B200 × 8개 서버 2대를 사용할 수 있게 되었다.

목표

대규모 GPU 서버 접속 문제 해결
버티컬 AI Corpus pretrain 성공

클라우드 업체: NHN (자잘한 이슈 문의는 NHN으로)

배경

2026년 02월 23일 업체 사용 설명회 진행, PDF 자료 제공
제약사항: 베타서비스 특성상 Docker로 서버를 올리기 때문에 Docker in Docker 불가
vLLM 등 별도 도커 이미지 사용 불가 → 패키지 직접 설치 후 환경 구축 필요

컨테이너 생성 UI

1. 컨테이너 선택 시 유의사항

PyTorch 컨테이너

Ubuntu 24.04 기반, CUDA 13 계열 지원

컨테이너 이름 (Image Tag)	Python	PyTorch	CUDA	JupyterLab	VSCode
`rntier4-ngc-ubuntu2404-pytorch2508-vnc`	3.12.3	2.8	13.0	4.4.5	4.106.3
`rntier4-ngc-ubuntu2404-pytorch2510-vnc`	3.12.3	2.9	13.0	4.3.6	4.106.3
`rntier4-ngc-ubuntu2404-pytorch2512-vnc`	3.12.3	2.10	13.1	4.5.1	4.106.3

TensorFlow 컨테이너

OS·CUDA 버전이 이미지별로 상이하므로 확인 필요

컨테이너 이름 (Image Tag)	Python	TF	CUDA	JupyterLab	VSCode
`rntier4-ngc-ubuntu2204-tensorflow2410-vnc`	3.10.12	2.16	12.6	4.2.5	4.106.3
`rntier4-ngc-ubuntu2404-tensorflow2412-vnc`	3.12.3	2.17	12.6	4.3.2	4.106.3
`rntier4-ngc-ubuntu2404-tensorflow2502-vnc`	3.12.3	2.17	12.8	4.3.5	4.106.3

공통: 모든 컨테이너에 Tmux 3 기본 설치

체크포인트: Ubuntu 버전, 프레임워크 버전 → Python·CUDA 호환성 확인 필수. 나머지는 가상환경 구축 후 설치하면 됨.

2. VNC란?

VNC (Virtual Network Computing)
SSH는 터미널만 사용하는 반면, VNC는 마우스·GUI로 원격 제어하는 방식이다.

JupyterLab, VSCode 등을 웹 브라우저가 아닌 전용 뷰어로 접속할 때 사용한다.

포트 33000 의미

내부 통로: 33000번 포트가 화면 전송용으로 할당됨
접속 예시: IP가 59.150.32.1이면 VNC 뷰어에서 59.150.32.1:33000 입력

3. 수동복구 vs 자동복구

옵션	설명
자동복구	장애 발생 약 10분 후 자동 복구 시도. 컨테이너가 초기 상태로 되돌아갈 수 있음

매뉴얼: 자동 복구 사용 시 위 사항을 반드시 확인할 것.

서버 스펙

메모리: 1400GB
IB (InfiniBand): 초고속 네트워크

컨테이너는 최대 2개 생성 가능 → 분산학습 구성 가능

폴더 구성

경로	설명
개인폴더	NVMe 연결, OS 포함
내 워크스페이스	NVMe 연결, OS 포함
xtmp	NVMe 연결, 데이터 로딩 빠름. OS 미포함이라 공유 없이 읽기/쓰기 시 성능 우수

확인 시 모든 경로가 NVMe로 되어 있었음. SATA(sda, sdb)보다 빠름.
참고: NVMe는 대용량이 없음. 데이터 10TB 이상이면 SATA 사용 고려.

추가 설정

데이터 전송 포트

4주 지원 사업 기간 동안 데이터 백업 필수 → 다운로드용 포트 연결 권장

컨테이너 시작 명령 (Command)

학습용이면 기본값으로 충분. 서비스 운영 시 python main.py 또는 /bin/bash 등 지정.

컨테이너 포트: 동적 vs 고정

구분	동적 (Dynamic)	고정 (Static)
컨테이너 내부 포트	9999 (사용자 입력)	9999 (사용자 입력)
외부 접속 포트	매번 랜덤	항상 동일
용도	테스트 후 버릴 때	서비스 운영, 고정 주소 필요 시
편의성	접속할 때마다 포트 확인	한 번 설정 후 계속 사용 가능

환경 변수

서비스에 필요한 변수 설정 예시:

LANG=ko_KR.UTF-8
TZ=Asia/Seoul

설정 완료 후

컨테이너 현황: 생성 여부 확인
">" 버튼: SSH 접속 정보 조회
">_" 버튼: 웹 터미널 접속

SSH 접속 예시

주의 : 키 다운로드시 재발급이 됨, 한명이 다운로드 후 공유

chmod 600 ./DCTN-0226172020-1_key && ssh -i ./DCTN-0226172020-1_key -o UserKnownHostsFile=/dev/null -o StrictHostKeyChecking=no -p 30001 hanskim@59.150.32.1

옵션 설명

-o UserKnownHostsFile=/dev/null — known_hosts에 저장 안 됨
-o StrictHostKeyChecking=no — 접속 시 "계속할까요?" 묻지 않음

[1699][DP]

Tue, 08 Aug 2023 13:51:51 GMT


n = int(input())

dp = [x for x in range(n+1)]

for i in range(1, n+1):
    for j in range(1, i):
        if j*j > i :
            break
        if dp[i] > dp[i-j*j] +1:
            dp[i] = dp[i-j*j] + 1
print(dp[n])

[2747][math]

Mon, 07 Aug 2023 14:23:48 GMT

n = int(input())
a, b = 0, 1
for i in range(n):
    a, b = b, a+b
print(a)

[DP][2579]

Tue, 25 Jul 2023 13:59:39 GMT

n=int(input()) # 계단 개수
s=[int(input()) for _ in range(n)] # 계단 리스트
dp=[0]*(n) # dp 리스트
if len(s)<=2: # 계단이 2개 이하일땐 그냥 다 더해서 출력
    print(sum(s))
else: # 계단이 3개 이상일 때
    dp[0]=s[0] # 첫째 계단 수동 계산
    dp[1]=s[0]+s[1] # 둘째 계단까지 수동 계산
    for i in range(2,n): # 3번째 계단 부터 dp 점화식 이용해서 최대값 구하기
        dp[i]=max(dp[i-3]+s[i-1]+s[i], dp[i-2]+s[i])
    print(dp[-1])

[DP][1149]

Mon, 24 Jul 2023 16:04:37 GMT

import sys
input = sys.stdin.readline

n = int(input())
RGB = []
for i in range(n):
    RGB.append(list(map(int, input().strip().split())))


for i in range(1, n):
    # 빨간집
    RGB[i][0] = min(RGB[i-1][1], RGB[i-1][2]) + RGB[i][0]
    # 초록집
    RGB[i][1] = min(RGB[i-1][0], RGB[i-1][2]) + RGB[i][1]
    # 파란집
    RGB[i][2] = min(RGB[i-1][0], RGB[i-1][1]) + RGB[i][2]

print(min(RGB[n-1]))

[DP][1003]

Thu, 20 Jul 2023 16:09:53 GMT

T = int(input())
for _ in range(T):
    N = int(input())
    zero,one=1,0 # zero: 0개수, one: 1개수
    for i in range(N):
        zero,one = one,zero+one # zero와 one에 대해 피보나치적용
    print(zero,one)

[DP][1463]

Wed, 19 Jul 2023 14:52:16 GMT

x=int(input()) # 수 입력받기

d=[0]*(x+1) # 1-based

for i in range(2,x+1): # 2부터 x까지 반복
    d[i]=d[i-1]+1 # 1을 빼는 연산 -> 1회 진행

    if i%2==0: # 2로 나누어 떨어질 때, 2로 나누는 연산
        d[i]=min(d[i],d[i//2]+1)

    if i%3==0: # 3으로 나누어 떨어질 때, 3으로 나누는 연산
        d[i]=min(d[i],d[i//3]+1)

print(d[x])

[DP][2839]

Wed, 19 Jul 2023 14:36:46 GMT

num = int(input())
count = 0

while num >= 0:
    if num % 5 ==0:
        count += int(num // 5)
        print(count)
        break
    num -=3
    count += 1
else:
    print(-1)

[백준][정렬][10817]

Tue, 11 Jul 2023 15:03:51 GMT

num_list = list(map(int, input().split()))
num_list.sort()
print(num_list[1])

[백준][정렬]11399

Fri, 07 Jul 2023 04:53:54 GMT

n = int(input())  # 첫째줄 입력, 5명이니까, 5입력
peoples = list(map(int, input().split()))  # 기다리는 사람들 리스트 형태로 입력 받음, 3 1 4 3 2 요렇게 입력해야함

peoples.sort()  # 작은 순서대로 정렬
answer = 0  # 정답 변수를 0으로 만듭니다.

for x in range(1, n+1):
    answer += sum(peoples[0:x])  # 리스트의 0번째 수부터 x번째 수까지를 더해줍니다.
print(answer)  # 정답 제출

[백준][정렬] 2751번

Thu, 06 Jul 2023 13:23:26 GMT

num=int(input())
numbers=[]
for i in range(num):
    numbers.append(int(input()))
for i in sorted(numbers):
    print(i)

주피터에서는? 안되는 이상한 현상,,

[백준] 2750번

Wed, 05 Jul 2023 04:20:45 GMT

x = int(input())
num_list = []
for i in range(x):
    num_list.append(int(input()))
num_list1 = sorted(num_list)
for i in range(len(num_list)):
    print(num_list1[i])

고려대 sw 인공지능 아카데미 2기 1회차

Thu, 02 Mar 2023 00:09:08 GMT

python

a = 1 (name) = (expression)

expression = 하나의 결과 값으로 축약 할 수 있는 식

expression

1. number(atomic)(더이상 쪼개지지 x)

숫자는 쪼개지면, 의미가 달라진다. int : 정수 ex) literal(특수기호) 없는 그냥 숫자 float : 부동소수점 ex) (1.) or (1e-4) complex : 복소수 ex) 1+3j bool : true = 1 , false = 0

int (4가지)

0b는 2진수, 0o는 8진수, 0x는 16진수를 의미합니다. > literal
a = 100_00 (사람이 읽고 싶은 숫자)

Int의 크기는 무한대

파이썬은 overflow 가 없다. 왜? 숫자가 굉장히 크니까
but 단점은 애초에 메모리를 크게 잡는다. > 속도가 느려진다.
요기서 numpy가 사용되는 이유가 나온다.

float

max=1.7976931348623157e+308

a = a+1 가능할때는 무한대 일때만

파이썬은 근사적으로, 대충 값을 정한다.

파이썬 inf(무한대) 타입은 float float('inf') = inf

질문 이렇게 데이터를 만드는 방식을 뭐라고 했지? 답 instance 방식으로 만드는 것 값을 만드는 방식은 2가지

literal
instance ex) float('inf') = inf

질문 숫자가 아닌것을 숫자에 포함할 수 있을까? 답 숫자가 아닌것도 float으로 만든다. float('nan') = nan

결론 numpy 로 넘어간다.

2. string문자열(container)(homo, sequence, immutable)

str 유니코드
bite 유니코드로 못쓰고 a = b'abc'
bitearray (mutable)
(memoryview)

len

파이썬은 문자열을 다루기 너무 편하다.

container

헤테로=헤테로지니어스 (Heterogenous) : 안에 들어갈 데이터 타입이 다른 것
- [1 , '1']
- ex) set, list 등
호모=호모지니어스 (Homogenous) : 안에 들어갈 데이터 타입이 같은 것
- 속도가 빠르다.
- import array 는 다 호모
- 딥러닝은 무조건 호모여야 한다.
- ex) str 삼총사, range 등
sequential Or non sequential

sequential 문자 non sequential 집합

set 은 내부적으로는 순서를 만들지만, 우리 눈에은 안보이는 거지

질문 순서가 있다면, indexing 할 수 있다.

여러개 뽑는건 slice 왜? 에러가 안나는거야?

immutable

list, tuple

list or tuple 차이는 mutable 차이 range(10)[3] 인덱싱 슬라이싱 가능하다.

실무에서 리스트 쓰면 싸대기 맞는다. 문제점이 많다.

what is mutable? 그렇다면 상수의 개념부터 정리하고 가야한다.

what is variable(변수), constant(상수)

a 는 변수가 아니다. name 이다. 파이썬에는 상수가 없다. 그러면 변수는 뭐야? 상수처럼 취급은 가능하지만, 상수는 없다.

변수는 재할당 가능하다.

a = 1 a = 2 a는 1,2 로 변할 수 있잖아? 그러면 변수

자바에서는 오류 떠유!

변수는 재할당할때 id 이 달라진다.

Mutable(변하기 쉬운) 은 id가 바뀌지 않는다.

딥러닝의 weight는 Mutable 자기 자신 값이 바뀌게 한다.

mutable 내부적으로 메모리를 공유한다.

mutable 의 특징 보면 a = [1,2,3] 일거 같지만, [1,2,3,4 ]

요렇게는, 명백하지 않기때문에 쓰지 않는다.

요렇게 해야한다.

copy 방법 얕은 복사(shallow copy)와 깊은 복사(deep copy)

함수형 패러다임에서는 Mutable이 없는 데이터 타입을 한다.

tensorflow의 기본 타입은 tensor immutable(불변) 이다.

list (hetero, sequence,mutable)

tuple (hetero, sequence,immutable)

(1)set (hetero,mutable)

(1)frozenset (hetero, immutable)

내가 정할 수 없는 순서를 가지고 있따. 안에는 immutable 데이터만 넣을 수 있다. (tuple) but list는 불가능하다.

mutable

dict (mutable)mapping data

dict = {'a', 1} = {key , value}

key = 해시 데이터 타입 는 immutable data

질문 a = {(1,2,3):1} 될까? 답 가능하다!

연습

dict 기반으로 set 을 만들었다.

질문 data 와 value 의 차이점? 답 data = low 그자체! value = type으로! > 그래서 이상한 타입을 본거야

그러면 타입에 따라 다양한 기능이 나온다. 식은 하나의 결과 값으로 축약이 가능하다. 그러면 연산을 알아야 한다. 연산자 알아야한다.

연산자를 알아보자

산술 연산자

a = True + True a =2

망했다 요 차이가 뭐야? 나머지 정리 알아봐야 한다. 마이너스로 나누어서 나머지가 - 플러스로 나누어서 나머지가 +

3x + a a = 0,1,2

222

2**3

두개 속도가 다른다.

opencv 를 보면,

data type 마다 연산자 다르다! 성능다르다

질문 문자열 곱하기 가능해? 답변 이 데이터 타입에서는 이 연산자 지원하지 않는다는 의미

seq * 4 는 같다.

(1,2,3) + [2,3,4] = 오류 집합 mutable, 리스트 immutable

정리 값은 값이여도 데이터 마다 연산자가 다르기 때문에 속도가 달라지는 거다.

3 + 3.1 int + float 인데, 변경해서 하는거 = 6.1

pandas?

coercion (코어션) 같은 형의 두 인자를 수반하는 연산이 일어나는 동안, 한 형의 인스턴스를 다른 형으로 묵시적으로 변환하는 것. 예를 들어, int(3.15)는 실수를 정수 3으로 변환합니다. 하지만, 3+4.5 에서, 각 인자는 다른 형이고 (하나는 int, 다른 하나는 float), 둘을 더하기 전에 같은 형으로 변환해야 합니다. 그렇지 않으면 TypeError를 일으킵니다. 코어션 없이는, 호환되는 형들조차도 프로그래머가 같은 형으로 정규화해주어야 합니다, 예를 들어, 그냥 3+4.5 하는 대신 float(3)+4.5.

더 큰 데이터 타입으로 변경하고 더 해준다.

비교연산자

옹 메모리 값이 왜 똑같이?

연산자마다 특징이있다. 파이썬은 너무 느려서 범위를 정해놓았다.

-5 ~ 256 까지는 동일한 메모리 = interning

재밌는 세상이 열린다.

and, or

정수에 없다? = 0 없는 것은 거짓이다. =

옹 신기한다, 앞이 참이니까, 에러가

반대는 틀리겠지? ^^^ ||| short circuit 테크닉

Operator overloadding 을 알게 되어야 한다.

요기보면 차이가 나네? keyword 면 두껍네

걍 help('and') 해봐 그러면 알려줄거야!

일주일 한편 논문 읽기

Wed, 01 Mar 2023 08:55:29 GMT

ㅇㅇ

Colab 디스크 용량과 구글 Drive 용량은 서로 별개다.

Sun, 26 Feb 2023 09:57:50 GMT

여러분!

아무리 구글 드라이브 용량을 확장해도, 코랩에는 영향이 없습니다.

colab에서 디스크 용량은, google drive 랑 아무관계가 없습니다.

예를 들어서

google colab pro 같은 경우, 디스크 용량이 166.8GB로 주어지고, 기본 할당이 25.8gb 정도입니다. 제가 google drive 용량은 200GB을 쓰고 있지만, colab pro를 쓰고 있기때문에 166gb 디스크 용량을 할당 받았습니다..

기본 colab은 78.2gb 를 할당 받고, 25.8gb가 기본 할당이다.