🇶 GAN에서 생성자(Generator)와 판별자(Discriminator)의 역할은 각각 무엇인가요?

GAN(Generative Adversarial Networks, 생성적 적대 신경망)은 두 개의 서로 다른 신경망이 서로 경쟁하며 학습하는 독특한 구조를 가지고 있습니다. 이 구조는 흔히 '위조지폐범(생성자)'과 '경찰(판별자)'의 게임에 비유됩니다.

두 모델의 구체적인 역할과 학습 방식은 다음과 같습니다.

1. 생성자 (Generator)의 역할: "위조지폐범"

• 목적: 진짜와 구별할 수 없을 정도로 정교한 가짜 데이터(Fake Data)를 생성하는 것입니다.
• 작동 방식: 무작위 노이즈(Random Noise, z)를 입력받아 합성곱(Convolution) 등의 연산을 거쳐 이미지나 텍스트 같은 새로운 데이터를 만들어냅니다.
• 학습 방향: 판별자(Discriminator)를 속이는 것이 목표입니다. 즉, 자신이 만든 가짜 데이터를 판별자에게 주었을 때 "이것은 진짜(1)다"라는 판정을 내리도록 생성자의 가중치(Weights)를 업데이트합니다.

2. 판별자 (Discriminator)의 역할: "경찰"

• 목적: 입력받은 데이터가 진짜 데이터(Real Data)인지, 생성자가 만든 가짜 데이터(Fake Data)인지 구별하는 것입니다.
• 작동 방식: 실제 데이터셋에서 가져온 이미지나 생성자가 만든 가짜 이미지를 입력받아, 이것이 진짜일 확률을 0과 1 사이의 값으로 출력하는 분류기(Classifier) 역할을 합니다.
• 학습 방향: 실제 데이터가 들어오면 '진짜(1)'로, 생성자가 만든 데이터가 들어오면 '가짜(0)'로 정확하게 분류하도록 가중치를 업데이트합니다.

3. 두 모델의 적대적 경쟁과 목표 (minmax 게임)

GAN의 핵심은 두 모델이 적대적(Adversarial)으로 함께 성장한다는 점입니다.

• 초기 단계: 생성자가 아주 어설픈 가짜를 만들면, 판별자는 이를 쉽게 잡아냅니다.
• 발전 단계: 판별자에게 잡히지 않기 위해 생성자는 더 정교한 가짜를 만들고, 판별자는 이를 또 잡아내기 위해 더 똑똑해집니다.
• 이상적인 종착지 (Nash Equilibrium): 이 경쟁이 반복되면, 결국 생성자는 진짜와 완벽히 똑같은 데이터를 만들게 되고, 판별자는 진짜와 가짜를 도저히 구별할 수 없는 상태(찍는 확률인 0.5 또는 50%)에 도달하게 됩니다.

수학적으로는 생성자(G)는 판별자가 가짜를 가짜로 알아채지 못하게 오차를 최소화(min)하려 하고, 판별자(D)는 진짜와 가짜를 완벽히 구별하기 위해 오차를 최대화(max)하려는 minmax 게임의 형태로 학습이 진행됩니다.

🇶 Fully Convolutional Networks(FCN)의 주요 특징과 기존 CNN 기반 분류 모델과의 차이점은 무엇인가요?

Fully Convolutional Networks(FCN)는 이미지 구조를 유지하면서 픽셀 단위로 예측을 수행할 수 있도록 고안된, 시맨틱 세그멘테이션(Semantic Segmentation) 분야의 기념비적인 모델입니다.

1. FCN의 주요 특징

픽셀 단위 예측 (Dense Prediction) 기존 분류 모델은 이미지를 하나의 카테고리로 압축하지만, FCN은 이미지의 모든 픽셀이 각각 어떤 클래스에 속하는지 예측합니다. 이를 위해 FC 레이어를 제거하고 모든 과정을 Convolution 레이어로만 구성했습니다.

입력 이미지 크기의 자유로움 FC 레이어는 입력 노드의 개수가 고정되어야 하므로 입력 이미지의 크기를 제한하는 원인이 됩니다. 반면, FCN은 전체 네트워크가 합성곱 필터로만 이루어져 있기 때문에, 입력 이미지의 크기에 상관없이 sliding window 방식으로 연산을 수행할 수 있습니다.

Up-sampling (Transposed Convolution) 합성곱(Convolution)과 풀링(Pooling) 과정을 거치면 특징 맵(Feature Map)의 크기가 줄어들고 해상도가 낮아집니다. FCN은 줄어든 특징 맵을 다시 원래 이미지 크기로 키우기 위해 Up-sampling(주로 Transposed Convolution 사용) 과정을 수행합니다.

스킵 커넥션 (Skip Connection)을 통한 디테일 복원 특징 맵을 단순히 크게 키우기만 하면 경계선 같은 정교한 로컬(Local) 정보가 뭉개집니다. FCN은 이를 해결하기 위해 Skip Connection을 도입했습니다.

• 네트워크 앞쪽(얕은 층)의 정교한 위치 정보(Spatial Information)를 뒷쪽(깊은 층)의 추상적인 클래스 정보(Semantic Information)와 결합합니다.
• 결합하는 수준에 따라 FCN-32s, FCN-16s, FCN-8s로 나뉘며, 더 앞쪽의 맵을 많이 결합할수록(FCN-8s 쪽으로 갈수록) 세그멘테이션 결과가 훨씬 정교해집니다.

기존의 CNN 기반 분류(Classification) 모델과 비교하여 FCN이 가진 주요 특징과 차이점은 다음과 같습니다.

2. 핵심 차이점: FC 레이어 vs 1x1 합성곱 레이어

기존 CNN 분류 모델(AlexNet, VGGNet 등)과 FCN의 가장 결정적인 차이점은 네트워크 뒷부분에 위치한 Fully Connected(FC) 레이어의 존재 여부입니다.

3. 요약

기존 CNN 분류 모델이 이미지 안의 정보를 압축하여 "무엇이 있는가"에만 집중했다면, FCN은 "무엇이 어디에, 어떤 모양으로 있는가"를 픽셀 단위로 밝혀내기 위해 구조를 완전히 컨볼루션화(Convolutionalization)한 모델입니다.

🇶 Semantic Segmentation이란 무엇이며, 이미지 분류(Classification)와 어떤 차이가 있나요?

Semantic Segmentation은 이미지의 모든 픽셀에 대해 어떤 클래스에 속하는지를 분류하는 컴퓨터 비전 기술입니다. 단순히 "이미지에 뭐가 있나?"를 넘어서, "이미지의 모든 점이 어디에 속하는가?"를 답하는 것이죠.

1. 주요 특징

Dense Prediction (조밀한 예측) 이미지 분류가 하나의 벡터 값을 출력한다면, Semantic Segmentation은 이미지의 모든 위치에 대해 예측을 수행합니다. 따라서 출력물은 보통 원본 이미지와 해상도가 같은 세그멘테이션 맵 (Segmentation Map) 형태를 띱니다.

동일 클래스 미구분 Semantic Segmentation은 같은 클래스에 속하는 서로 다른 개체들을 구분하지 않습니다. 예를 들어, 한 사진에 강아지 세 마리가 있다면 이들을 개별적인 '강아지 1, 2, 3'으로 나누지 않고, 그저 '강아지'라는 하나의 영역(Class)으로 묶어서 표시합니다.

참고: 개체별로 구분하는 기술은 Instance Segmentation이라고 부른다.

2. 작동 원리 및 구조

대부분의 현대적 세그멘테이션 모델은 FCN (Fully Convolutional Network) 구조를 기반으로 하며, 크게 두 부분으로 나뉩니다.

• Encoder (Feature Extraction): 이미지의 특징을 추출하는 과정이다. 이 과정에서 이미지의 크기는 줄어들고(Downsampling), 추상적인 정보(무엇인지)를 학습합니다.
• Decoder (Localization): 줄어든 정보를 다시 원본 이미지 크기로 복원하는 과정입니다 (Upsampling). 이를 통해 각 특징이 이미지의 '어느 위치'에 있는지 정교하게 맞춰나갑니다.

3. 활용 분야

• 자율주행: 도로, 보행자, 차량, 표지판 등의 영역을 픽셀 단위로 파악하여 주행 경로를 결정합니다.
• 의료 영상 분석: MRI나 CT 영상에서 종양의 위치와 크기를 정확히 측정합니다.
• 사진 편집 및 증강 현실 (AR): 인물의 배경을 제거하거나(누끼 따기), 가상의 배경을 합성할 때 사용됩니다.

4. 이미지 분류 (Classification)와의 차이점

이미지 분류와 세그멘테이션은 정보를 추출하는 정밀도에서 큰 차이를 보인다.

정규화(Normalization)와 표준화(Standardization)는 데이터의 스케일을 통일하는 전처리 기법입니다. 각 피처마다 단위나 스케일이 다른 경우, 머신러닝 모델이 왜곡된 결과를 도출할 수 있기 때문에 반드시 필요합니다.

1. 정규화: 데이터의 범위를 0과 1 사이로 압축하는 방법입니다. 데이터의 최소값과 최대값을 알 때 유용하며, 데이터의 분포가 균등할 때 효과적입니다. 이상치(outlier)에 매우 민감하다는 단점이 있습니다. 공식은 다음과 같습니다. $$ x_{new}=(x-x_{min})/(x_{max}-x_{min}) $$
2. 표준화: 데이터의 평균을 0, 표준편차를 1이 되도록 변환하는 방법입니다 (데이터를 표준정규분포의 형태로 만드는 과정). 데이터에 이상치가 포함되어있는 경우, 정규화보다 훨씬 안정적입니다. 공식은 다음과 같습니다. $$ z = (x - \mu) / \sigma $$

($\mu$: 평균, $\sigma$: 표준편차)

문제 2. 모집단과 표본이 무엇인지 간략하게 설명해 주세요.

통계학에서 분석하고자 하는 대상의 전체와 그 일부를 각각 모집단(population)과 표본(sample)이라고 부릅니다.

1. 모집단 (Population): 연구자가 알고 싶어하는 조사 대상 전체를 일컫습니다. 보통 규모가 너무 크거나 물리적으로 접근 불가능한 경우가 많기 때문에, 전수조사를 하기에는 시간과 비용이 막대하게 듭니다.

2. 표본 (Sample): 모집단에서 실제로 조사하기 위해 추출된 일부를 말합니다. 표본은 모집단을 대표할 수 있어야하며, 표본을 통해 얻은 통계량(Statistics)으로 모집단의 특성을 추측합니다. 표본이 모집단의 특성을 잘 반영하게끔 '무작위성(Randomness)'을 확보하는 것이 매우 중요합니다.

문제 3. 인스턴스 변수와 클래스 변수를 비교해서 간략하게 설명해 주세요.

파이썬의 클래스 내에서 사용하는 변수는 그 소유주가 개별 객체(인스턴스)인지, 아니면 클래스 전체인지에 따라 성격이 완전히 달라집니다.

1. 인스턴스 변수 (Instance Variable) 각 객체(인스턴스)마다 독립적으로 가지는 변수입니다. 객체마다 서로 다른 값을 저장해야 할 때 사용합니다. 주로 init 메서드 안에서 self.변수명으로 선언합니다. 한 객체에서 값을 변경해도 다른 객체의 변수 값에는 아무런 영향을 주지 않는 특징이 있습니다.

2. 클래스 변수 (Class Variable) 해당 클래스로 생성된 모든 객체가 공유하는 변수입니다. 클래스 내의 모든 인스턴스가 공통된 값을 가져야 할 때 사용합니다. 클래스 내부, 메서드 외부에서 "변수명 = 값" 형태로 선언합니다. 클래스 이름을 통해 접근하며, 값이 변경되면 모든 인스턴스가 그 변경된 값을 공유합니다.

문제 4. 수치형 데이터와 범주형 데이터는 무엇인가요? 예시를 들어 설명해 주세요.

1. 수치형 데이터 (Numerical Data) 숫자로 표현되며 사칙연산(덧셈, 뺄셈 등)이 가능한 데이터입니다. 양이나 크기를 나타냅니다. 연속형과 이산형으로 나눌 수 있습니다.

   • 연속형 (Continuous): 일정 범위 안에서 어떤 값도 가질 수 있는 데이터입니다. 소수점으로 무한히 나눌 수 있는 경우가 많습니다. 키(170cm), 몸무게(60kg), 온도, 시간 등이 해당됩니다.
   • 이산형 (Discrete): 개수를 셀 수 있는 데이터로, 보통 정수 형태로 나타납니다. 가족 구성원수(3명), 사건사고 숫자(2건), 책 권수(1권) 등이 해당됩니다.

2. 범주형 데이터 (Categorical Data) 숫자가 아닌 특성이나 종류를 나타내는 데이터입니다. 숫자로 표시되더라도 크기나 양의 의미가 없어 계산할 수 없다는 특징이 있습니다.

   • 명목형 (Nominal): 순서나 서열이 없는 데이터입니다. 단순히 분류를 위한 이름표 역할을 합니다. 성별(남/여), 혈액형(A/B/O/AB), 거주지역(서울/부산) 등이 여기에 해당합니다.
   • 순서형 (Ordinal): 범주 간에 명확한 순서나 계급이 존재하는 데이터입니다. 성적(A/B/C), 만족도(매우 만족/만족/불만족), 직급(대리/과장/차장) 등이 여기에 해당합니다.

문제 5. 클래스와 인스턴스가 무엇인지 간략하게 설명해 주세요.

객체 지향 프로그래밍에서 클래스와 인스턴스는 '설계도'와 '실제 물건'의 관계라고 이해하면 됩니다.

1. 클래스 (Class): 객체를 만들기 위한 설계도 또는 틀입니다. 어떤 데이터(속성)를 가지고 어떤 동작(메서드)을 할지 정의해 놓은 상태를 말합니다. 실체가 아니며, 메모리에 직접 올라가서 동작하는 단계가 아닙니다. 붕어빵 틀, 자동차 설계도, 아파트 도면을 생각하면 이해가 쉽습니다.

2. 인스턴스 (Instance): 클래스라는 설계도를 바탕으로 메모리에 실제 구현된 객체를 의미합니다. 설계도대로 만들어진 구체적인 '실물'입니다. 하나의 클래스로부터 여러 개의 독립적인 인스턴스를 만들 수 있으며, 각 인스턴스는 자신만의 고유한 데이터를 가질 수 있습니다. 틀에서 구워져 나온 붕어빵, 도로를 달리는 실제 자동차, 완공된 아파트 A동 등을 생각하면 되겠습니다.

🟥 Fact (사실)

이란 전쟁을 틈틈이 팔로우 중인데, 흥미로운 지표를 하나 알게 되었습니다. 펜타곤 피자 지수 (Pentagon Pizza Index)인데, 미국 국제 정세 개입 또는 국제 분쟁이 임박할 때 미국 국방부 본부 청사인 펜타곤 주변 피자 가게에 주문이 폭주한다는 가설입니다.

상세한 논거는 다음과 같습니다.

• 미국 정부에서 국제 분쟁과 위기 대응이 임박했다 판단하면, 펜타곤 내 3만 명에 달하는 미국 국방부 직원들이 비상근무에 돌입해 저녁 늦게까지 야근과 철야 회의를 할 것입니다.
• 미국 국방부 공직자들도 어쨌든 사람인 이상 철야를 뛰면 뭔가를 먹어야합니다. 미국 국방부가 야근하는 상황이면 당연히 긴급 상황일테니 나가서 먹을 수는 없을 것이고 본부 업무공간 내에서 식사를 해결할 것입니다.
• 그렇게 공직자들은 값싸고 다같이 먹기 무난한 피자를 시키는데, 펜타곤은 116,000 m²인 광대한 면적에 3만 명에 달하는 인원이 근무하는 거대한 시설이다. 제아무리 기밀 시설인 펜타곤이어도 그 큰 건물에 들락날락거리는 사람들 숫자를 전부 숨길 수는 없습니다.

사이트: https://www.pizzint.watch/

🟧 Feeling (느낌)

바이브코딩으로 만든 사이트라고 하는데, 일상 생활에서 이런 아이디어를 바탕으로 재미있는, 또는 유용한 사이트를 만들어보는 것도 엔지니어로서 좋은 자세인 것 같다는 생각이 들었습니다.

🟨 Finding (배운 점/발견)

펜타곤 피자 지수는 구글 지도가 제공하는 '실시간 방문자 수(Live Busyness)'를 핵심 데이터로 쓴다고 합니다 (구글은 전 세계 수억 명의 안드로이드 및 아이폰 사용자로부터 수집한 익명의 위치 기록 데이터를 활용해 특정 장소가 평소보다 얼마나 붐비는지 실시간으로 계산한다고 합니다).

우리나라에서도 비슷한 방식으로 만들어볼 수 있을지 궁금해서 우리나라에서 활용 가능한 주요 서비스를 한번 알아보았습니다.

1. 서울 실시간 도시데이터

서울시에서 제공하는 서비스로, 주요 명소(강남역, 홍대, 성수동 등) 115곳의 실시간 인구 혼잡도를 제공합니다. KT의 통신 기지국 신호와 공공 데이터를 결합해 만들었습니다.

• 제공 정보: '여유', '보통', '붐빔', '매우 붐빔' 4단계 지표와 실시간 인구 수.
• 활용 방법: 서울 열린데이터 광장에서 API를 신청해 Python으로 가져올 수 있습니다.
• 특이사항: 특정 식당 하나하나의 데이터는 아니지만, '해당 상권 전체가 야근이나 인파로 붐비는지'를 파악하기에 가장 좋습니다.

2. SKT 지오비전 퍼즐 (SK Open API)

SK텔레콤에서 운영하는 빅데이터 플랫폼입니다. 통신 데이터를 기반으로 특정 장소 (POI)의 혼잡도를 제공합니다.

• 제공 정보: 특정 건물의 실시간 혼잡도 및 시간대별 통계 데이터.
• 활용 방법: SK Open API에서 '장소 혼잡도' API를 통해 데이터를 요청할 수 있습니다.
• 장점: 구글 지도처럼 '특정 장소 ID (POI ID)'를 기준으로 데이터를 주기 때문에 개발자가 활용하기에 매우 직관적입니다.

3. 지하철 혼잡도 데이터

'피자 지수'가 펜타곤 직원의 야근을 체크한다면, 한국에서는 '지하철 실시간 혼잡도'가 비슷한 역할을 할 수 있습니다.

• 제공처: 서울교통공사, SKT (T-map) 등.
• 데이터: 현재 열차 칸별로 사람이 얼마나 타고 있는지 실시간 비율 (%)을 제공합니다. 늦은 밤 특정 노선의 혼잡도가 올라간다면 대규모 행사나 이벤트를 짐작할 수 있습니다.

🟩 Future Action (향후 계획)

일상 생활 속에서 아이디어를 얻기 위해 항상 열린 마음으로 세상을 바라보는 연습을 해야겠다는 생각이 들었습니다.

🟦 Feedback (피드백)

이번에는 특별한 피드백은 없었습니다.

🇶 mAP(mean Average Precision)의 개념이 무엇이며 객체 인식에서 어떻게 활용되는지 설명해주세요.

mAP(mean Average Precision)는 객체 인식(Object Detection) 모델의 성능을 평가하는 대표적인 지표입니다. 단순히 정확도를 측정하는 것이 아니라, 모델이 객체를 얼마나 정확한 위치에서 제대로 분류했는지를 종합적으로 나타냅니다.

1. mAP의 핵심 개념

mAP를 이해하기 위해서는 먼저 Precision(정밀도)과 Recall(재현율), 그리고 이들의 관계를 나타내는 PR 곡선을 알아야 합니다.

• Precision (정밀도): 모델이 탐지했다고 예측한 결과 중 실제 정답(Ground Truth)의 비율입니다.
• Recall (재현율): 실제 정답 중 모델이 빠뜨리지 않고 탐지해낸 비율입니다.
• AP (Average Precision): 특정 클래스에 대해 PR 곡선 아래의 면적을 계산한 값이다. 보통 Precision과 Recall은 반비례 관계에 있는데, 이를 하나의 수치로 요약한 것이 AP입니다.
• mAP (mean Average Precision): 각 클래스별 AP 값을 모두 합쳐 클래스 개수로 나눈 평균값입니다.

2. 계산 과정: IoU와 Threshold

mAP 계산에서 가장 중요한 전제 조건은 IoU(Intersection over Union)입니다.

• IoU: 모델이 예측한 상자(Bounding Box)와 실제 정답 상자가 얼마나 겹치는지를 나타내는 지표(0~1 사이)입니다.
• 보통 IoU가 0.5 이상일 때 올바르게 탐지한 것으로 간주합니다. (이를 mAP@0.5라고 표현함)
• 최근에는 성능을 더 엄격하게 평가하기 위해 IoU 임계값을 0.5부터 0.95까지 변화시키며 평균을 내는 mAP@[.5:.95] 방식을 주로 사용합니다.

3. 객체 인식에서의 활용

객체 인식 분야에서 mAP가 표준 지표로 활용되는 이유는 다음과 같습니다.

• 복합적인 성능 평가: 모델이 물체의 위치를 정확히 찾았는지(Localization)와 종류를 맞혔는지(Classification)를 동시에 평가할 수 있습니다.
• 클래스 불균형 해소: 단순히 전체 정확도를 따지면 데이터가 많은 클래스에 편향될 수 있지만, mAP는 클래스별로 AP를 구한 뒤 평균을 내므로 공정한 평가가 가능합니다.
• 검출 한계 측정: 모델이 얼마나 낮은 신뢰도(Confidence Score)까지 정답으로 인정할 것인가에 따른 성능 변화를 한눈에 파악할 수 있습니다.

📊 요약

$$ \displaystyle mAP=\frac 1 N \sum_{i=1}^{N}AP_{i} $$ (여기서 N은 클래스의 총 개수입니다.)

결론적으로 mAP가 높다는 것은 모델이 다양한 종류의 사물을 놓치지 않으면서도(High Recall), 틀린 예측을 적게 하며(High Precision), 위치까지 정확하게(High IoU) 찾아내고 있음을 의미합니다.

🇶 YOLO(You Only Look Once) 모델의 주요 특징과 장점은 무엇인가요?

YOLO(You Only Look Once)는 실시간 객체 탐지(Object Detection) 분야에서 혁신을 일으킨 모델입니다. 기존 모델들이 이미지에서 객체가 있을 법한 위치를 먼저 찾고(Region Proposal) 나중에 분류하는 방식이었다면, YOLO는 이름 그대로 이미지를 단 한 번만 보고 객체의 위치와 종류를 동시에 예측합니다.

1. YOLO의 주요 특징

• Unified Pipeline (통합된 구조): 이미지를 S×S 그리드로 나누고, 각 그리드 셀에서 직접 바운딩 박스(Bounding Box)와 클래스 확률을 예측합니다. 이를 통해 복잡한 파이프라인 없이 하나의 신경망으로 처리가 가능합니다.
• Global Context (전역적 문맥 파악): 이미지를 부분적으로 보지 않고 전체를 한 번에 보기 때문에, 배경과 객체를 혼동하는 'Background Error'가 적습니다. 즉, 물체의 주변 환경을 함께 고려하여 판단합니다.
• Generalization (일반화 성능): 훈련 단계에서 보지 못한 새로운 도메인(예: 예술 작품 속 객체 탐지)에 대해서도 비교적 정확하게 객체를 찾아내는 뛰어난 일반화 능력을 갖추고 있습니다.

2. YOLO의 주요 장점

• 압도적인 처리 속도 (Real-time Detection): 가장 큰 장점은 매우 빠르다는 점입니다. 단순한 구조 덕분에 GPU에서 실시간(초당 45~150 프레임 이상)으로 구동이 가능하여 자율주행 자동차, 실시간 CCTV 분석 등에 필수적으로 사용됩니다.
• 높은 효율성: 연산량이 상대적으로 적어 임베디드 기기나 모바일 환경에서도 최적화를 통해 구동하기 유리합니다. 최신 버전(YOLOv8, YOLOv10 등)으로 갈수록 정확도와 속도 사이의 균형이 더욱 정교해지고 있습니다.
• 단순한 학습 과정: 하나의 네트워크가 위치 검출과 분류를 동시에 수행하므로, 모델 학습 및 최적화 과정이 직관적이고 관리가 용이합니다.

📊 요약 비교

🇶 Transfer Learning(전이 학습)이란 무엇이며, 이미지 분류 모델에서 어떻게 활용할 수 있나요?

전이 학습(Transfer Learning)은 이미 특정 분야에서 충분한 데이터를 통해 학습된 모델(Pre-trained Model)의 지식을 새로운 문제에 재사용하는 기법입니다.

쉽게 비유하자면, 피아노를 칠 줄 아는 사람이 첼로를 처음 배울 때, 아예 음악을 모르는 사람보다 악보 보는 법이나 리듬 감각 면에서 훨씬 빠르게 배우는 것과 같습니다. 딥러닝에서도 방대한 데이터셋(예: ImageNet)으로 학습된 모델의 '특징 추출 능력'을 가져와 내 데이터에 맞게 조금만 수정하여 사용하는 방식입니다.

💡 이미지 분류 모델에서의 활용 방법

이미지 분류에서 전이 학습을 활용할 때는 보통 두 가지 전략을 선택합니다.

1. 특성 추출 (Feature Extraction)

기존 모델의 Backbone(특징 추출기) 부분은 그대로 고정(Freeze)시키고, 마지막 분류기(Classifier) 부분만 내 데이터셋의 클래스 개수에 맞게 새로 만들어 학습시키는 방법입니다.

• 언제 사용하나?: 내 데이터셋이 기존 모델이 학습한 데이터와 비슷하지만, 데이터 양이 적을 때 유용합니다.
• 장점: 학습 속도가 매우 빠르고, 적은 데이터로도 높은 성능을 낼 수 있습니다.

2. 미세 조정 (Fine-Tuning)

분류기만 학습시키는 것을 넘어, 기존 모델의 가중치 일부 또는 전부를 내 데이터에 맞춰 다시 학습시키는 방법입니다.

• 언제 사용하나?: 내 데이터셋의 양이 충분히 많거나, 기존 모델이 학습한 데이터와 내 데이터의 도메인이 많이 다를 때 사용합니다.
• 장점: 모델이 내 데이터의 특성에 더 정교하게 맞춰지므로 성능을 극대화할 수 있습니다.

전이 학습의 핵심 단계

• 사전 학습된 모델 선택: VGG, ResNet, EfficientNet 등 검증된 모델을 선택합니다.
• 기존 분류기 제거: 모델 하단(Output Layer)에 있던 기존의 1,000개 클래스 분류기 등을 제거합니다.
• ** 새 분류기 추가**: 내 문제(예: 고양이 vs 강아지 2개 클래스)에 맞는 레이어를 새로 추가합니다.
• 학습 전략 결정:
  • 초기에는 기존 층을 Freeze(동결)하고 새 레이어만 학습시킵니다.
  • 필요에 따라 하위 레이어의 동결을 풀고 Fine-Tuning을 진행합니다.

✅ 왜 전이 학습을 써야 할까?

• 시간과 비용 절약: 수천만 장의 이미지를 직접 학습시키려면 엄청난 GPU 자원과 시간이 필요하지만, 전이 학습은 이를 대폭 단축합니다.
• 데이터 부족 문제 해결: 수백 장의 사진만 있어도 수만 장을 학습시킨 것과 유사한 효과를 낼 수 있습니다.
• 검증된 성능: 이미 학계와 업계에서 성능이 입증된 구조를 그대로 가져와 사용할 수 있어 안정적입니다.

📊 언제 어떤 전략을 쓸까?

🇶 데이터 증강(Data Augmentation)이란 무엇이며, 이미지 데이터에서 주로 사용하는 증강 기법에는 어떤 것들이 있나요?

데이터 증강(Data Augmentation)은 기존의 한정된 학습 데이터에 인위적인 변화를 주어 데이터의 양을 늘리고, 모델의 일반화 성능(Generalization)을 높이는 기법을 말합니다.

쉽게 말해, 모델이 '강아지' 사진을 한 장만 보는 것이 아니라, 그 사진을 뒤집고, 자르고, 밝기를 조절한 여러 버전을 보게 함으로써 '어떤 각도나 조명에서도 이건 강아지구나'라고 학습하게 만드는 과정입니다. 이를 통해 모델이 특정 훈련 데이터에만 과도하게 맞춰지는 과적합(Overfitting) 문제를 방지할 수 있습니다.

💡 주요 이미지 데이터 증강 기법

이미지 분야에서 가장 흔히 사용되는 기법들은 다음과 같습니다.

1. 기하학적 변환 (Geometric Transformations)

이미지의 형태나 위치를 바꾸는 가장 기본적인 방법입니다.

• 좌우/상하 반전 (Flip): 이미지를 좌우 또는 상하로 반전시킵니다. (예: 강아지 사진을 좌우 반전해도 강아지라는 본질은 변하지 않음)
• 회전 (Rotation): 이미지를 특정 각도만큼 회전시킵니다.
• 자르기 및 크기 조정 (Crop & Resize): 이미지의 특정 부분만 잘라내어 확대하거나 크기를 조절합니다.
• 평행 이동 (Translation): 이미지를 가로 또는 세로 방향으로 약간 이동시킵니다.

2. 색상 및 밝기 변형 (Photometric Transformations)

이미지의 픽셀 값 자체를 변경하여 조명이나 카메라 설정을 모사합니다.

• 밝기 및 대비 조절 (Brightness & Contrast): 이미지의 밝기를 높이거나 낮추고, 색상 간의 차이를 조절합니다.
• 채도 및 색조 변경 (Color Jittering): 이미지의 채도(Saturation), 색조(Hue) 등을 미세하게 변경합니다.
• 노이즈 주입 (Noise Injection): 이미지에 무작위 노이즈(예: Gaussian Noise)를 추가하여 모델이 거친 환경에서도 잘 작동하게 합니다.

3. 고급 및 복합 기법

최근에는 여러 이미지를 조합하거나 특정 부분을 삭제하는 방식이 많이 쓰입니다.

• 컷아웃 (Cutout): 이미지의 일정 부분을 검은색 사각형으로 가려 모델이 특정 특징(예: 눈)에만 집착하지 않고 전체적인 맥락을 학습하게 합니다.
• 믹스업 (Mixup): 두 개의 이미지를 투명도를 조절해 겹치고 라벨도 그 비율에 맞춰 섞는 방식입니다 (예: 강아지 70% + 고양이 30%가 섞인 모호한 이미지 학습).
• 컷믹스 (CutMix): 이미지의 특정 부분을 잘라내고 그 자리에 다른 이미지의 조각을 붙여 넣는 방식입니다.

✅ 왜 데이터 증강을 해야 할까요?

• 데이터 부족 해결: 실제 데이터를 수집하고 라벨링하는 비용은 비싸지만, 증강은 컴퓨터 연산만으로 데이터를 무한히 생성할 수 있습니다.
• 강건함(Robustness) 확보: 현실 세계에서 찍히는 사진은 항상 정중앙에 완벽한 조명으로 찍히지 않습니다. 증강을 거친 모델은 실제 환경의 변수들에 훨씬 더 잘 대응합니다.

⛔ 사용 시 주의사항

• 데이터 증강을 적용할 때는 데이터의 특성(Domain)을 고려하는 것이 매우 중요합니다. 예를 들어, 숫자 인식 모델(MNIST)에서 '6'을 180도 회전시키면 '9'가 되어버려 라벨의 의미가 훼손될 수 있으므로 주의해야 합니다. 또한, 의료 영상(CT, MRI)에서 상하 반전은 현실적이지 않아 오히려 해가 될 수 있습니다.
• 증강은 훈련 데이터에만 적용하고, 검증/테스트 데이터에는 적용하지 않는 것이 원칙입니다.
• 과도한 증강은 오히려 학습을 방해할 수 있으므로 강도 조절이 필요합니다.

🟥 Fact (사실)

2주 전 CNN 개념을 배울 때 필터(커널)에 대해서 배웠다.

필터는 입력 데이터를 지정한 간격으로 순회하면서 합성곱을 계산한다. 여기서 지정된 간격으로 필터를 순회하는 간격을 스트라이드 (stride)라고 한다.

🟧 Feeling (느낌)

필터에 대해 배우면서, 대학원 수업에서 했던 코어 샘플의 공극률 (porosity)을 측정하는 과제가 떠올랐다. 간단하게 소개해보자면, 코어 샘플링이란 원통형 모양의 샘플을 땅에서 채취하는 것을 일컫는다.

이 코어의 여러가지 특성을 파악하는 것이 중요한데, 그 중 공극률 (porosity)이라는 중요한 개념이 있다. 공극률은 '다공질 재료, 토양, 암석 등에서 전체 부피에 대한 기공(공간) 부피의 비율을 백분율로 나타낸 것'으로, 여러가지 방법으로 측정할 수 있지만 내가 했던 과제에서는 코어의 단면을 CT촬영하여 생긴 수백장의 이미지를 통해 계산하게 하는 것이었다.

과제에서는 가장 작은 단위부터 조금씩 크기를 키워가면서 각 단위에 속한 공극률을 그래프로 그려보라는 것이었는데, 그 과정이 CNN 커널이 피처 맵 (feature map)을 계산하는 과정과 흡사하다는 생각이 들었다.

🟨 Finding (배운 점/발견)

연구하는 입장이라면, 다른 분야의 아이디어에서 영감을 얻어서 연구 주제를 정할 수 있겠다는 생각이 들었다. 우연히 CNN 필터가 내가 해본 공극률 측정하는 과정과 약간 비슷해서 반갑기도 했고 신기하기도 했다.

🟩 Future Action (향후 계획)

향후 연구를 하게 될 것 같지는 않지만, 엔지니어로 활동하면서 다른 분야의 좋은 아이디어를 접목해볼 수 있게 열린 마음을 가져야겠다는 생각이 들었다.

🟦 Feedback (피드백)

이번에는 특별히 피드백을 받은 것은 없었다.

🇶 이미지를 모델에 입력하기 전에 리사이징(Resizing)과 정규화(Normalization)를 하는 이유는 무엇인가요?

CNN (합성곱 신경망)이나 트랜스포머 기반의 비전 모델에 이미지를 입력하기 전 리사이징(Resizing)과 정규화(Normalization)를 거치는 것은 모델의 학습 효율과 성능을 결정짓는 필수적인 전처리 단계입니다.

1. 리사이징(Resizing)을 하는 이유

가장 근본적인 이유는 모델이 받아들일 수 있는 데이터의 규격(Input Shape)을 통일하기 위함입니다.

• 연산의 일관성: 딥러닝 모델의 초기 레이어(주로 Fully Connected Layer나 고정된 크기의 필터)는 특정 크기의 행렬 연산을 상정하고 설계된다. 입력 이미지들의 크기가 제각각이면 행렬 곱 연산 자체가 불가능해진다.
• 배치 처리(Batch Processing): 효율적인 학습을 위해 여러 장의 이미지를 하나의 '묶음(Batch)'으로 처리하는데, 이때 모든 데이터가 동일한 차원을 가져야 메모리 상에서 하나의 텐서(Tensor)로 결합될 수 있다.
• 메모리 및 속도 조절: 고해상도 이미지는 정보가 많지만 연산량이 기하급수적으로 늘어난다. 모델의 목적에 따라 적절한 크기(예: 224x224)로 줄여 학습 속도와 정확도 사이의 균형을 맞춘다.

2. 정규화(Normalization)를 하는 이유

이미지 정규화는 보통 픽셀 값(0255)을 일정 범위(01 또는 -1~1)로 변환하거나, 평균과 표준편차를 이용해 분포를 맞추는 작업을 의미합니다.

• 학습 속도 향상 (Convergence): 픽셀 값이 0에서 255 사이로 크면, 역전파(Backpropagation) 과정에서 가중치(Weight) 업데이트가 불안정하거나 매우 느려질 수 있다. 데이터를 작은 범위로 응집시키면 비용 함수(Cost Function)의 지형이 완만해져 최적의 해(Global Minimum)를 더 빨리 찾을 수 있다.
• Local Minima 방지: 특정 특징(Feature)의 수치 범위가 너무 크면 모델이 해당 특징에만 과도하게 의존하게 될 수 있다. 모든 입력 데이터를 동일한 스케일로 맞추어 모델이 편향되지 않고 골고루 학습하게 한다.
• 기울기 소실 및 폭주 예방: 활성화 함수(Sigmoid, ReLU 등)를 통과할 때 값이 너무 크거나 작으면 기울기가 0이 되어 학습이 멈추는 문제를 방지하는 데 도움을 준다.

요약하자면, 리사이징은 모델이 데이터를 읽을 수 있게 만드는 물리적 규격 맞춤이며, 정규화는 모델이 데이터를 잘 배울 수 있게 만드는 수학적 환경 조성이라고 할 수 있습니다.

AI 시대 공부법에 대한 혼란 속에서, 탑다운과 바텀업 접근법의 장단점을 이해하고 이를 효과적으로 결합하는 방법을 알아야 한다.

2.1. AI 시대 공부법의 혼란과 탑다운 접근법

1. AI 시대 공부법 혼란의 원인

• AI가 해주는 부분과 못 해주는 부분이 명확하지 않아 혼란스럽다.

2. 인간의 본능과 탑다운 공부

• 인간은 본능적으로 공부를 적게 하고 싶어 한다.
• 탑다운 공부는 위에서 내려다보며 필요성을 느끼기 때문에 동기 부여가 되어 열심히 할 가능성이 높다.
• 디테일에 자신이 없는 사람에게 탑다운 방식이 매력적일 수 있다.

3. 탑다운 공부의 약점: '깨작거리다' 끝나는 함정

• 대부분의 사람들은 탑다운으로 시작해도 '깨작거리다' 끝나버린다.
• AI를 이용해 이것저것 물어보다가 결국 AI의 소비자로 전락하게 된다.
• 바이브 코딩처럼 제품을 만드는 것처럼 보이지만, 특정 플랫폼의 사용자로 묶여 그것 없이는 못하는 사람이 된다.

4. 탑다운 접근법의 근본적인 약점

• 결국 사용자로 전락하여 특정 플랫폼에 종속된다.
• 그것 없이는 아무것도 못 하는 사람이 되어버린다.
• 대부분의 사람이 이 함정에 갇혀버린다.

2.2. 바텀업 접근법의 함정과 현실

1. 바텀업 접근법의 잠재적 함정

• 바텀업에만 갇혀버리는 함정에 빠질 수 있다.

2. 한국에서의 바텀업 현실

• 저수준에 대한 수요가 어느 정도 받쳐져 있어, 그 안에서 살기는 편할 수 있다.
• 하지만 소프트웨어처럼 빠르게 발전하는 분야에서는 아쉬움이 남을 수 있다.

2.3. AI 시대, 탑다운과 바텀업의 효과적인 결합

1. 핵심: 쉽고 간단한 것부터 탑다운과 바텀업을 병행

• 변화가 빠른 시대에는 빠르게 치고 나가야 한다.
• 가장 중요한 포인트는 아주 간단하고 쉬운 것부터 탑다운과 바텀업을 모두 해야 한다는 것이다.
• 예시: 간단한 투두리스트 만들기

2. 쉬운 것을 할 때 바텀업과 탑다운을 확실히 뚫기

• 바닥부터 끝까지 직접 만들어보는 경험이 중요하다.
• AI 시대에는 오히려 쉬운 것을 할 때 자기 머리로 직접 뚫어야 한다.
• 한 번 뚫은 것은 평생 가며, AI 시대에는 직접 할 일이 없어진다.
• 머릿속에 개념만 있으면 되므로, 아주 쉬운 것만 가지고 경험하면 된다.
• 한 번도 경험하지 않으면 평생 그 공간이 비어 있게 된다.

3. 직접 경험의 중요성: AI 활용 능력 향상

• 한 번 해봤기 때문에 AI가 헛소리를 하는지 제대로 하는지 평가할 수 있다.
• 효율적인 방향으로 몰아갈 수 있으며, 인간은 눈치가 빠르다.
• 쓸데없이 길게 만드는 코드를 줄이라고 지시할 수 있다.
• 공부할 때 탑다운과 바텀업 모두 '요만큼만' 하면 된다.

4. 과거와 달라진 공부 방식: 반복의 불필요성

• 옛날에는 모든 것을 다시 반복하며 공부해야 했지만, 이제는 그 시대가 끝났다.
• 한 번 뚫어 놓으면 그 부분은 다시 할 필요가 없다.
• 조금 보충하고 살짝 보충하는 것만으로 충분하다.

5. 기하급수적 실력 향상의 원리

• 이 과정을 반복하면 인간은 일반화를 잘하며 실력이 기하급수적으로 올라간다.
• AI 덕분에 이 과정이 저절로 확보된다.
• 다음 단계를 공부할 때 더 적은 노력으로 확장하기 쉬워진다.
• 근간이 되는 기술을 뚫고 이를 응용하여 제품 품질을 높이거나 상품화를 빠르게 할 수 있다.
• AI가 나머지 부분을 채워주므로 누구나 공부하기 좋은 시대가 되었다.

6. AI 시대, 성공을 위한 집중과 마음가짐

• 어디까지 직접 해봐야 하는지에 대한 기준을 사람이 정해줘야 한다.
• 결국 누구를 믿을 수 있느냐의 문제로 귀결된다.
• AI는 한계가 있는 기술이지만 쓸모없는 기술은 아니므로 현실적으로 파악해야 한다.
• 성공은 한 번만 하면 된다는 마음으로, 실패를 두려워하지 않고 한 곳을 집중하여 뚫으면 인생을 바꿀 수 있다.
• AI가 어려운 부분을 보충해주는 시대에, 한 곳을 집중하여 뚫는 마음가짐과 정신력이 중요하다.

좋은 내용인 것 같아서 정리해보았습니다. 내용이 길어서 2파트로 나눠서 올려볼 예정입니다.

📌 AI 시대에 효과적인 공부 순서는 무엇이며, 탑다운과 바텀업 방식 중 어떤 것을 선택해야 하는가?

아주 간단하고 쉬운 것부터 탑다운과 버텀업을 둘 다 경험하여 한 번 완전히 뚫어보는 것이 중요합니다.

💡 왜 쉬운 것부터 두 가지 방식을 모두 경험해야 하는가?

AI가 어려운 부분을 보충해주므로, 쉬운 것을 직접 뚫어보면 AI의 한계를 파악하고 효율적으로 활용하며 기하급수적으로 실력을 향상시킬 수 있기 때문입니다.

1. AI 시대, 공부 방법의 혼란과 현실적 파악

AI 시대에 공부 방법에 대한 혼란은 자연스러우며, AI의 능력과 한계를 현실적으로 파악하는 것이 중요하다.

1.1. AI의 등장과 변화

1. AI의 발전과 영향력 확대

• 알파고 이벤트와 ChatGPT 등장으로 일상생활에 변화가 생기기 시작했다.
• AI가 어려운 부분을 보충해 주는 시대가 되었다.

2. AI에 대한 과도한 기대와 과소평가 경계

• AI가 모든 일자리를 잃게 할 것이라는 과도한 기대는 상한선을 너무 높게 잡은 것이다.
• ChatGPT의 헛소리만 보고 쓸모없다고 판단하는 것은 하한선을 너무 낮게 잡은 것이다.
• 상한선과 하한선을 현실적으로 파악하면 잘못된 판단을 줄일 수 있다.

3. 압축적 사건 속에서의 분석 능력

• 알고리즘은 다양한 사건 발생 시 분석을 돕는다.
• 변화는 분명히 있지만, 분석 능력이 있다면 혼란스럽지 않다.

1.2. AI 시대의 일자리 변화와 AI의 강점

1. 시니어 vs 주니어 일자리 변화 추이

• 2015-2020년에는 시니어와 주니어 일자리가 함께 증가했다.
• 코로나19 이후 시니어 일자리는 유지되거나 증가했지만, 주니어 일자리는 감소했다.
• ChatGPT 등장 이후 주니어 일자리는 감소 추세이며, AI 언급 채용 공고는 증가하고 있다.

2. AI 업계의 현재 과제와 활용 분야

• 기존 기술로 수익을 내야 하므로, 현재 LM 기술을 최대한 활용해야 한다.
• 주요 활용 분야는 기본적인 자료 조사 및 일차적 취합 정리, 그리고 코딩이다.

3. AI의 발산적 사고 능력과 강점

• AI는 개인이 할 수 없는 수준의 발산적 사고를 매우 잘한다.
  • (이유 1) 방대한 지식 보유: 인간보다 훨씬 많은 자료를 알고 있다.
  • (이유 2) 고정 관념 없음: 컨텍스트 윈도우는 있지만, 인간 수준의 고정 관념이 없어 편견 없이 다양한 아이디어를 제시한다.

4. AI의 코딩 능력: 구현 및 취합

• AI는 알고리즘을 외우고 있어, 구현 요청 시 어디선가 찾아와 잘 구현한다.
• 이는 '갖다 붙이기'를 매우 잘하는 능력으로 볼 수 있다.

1.3. 인간 고유의 능력: 수렴과 문제 해결

1. AI가 해결하기 어려운 문제의 본질

• 인류 중 누군가 풀고 디지털화된 자료로 남긴 문제는 AI로 해결 가능하다.
• 하지만 아무도 풀지 못한 문제는 결국 인간이 직접 진지하게 풀어야 한다.

2. AI의 한계: 최적화된 해법 도출의 어려움

• 해답이 너무 많으면 그것은 진정한 해답이 아니다.
• AI는 코드를 만드는 것은 잘하지만, 너무 난잡하게 만들어 최적화된 해법을 도출하는 데 어려움을 겪는다.

3. 인간의 본능: 수렴과 효율 추구

• 인간은 본능적으로 일을 줄이고 싶어 한다.
• AI는 자료 조사, 아이디어 제시 등 발산적인 부분은 잘하지만, 핵심 해결책을 만들고 실행하는 것은 결국 인간의 몫이다.

1.4. AI 시대, 공부의 기초와 인간 두뇌의 가치

1. AI의 한계 재확인: 돈 버는 방법 예시

• AI는 돈 버는 100가지 방법을 알려줄 수 있지만, 실제 돈을 벌 수 있는 단 한 가지 방법을 찾아주거나 실행해주지는 못한다.

2. AI 공부 시 겪는 문제와 반복되는 패턴

• AI의 한계를 느끼는 것은 당연하다.
• 프로그래밍 학습 시 CPU, 메모리 등 기초가 중요해지듯, AI 공부에서도 기초가 중요하다.
• AI가 코딩을 다 해주더라도, AI 자체도 메모리 문제 등 기초적인 컴퓨터 문제를 겪으며 이는 반복된다.
• 돈 벌 수준의 시스템이 되면 결국 컴퓨터 기초 문제를 다시 만나게 된다.

3. AI 시대에도 중요한 기초 학습의 가치

• Leetcode 같은 단순 반복 작업은 AI 시대에 사라질 것이다.
• 이를 오해하여 알고리즘 공부를 안 해도 된다고 생각하는 것은 위험하다.
• AI 사용 시에도 메모리(컨텍스트 윈도우)를 신경 써야 하며, 어려운 부분은 인간이 해야 한다.
• 인간의 두뇌는 AI보다 훨씬 뛰어난 성능을 가지고 있으며, 그 가치를 평가절하해서는 안 된다.
• 특히 10대 후반에서 대학교 1~3학년 학생들은 AI 활용보다 기초에 집중하는 것이 훨씬 좋은 시대이다.

4. AI의 확률적 답변과 평균의 중요성

• AI는 확률적으로 답을 내놓는데, 평가를 잘 받게 하려면 '평균'으로 가야 한다.
• 한국인의 평균 얼굴처럼, AI가 만드는 답은 어디선가 본 듯하지만 주변에서 찾을 수 있는 익숙한 형태이다.
• 현재 기술 수준에서 AI 에이전트 개발에 많은 노력이 투입될 것이며, 관련 일자리는 늘어날 가능성이 있다.

1.5. AI 에이전트 개발과 비용 최적화 문제

1. AI 에이전트 개발의 중요성 증대

• 오픈AI 같은 기술 발전으로 AI 에이전트 관련 일자리가 늘어날 가능성이 높다.

2. AI의 기억력 한계와 비용 최적화

• 인간과 달리 AI는 이전 대화 내용을 금방 잊어버려 비용 최적화가 어렵다.
• AI 에이전트 개발은 결국 '토큰값 최적화'라는 엔지니어링 문제로 귀결된다.

(part 2에서 계속...)

출처: https://www.youtube.com/watch?v=EWAjNmFKmW4

결론부터 말씀드리면, 병목 구조 ≠ 오토인코더입니다.

오토인코더 (Autoencoder)의 핵심 구조가 바로 병목 (Bottleneck)인 것은 맞지만, 병목 구조가 있다고 해서 무조건 오토인코더는 아닙니다. 즉, 병목은 오토인코더의 필요조건이지 충분조건이 아닙니다. 오토인코더가 되려면 병목 외에도 두 가지 조건이 더 필요한데, 오토인코더의 3가지 조건은 아래와 같습니다.

오토인코더의 3가지 조건:

• 병목 구조 (차원 압축)
• 입력과 출력이 같은 도메인
• 재구성 손실로 학습

병목만 있고 나머지가 없으면 전혀 다른 아키텍처가 됩니다.

병목 구조는 일종의 '설계 기법'이고, 오토인코더는 그 기법을 활용한 '모델의 종류'이기 때문입니다. 병목 구조를 사용하지만 오토인코더가 아닌 대표적인 사례들을 알아보겠습니다.

1. 병목 구조가 있지만 오토인코더가 아닌 경우

① CNN Classification (분류 모델)

우리가 흔히 쓰는 ResNet 같은 이미지 분류 모델에도 '병목 레이어(Bottleneck Layer)'가 존재합니다.

• 구조: 입력 이미지 → 복잡한 연산 → 좁은 층(특징 압축) → 최종 분류(개/고양이 등)
• 차이점: 오토인코더는 입력과 똑같은 이미지를 다시 '복원'하는 것이 목적이지만, 분류 모델은 압축된 정보로 '정답(Label)'을 맞히는 것이 목적입니다.

② ResNet의 Bottleneck Block

딥러닝 성능을 높이기 위해 연산량을 줄이려고 일부러 병목을 만듭니다.

• 1x1 합성곱(Convolution)으로 채널 수를 확 줄였다가(병목), 다시 1x1로 늘리는 방식입니다. 이는 오토인코더처럼 데이터를 복원하려는 게 아니라, 연산 효율성을 극대화하기 위한 설계입니다.

③ 인코더(Encoder)만 있는 모델

데이터를 압축해서 특징(Feature)만 뽑아내고 끝나는 모델도 병목 구조를 가집니다. 하지만 뒤에 복원하는 '디코더'가 없다면 오토인코더라고 부르지 않습니다.

2. 오토인코더와 일반 병목 모델의 결정적 차이

가장 쉬운 구별 방법은 '출력이 무엇인가?'를 보는 것입니다.

결론적으로 병목은 '정보를 압축해서 중요한 것만 남긴다'는 범용 아이디어이고, 오토인코더는 그 아이디어를 재구성 학습에 특화해서 사용하는 한 가지 방식입니다.

🟥 Fact (사실)

지난 3월 21일 (토) 오후 8시, 방탄소년단(BTS)이 광화문에서 글로벌 라이벌 공연으로 화려하게 컴백하였다. BTS 공연을 앞두고 26만명이 운집할 것이라는 분석들이 있었지만, 실제로 모인 숫자는 4만여명에 불과했다는 기사를 접하였다.

방탄소년단(BTS)의 광화문 공연에 당초 최대 예상치인 26만명에 훨씬 못미치는 관람객이 방문하면서 편의점들이 '눈물의 떨이'로 재고를 소진하고 있다는 소식을 접했다. 경찰은 당일 공연에 최대 26만명이 모일 것으로 예상했는데, 서울시 데이터에 따르면 4만6천~4만8천명이 모인 것으로 나타났다.

🟧 Feeling (느낌)

물론 시민 안전과 관련해서는 과도하게 대응해야한다는 서울경찰청장의 해명은 일리가 있고 잘한 일이지만, 경찰 추산만 믿고 간편식과 우유 등 신선식품 발주를 늘렸다가 예상 밖의 판매 부진에 재고를 고스란히 떠안게 된 광화문 인근 편의점 점주들의 고심이 깊어지고 있다는 점이 너무 안타까웠다 (다행히 일부 편의점 본사는 자체적으로 가맹점의 재고 물량을 소화하겠다는 소식을 접했다!).

해당 소식을 접하면서, 경찰의 인원 예상은 대체 어떤 식으로 하는지 문득 궁금해졌다 (어떤 데이터를 수집했는지, 과연 머신러닝 모델을 돌렸는지 여부 등등). 예상되는 방문자 수의 정확한, 또는 그것이 어렵다면 적어도 예상 방문자 수의 최소/최대 범위를 제공했더라면, 불필요한 자원을 낭비하는 일이 없지 않았을까 싶어서 좀더 정확한 모델 개발을 해야할 필요성을 느꼈다.

🟨 Finding (배운 점/발견)

제미나이와 클라우드의 도움을 받아서 인원 예측을 하기 위한 분석 설계안을 단계별로 알아보았다.

1. 데이터 수집 체계 구축 (Data Ingestion)

가장 먼저 어떤 데이터를 어디서 가져올지 결정해야 합니다. 한 가지 소스만으로는 부정확하므로 다각도로 수집합니다.

• 통신사 유동인구 데이터: SKT, KT, LGU+ 등의 기지국 접속 정보를 API로 연동하여 실시간 광화문 지역 접속자 수를 파악합니다.
• 공공 데이터 (서울시): 지하철(광화문역, 시청역, 종각역) 승하차 인원 데이터와 시내버스 카드 태그 정보를 수집합니다.
• SNS 및 웹 크롤링: X(구 트위터), 인스타그램에서 #BTS, #광화문 등의 해시태그 발생 빈도를 분석하여 팬들의 방문 의사 및 밀집도를 파악합니다.
• 교통 및 CCTV 데이터: 서울시 TOPIS를 통해 인근 도로의 정체 상황과 지능형 CCTV를 활용한 구역별 밀집도를 수집합니다.

2. 데이터 처리 및 정제 (Data Processing)

수집된 원천 데이터(Raw Data)는 형식이 제각각이므로, 분석 가능한 형태로 가공해야 합니다.

• 실시간 스트리밍 처리: 콘서트 당일에는 초단위로 데이터가 쏟아지므로 Apache Kafka나 Spark Streaming을 사용하여 끊김 없이 데이터를 처리합니다.
• 데이터 정제: 단순 통과 인원과 콘서트 관람 목적의 체류 인원을 구분하기 위해 '30분 이상 체류'와 같은 로직을 적용해 필터링합니다.
• 데이터 적재: 가공된 데이터는 향후 분석 및 시각화를 위해 Data Warehouse(BigQuery, Snowflake 등)에 저장합니다.

3. 분석 및 예측 모델링 (Analytics & ML)

과거의 유사 사례와 현재 데이터를 결합하여 예측 수치를 도출합니다.

• 과거 사례 비교 분석: 2002년 월드컵 거리 응원, 과거 대규모 집회, 혹은 타 아티스트의 광화문 공연 데이터를 벤치마킹 모델로 삼습니다.
• 공간 수용량 계산: 광화문 광장의 면적(m2)당 적정 인원(보통 1m2당 3~4명)을 계산하여 물리적 한계치를 설정합니다.
• 예측 알고리즘: 날씨, 요일, 티켓팅 데이터 등을 변수로 활용해 머신러닝 모델을 돌려 예상 인원 범위를 산출합니다.

4. 시각화 및 모니터링 (Visualization)

분석된 결과를 의사결정권자가 한눈에 볼 수 있도록 대시보드를 구성합니다.

• 히트맵(Heatmap) 구현: 광화문 광장 내 어느 구역이 가장 혼잡한지 실시간으로 보여주는 지도를 제작합니다.
• 대시보드 운영: 현재 인원, 유입 속도, 퇴장 예상 시간을 시각화하여 운영팀과 경찰측에 공유합니다.

🟩 Future Action (향후 계획)

아직은 대규모 데이터를 다루는 방법과 실시간 데이터를 스트리밍 처리하는 방법을 모르기 때문에, 나중에 배우고 나면 한번 직접 구현해보면 좋을 프로젝트인 것 같다는 생각이 들었다.

🟦 Feedback (피드백)

• 멘토님도 해당 기사를 보면서 이런 생각을 못했는데, 좋은 생각을 한 것 같다고 칭찬해주셨다. ^^
• "데이터 수집 체계 구축" 부분에서 통신사 유동인구 데이터, 서울시 공공데이터, 교통 및 CCTV 데이터는 실시간 데이터이기 때문에 방문 예상치를 분석하는데 도움이 될 것 같지는 않다고 하셨지만, SNS 및 웹 크롤링은 도움이 될 것 같고, 다른 요소가 또 있을지 고민해보면 좋을 것 같다고 해주셨다.
• 사회현상 및 문제 해결이라는 것을 하나의 주제로 프로젝트를 진행해도 좋을 것 같다고 하셨다. 굳이 분석까지 가지 않더라도, 기획까지만 해도 충분할 것 같다고 하셨다 (이를테면 분석은 3개, 기획은 5~7개).

✅ 자주 묻는 질문 (FAQ)

Q. 문제 해결 과정을 얼마나, 어떻게 녹여야하나요?

A. 길어지면 면접관은 보지 않는다. 짧게, 정량적 성과 위주로 서술하여 면접관의 호기심을 불러일으켜야한다. 상세 과정은 면접에서 설명하고, 블로그에 기록하는 것은 괜찮다. 블로그 링크 첨부 정도는 괜찮지만, 면접관이 (시간 제한으로) 절대 읽지 않는다는 점은 인지하자.

Q. 쓸만한 내용이 없고, 차별화가 안되는 것 같아요.

A. 쓸만한 내용이 없다면, 개발 역량이 부족하다는 뜻이므로 심각하다. 하지만 코드잇 부트캠프는 커리큘럼이 우수하다고 알려져있어서 수강생들에게 해당되지는 않는 것 같다. 프로젝트를 할 때 적극적으로 역할을 많이 가져가도록 노력하면 좋을 것 같다. 대기업의 경우 → 스페셜리스트 (Specialist)를 선호하므로, 해당 포지션에 대한 깊은 이해와 경험이 필요하다. 스타트업의 경우 → 제네럴리스트 (Generalist)를 선호하므로, 압도적인 양으로 승부를 본다.

Q. 수치화가 너무 어려워요.

A. 핵심은 대략적인 수치를 적고, 그 근거가 명확해야한다는 점이다. 예: 원래 운영팀 6명이 하던 일을 기능 개선으로 4명이 할 수 있게 됐다면 → 기능 개선으로 운영 효율 33% 개선

✅ 결론

• 포트폴리오의 목적은 '면접 오퍼를 받는 것'임을 잊지 말자. 너무 많이 보여줄 필요도 없고, 적게 보여줘서도 안된다. 적당하게 딱 알맞게. 그리고 면접장에 가서 모든 것을 쏟아붓고 나오도록 한다.
• 포트폴리오가 최대 20장을 넘지 않도록 주의하자.
• 채용 플랫폼별 이력서에 집중하기보다는, 채용 담당자가 꼭 포트폴리오를 확인할 수 있게끔 하자.

✅ 참석자 질의응답 (Q&A)

Q. 면접관의 입장에서 인상깊게 생각하는 이력서 유형?

A. 면접관 입장에서 읽기 편해야하고 이미지 기반의 이력서.

Q. 서류에서 가장 중요하게 평가하는 기준?

A. 이론적으로 업무 역량이지만, 실무적으로 우선 보기가 편해야한다. (호기심 자극 + 가독성)

Q. 단순 결과가 아닌 '작업 과정'을 효율적으로 녹여내는 방법?

A. 없다! 사실 상당히 어렵다. 그래서 면접으로 이어질 만큼만 만들면 된다.

Q. 인턴십 기간의 학습용 프로젝트와 AI 툴에 의존해서 만든 결과물은 포트폴리오에 의미가 있는지?

A.

• 인턴십도 평가하는 과정에서 큰 의미는 없다. 어떤 인턴십이냐에 따라 다르겠지만, 채용 연계형이 아니라면 핵심 업무를 했을 것이라고 생각하지 않는다. 내가 실제로 한 것이 상용 서비스인지 여부가 중요하다.
• 면접에서는 코드 레벨을 잘 물어보지는 않는다. 개념, 설계, 관점을 주로 묻는다. → 내가 한 경험에 대해 예상 질문을 뽑아보고 준비하도록 한다.

Q. 포트폴리오에서 수치화할 것이 없다면?

A. 너무 없다면 개인 프로젝트라도 수치화를 염두에 두고 하는 것을 추천한다.

Q. 대외비 문제 등의 이유로 스크린샷을 준비할 수 없다면?

A. 내가 만든 서비스와 최대한 비슷한 스크린샷을 넣어주면 된다. 면접 가서 그렇게 설명해주면 된다.

Q. 신입 개발자가 차별화를 줄 수 있는 부분?

A.

• 내가 서비스를 만들어봤는지, 그걸 사용해본 사람이 있는지 (프로덕트 런칭 경험 여부). 이렇게까지 하는 사람이 별로 없다.
• 현재 포지션 숫자가 줄고 있기 때문에, 취업이 어려워지고 있다.
• 조급함만 버리고 여유를 갖는다면 충분히 가능하다.

Q. '기술 스택' 외에 적합성을 판단하는 요소는?

• 커뮤니케이션 능력. 강사 본인은 지원자가 '기술 외골수'라는 느낌이 드는 순간 바로 탈락시킨다.

Q. AI 에이전트가 널리 퍼진 현재, 인재상?

• 제너럴리스트를 원한다. 비즈니스 역량도 필요하다. 사람들의 니즈를 파악하고 그걸 충족시켜본 경험 유무!

Q. 바이브 코딩이 주니어 개발자 성장에 어떻게 영향을 주게 될지?

• AI를 사용하되, 잘 사용해야한다. 되도록이면 직접 코드를 짜보는 걸 추천. 활용하더라도 왜?라는 질문에 답할 수 있어야한다.

Q. 프로필 사진을 면접 사진으로 써도 되나요?

• 너무 이상하지만 않다면 OK.

Q. 기여도 몇 % 정도 미만이면 부정적인 인상을 주게 되는지?

• 면접관이 %만으로 부정적 느낌을 받진 않는다. 다만 거짓말을 하는 게 느껴지면 부정적으로 느끼게 된다. 팀원 8명인데 기여도가 90%라고 하면 가령, 이상하게 보일 것. 면접에서 기여도 부분은 다 티가 나게 되기 때문에, 기술 면접에서 얼마나 자신있게 답을 할 수 있는지에 따라 쓰면 된다.
• 팀 프로젝트에서 최대한 적극적으로 역할을 가져가려고 노력하자.
• 면접을 볼 때는 같이 프로젝트를 한 팀원이 다 가서 보는 것이 아니기 때문에 주관적으로 쓰면 된다. 주관적으로 쓰되, 면접에서 얼마나 자신있게 답할 수 있는가가 중요하다.

Q. 나이와 성별의 불리함은 어떻게 하나요?

• 성별은 불리함이 없는 것 같고 나이는 불리함이 있을 수 있는데, 극복 방법은 한가지 → 압도적인 실력 차!

🇶 오토 인코더가 적용되기 적합한 상황에 대해 설명하고, 오토 인코더를 구성하는 인코더(Encoder)와 디코더(Decoder) 각각의 개념과 차이점에 대해 설명하세요.

오토인코더(Autoencoder)는 입력 데이터를 압축했다가 다시 복원하는 과정을 통해 데이터의 핵심 특징을 학습하는 비지도 학습(Unsupervised Learning) 모델이다.

1. 오토인코더가 적용되기 적합한 상황

오토인코더는 데이터의 본질적인 구조를 파악해야 할 때 강력한 위력을 발휘한다. 대표적으로 다음과 같은 상황에 적합하다.

• 차원 축소 (Dimensionality Reduction): 고차원의 데이터를 저차원으로 압축하여 시각화하거나 데이터의 용량을 줄일 때 사용한다. PCA보다 복잡한 비선형 구조를 잘 잡아낸다.
• 이상 탐지 (Anomaly Detection): 정상 데이터로만 모델을 학습시킨 후, 새로운 데이터를 입력했을 때 복원 오차(Reconstruction Error)가 크면 이를 이상치로 판단한다. (예: 카드 부정 사용 감지, 공정 불량 탐지)
• 노이즈 제거 (Denoising): 일부러 노이즈가 섞인 데이터를 입력하고 원본 데이터를 복원하도록 학습시켜, 데이터 내의 잡음을 효과적으로 제거한다.
• 특징 추출 (Feature Extraction): 레이블이 없는 방대한 데이터에서 데이터의 핵심적인 특징(Latent Variable)을 자동으로 추출하고자 할 때 활용한다.

2. 인코더(Encoder)와 디코더(Decoder)의 개념 및 차이점

오토인코더는 모래시계 형태의 구조를 띠며, 크게 인코더와 디코더 두 부분으로 나뉜다.

인코더 (Encoder)

• 개념: 입력 데이터를 더 작은 차원의 잠재 공간(Latent Space, Bottleneck)으로 압축하는 역할을 한다.
• 동작: 고차원 정보를 점차 줄여나가며 데이터의 가장 중요한 특징만을 남긴다. 이 압축된 벡터를 잠재 변수 혹은 코드(Code)라고 부른다.
• 목적: 데이터에서 불필요한 노이즈를 버리고 핵심 정보만 추출하는 것이다.

디코더 (Decoder)

• 개념: 인코더가 만든 압축된 정보를 다시 원래의 입력 데이터 형태로 복원하는 역할을 한다.
• 동작: 좁은 병목 구간(Bottleneck)에서 나온 정보를 점차 확장하여 입력값과 최대한 유사한 출력값을 생성한다.
• 목적: 압축된 정보가 원본 데이터를 충분히 설명하고 있는지 검증하고 재구성하는 것이다.

3. 인코더(Encoder) vs. 디코더(Decoder) 차이점 요약

이미지 출처: https://blog.keras.io/building-autoencoders-in-keras.html

🇶 CNN을 구성하는 각 레이어의 역할에 대해 설명해보세요.

CNN (Convolutional Neural Network, 합성곱 신경망)은 주로 이미지 인식과 처리에 특화된 딥러닝 구조입니다. 데이터의 공간적 구조(Spatial Structure)를 유지하면서 특징을 추출하는 것이 핵심이며, 크게 세 가지 주요 레이어로 구성됩니다. 이미지 출처: https://nl.mathworks.com/discovery/convolutional-neural-network.html

1. 합성곱 레이어 (Convolutional Layer)

CNN의 가장 핵심적인 부분으로, 이미지로부터 특징(Feature)을 추출하는 역할을 합니다.

• 동작 방식: 필터(Filter 또는 Kernel)가 이미지를 일정 간격(Stride)으로 훑으며 연산을 수행합니다.
• 역할: 이미지의 저수준 특징(선, 면, 색상)부터 고수준 특징(형태, 특정 객체의 부위)까지 단계별로 찾아냅니다.
• 특징: 가중치 공유를 통해 파라미터 수를 줄이면서도 이미지 내 객체의 위치가 바뀌어도 동일한 특징을 인식할 수 있게 합니다.

2. 풀링 레이어 (Pooling Layer)

추출된 특징 맵(Feature Map)의 크기를 줄여주는 차원 축소 레이어입니다.

• 동작 방식: 특정 영역에서 가장 큰 값을 뽑는 Max Pooling이나 평균값을 계산하는 Average Pooling을 주로 사용합니다.
• 역할:
  • 데이터의 크기를 줄여 연산량을 감소시킵니다.
  • 중요한 특징만 남기고 사소한 변화(노이즈)를 무시하여 모델의 과적합(Overfitting)을 방지합니다.
  • 사물의 위치가 약간 변하더라도 동일하게 인식하는 불변성(Invariance)을 제공합니다.

3. 완전 연결 레이어 (Fully Connected Layer)

망의 마지막 부분에 위치하며, 앞서 추출된 특징들을 종합하여 최종적인 분류(Classification)를 수행합니다.

• 동작 방식: 2차원 형태의 특징 맵을 1차원 벡터로 펼친(Flatten) 후, 일반적인 신경망(ANN)처럼 모든 노드를 연결합니다.
• 역할: 합성곱과 풀링을 통해 얻은 고차원 특징들을 조합해 '이 이미지는 90% 확률로 강아지다'와 같은 최종 판단을 내립니다.
• 활성화 함수: 마지막 출력층에서는 보통 Softmax 함수를 사용하여 각 클래스별 확률 값을 출력합니다.

📊 요약 정리

🇶 PyTorch에서 텐서란 무엇이고, NumPy의 Array(배열)과 어떤 차이가 있나요?

PyTorch에서 가장 먼저 마주치게 되는 개념이 바로 텐서 (Tensor)인데요, 쉽게 설명하자면 텐서는 데이터를 담는 다차원 배열이라고 이해하시면 됩니다. NumPy의 배열 (Array)와 매우 유사하지만, 딥러닝 프레임워크인 PyTorch만의 강력한 무기들이 있습니다.

1. 텐서(Tensor)란 무엇인가?

수학적 관점에서 텐서는 데이터의 차원에 따라 다음과 같이 불립니다:

• 0차원: 스칼라 (Scalar) - 단일 숫자
• 1차원: 벡터 (Vector) - 숫자의 나열
• 2차원: 행렬 (Matrix) - 가로와 세로가 있는 표 형태
• 3차원 이상: 텐서 (Tensor) - 입체적인 데이터 구조

PyTorch에서 텐서는 이러한 데이터를 저장할 뿐만 아니라, GPU 가속과 자동 미분이라는 핵심 기능을 수행하는 기본 단위가 됩니다.

2. NumPy 배열 (Array) vs. PyTorch 텐서 (Tensor)

두 구조는 사용법이 거의 90% 이상 일치할 정도로 비슷하지만, 결정적인 차이점 3가지가 있습니다.

① GPU 가속 (Hardware Acceleration)

• NumPy: 기본적으로 CPU에서만 동작합니다. 대규모 연산이 필요한 딥러닝에서는 속도의 한계가 있습니다.
• PyTorch: 텐서를 아주 간단하게 GPU (cuda)나 Apple Silicon GPU (mps)로 옮겨서 연산할 수 있습니다. 수만 개의 파라미터를 계산할 때 CPU보다 수십 배 이상 빠릅니다.

② 자동 미분 (Autograd)

• NumPy: 미분 값을 구하려면 직접 수학 공식을 코드로 구현해야 합니다.
• PyTorch: NumPy 배열과의 가장 핵심적인 차이는 자동 미분 (Autograd)입니다. requires_grad=True 설정만 하면, 텐서에서 일어나는 모든 연산을 추적하여 역전파(Backpropagation) 시 미분 값을 자동으로 계산해 줍니다. 딥러닝 모델 학습의 핵심 기능입니다.

③ 상호 변환 (Interoperability) 두 라이브러리는 서로 매우 친합니다. 데이터를 주고받는 것이 매우 자유로우며, 특히 CPU 상의 텐서는 NumPy 배열과 메모리를 공유하기 때문에 변환 시 별도의 복사 비용이 들지 않습니다.

📊 핵심 비교

가장 핵심적인 차이는 자동 미분 (Autograd)입니다. 이것이 텐서를 단순 배열이 아니라 딥러닝 도구로 만드는 핵심 기능입니다.

한 문장으로 요약하면: NumPy 배열은 수치 계산 도구이고, PyTorch 텐서는 거기에 GPU 가속과 자동 미분을 얹은 딥러닝 전용 도구입니다.

🇶 딥러닝 프레임워크인 PyTorch와 TensorFlow를 비교해보세요.

1. 핵심 차이

두 프레임워크의 가장 큰 차이는 그래프를 생성하고 실행하는 방식에 있습니다.

• PyTorch: 코드가 실행될 때 그래프가 즉시 만들어지는 동적 그래프(define-by-run) 방식입니다. 덕분에 일반 Python 코드처럼 print()로 중간값을 확인하거나, 반복마다 모델 구조를 바꾸는 것이 자연스럽습니다. 연구자들이 압도적으로 선호하는 이유가 여기에 있습니다.
• TensorFlow: 원래 그래프를 먼저 정의해두고 나중에 실행하는 정적 그래프(define-and-run) 방식이었습니다. 이 방식은 최적화와 배포에 유리하지만 디버깅이 까다로웠고, TF 2.x부터는 Eager Execution을 기본으로 채택해 이 단점을 보완했습니다.

2. 주요 특성 비교

3. 무엇을 선택해야 할까?

• PyTorch를 추천하는 경우:

  • 논문 구현, 새로운 아이디어 실험, 아키텍처 탐색 등 연구 목적
  • HuggingFace 생태계(Transformers, Diffusers)를 활용할 때
  • 빠른 프로토타이핑과 직관적인 디버깅이 중요할 때

• TensorFlow를 추천하는 경우:

  • TFLite로 모바일/IoT 기기에 모델을 배포할 때
  • 기존 TF 코드베이스가 있는 엔터프라이즈 환경
  • 이미 Google Cloud 기반의 인프라를 사용 중인 기업

결론적으로, 요즘은 둘 중 하나만 배워야 한다면 PyTorch가 업계 표준 조언에 가깝습니다. 딥러닝 입문자나 연구자라면 고민하지 말고 PyTorch를 추천합니다. 아이디어를 코드로 옮기는 과정이 훨씬 매끄럽습니다. 하지만 취업 목표가 대기업 프로덕션 ML 엔지니어링이라면 TensorFlow 배포 생태계도 알아두는 것이 유리합니다. 기업 환경에서 대규모 서빙 인프라를 구축하거나 안드로이드/iOS 등 모바일 환경에 모델을 이식해야 한다면 TensorFlow가 유리한 선택지가 될 수 있습니다.