git clone -b 브랜치이름 --single-branch 저장소주소

ex) git clone -b minji --single-branch https://github.com/minji-o-j/kakao-arena

굉장히 오랜만에 회고글을 쓰는 느낌이 드는데...

1) 강의 내용

• MRC 벌써 2주가 지났다..!
• 블로그에 따로 정리하지 않고 Noteshelf에 정리

강의 수강 내역

• 저번주부터 이번주까지 MRC 1~10강을 들었다.
• 내용은 재미있다고 느끼는데(신기하다) 코드 이해가 어려운 것 같다..

2) 대회 관련 내용

• 이번주 나는 EDA를 맡아서 했었고, train, valid data를 맡아서 했다. 관련자료는 여기에...
• 그다음에는 sparse에서 elastic search를 하고있는데 설치부터 쉽지않다..

3) 피어세션 정리

• 노션(비공개)로 진행하고 있다.
• 거의 게더타운에서 하루종일 시간을 보내는 것 같다. 줌보다는 자유로워서 편한데 테트리스가 자꾸 하고싶어진다ㅋㅋ

4) 학습 회고

이번주 한 주 점수

★★★☆☆

• EDA를 열심히 했다.
• 나머지 부분은 너무 많은 오류를 맞닥뜨려서 해결하는데 애먹고있다..

이번주 한 주동안 어떤부분이 성장했나요?

• 데이터를 보는 법?
• 시각화를 통해 어떤것을 얻을 수 있을까 고민을 많이 했다.
• retrieval에대한 이해

이번주 한 주 동안 스스로 아쉬웠던 부분은 무엇이고, 어떻게 개선할 수 있을까요?

• 집중..!! and 체력 ㅋㅋ
• 시간관리..늘 느끼지만....

다음주 계획

• elastic search 관련해서 구성 후 실험 진행
• 빨리 끝내고 reader로 넘어가자

목

• 이활석 (Upstage) - 서비스 향 AI 모델 개발하기
• 김상훈 (Upstage) - 캐글 그랜드마스터의 경진대회 노하우 대방출
• 구종만 (Tower Research Capital) - AI + ML과 Quant Trading
• 문지형 (Upstage) - 내가 만든 AI 모델은 합법일까, 불법일까

금

• 이준엽 (Upstage) - Full stack ML Engineer
• 오혜연 (KAIST) - AI Ethics
• 박은정 (Upstage) - AI 시대의 커리어 빌딩
• 박성준 (Upstage) - 자연어 처리를 위한 언어 모델의 학습과 평가

오피스아워

• 시각화 관련 오피스아워를 진행했는데 아직도 NLP는 어떻게 해야할지 감이 잘 안오는 부분이 있다!

피어세션

• 다음주에 시작되는 대회를 위한 rule 등을 정하였다.

한 주 회고

• 연휴 중반부터 몸살이 심하게 나서 공부를 생각한 것보다 많이 못한 것 같다... 이번주는 예상치 못하게 학교 관련 일정에.... 다음주는 뜬금없이 면접도 있어서 대회와 면접 준비를 어떻게 해야할지 고민이다...!!!ㅠ.ㅠ
• 주말 체력관리+개념공부 열심히 해야지...

1) 강의 내용

• 블로그에 따로 정리하지 않고 Noteshelf에 정리
• 벌써 week 6이라서 NLP를 시작하게 되었다..!

강의 수강 내역

• (01강) Introduction to NLP, Bag-of-Words
• (02강) Word Embedding
• (03강) Basics of Recurrent Neural Networks (RNNs)
• (04강) LSTM and GRU
• (05강) Sequence to sequence with attention
• (06강) Beam search and BLEU score

어디까지 이해하려고 하느냐에 따라서 난도가 정해지는 것 같다..! 개인적으로 제일 어려웠던 부분은 3, 4강이었고, 5강에서 생긴 질문에 대한 궁금증은 6강과 마스터클래스를 통해서 해결된 것 같다.

2) 과제 수행 과정 / 결과물 정리

필수과제

• 1. Data Preprocessing Assignment
• 2. RNN-based Lanugage Model Assignment
• 3. Subword-level Language Model Assignment
• 4. Preprocessing for Neural Machine Translation Model Assignment

전체적으로 어렵지는 않았던 것 같다. 대신에 과제 해결 이외에 코드를 이해하려고 할 때에는 어려움이 있었던 것 같다.

선택과제

• 선택과제 1 - BERT Fine-tuning Assignment
• 그런데 걍 돌리니까 92퍼가 넘었다... 나중에 좀더 이해를..

3) 피어세션 정리

팀 노션 팀 회고록

• 질문을 많이 해서 좋은것같다

4) 학습 회고

이번주 한 주 점수

★★★☆☆

• 이해하는데 너무 많은 시간이 걸려서 힘들었던 것 같다
• 팀 정하느라 머리아팠음
• 체력+시간관리 잘하기!
• 질문을 많이 했다

이번주 한 주동안 어떤부분이 성장했나요?

• 질문을 많이 하면서 세세한 개념을 알게 되었다
• NLP basic

이번주 한 주 동안 스스로 아쉬웠던 부분은 무엇이고, 어떻게 개선할 수 있을까요?

• 팀원을 정하면서 고민이 많아서 집중을 못하는시간이 있었음!
• 어려울때 바로 찾기보다는 좀 적어놓고 한 강의를 듣고 나서 쭉 찾아보는게 시간 절약에 도움이 될 것 같다.

다음주 계획

• NLP강의 듣기
• 밑딥 주말에 공부하기
• dl basic도 복습! 시간나면gㅎㅎ

원인

from sklearn.metrics import f1_score
def f1(output, target, is_training=False):
    f1_score(target, output, average = 'macro')
    return f1

로 코드 수정 후 발생

-> output, target이 gpu에 할당되어있는 tensor이지만 이를 numpy로 변환하게 되면서 오류 발생

해결

f1_score(target.cpu().numpy(), output.cpu().numpy(), average = 'macro')

Test site

p는 기본으로 1.0으로 되어있었는데 0.5로 변경해서 작성하였음

Blur (별로임)

CLAHE(히스토그램 평활화) (O)

• clip_limit 15 이하
• height 8 width 8
• 

CLAHE(always_apply=False, p=0.5, clip_limit=(1, 15), tile_grid_size=(8, 8))

CenterCrop (O)

• 얼굴 이미지 잘랐을 경우 사용 X

  CenterCrop(always_apply=False, p=0.5, height=??, width=??)
  

## Channel Dropout (X)
## Channel Shuffle (X)
- 위의 2개는 색상변환이 있어서 pass하였다

## Coarse Dropout
- ![](https://images.velog.io/images/minji-o-j/post/afbda2b2-13af-4207-8254-8b51532abda6/image.png)
- hole 개수 1~15
- min, max height/width: 8~15
- fill_value (0,0,0)

CoarseDropout(always_apply=False, p=0.5, max_holes=20, max_height=15, max_width=15, min_holes=1, min_height=8, min_width=8)

## Crop (X)
## Cutout (Coarse Dropout이랑 둘중 하나만 사용하면될듯?)
- 범위설정이 아니라 hole의 개수/w/h가 고정된다는 점에서 차이가 있는듯?
- ![](https://images.velog.io/images/minji-o-j/post/69eb7095-eac7-4cfb-b4c4-c07dd750232d/image.png)
- hole 10개, w,h=10

Cutout(always_apply=False, p=0.5, num_holes=10, max_h_size=10, max_w_size=10)

## Downscale(O)
- 보간을 안해주면 아래처럼 됨
- ![](https://images.velog.io/images/minji-o-j/post/849418be-4fcd-448b-aefd-dfc01b739066/image.png)
- 보간은 짝수개 추천 (특히 2), scale (0.70~0.99(안전하게 가자)

Downscale(always_apply=False, p=0.5, scale_min=0.699999988079071, scale_max=0.9900000095367432, interpolation=2)

## ElasticTransform (O)
- alpha: 이미지를 흩는다
- ![](https://images.velog.io/images/minji-o-j/post/8b4dfd11-5437-4656-868d-88f40b0ca0f2/image.png)
- alpha_affine, sigma: 이미지를 살짝 회전..?늘임 (이정도로 늘이면 안된다!!)
![](https://images.velog.io/images/minji-o-j/post/2391b2cf-37fe-4f16-ade5-05b4f0ff6393/image.png)
- border_mode=1 주변픽셀을 늘임
- 조금만 바꾸자..!!!

ElasticTransform(always_apply=False, p=0.5, alpha=0.20000000298023224, sigma=3.359999895095825, alpha_affine=2.009999990463257, interpolation=1, border_mode=1, value=(0, 0, 0), mask_value=None, approximate=False)

## Equalize (O)
- 단 by_channels=False로!
- ![](https://images.velog.io/images/minji-o-j/post/b1da45b3-e12a-4a49-95d2-d73bb929d1a4/image.png)

Equalize(always_apply=False, p=0.5, mode='cv', by_channels=False)

## Flip (X)
- horizontal/vertical 선택 불가함

## GaussianNoise (O)
- ![](https://images.velog.io/images/minji-o-j/post/dd5bf917-7f48-4bab-9227-5d888f96dddf/image.png)

GaussNoise(always_apply=False, p=0.5, var_limit=(0.0, 26.849998474121094))

## GridDistortion (O)
- 진짜 조금만...
- ![](https://images.velog.io/images/minji-o-j/post/e162f0c7-d3eb-42f7-b103-e7ee2443ef4f/image.png)

GridDistortion(always_apply=False, p=0.5, num_steps=1, distort_limit=(-0.029999999329447746, 0.05000000074505806), interpolation=2, border_mode=0, value=(0, 0, 0), mask_value=None)

## HorizontalFlip (O)
- 좌우뒤집기

HorizontalFlip(always_apply=False, p=0.5)

## HueSaturationValue(X)
## ISONoise(O)
- ![](https://images.velog.io/images/minji-o-j/post/9a8995e1-c66c-4559-9bcb-516c735451fe/image.png)
- 위의 사진보다 더 약하게 해야할듯

ISONoise(always_apply=False, p=0.5, intensity=(0.05000000074505806, 0.12999999523162842), color_shift=(0.009999999776482582, 0.26999998092651367))

## ImageCompression
- ![](https://images.velog.io/images/minji-o-j/post/7f3455cb-7059-4df8-99f4-f1c63cc33e8b/image.png)
- 이렇게 많이 하면 안된다...
- pooling-unpolling 반복하는..느낌?

ImageCompression(always_apply=False, p=0.5, quality_lower=56, quality_upper=100, compression_type=1)

## InvertImg(X)
- ![](https://images.velog.io/images/minji-o-j/post/562a951d-24a8-48b9-a96f-125c5f20cd08/image.png)

이번주에 P Stage가 시작되었는데 멘토님이 말하신 Baseline의 중요성이 뭔지 깨달았다. 저번주에 이거 짜야하지 않을까요? 하면 어차피 제공해주지 않나요? 라고 다들 생각했었는데 Baseline이 금요일에 공개될줄이야!!

팀원분들이 다들 너무 잘하셔서... 시작부터 내 역할이 애매해질까봐 걱정되어서 초반에 내가 생각한 나의 역할은 EDA를 열심히 해서 아이디어를 보태는 것이었다.

EDA

• EDA
• EDA를 하면서 개인적으로 느낀점과 아이디어를 작성해보았다.
• 데이터를 sample로 뽑아서 보면서 이상한 것들이 있어서 팀원 3명이 나눠서 한명당 900*7개의 data에 대해 확인해보기로 했다. 내가 본 부분에서는 노인분들이 많았고, data를 보면서 어떤식으로 문제가 생길 것 같은지, 어떤식으로 문제를 해결할 수 있을지 생각해보았다.

얻은 Idea

• 기본적인 EDA로도도 확인할 수 있었을 만큼 문제가 명확했다. 이와 관해서는 기존의 잘 알려진 문제 해결 방법을 이용해보기(weight) 이외에도 다각도로 접근이 필요 할 것 같았다.

Gender

• 이와 관련해서는 다른 것들에 비해 구분이 잘 될것이라고 생각했다.

Age

• 50~60대의 나이 경계가 애매하다고 생각하였고, 특히 60대 이상은 60세밖에 없어서 이를 잡아내는 것이 어려울 것 같다고 생각하였다.

  • 60미만과 60이상의 구분을 위해 나이를 Regression 문제로 접근해보기(데이터가 너무 적지 않나 고민됨)
  • Cutmix, 단 같은 label(60대 남성 마스크 제대로...)을 가진 사람끼리 해야하지 않을까?
  • 55~59 나이대 중 절반정도를 60대로 라벨 변경하여 data imbalance 해소
    • 데이터를 모두 봤을때 굉장히 노안..(누가봐도 80세같은데 56세?)인분들이 많았다..

• 성별과 연관이 있지 않을까? 육안으로 봤을때 헤어스타일이 영향을 줄 것 같음. 할머니들은 머리가 짧고 할아버지들은 머리가 대부분 없으셔서.. 영향을 미치지 않을까 싶었음

  Mask

  • 색상이 너무나도 다양해서 흑백으로 mask분류?
    • f1 score가 예상외로 제일 안나오고있음..!

등등.. 더있지만 생략하겠다(칸반보드 참조) 다행히도 내가 낸 아이디어 중 괜찮다고 평가받은 것이 있어서 시도중인 것들이 있다.

얼굴 자르기

• 강렬한 배경!!(빨간글씨...) 등에 영향을 받을 것 같아서 얼굴을 자르기로 시도해보았다. 근데 아직 valid set에 augmentation이 적용되는 문제가 해결되지 않아서 ... 보완해야할듯?
• albumentation 문서를 읽고 쓸만한 것을 정리중이다.
• 머리카락과 주변 환경들을 약간씩 넣을때가 성능이 더 좋다. 아무래도 얼굴이 완전하게 잘리지 않아서 그런 것 같다.

협업 방법

• 팀이 다음주가 아니라 이번주 금부터로 급하게 바뀌어서 아직은 엑셀로 공유하고, 슬랙으로 공유중이다.
• 각자 하고있는것들이 공유가 되지 않아 칸반보드 작성을 의무화(?) 하는 것이 좋을 것 같다.

느낀점

• 코드를 뜯어본 것은 처음인 것 같다. 팀원이 파이토치 베이스라인 코드를 수정해서 데이터에 맞게 새로 만들어주셨는데 나의 미천한 코딩실력... 노력해야겠다.. 라이브로 몇몇분들은 협업하시기도 하는데 나는 아직 가져다가 아이디어 관련해서 수정하는 정도..?? 그마저도 생각만큼 잘 안되어서 주피터셸로 실행해보고 -> 확인... 뭐 이러다보니 시간이 많이 걸리는 것 같아서 미안하다..
• 그래도 좋은점은 baseline 리팩토링 vs 계속 새로운 아이디어 실험 이렇게 팀이 어느정도 나눠진 것 같아서 부담이 적은 것 같다.
• 처음에 p stage 시작할 때 1인분을 하는게 목표였는데..!! 등수와 내가 그냥 시도해보고 싶은 것들? 사이에서 고민이 되고있다. 그래도 몇몇것들은 성능이 올라가서 다행이다.

Yolov5 facedetect 하던 중 나옴

모델을 cpu로 바꿔보자

device = torch.device('cpu')

IndexError: index 85 is out of bounds for dimension 0 with size 85

오류가 자세해진다! 들어가서 해결하면 됨

그래프 위에 <matplotlib.axes._subplots.AxesSubplot at 0x7f64677937c0> 이런걸 없애려면...

그래프 출력 마지막 line에 ;를 찍는다.

예시

change

sns.histplot(train_df, x = 'name')

into

sns.histplot(train_df, x = 'name');

전체적인 flow는 여기와 여기2블로그를 참조했는데 설명과는 다르게 오류가 너무 많이나서...

우선 다 설치한 후 실행 명령어는...

jekyll serve

❌ Bundler could not find compatible versions for gem "bundler"

C:\Users\minji\Documents\GitHub\paper_review>bundle exec jekyll serve
Bundler could not find compatible versions for gem "bundler":
  In Gemfile:
    bundler (~> 2.1.4)

  Current Bundler version:
    bundler (2.2.26)

Your bundle requires a different version of Bundler than the one you're running, and that version could not be found.

❕ 해결 방법

C:\Users\minji\Documents\GitHub\paper_review>gem install bundler:2.1.4

C:\Users\minji\Documents\GitHub\paper_review>bundle _2.1.4_ update

❌ Jekyll 4.2.0 Please append --trace to the serve command

                    ------------------------------------------------
      Jekyll 4.2.0   Please append `--trace` to the `serve` command
                     for any additional information or backtrace.
                    ------------------------------------------------

❕ 해결 방법

C:\Users\minji\Documents\GitHub\paper_review>bundle exec jekyll serve --trace

❌ cannot load such file -- webrick

C:/Ruby30-x64/lib/ruby/gems/3.0.0/gems/jekyll-4.2.0/lib/jekyll/commands/serve/servlet.rb:3:in `require': cannot load such file -- webrick (LoadError)

❕ bundle add webrick

를 하면 해결된다고 하지만... (보통은...) ++ 수정 이건 오타 낸거였음 webric아니고 webrick가 맞다..

❌ Could not find gem 'webric x64-mingw32'

C:\Users\minji\Documents\GitHub\paper_review>bundle add webric
Fetching gem metadata from https://rubygems.org/..........
Fetching gem metadata from https://rubygems.org/.
Could not find gem 'webric x64-mingw32' in any of the gem sources listed in your
Gemfile.

❕ 설치

C:\Users\minji\Documents\GitHub\paper_review>gem install webrick

아니면

https://rubygems.org/gems/webrick 여기서 명령어로 버전 맞춰줘도 된다.

❕ gem 버전 업데이트

C:\Users\minji\Documents\GitHub\paper_review>bundle exec jekyll serve

다시 build

C:\Users\minji\Documents\GitHub\paper_review>jekyll build

❕ (다시) bundle add webric

C:\Users\minji\Documents\GitHub\paper_review>bundle add webrick
Fetching gem metadata from https://rubygems.org/..........
Fetching gem metadata from https://rubygems.org/.
Resolving dependencies...
Fetching gem metadata from https://rubygems.org/..........
Fetching gem metadata from https://rubygems.org/.
...생략

✅ 끝!

C:\Users\minji\Documents\GitHub\paper_review>bundle exec jekyll serve
Configuration file: C:/Users/minji/Documents/GitHub/paper_review/_config.yml
            Source: C:/Users/minji/Documents/GitHub/paper_review
       Destination: C:/Users/minji/Documents/GitHub/paper_review/_site
 Incremental build: disabled. Enable with --incremental
      Generating...
                    done in 1.352 seconds.
  Please add the following to your Gemfile to avoid polling for changes:
    gem 'wdm', '>= 0.1.0' if Gem.win_platform?
 Auto-regeneration: enabled for 'C:/Users/minji/Documents/GitHub/paper_review'
    Server address: http://127.0.0.1:4000/just-the-docs/
  Server running... press ctrl-c to stop.

잘 실행된다

1) 강의 복습 내용

블로그에 따로 정리하지 않고 Noteshelf에 정리 (DL basic부터 복습차원에서 블로그에 다시 정리중입니다)

• Pythorch
  • 한번 다시 배워보고싶다라고 생각만했는데 정말 도움이 많이 되었다.
  • 특히 기본적인 것부터 잘 알려주셔서!!
  • 응용하는 노력이 필요할것같다. 아직 이론만배움
  • 주말에 피어세션 숙제 하면서 적용해보기
  • 과제 하는 것이 인강으로 배웠던 부분을 적용할 수 있어서 좋았다

2) 과제 수행 과정 / 결과물 정리

필수과제

• 필수과제가 역대급 이었다. 정말.... 너무 길고... 파이토치를 본격적으로 공부 해본적은 처음이라서 정말 오래걸린 것 같다. 새벽3-5시에 들어가도 팀원들이 많이 들어와있다!! ㅋㅋㅋ

• 2번의 맨 마지막거를 오류 해결을 못하고 제출했다... 그래도 나머지를 다한 나를 칭찬한다.(?)

• 뉴스 데이터는 오늘 해설강의를 들었으니... 마지막거는 주말에 하자 ㅎㅎ(할것 +1)

선택과제

• 오히려 필수과제보다 쉬웠다..!! 실행시간이 오래 걸리는 것 빼고는..
• 주석이 너무 대충 달려있어서 아쉬웠다. (데이터가 다른데 앞에 있는 주석 복사 등..)

3) 피어세션 정리

팀 깃허브 팀 회의록

• 이번주 한 것
  • 강제로 복습 질문 만들기로 정함(일요일까지)
  • 화요일 알고리즘 발표
    • 다들 코드를 깔끔하게 잘 짜시고... 코딩 컨벤션 등 몰랐던 것들을 많이 배우게 되었다.
  • 수요일 멘토링
  • 목요일(X) - 병원가느라 빠지게 되었다.
  • 금요일 - 논문 자료 관리 및 level 1이 끝나고도 계속 진행할지 등 정함.
    • 저녁에도 계속되는 회의... 다음주 할것과 앞으로 방향까지 정함(회의록 참고)

4) 학습 회고

이번주 한 주 점수

★★★☆☆

• 아무래도 과제하느라 시간을 많이 뺏긴점은 아쉬움.
• 병원 가느라 피어세션때 발표 못한것도 아쉬움(아무때나 하겠음)
• 그럼에도 불구하고 문서 찾으면서 과제 열심히 했음!!

이번주 한 주동안 어떤부분이 성장했나요?

• DL 부분 복습 시작한 것
• 모르는 부분을 계속 질문함
• 파이토치 공부하고싶었던 부분을 알게됨

이번주 한 주 동안 스스로 아쉬웠던 부분은 무엇이고, 어떻게 개선할 수 있을까요?

• 필수과제 마지막문제를 풀지 못한 것 --> 강의 해설 들었으니 다시 풀어보기 및 내가 푼 것 비교
• 파이토치 baseline 짜지 못함 --> 화요일까지 짜기로함

다음주 계획

• 논문 요약 정리할 flatform 찾기
• 깃허브 issues 및 project 이용하기
• 각자 맡은 부분 정리해서 발표
• 등등!!
• 다음주는 미리 계획을 짜보자

Introduction

Gradient Descent

• First-order iterative optimization algorithm for finding a local minimum of a differentiable function.
• 미분 가능한 함수의 local minimum(극소)을 찾기 위해 1차 편미분을 반복적으로 하며 update하는 방법

Important Concepts in Optimization

Generalization

• 목적: 일반화 성능을 높여보자!
• Generalization performance: Train/Test error간의 차

Generalization performance가 좋다?

• 성능이 Train data와 비슷함을 보장한다!
• 하지만 training error가 높지만 Generalization performance가 좋다면 성능을 보장할 수 없다.

따라서 Generalization performance가 좋다고 해서 모델의 성능이 좋다는 것을 의미하는 것은 아니다!

Under-fitting vs. over-fitting

• 개념적인 이야기이기 때문에 판단 기준은 절대적이지 않음에 유의!

Overfitting: 과적합

• train data에서는 성능이 잘 나오지만, test data에는 잘 동작하지 않 는경우.

  Underfitting: 과소적합

• 적게 학습되어서 train data도 잘 맞추지 못하는 경우.

Cross validation (k-fold)

validation set

• 보통 train data와 test data를 나눈 후 train data의 일부를 validation data로 둔다.
• 이 때 validation data를 hyperparameter tuning하기 위해 사용한다.

k-fold

• test data를 제외한 data를 k개로 나누어서 k-1개를 train에, 1개를 validation 용도로 사용한다.
• 성능을 제대로 검증하기 위하여 validation set을 바꿔가면서 test하는 방법이다.
• 당연히 test는 사용하지 않는다.

Bias and Variance

Bias

• 평균적으로 봤을 때 True Target(정답, 그림에서 빨간 부분)에 얼마나 접근했는지?를 나타낸다.
• 분산과 관계 없이, 점들의 평균치가 과녁 중앙에 가까이 갔으면 bias가 낮은 것이다.
• Low Bias: 평균적으로 봤을 때 True Target에 접근
• High Bias: True Target에서 많이 벗어남

Variance

• input을 넣었을 때 output이 얼마나 일관되게 나오는가?
• Low variance: 같은 곳에 찍힘, 일관적
• High variance: input에 비해 output이 비교적 크게 바뀜, overfitting 될 가능성 존재

Bias and Variance Tradeoff

내 학습 data에 noise가 있을 경우...

• $t$: True Target(정답)
  
• cost를 식을 bias$^2$, variance, noise로 풀어 쓸 수 있다.
• 하지만 bias와 variance는 trade-off 관계이다.
• 따라서 이 모두를 줄이기는 힘들다...!!

Bootstrapping

참조

Bagging and boosting

Multi Layer Perceptron

• 선형 변환은 층을 쌓아도 행렬곱 형태가 되어서, 다시 $Wx+b$형태가 된다.
• 따라서 Activation Function 등을 이용하여 비선형변환 ($p$)를 해주어야 한다.

• 다층 퍼셉트론 (MLP)는 은닉층마다 선형, 비선형 변환을 수행하는 다층의 인공 신경망을 의미한다.

Loss function

Key Points

• 각각의 Loss function들이 어떤 성질을 가지고 있나?
• 이 Loss function을 이용하면 왜 내가 원하는 결과를 얻을 수 있는가?

MSE (Mean Square Error) - Regression Task

주의할 점

• 제곱을 하기 때문에, 차이가 크면 Outlier가 너무 커질 수도 있다.

• 제곱 대신에 절댓값을 취하면 MAE(Mean Absolute Error)가 된다.

  • MAE는 MSE에 비해 outlier에 덜 민감하다.

• outlier가 덜하다는 확신이 있을 경우, MSE가 더 좋다.

  • MAE는 median을 기준으로, MSE는 평균을 기준으로 data를 fitting 시키기 때문에 보통 MSE가 더 권장됨 (출처)

• MSE는 손실함수로 쓰이고 MAE는 회귀 지표로 쓰임

CE (Cross Entropy) - Classification Task

• Classification task에서 보통 output은 One-hot Encoding되어있다.

  • ex) 10개의 class, dog가 찾아진 경우 dog만 1, 나머지는 0

• 따라서 cross entropy 식에서 $D$개의 $y_i^{(d)}$ 중에 유효한 값은 1개이다.

• 즉, 정답에 해당하는 출력값만 키우는 것이 목적이다. 얼마나 더 키우냐?는 중요하지 않고, 가장 큰 값만 고려되므로 just 크기만 하면 된다.

  
  

MLE (Maximum Likelihood Estimation) - Probabilistic Task

• output을 확률로 내보내는 모델에서 사용 (예측모델 등...)

• In Wikipedia...
• 시작은 뉴런을 모방했을 지도 몰라도, 요즘에 딥러닝에 사용되는 인공신경망은 다른 형태를 가짐
  

Neural Network의 수학적 정의

Neural Networks are function approximators that stack affine transformations followed by nonlinear transformations.

• 연산이 반복해서 이루어짐!

Linear Neural Networks

정의

• Data $D$: $N$개의 $x,y$ 순서쌍
  • 
• Model: $x$ -> $\hat{y}$의 mapping을 찾게 해주는 식, 여기서는 선형
  • 
• Loss: (정답 - 추정치) 오차 제곱의 평균 (MSE)
  • 

우리의 목적: Loss 최소화

• $w$와 $b$ 각각을 편미분하여, Loss가 작아지는 방향으로 update
• 

그림으로 나타내보면...

• N차원을 M차원 model로 바꾸기 위해서는 행렬을 사용한다.
  

행렬을 곱하는 것은 어떤 의미를 갖는가?

• 2개의 Vector Space간의 변환
  • 선형성을 가지는 변환을 행렬로 표현하는 것
  • 2가지 다른 차원(Vector Space)간의 선형 변환을 찾는 것
    

좀 더 깊게 쌓아보면...

• bias 생략된 그림

• $W_2^TW_1^T$ 가 행렬곱으로 되어있기 때문에 단층 Neural Network와 다를 바가 없다!

• 따라서 이를 Nonlinear 함수 (Activation funcion)에 넣어준다.

• 여러가지 Activation Function들

Neural Network의 표현력

• Hidden layer가 1개 있는 Neural Network으로 우리가 일반적으로 생각할 수 있는 대부분의 continuous한 function들을 모두 표현할 수 있다. 표현력이 크다
• 표현력이 크지만, 어떻게 찾는지는 모른다
• 이런게 어디엔가 있다 이지, 내가 학습시킨 Neural Network가 그러하다 라고 할 수는 없음.

AI, ML, DL 차이

• AI가 ML과 DL을 포함하는 개념
• 자동 분류 등은 Machine Learning에 포함
• Neural Network(NN)을 사용하는 것 부터 Deep Learning이라고 함

Key Components of Deep Learning

The data that the model can learn from

• 자연어, 코퍼스, 비디오, 개/고양이 image...
• 
• Data는 풀고자 하는 문제에 따라 다름
  #### The model how to transform the data - 

The loss function that quantifies the badness of the model

• 모델, data가 정해져 있을 때 모델을 어떻게 학습할지?
• The loss function is a proxy of what we want to achieve
  • loss function 값이 줄어든다고 해서 우리가 원하는 값을 항상 이룰 것이라는 보장은 없다.
• Regression Task
  • 
• Classification Task
  • 
• Probabilistic Task
  • 

The (optimization) algorithm to adjust the parameters to minimize the loss

• Dropout
• Early stopping
• k-fold validation
• Weight decay
• Batch normalization
• MixUp
• Ensemble
• Bayesian Optimization

Historical Review

2012 - AlexNet

• Imagenet 대회에서 처음으로 딥러닝이 1등 함
• 

2013 - DQN

• Q-Learning을 딥러닝에 접목
• 

2014 - Encoder / Decoder

• NMT(Neural Machine Translation)을 풀기 위하여 등장 (단어의 연속 -> 또 다른 단어의 연속으로)
• 

2014 - Adam Optimizer

• 결과가 잘 나옴.. "웬만하면"
• 

2015 - Generative Adversarial Network (GAN)

• Generator, Discriminator을 두고 서로 경쟁시켜서 그럴듯한결과를 만들어내는 기술
• 

2015 - Residual Networks

• 깊게 Neural Network를 쌓을 수 있게 해준 모델
  • 이전까지는 너무 깊으면 test에 잘 적용되지 않는 문제 있었음
• ResNet에 등장
• 

2017 - Transformer

• 
• CNN, RNN 등의 대부분의 방법을 대체하면서 Vision(Vit)까지 적용되는 추세임

2018 - BERT

• fine-tuned NLP models
• 큰 Data, 일반적 문장으로 Pre-training -> 소수의 Data에 Fine-tuning
• 

2019 - BIG Language Models

• OpenAI의 GPT-3 : 1750억개의 parameter을 가지고 있음

2020 - Self Supervised Learning

• 학습 Data + unsupervised data
• 

#12b886

<h2>
  <span style="color:#12b886">Velog 글자 색 바꾸기</span>
</h2>

<span style="color:#12b886">#12b886</span>

안되는 기능

글자에 형광펜

• 미리보기에서는 되지만 글 등록하면 안보임

  <style>
  mark{
    font-weight:bold; 
    color:white;
    background-color:orange
    }
  </style>
  

글자 테스트 중입니다.

aa

미리보기에서도 안됨

글자 테스트 중입니다. ```

1) 강의 복습 내용

블로그에 따로 정리하지 않고 Noteshelf에 정리

• DL Basic

  • 1,2일차에는 괜찮았으나 3,4,5일차에는 강의 내용도 많고 어려워져서 이해하기 어려웠다

• Data Viz 1주차 강의

  • DL Basic에 비해 교양수업을 듣는 느낌..(?)

2) 과제 수행 과정 / 결과물 정리

필수과제

• 이번에는 교수님이 코드와 해설을 다 제공해주셔서 과제를 "제출"하는데 어려움은 없었다. 하지만 제출하는거 이외에....... 내가 이해는 못하는것 같다!
• 내용 이해+파이토치 등 복합적으로 이루어져야하는데 한쪽에 구멍이 생긴듯... 다음주에 파이토치를 배워서 메워지길 기대한다

선택과제

• 1번은 풀었지만, 그냥 하라고 한 것을 따라한 정도? 그마저도 답과 달랐다.(결과는 같았지만)
• 아무래도 내용을 이해하기 보다는 지령을 따라해서 그런듯..?
• 그래서 1.을 해보고 2, 3은 하지 않았다. 공부를 더 한 후에 도전해봐야 할 듯.

3) 피어세션 정리

팀 깃허브 팀 회의록

• 이번주 한 것
  • 정해진 강의 듣고 질문
    • 오전에 당일 분량 강의를 다 못들은 분들(나포함) 많아서... 질문이 원활하게 이뤄지지 않은 부분이 많았다
    • 이번주에 특강때문에 개인 학습 시간이 부족해서 그런듯
  • 알고리즘 스터디
    • 아직 1문제라서 신박한 풀이?라는건 없었지만, 원활하게 이뤄지고 있는 것 같다.
  • 논문 읽기
    • 3줄 요약 발표를 했으나 내 논문은 이해했으나 다른 분들 발표한 내용이 어떠 느낌인지 이해하는데 어려움이 있었다.
    • 3줄 요약+ 간단한 이미지 발표로 수정하여 다음주에는 더 이해가 잘 될듯?
  • 멘토링
    • 수요일 5:20 ~ 6:20
    • 목요일 5:00 ~ 6:00
    • 논문 발표 내용을 봐주셨고 질문받아주심
    • further Q에대한 답을 해주셨음
    • 3주차 알고리즘 과제 내주심

4) 학습 회고

이번주 한 주 점수

★★★☆☆

• 저번주보다는 높은 점수를 줬는데 좀 더 강의 이해를 한 것 같아서 높은 점수를 주었다.
• 강의 이해가 되지 않은 부분, 정리 밀림 등이있어서 별 2개 뺌

이번주 한 주동안 어떤부분이 성장했나요?

• 평소 정리하고 싶었던 부분 (DL관련) 정리할 수 있어서 좋았다

이번주 한 주 동안 스스로 아쉬웠던 부분은 무엇이고, 어떻게 개선할 수 있을까요?

• 목, 금요일 부분 강의 내용 이해에 어려움 존재
• 정리 밀림
• 공휴일 이용해서 정리 다 하기

다음주 계획

• 다음주에 내가 모더레이터임
• 알고리즘(3문제) 푼 것 발표 및 깃허브 업로드
• 각자 맡은 논문 3줄 요약 및 그림 자료 준비
• n-queens 1~5번 방법으로 풀기
• 다음주 파이토치 수업 들으면서 baseline 짜보기

DL Basic

• 9 Generative models 1
• 10 Generative models 2

스페셜 피어세션

• 다른조 분들과 만남
• 다른조는 과제 코드를 하나하나 뜯어본다고 한다.

피어세션

• 회의록
• 논문 요약시 다음주부터는 그림 넣기로 결정
• 팀 회고 진행

0813 Master Class

소개

• 최성준 교수님
• 서울대 박사 -> kakao brain -> 디즈니 -> 고려대학교 교수

FAQ

• 교수님께 인공지능이란?
  • 사람들이 무엇을 인공지능이냐고 묻는지..는알겠지만 교수님은 모르겠다. 데이터에서 보지 못한 무언가를 보는 것이 아닐까..
• CV NLP공부할 때 가장 기본이 되는 꼭 봐야하는 논문
  • 모르겠다.
  • 힘든 시기에 딥러닝을 하고있다
  • 논문이 매년 나온걸 따라가면 되었는데 지금 논문이 너무 많음....
  • 개인적으로는 신경쓰지말고 다보자
• 앞으로 유망할 딥러닝 세부 분야를 어떻게 찾아볼 수 있을까요?
  • 저도 찾아보고 싶다
  • 학회 워크샵 포스터인 사람에게 물어보자
• 아직까지 Transformer가 SOTA? 최근에 뜨는 기술 소개부탁
  • 제가 아는 한은 SOTA이지만 .. 부정확
  • 비교적 뜨고있는 기술: 사람을 집어넣는 것? - RL, 이미지 분류를 하더라도 Human이 중간에 들어가서 Signal을 받아들이는 부분
• 교수님은 논문을 어떤 방법을 읽으시는지?
  • 잘 안읽으심
  • Introduction: 어떤 생각을 가지고 연구를 시작하게 되었는지가 있어서 잘 보는 편
• 로봇 관련된 분야 시작하게 된 계기
  • 학부 입학부터 관심이 있어서 들어갔었음.
• 연구 할 때 어떻게? 개선점을 먼저 정하는지 or 시도하고 마는지
  • 개선할 점이 leaderboard는 아님
  • 모름..
• 추천논문: Scaling Laws for Neural Language Models
  • 영상을 새로 찍는다면 이걸 넣지 않았을까?
• TF, pt 하나만 잘하는 사람 없다. 다잘해야함

회고

• 오늘 강의 내용은 ㄹㅇ역대급이다 진짜 어렵다... 흑흑흑 똥멍청이임을 느끼고있다 막 이걸 하면 당연히 ~가된다는데 왜 당연한건지...?
• 스페셜 피어세션에서 마이크가 안되어서 슬펐음 😢
• 마스터클래스에서... 내가 올린 질문도 있었는데 (사실 질문 5개넘게 내가함) 교수님은 천재라서 이런걸 왜 궁금해하는지..?!!! 전혀 이해를 못하시는것 같아서 슬펐다..^^

DL Basic

• 7 Sequential models - RNN
• 8 Sequential models - Transformer
• 필수과제 4
• 필수과제 5

피어세션 & 멘토링

• 회의록

회고

• 오늘 진짜 장난아니었다... 사실 강의 Transformer 인것부터 걱정했는데 특강-개인시간없음, 내용- 어려움 이라서ㅠㅠㅠ
• 게다가 오늘 오피스아워가 있었는데 이게 대체 무슨시간인거지!?? 싶었다 너무 어려워서..
• 최신 기술을 모르는 내가 잘못이겠지? 음.. 학부때 했어야 하는 그런 것들이 이제와서 보이는게 안타깝다 ㅠㅠ 지금부터라도 열심히해야지..

오피스아워

• 딥러닝 시작할 때 어떤 논문 위주로 시작하면 좋을지?
  • MLP->CNN논문 list(RCNN->YOLO->Transformer) or NLP (RNN->LSTM->GRU->Transformer)
  • 수학 assumption이 중요하기 때문에 잘 보기
• 딥러닝에 대해 감이 안잡히는데 하나하나 이해보다 일단 해보는게 좋을까요?
  • 쉬운것부터 하나하나 해보며 이해하자
  • 해봐야 안다.(모방은..제2의창조)
• 공부한 것을 정리할 때 어떤 매체에 어떤 기준으로(날짜/항목 등) 정리하셨나요?
  • 엑셀(옛날에..)
  • 심심할때 아이패드에 논문을..(?)
  • 할게 없으면 대학원실에......논문을.......
• 이해가 안되는 문제를 찾아볼 때 바로 질문 or 찾아보다가 질문?
  • 후자.. 전자는 빨리 배우지만 빨리 잊는다
  • 최대한 시간 내에 많이 하자
• 실제 현업에서는 어떠한 모델을 사용하는지?
  • 배포하는 정도? -> 우리 컴퓨터에서 돌릴 수 있을 정도 (쉬운 모델)
  • 큰 모델 research 위해서 Data Center(GPU) 구축하고 있음. 우리가 배우는 모델들은 많은 GPU를 요구
• Pytorch 익숙지 않으면 어떤거 공부?
  • Pt tutorial

• df -h: 남은 용량 조회
• du -h --max-depth=1 디렉토리 용량만 확인
• du -sh * 디렉토리 및 파일 용량 확인

파일 목록 확인

• ls -a : 숨김파일을 포함하여 모든 파일의 목록 출력
• ls -d : 현재 디렉토리의 정보 출력
• ls -R : 하위 디렉토리의 목록까지 모두 출력
• find ./ -name "[검색조건]" 파일 검색
  • find ./ -name "._*jpeg" ._으로 시작하고 jpeg로 끝나는 파일 검색

삭제

• rmdir 디렉토리이름: 디렉토리 삭제
• rm -rf ~/.local/share/Trash/files/* 휴지통 비우기
• rm * 디렉토리 내 파일 전부 삭제
• find ./ -name "[파일검색조건]" -exec rm {}\; 특정 파일 삭제
  • find ./ -name "._*" -exec rm {}\; ._으로 시작하는 파일 삭제

GPU 사용량 확인

• nvidia-smi GPU 사용량 확인
• nvidia-smi -l 1초마다 갱신

포트 사용자 확인

lsof -n -i4TCP:포트번호 포트 사용자 확인