Prologue

_ 계속해서 이어서 작성하는 강의 후기~ 😀 _

강의 내용 정리

DNN의 문제점 ~ 및 해결방안

• +@ 그외에도 자잘한 문제들이 있다.

Vanishing gradient 문제

• sigmoid 활성화 함수의 경우, 함수 양끝단으로 갈수록 기울기가 0으로 수렴하여, 학습시 체인룰에 의해서 곱해지는 갑이 0 가까워져 결국 weight 학습이 이루어지지 않는 문제 입니다.(특히 입력층에 가까운 경우)
• 결국 학습이 제대로 이루어지지않아 underfitting이 일어난다고 합니다.

해결방법 1. ReLU(Rectified Linear Unit)

활성화함수를 ReLU(또는 ReLU 유사함수)를 사용하면 됩니다. ReLU를 사용하면 비선형성을 유지하면서, vanishing graident 문제를 해결할 수 있습니다. (다른 논문에 따르면 실제 계산 속도 또한 더 빨라진다고 합니다.)

해결방법 2. Batch Normalization

(epoch는 반복횟수, batch는 한꺼번에 계산되는 단위이다.)
어떤 한 input node에 대해서 한 배치의 값들이 ReLU를 지나간다고 생각해보자, 값들이 모두 0이상이면, 비선형성이 떨어지고, 모두 0이하면, vanishing graident 문제를 해결하지 못한다. -> 그러므로 이 값들을 normalization 시켬으로써 기능을 향상킨다. -> 평균이 몇, 분산이 몇으로 할지 애매하기에 학습 파라미터로 추가하여 학습시킴 💡 (미분가능하면 역전파로 학습이 가능하다!)

(최근 batch normalization에 대해서 관점이 조금다른 논문이 발표됬다는것들은 기억이 있다. 그 논문도 참고하면 좋을것 같다.)

Loss landscape이 매끄럽지 않은 문제

• 실제 ReLU, Batch normalization 으로 vanishing graident 문제를 해결하고 깊게 만들면 기대했던것과 달리 학습이 잘 이루어지지 않음.
• Resnet 논문에서 따르면, layer 깊게 쌓는다고 항상 성능이 좋아지는 것이 아님.
  • resnet은 문제를 해결하기 위해 skip-connection을 제시함.
  • skip connection : 이전의 입력값을 받아서 전달함.

Overfitting 과 해결방법

• 핵심은 인공신경망 모델이 trian에서 과정에서 잘하지만 test에서 잘하지 못하는 경우이다.
• 디테일 하게는 학습 데이터를 과도하게 학습한 경우로, unseen data에 대해서 generalization을 잘 하지 못하는 것이다.

해결 방법

1. 모델 경량화

   • 모델의 layer 수, 파라미터 수, 등을 줄입으로써 모델을 단순하게 만든다.
   • 보통 모델이 학습데이터에 비해서 크고 복잡할수록 overfitting이 발생한다.

2. Data augmentation

   • 학습 데이터를 변형시키는 방법이다. 예를 들어 강아지를 학습시키는 경우에, 좌우상하반전이 되어있어도 사진은 강아지 사진이므로, 이를 이용하여 학습데이터를 증강 시킬 수 있다.

3. Dropout

• Dropout은 학습시 신경망에서 특정 노드들을 확률p 만큼 꺼졌다고 하고 진행하는 것이다. 실제 해당 노드의 결과값은 0으로 처리되며 학습이 이루어 지지않는다. 하지만 이로 인해서 남아있는 노드들이 잘 학습하게되 overfitting을 방지할 수 있다.
• 테스트시 에는 당연히 모든 노드에서 계산된다.
• 유사하게 노드가 아니라 노드간의 connection의 결과를 0으로하는 drop connect가 있다.

4. Regularization

• 기존의 loss 함수에 weight 값들 고려한다는 개념. (weight의 L1,L2 norm)
• 특정 weight 값들이 너무 커지지 않도록 한다. weight가 편향되지 않게 함.
• 수학적으로 MAP(Maximum A Posteriori)로 해석, weight norm 을 prior distribution에서 생긴값으로 가정

전체적인 강의 후기.

_ 전체적인 후기로는 어려운 개념을 예시를 통해 잘 설명해 주셔서 이해가 잘되었다. 하지만 말그대로 기초 강의라 아쉬운 부분이 조금 있었는데, 논문이나 어려운 개념에대해서 한발걸음 더 나아가도 괜찮지 않을까 싶었다.
인공지능에 대해서 처음 배울때 방향성이 중요하다고 생각하는데, 그러한 개념을 잘 알려주는 강의라고 생각합니다. 😃
추가적으로 제 블로그에는 올리지 않았지만 실습코드(제공해줌)을 통해서 개념을 설명해주기에 좋았던것같습니다. _

참고

본 게시글은 패스트캠퍼스 [ 혁펜하임의 AI DEEP DIVE] 체험단 활동을 위해 작성되었습니다.

강의 링크 : https://bit.ly/3GV73FN

#패스트캠퍼스혁펜하임 #혁펜하임 #혁펜하임AI #AIDEEPDIVE #패스트캠퍼스 #AI강의 #혁펜하임강의 #혁펜하임강의후기

Prologue

_ 💡 저번 강의 후기에 이어서 이어지는 글입니다. 후기를 어떻게 작성할까 고민하다가 강의내용을 정리하는 식으로 하게되었네요.. 저번에는 기초적인 수학이라면 이번에는 소개하고 싶은 AI 관련한 강의내용 위주로 작성하였습니다. 😀 _

인공지능 vs 머신러닝 vs 딥러닝

많은 사람들이 가장 처음 인공지능을 공부하면서 알게 되는 것이 AI,ML,DL(딥러닝)의 차이입니다. 예전에 저도 이차이를 잘 몰랐는데 간단하게 정리해봅니다.

1. AI : 인간의 지능을 인공적으로 만든 것 (인간의 사고방식 모방)
2. ML : 데이터를 기반으로 학습
3. DL : DNN(Deep Neural Network) 기반으로 학습

사진에 나와있는 선형회귀, 퍼셉트론, svm 등의 경우 데이터를 사용하지만, DNN을 사용하지는 않기에 ML이라 하는 것! 일반적으로 데이터가 많을수록 ML의 정확도가 높다. 데이터에 기반하지 않고 Rule-based로 진행하는 경우 1번 위치라 생각하면 되겠습니다.

ML의 분류

머신러닝은 크게 지도학습, 비지도 학습, 자기지도 학습, 강화학습이 있는데, 이들을 정리해보고자 합니다. (머신러닝이라 한 이유는 DNN을 쓰지 않는 학습이 있기 때문)

지도학습 supervised learing

• 💡 지도 학습은 정답 label을 알고 있을때 할 수 있는 학습입니다. 보통 사진으로 객체를 분류하는 문제에서, 고양이와 강아지로 분류하는 것을 예로 들 수 있겠습니다. 이때 각각 데이터(사진)에는 고양이면 고양이, 강아지면 강아지로 정답이 'labeling' 되어 있어야 합니다. segmentation의 경우 사진에서 객체단위로 픽셀을 분류하는 것입니다. instance seg의 경우 2개의 고양이를 각각 분류할 수 있습니다.(신기)
• 그 외에도 다양한 task에 응용가능
  

비지도 학습 unsupervised learning

• 정답을 모르는 경우 (데이터의 labeling이 안되거나 안할거거나)
• 군집화 (k-means, DBSCAN, ... )
• 차원 축소 (데이터 전처리: PCA(Principal component analysis), SVD(singular value decomposition)
• GAN (살짞 애매)

많은경우 실제 task에서 labeling이 되지 않은 경우가 많다. 그런 상황에서 사용하는 방법으로 데이터를 특정 기준으로 군집화(예를들어 좌표상에서 서로 가까운 k개의 군집으로 묶기등) 또는 데이터처리(중요변수로, 한축으로 분리)로 학습을 진행합니다.

자기지도 학습 self-supervised learning

정답을 아는 데이터가 가장 좋지만, 부족한 경우가 많습니다. 정답을 아는 데이터가 적을때 사용하기 좋다. 사전에 적은 데이터로 진짜 task와 유사한 가짜 task에 대해서 학습 후(이때 context정보를 학습) 진짜 task에 대해서 전이 학습 및 fine tuning을 진행하는 것입니다.

• 강의 자료 중 출처인 "Unsupervised visual representation learning by context prediection" 논문을 한번 읽어보는 것도 좋아 보입니다

강화 학습 reinforcement learning

• Agent, Reward, Environment, Action, State, Q-function, Episode 용어 참고
• Agent가 reward를 얻기 위해 environment 와 state를 보고 action을 정한다. episode가 지나면서 더좋은 (최적화) q-function을 학습하게 된다.
• 간단하게 말을 당근과 채찍으로 원하는 바를 학습시키는 것과 유사한것 같다.
  
  
  

📌 Training Test Validation

인공지능 신경망을 학습할때 수집한 데이터를 크게 3가지로 분류합니다. train, validation, test dataset. 각자 중요한 의미가 있기에 정리해봅니다.

• Train : Train data를 사용하여 신경망을 학습시킵니다.
• Validation : Validation data는 train에 없던 data로 이 신경망이 얼마나 data를 잘 generalization하는지 확인합니다.(혹 overfitting은 일어나지 않는지) 학습완료후, epoch별 가장 좋은 모델을 뽑는데도 사용될 수 있습니다.
• Test : test data로는 이 모델의 성능을 파악하는 것입니다. 중요한 것은 test역시 train에 포함되지 않아야 합니다.

인공지능 신경망의 성능은 결국 unseen data set에 대해서 얼마나 잘 generalization할 수 있냐를 보는 것이기에 이렇게 학습이 진행됩니다.

참고

본 게시글은 패스트캠퍼스 [ 혁펜하임의 AI DEEP DIVE] 체험단 활동을 위해 작성되었습니다.

강의 링크 : https://bit.ly/3GV73FN

#패스트캠퍼스혁펜하임 #혁펜하임 #혁펜하임AI #AIDEEPDIVE #패스트캠퍼스 #AI강의 #혁펜하임강의 #혁펜하임강의후기

Prologue

_ 💡 운이 좋아 혁펜하임 AI DEEP DIVE 체험단에 선정되어 강의 후기글을 남기게 되었습니다. 학부때나 대학원 면접 준비등을 하면서 수학, 인공지능 관련 정보들을 혁펜하임님의 유튜브 강의를 좀 참고하였었는데, 개념들을 잘 설명해주시는 부분이 인상이 깊었습니다. 학부 졸업후 개념복습 겸 신청했는데, 선정이 되서 많이 기쁩니다.
AI DEEP DIVE 강의는 전반적인 인공지능 기초강의로 앞으로 수강 후기를 작성하게 되었습니다 😀 _

혁펜하임의 AI DEEP DIVE(Online) 강의

먼저 강의목차와 간략한 내용은 다음과 같습니다 😀

1. 딥러닝을 위한 필수 기초 수학 (약5시간)
   • 함수,로그,미분 ~ 확률분포, 최대 우도추정(MLE), 최대 사우확률(MAP)
2. 왜 현재 AI가 가장 핫할까? (약1시간)
   • AI,ML,DL의 차이, 비지도 학습, 자기지도, 강화 학습
3. 왜 우리는 인공신경망을 공부해야하는가? (약2시간)
   • weight의 이해, 경사 하강법, 학습,검증,테스트의 차이
4. 딥러닝, 그것이 알고싶다. (약1시간)
   • activation, backpropagation 이해
5. 이진 분류와 다중류 (약2시간)
   • sigmoid 이진분류, MLE와 인공신경망, softmax
6. 인공신경망, 그한계는 어디까지인가? (약50분)
   • universal approximation theorem
7. 깊은 인공신경망의 고질적 문제와 해결방안 (약2시간반)
   • ReLU,batch normalization, regularization
8. 왜 CNN이 이미지 데이터에 많이 쓰일까? (약 2시간)
   • CNN, VGGnet
9. 왜 RNN보다 트랜스포머가 더 좋다는 걸까?(약1시간)
   • RNN 역전파, attention

전판 적으로 학부수업때 들었던 미적분학, 확률과 통계 등 기초 수학내용중에서 인공지능에 필요한 내용을 주로 모아 설명해주셨던것 같습니다. ^_^

💡 강의 내용이 부분부분 나눠져 있어 아는 내용은 넘어가고, 흥미로운 부분 먼저 봐도 무방합니다. 기초 수학의 경우, 뒷내용을 보시다가 모르면 넘어와도 좋은데 전일단 그냥 봤었습니다!

기초 수학 및 AI

어렵지는 않지만 벡터 와 행렬 부분은 인공지능의 기초라고 할 수 있습니다. 선대 부분 말고도 미분, 벡터미분, 확통관련 내용들을 증명을 통해서 잘 설명해주십니다.

몇몇 내용들을 아래와 같이 필기를 통해서 같이 들으면 좋을 것 같습니다.

인상깊었던 내용은 최대 우도 추정, 최대 사후 확률, 정보이론 기초 부분이었는데, 중요한 부분이라 생각합니다.

위는 정리 화면이지만, 따로 강의자료를 제공합니다. 위의 수식들을 그냥 보면 잘이해가 가지 않지만, 수업에서는 하나하나 계산해가면서 설명해주십니다. :) (그래서 기초강의가 가장 길었던것 같네요)

기초수학의 마지막으로 Entropy, Cross-Entropy등의 개념에대해서 다루는데, 이부분은 인공지능 신경망에서 loss function에서 자주보셨을 것입니다. 저도 처음엔 제대로 이해하지 못하였는데 해당내용을 보면 좋을것 같습니다.

굳

참고

본 게시글은 패스트캠퍼스 [ 혁펜하임의 AI DEEP DIVE] 체험단 활동을 위해 작성되었습니다.

강의 링크 : https://bit.ly/3GV73FN

#패스트캠퍼스혁펜하임 #혁펜하임 #혁펜하임AI #AIDEEPDIVE #패스트캠퍼스 #AI강의 #혁펜하임강의 #혁펜하임강의후기

_ 그동안 학생으로써 또는 개발자로서 나만의 기술 블로그를 작성하고 싶었습니다. 다양한 블로그 플랫폼(티스토리, github, 미디엄, 벨로그, 워드프레스 등등..) 고민하였으나 마크다운 기반으로 쉽게 작성가능한 velog를 첫 블로그 선택하였고.. 사용법을 작성해보고자 합니다._

Velog 글 작성법 (마크다운 문법)

1. Headings(제목,주제)

#을 사용하여 제목의 크기를 정합니다. 1~6개의 #으로 제목 텍스트를 설정할 수 있습니다.

2개 이상의 headings를 사용할 경우, 자동으로 contents table을 생성해 줍니다. Contents table 각각의 headings 를 클릭하면 해당 section으로 이동합니다.

• ⌨️ 입력

***
## The second largest heading
***
### 3333333333333333333
***
#### 444444444444444444444
***
##### 555555555555555555555
***
###### The smallest heading6
***

• 🖥 출력

  The largest heading

The second largest heading

3333333333333333333

444444444444444444444

555555555555555555555

The smallest heading6

*** 으로 글에서 회색 구분선을, <br>로 줄바꿈 을 할 수 있습니다.

2. Styling text(글꼴 스타일)

글꼴 스타일 지정하여 텍스트를 강조할 수있습니다.

• bold(굵게), italic(이탈릭체), strikethrough(취소선)
  

3. Quoting text(인용문)

텍스트를 > 이용하여 인용할 수 있습니다.

• ⌨️ 입력 Text that is not a quote > Thext that is a quote
  
• 🖥 출력 Text that is not a quote

  Text that is quote

추가적으로 중복하여 사용할 수 있습니다.

• ⌨️ 입력

  >Text that is quote
  >>Quote that is in quote

• 🖥 출력

  Text that is quote

  Quote that is in quote

4. Quoting code(코드 인용)

하나의 backticks ` 으로 문장내 코드 또는 명령을 작성할 수 있습니다. backticks 내의 텍스트들은 포맷되지않고 그대로 출력됩니다.

• ⌨️ 입력 Use ` git status ` to list all new or modified files that haven't yet been committed.

  
  

• 🖥 출력

Use git status to list all new or modified files that haven't yet been committed.

코드나 텍스트를 독립적인 블록에 작성하고 싶다면 3개의 backticks `를 사용해 보세요!

• ⌨️ 입력

Some basic Git commands are:
```
git status
git add
git commit
```

• 🖥 출력

git status
git add
git commit

4.1 Syntax highlighting(문법 강조)

• 추가적인 언어 구별자를 사용해 코드 블럭 에서 syntax 강조를 할 수 있습니다.

  
  _예를들어 간단한 파이썬 코드를 작성해 보겠습니다._

• ⌨️ 입력

  ```python
  def function1():
    for i in range(10):
        print("Hello Velog!")
    print("function1 finished")
  

• 🖥 출력

def function1():
    for i in range(10):
        print("Hello Velog!")
    print("function1 finished")

5. Links(링크)

인라인 링크를 작성하려면 대괄호 [] 로 묶은후 URL을 ()로 묶은후 입력하면 됩니다.

• ⌨️ 입력 I like [Github Pages](https://pages.github.com/). I like [Velog](https:https://velog.io/).

• 🖥 출력 I like Github Pages. I like Velog.

6. Images(이미지)

!입력후 [ ] 를 입력하고 이미지 링크를 입력하면 이미지를 띄울 수 있습니다. 컴퓨터에 있는 파일을 올리면 자동으로 링크를 생성해줍니다.

• ⌨️ 입력

  ![](https://images.velog.io/images/jay_/post/dcf7c78c-a924-4aa2-8e47-c23fc426a668/velog_logo.png)

• 🖥 출력

6.1 Images 크기 조절

html 을 활용하여 작성하면 width, height를 px,%등으로 입력하여 사이즈를 조절할 수 있습니다.

• ⌨️ 입력 <img src="https://images.velog.io/images/jay_/post/dcf7c78c-a924-4aa2-8e47-c23fc426a668/velog_logo.png" height="20%" width="20%">

• 🖥 출력

  

💡 height, width 뿐만 아니라 align값을 right, left를 입력하면 오른쪽, 왼쪽정렬이 가능합니다!

7. Lists(목록)

- 또는 * 사용하여 순서없는 목록을 만들 수 있습니다.

• ⌨️ 입력 ```

• George Washington

• John Adams

• Thomas Jefferson

• 🖥 출력

• George Washington

• John Adams

• Thomas Jefferson

순서가 있는 목록은 각 행 앞에 숫자를 붙이면 됩니다.

• ⌨️ 입력 ```

1. James Madison
2. James Monroe
3. John Quincy Adams ```

• 🖥 출력

1. James Madison
2. James Monroe
3. John Quincy Adams
   #### Nested list (중첩 목록) 하나 이상의 목록을 다른 항목 아래에 들여써 중첩 목록을 만들 수 있습니다. `-` 또는 `*`가 상위 항목의 텍스트 첫문자 바로 아래에 올때 까지 공백문자를 입력하면 됩니다.

• ⌨️ 입력 ```

1. First list item
   • First nested list item
     • Second nested list item

• 🖥 출력

1. First list item
   • First nested list item
     • Second nested list item

8. 이모티콘

다음의 단축키로 이모티콘을 사용할 수 있습니다. Window : window + . Mac : Command + Control + Spacebar 🖥⌨️🐽💡►🦊

9. Tables(표)

파이프 | 와 하이픈 -을 사용하여 table을 만들 수 있습니다. -은 각 열의 헤더를 만들때, |는 각 열을 구분하는데 사용합니다. (테이블윗줄이 비어있어야 합니다.)

• ⌨️ 입력

  | Command | Description |
  | --- | --- |
  | `git status` | List all *new or modified* files |
  | `git diff` | Show file differences that **haven't been** staged |

• 🖥 출력

다음과 같이 오른쪽, 왼쪽 중앙 정렬도 가능합니다.

• ⌨️ 입력

  | Left-aligned | Center-aligned | Right-aligned |
  | :---         |     :---:      |          ---: |
  | git status   | git status     | git status    |
  | git diff     | git diff       | git diff      |

• 🖥 출력

10. 수식

수식은 보통 논문에서 많이 보게되고 이에 작성의 필요성을 느껴 추가합니다. velog 에서 수식 작성은 KaTex 라이브러리를 이용하여 작성할 수 있습니다. 일반적으로 $$ 태그를 사이에 두고 작성합니다. (관련 내용 업데이트는 velog 공식 블로그에 간략하게 나와있습니다.)

예시1

• ⌨️ 입력

  $$
  \begin{bmatrix}a & b \\ c & d \end{bmatrix} * 
  \begin{bmatrix}a & b \\ c & d \end{bmatrix} = 
  \begin{bmatrix}a^2 + bc & ab+bd \\ 
  ac+cd & bc+d^2 \end{bmatrix}
  $$

• 🖥 출력 $$ \begin{bmatrix}a & b \ c & d \end{bmatrix} * \begin{bmatrix}a & b \ c & d \end{bmatrix} = \begin{bmatrix}a^2 + bc & ab+bd \ ac+cd & bc+d^2 \end{bmatrix} $$

예시2

• ⌨️ 입력 ``` $$ \displaystyle\sum_{i=1}^{k+1}i \displaystyle \displaystyle= \left(\sum_{i=1}^{k}i\right)

• (k+1) $$

• 🖥 출력 $$ \displaystyle\sum_{i=1}^{k+1}i \displaystyle \displaystyle= \left(\sum_{i=1}^{k}i\right)

• (k+1) $$

수학을 전공하지는 않았지만 수식에는 정말 다양한 표기가 있음을 압니다. 다양한 표기를 작성하는 방법은 Katex Docs 링크를 참고하시면 좋을 것 같습니다. https://katex.org/docs/supported.html

참고자료

Velog [Markdown] 사용법: https://velog.io/@kim-mg/velog-%EA%B8%80%EC%93%B0%EA%B8%B0-markdown-%EC%9E%91%EC%84%B1%EB%B2%95
[Markdown] 이미지 크기 조절,정렬 https://velog.io/@baekmoon1230/Markdown-%EC%9D%B4%EB%AF%B8%EC%A7%80-%ED%81%AC%EA%B8%B0-%EC%A1%B0%EC%A0%88-%EC%A0%95%EB%A0%AC
깃허브Docs https://docs.github.com/en/get-started/writing-on-github/getting-started-with-writing-and-formatting-on-github/basic-writing-and-formatting-syntax#quoting-code

벨로그 공식 블로그 https://velog.io/@velog/v2-update#10-%EC%82%AC%EB%9D%BC%EC%A7%84-%EA%B8%B0%EB%8A%A5%EB%93%A4

좀더 읽어볼만한 자료

깃허브 - Working with advanced formatting https://docs.github.com/en/get-started/writing-on-github/working-with-advanced-formatting
마크다운 문법 - detail한 글 https://velog.io/@wonhs717/%EB%A7%88%ED%81%AC%EB%8B%A4%EC%9A%B4Markdown-%EB%AC%B8%EB%B2%95-ytk5zemk0x

Epilogue

Velog .. 그리고 블로그 첫 글을 작성해 보았습니다. 글재주가 없고, 마크다운 작성법을 공부해 가면서 작성하느라 시간이 조금 걸렸습니다. 부족하거나 틀린부분있으면 편하게 말씀해주시면 감사드리겠습니다!

현재 이미지 크기조절이 잘 안되네요.. 참고하시길 바랍니다.