강의 주소입니다. click!

[혁펜하임의 AI DEEP DIVE] 체험단 활동을 위해 작성되었습니다.

1. 전치와 내적

먼저, 전치입니다! 전치는 정말 두고두고 곱하기처럼 자주 나오는 연산입니다! 전치는 처음 봤을 때 저도 블로그 막 찾아보고 너무 어려웠는데.. 강의자료에 제가 노란 형광펜 칠한 부분 보시면 종결될 것입니다.

​

대각선 기준으로 바뀌는 게 아니라 사실 a11도 a22도

1행 1열에 1행 1열의 성분을 놓는다의 전치 정의를 따라간 것입니다!

이를 대각선 기준이라고 해도 되지만 저 정의 그대로 알고 계심을 더 추천합니다!

​

저 연습문제까지 푸신다면 전치를 완벽하게 이해한 것입니다!

내적은 벡터와 벡터의 dot product로, 결괏값으로 스칼라가 튀어나오게 됩니다.

또한 후에 CNN과 RNN에서 중요한 개념인 내적은 닮은 정도를 나타냅니다.

식을 보시면 두 벡터의 크기와 cos θ의 곱으로 표현할 수 있고, 닮은 정도의 증명은 제2 cos 법칙으로 증명할 수 있습니다! 자료를 보시면 가장 닮았을 때는 a 벡터와 b 벡터의 사잇각이 0도일 때임을 알 수 있습니다.

2. 극한

극한에 대해서 값으로 다가간다든가, 움직이는 개념으로 생각하면 안 된다는 것을 알았습니다.

​

Loss 주변 갭으로 어떤 양수 엡실론을 잡더라도, 해당 갭 안으로 싹 다 보내버릴 수 있는 특정 값(a) 주변 갭 델타가 존재하면! 특정 값(a)에서의 극한 값은 loss입니다

​

이것이 바로 극한을 엡실론-델타 논법으로 정의한 것입니다!

​

저도 원래 극한에 대해 특정 값에 가까워진다고 생각했었는데, 강사님의 설명으로 개념을 재정립할 수 있었습니다!

3. 미분

미분은 순간 변화율이라고 정의합니다. linear 말고는 기울기가 계속 변하기에 “순간 기울기”의 개념이 필요합니다!

​

예를 들어, x=1에서의 순간 기울기에 대해 알고 싶으면

1에서 그 순간을 의미하는 Δ x를 더한 값에 대한 y 값에서 1에서의 함수 값을 빼고, Δ x로 나눠 극한을 취하는 것입니다. 순간을 표현하기 위해서는 극한의 개념이 필요하기 때문입니다!

​

Δ x , 극한이 나와서 다른 개념 같다고 생각할 수 있지만 강의 자료의 예시와 같은 흐름이니 그렇게 이해해 주세요!

4. 도함수

위의 수식처럼 복잡하게 전개하지 말고, f(x)를 미분한 것을 함수로 두고, 순간 기울기를 알고 싶은 x 값을 넣어주자는 개념이 도함수입니다. 미분의 의미가 합쳐져서 도함수라고 부르는 것입니다.

위는 딥러닝 공부하면서 자주 보이는 도함수들이라 바로 튀어나올 수 있도록 학습하시면 좋을 거 같습니다!

아직 너무 쉬운 개념이라 간단 간단하게 넘어가서 중요하지 않다고 생각할 수 있지만 혁펜하임님의 강의 구성은 앞에서 배운 내용이 점점 level1,2,3로 응용이 되기에 덜 중요한 개념이 하나도 없으니 꼭 쉽더라도 의문을 던지면서 학습하시면 도움이 되실 거라 생각됩니다!! ☺️

오늘은 기초이자 중요한 함수, 벡터, 행렬에 대해 강의를 들은 내용과 새롭게 알게 되고 느낀 점에 대해 언급하겠습니다!

제가 필기한 강의자료와 함께 올리려고 합니다! 아직 아이패드에 익숙하지 않아서 악필이지만 이해해 주세요 ,,, 😢

강의 주소입니다. click!

본 게시글은 패스트 캠퍼스 [혁펜하임의 AI DEEP DIVE] 체험단 활동을 위해 작성되었습니다.

1. 함수

함수는 x라는 값이 입력되면, f라는 처리를 해서 f(x) 혹은 y를 뱉어내는 흐름입니다.

강사님은 박스 그림으로 함수를 표현하십니다!

위처럼 한 개의 입력이 들어가고 한 개의 출력이 나오는 기본 2차 함수와 같은 형태도 있지만,

위의 자료처럼

1. 두 개 입력하면, 한 개 출력이 나오고

2. 한 개 입력하면, 두 개 출력이 나오고

3. 두 개 입력하면, 두 개 출력이 나오는 경우가 있습니다.

​

2번 정의에서는 '함수의 정의에 맞지 않는 표현이다'라고 생각할 수 있습니다.

그렇다면, 자료에 나온 것처럼 한 개를 입력했을 때, 두 개가 하나의 묶음 즉, 벡터 한 개를 출력한다고 생각하면 함수로 정의할 수 있습니다.

그리고 자료에 제가 메모한 것을 보면, 2번에서 함수로 정의가 안 되는 경우는 원의 방정식과 같이 2개가 결과값으로 튀어나가는 경우를 예시로 들어주셨습니다! 이름처럼 함수가 아니라 '방정식'의 표현을 사용합니다!

3번 정의에서는 3차원으로 그래프를 그리면 가능합니다!

2. 로그 함수

log 함수에 대해서 항상 헷갈리시는 분들이 많았을 거예요! 저도 항상$\log_{2}{4}$를 생각할 때,${2^2}=4$ 였지 하면서 두 번의 과정을 거쳐생각했습니다.

강사님이 그런 점을 아셨던 건지 자료에서 보시는 것과 같이 맨 위에처럼 기억하라고 길잡이를 해주셨어요!

그럼 바로 괄호 속 문제의 정답을 맞힐 수 있을 것입니다. 2를 몇 승해야 4가 나오나요? 2입니다.

​

$\log_{10}{x}$ 와$\log_{e}{x}$ 의그래프를 그리면서 로그의 밑이 클수록 그래프가 눕는다는 것을 알았습니다.​ 그리고 log 함수의 그래프에 대해 외워서 공부하셨던 분들은 절대 입력 x 값이 음수가 될 수 없다는 것을 알면 쉬울 것 같아요!

x의 음수를 제곱하면 분수가 결과로 나오기 때문입니다.

​

마지막으로 중요한 성질들에 대해 짚어주셨고, 6번은 로그의 정의로 증명할 수 있으니 다들 한 번씩 해보셨으면 좋겠어요!

3. 벡터와 행렬

벡터와 행렬의 정의를 말씀하실 수 있을까요?

열벡터면 숫자를 열로 쌓은 것이고, 행 벡터는 숫자를 행으로 쌓은 것입니다.

그리고 행렬은 숫자를 2차원으로 쌓은 것입니다!

​

저는 행렬은 말할 수 있어도 벡터는 감이 안 잡혔는데 강사님 정의를 듣고 너무 쉬웠습니다 ..

​

왜 배울까요?

연립 일차 방정식을 배우기 위함입니다.

​

연립 일차 방정식은 자료 두 번째 줄 오른쪽의 식처럼 2개의 방정식을 동시에 만족시키는 x, y를 찾는 것입니다!

이 2개의 연립 일차 방정식을 '하나의' 식으로 바꾸는 데 있어서 행렬과 벡터가 쓰이는 것입니다!

행렬과 벡터의 곱으로 두 개의 연립 일차 방정식을 하나의 식으로 표현할 수 있다고 했습니다!

자료의 오른쪽 맨 위와 같이 '드르륵 드르륵' 해서 곱하면 가능한데요! 영상으로 설명드리면 쉬울 텐데,,, 강의를 보시면 쉬울 것 같습니다.

​

저의 필기가 이해가 되셨다면 2x2 행렬과 2x3 행렬을 곱할 수 있을지에 대한 의문을 해결할 수 있습니다!

2x2 계수 행렬에서 쓰는 계수와 같은 또 다른 열 벡터 변수가 있다면 곱할 수 있습니다!

​

여기서 주요 성질을 알 수 있죠! 2개의 행렬을 기준으로 앞에 '열'의 숫자와 뒤의 '행'의 숫자가 같으면 곱할 수 있습니다.

그리고 결과 사이즈는 필기와 같이 맨 앞 x 맨 뒤의 크기로 나오게 됩니다.

하지만 정말 중요한 점은 교환법칙이 성립하지 않습니다! 전혀 다른 식이 나와서 원래의 식으로 돌아갈 수 없기 때문입니다!

마지막으로 벡터의 방향과 크기에 대해 알아보겠습니다!

원점을 시점, [2,1] 좌표를 종점으로 놓으면 벡터를 화살표로 나타낼 수 있고, 방향을 가진다는 것을 알 수 있습니다.

크기와 방향이 같으면 같은 벡터라서 시점이 달라도 같은 벡터일 수 있습니다.

​

그리고 피타고라스의 정리에 따라 화살표의 길이로 벡터의 크기를 나타냅니다.

​

크기를 나타내는 것들에는 l2-norm과 l1-norm이 있다고 합니다!

함수, 벡터, 행렬 정말 기초적인 내용이지만 설명하라고 하면 어려웠던 분들이 많으셨을 거라고 생각합니다! 함수, 행렬은 그래도 알고 있었지만 벡터의 개념과 이 3개의 개념의 쓰임에 대해 알 수 있는 강의 내용이라 정말 좋았습니다! 너무 기초인데 왜 알아야 하는 거지라고 생각하실 수도 있지만 나중에 심화 개념에 가면 툭 하고 바로 튀어나와야 하는 개념이니까 중요하게 생각하셨으면 좋겠습니다!

그때 딥러닝 관련 기초 개념들에 대해 국비 교육으로 이해하기에는 한계가 있어서 '혁펜하임'님의 유튜브 강의가 큰 힘이 되었습니다!

그런데 이번에 패스트 캠퍼스에서 딥러닝을 주제로 강의를 찍으셔서 체험단에 참여하게 되어 강의 후기에 대해 자세하게 풀어보고자 합니다 ㅎㅎ

아직 velog 포스팅에는 어색하지만 최선을 다하겠습니다 .. !

본 게시글은 패스트 캠퍼스 [혁펜하임의 AI DEEP DIVE] 체험단 활동을 위해 작성되었습니다.

왜 gradient는 가장 가파른 방향으로 향할까요?

인공 신경망을 한마디로 정의하면 어떻게 될까요? 

Vanishing gradient의 해결 방안들은 어떤 것들이 있을까요? 

Overfitting을 방지하는 방법들에는 어떤 것들이 있을까요?

RNN의 한계점은 무엇인가요?

저는 위의 질문들로 [혁펜하임의 AI DEEP DIVE]의 강의를 소개하고 싶습니다.

​

혹시 모두 대답하실 수 있을까요?

​

혁펜하임의 AI DEEP DIVE 강의를 보시면 모두 대답할 수 있고, 암기가 아닌 이해로 기억할 수 있게 됩니다!

​

혁펜하임의 AI DEEP DIVE 강의에서는 딥러닝을 위한 필수 기초 수학부터 분류, 깊은 인공신경망의 고질적 문제와 해결 방안, CNN, RNN까지 끊임없이 한 개념에 대해 WHY?에 대해 분석하고 이해할 수 있는 힘을 길러주게 해주십니다. 간단한 소개는 이렇게 마치고, 제대로 강의에 대해 소개해 드리겠습니다!

1. 딥러닝에 대한 본인의 이해 정도, 학습 태도

먼저, 강의를 듣기 전 저의 딥러닝에 대한 이해 정도나 학습 태도에 대해 설명해 드려야 할 것 같습니다!

저도 강의 후기를 찾아볼 때 항상 저랑 비슷한 학습 성향과 이해도를 가지고 있는 사람이었는지 확인했기 때문입니다.

​

딥러닝에 대한 본인의 이해 정도

저는 인공신경망에 대해서 어렵게 정의를 내려서 계속 노트를 찾아보곤 했습니다. 혹시 저처럼 딥러닝을 대한 사람이 계실까요?

아마 많으실 거라고 생각합니다 입력 데이터가 들어가면 layer가 데이터를 변환해주고 ,,,

인공 신경망을 통과해서 모델이 예측한 결과 데이터가 나오면 진짜 타깃 데이터와의 차이를 손실 함수가 계산하고 ,,,

이 손실 값이 최소화되는 방향으로 가중치가 업데이트가 되고 ,,,

이런 암기 과목처럼 인공 신경망에 대해서 이해하지 못한 채 계속 찾아보면서 공부를 했었습니다

심지어 코딩으로 구현할 때는 그저 epoch와 같은 파라미터를 바꾸는 정도에서 끝이 났었어요

​

그래서 원래 딥러닝 기초 개념 정도는 알고 있는 저는 강의를 들으면서 정말 감탄했습니다

오랜만에 정말 희열을 느끼면서 강의를 들었달까요

원래 알고 있던 개념과 기초부터 탄탄하게 이유까지 따져보면서 이해했을 때의 개념을 서로 비교하면서 알게 되니 더 소름이 돋았던 것 같습니다

학습 태도

저는 원래 학습태도가 느릿느릿 천천히 거북이 🐢 같달까요 ....

시간이 너무 오래 걸린다는 단점이 있지만 모르는 게 생기면 잘 넘어가지 않고 계속 WHY?를 던지면서 공부를 하는 편입니다

그런데 국비를 들으면서는 방대한 개념을 짧은 시간 안에 습득하다 보니 제 학습 태도가 맞지 않는다는 생각이 들었어요

프로젝트에서 응용을 하고, 개념은 그냥 대충대충 남들 하는 정도만 알고 넘어가자의 식이었습니다

주변에 개발자분들도 제가 책 하나를 가지고 계속 오래 파이썬을 공부하니까 이런 식으로 코딩 공부하면 안 된다고 혼난 적도 있어서 더 원래의 성향에서 벗어나는 학습을 하려고 했던 거 같습니다.

그래서 이게 공부를 하는 거 같지가 않았는데 혁펜하임님의 강의를 들으면서 제 학습 태도가 틀리지 않다는 것을 알게 되었습니다

혁펜하임님은 정말 WHY?의 변태입니다(장난)

저도 들으면서 안 돼 그만 !!~!! 그만 WHY.... 하고 힘겨울 때가 많았지만 뒤로 갈수록 의문을 던지면서 해결하는 학습 태도가 힘이 됨을 많이 느꼈어요

아무튼! 저와 비슷한 학습 성향과 딥러닝 이해 정도를 가지신 분들은 이 글을 끝까지 정독해 주시길 바랍니다... 추천 쾅

2. Chapter 별 소개

chapter 별로 제 방식대로 소개를 하겠습니다! 강의 사이트에는 더 직관적으로 나와있어서 같이 보시면 더 좋을 거 같습니다!

강의 주소입니다. click!

01. 딥러닝을 위한 필수 기초 수학

• 함수와 다변수 함수 • 로그 함수 • 벡터와 행렬 • 극한과 입실론-델타 논법 • 미분과 도함수 • 연쇄 법칙 • 편미분과 그라디언트 • 테일러 급수 • 스칼라를 벡터로 미분하는 법 • 왜 그라디언트는 가장 가파른 방향을 향할까? • 벡터를 벡터로 미분하는 법 • 벡터를 벡터로 미분할 때의 연쇄 법칙 • 스칼라를 행렬로 미분하는 법 • 행렬을 행렬로 미분하는 법 • 확률 변수와 확률 분포 • 평균과 분산 • 균등 분포와 정규 분포 • 최대 우도 추정 • MAP • 정보 이론 기초

사실 저는 chapter1이 가장 힘들었는데요 ... level1, 2, 3로 점점 어려운 것을 알려주시는데 강의 시간이 20분이면

필기하고 이해하는데 해서 level3는 정말 한 시간 걸려서 들은 것 같습니다..

그래도 정말 chapter1이 저는 가장 끝에 갈수록 어마무시한 힘을 발휘하는 파트라고 생각해요

언급이 안 되는 개념이 하나도 없었습니다 강의 특징에서도 언급하겠지만 혁펜하임님의 강의 구성은 정말 감탄스러워요

전 개념이 후 개념에 무조건 쓰이고, 쉬운 것부터 심화 과정까지 차근차근 밟아주십니다!

처음에 함수로 시작해 주시는 것을 보면 정말 선수 지식이 없어도 고등 기초 수학부터 다뤄주시는 것을 알 수 있습니다.

함수라고 해서 무시하시면 안 됩니다. 나중에 인공 신경망을 정의할 때 '인공신경망은 함수다'라고 정의합니다.

강의에서 언급하신 단어 중에 함수를 가장 많이 언급하셨습니다

그리고 저는 여기서 가장 좋았던 파트는 '벡터와 행렬' 부분입니다.

저는 행렬을 배웠던 때가 아니라서 개념도 잘 몰랐고 와닿지가 않아서 거의 행렬로 그냥 암기를 한 거 같아요

그런데 연립 일차 방정식의 정의부터 정말 기초부터 다뤄주셔서 좋았습니다.

그리고 다음 과정들 보면 아시겠지만

• 스칼라를 벡터로 미분하는 법

• 벡터를 벡터로 미분하는 법

• 벡터를 벡터로 미분할 때의 연쇄 법칙

• 스칼라를 행렬로 미분하는 법

• 행렬을 행렬로 미분하는 법

그냥 행렬과 벡터에서 나올 수 있는 미분의 경우의 수를 끝장을 보십니다

저는 행렬과 벡터를 왜 배우는지 이해를 못 했는데, 딥러닝 이론들을 이해함에 있어서 함수처럼 정말 기초 개념으로 필요하더라고요.. gradient, loss 함수 증명 등 정말 많은 곳에 쓰입니다!

다른 개념 설명들도 다 너무너무 중요하지만 저는 가장 인상 깊은 건 '내적'입니다.

내적을 그냥 수식 정도로 간단하게 생각하고 있었는데 내적은 닮은 정도를 나타냅니다.

후에 CNN과 RNN에서 이 개념이 어떻게 쓰이는지 알 수 있어요!

02. 왜 현재 AI가 가장 핫할까?

• AI vs ML vs DL (Rule-based vs Data-based) • 딥러닝의 활용 / CNN • 딥러닝의 활용 / RNN • 딥러닝의 활용 / GAN • 머신러닝의 분류/ 지도 학습 • 비지도 학습 • 자기지도 학습 • 강화 학습

chapter1에서 기가 조금 빨리고 너무 많은 개념들이 들어와서 힘들 수 있지만

chapter2부터는 딥러닝에 대한 모델들을 간단하게 알려주고, 예시 설명도 재미있게 해주셔서 편하게 들으실 수 있을 거예요!

가장 인상 깊었던 부분들은 GAN, 자기 지도 학습, 강화 학습 파트입니다!

먼저, GAN 모델은 이름만 들어보고 안에 개념은 잘 몰랐는데 혁펜하임님의 비유로 이해할 수 있었습니다.

간단하게 설명드리자면 G,D 두 개의 네트워크로 구성된 GAN 모델이 있는데 해당 모델은 real 한 이미지를 만드는 model입니다. GAN에서 A는 adversarial로 적대적이라는 뜻을 가지고 있죠?

G는 가짜 지폐 이미지가 출력되게 하고, D는 이를 판단합니다.

G는 D가 속게끔 학습되고, D는 G에게 안 속게끔 학습되니까 둘의 학습 방향은 반대라는 의미에서 적대적이라는 표현을 쓴 것입니다! 그리고 동시에 학습되는 게 아니라 번갈아가며 학습이 이루어지게 됩니다.

학습이 끝나면 오른쪽처럼 real 한 사진이 나오게 됩니다!

다음으로 자기주도 학습은 어떤 이유로 하는지, 어떤 식으로 진행이 되는지 잘 몰랐는데, 강의자료와 설명만을 듣고 이해를 하게 되었습니다! 혁펜하임님의 강의 자료와 설명을 들으며 적은 저의 필기를 보시면 이해가 되실 겁니다!

마지막으로 강화 학습 파트도 재미있었는데요, 원래 강화 학습의 개념을 왼쪽에 강아지가 간식(Reward)를 받기 위해 훈련을 하는 것과 같이 생각하고 있었는데, 다양한 예시를 보여주셔서 더 이해하기에 쉬웠습니다!

​

마지막에는 Q-learning과 Exploration, discount factor에 대해서도 짚어주셨습니다.

03. 왜 우리는 인공 신경망을 공부해야 하는가?

• 인공 신경망, weight와 bias의 직관적 이해 • 인공 신경망은 ___다!! • 선형 회귀, 개념부터 알고리즘까지 step by step • Gradient descent (경사 하강법) • 가중치 초기화 기법 정리 • GD vs SGD (Stochastic Gradient descent) • mini-batch SGD • Moment vs RMSProp • Adam • Training vs Test vs Validation • K-fold Cross Validation

해당 Chapter부터 제가 원래 알고 있던 딥러닝 개념과 대비되면서 정말 희열을 느끼면서 들었던 파트입니다 ...

​

처음에 인공신경망에 대해 신경 세포의 예시를 들으면서 암기식의 weight와 bias에 대해 주입시키는 것이 아니라

'필요성'에 대해 알려주시면서 직관적인 이해를 시켜주십니다. weight는 부위별 중요도를, bias는 민감도!

​

그리고 인공 신경망은 weight를 곱하고, bias를 더하고 activation 해주는 것의 반복이고, 주어진 입력에 대해 원하는 출력이 나오도록 하는 함수를 알아내는 것이다. 인공 신경망은 함수다!라고 한마디로 정의해 주십니다.

​

위에서 인공 신경망을 노트에 적었던 것이 한마디로 표현이 된다는 게 너무 충격이었습니다 ,,,

​

그 이후에는 GD, SGD, RMSProp, Adam과 같은 optimizer 알고리즘에 대해 설명해 주십니다!

마찬가지로 저는 원래 Adam이 제일 좋대... SGD는 GD에서 배치 데이터가 무작위로 선정된 거야... 정도로 가볍게 알고 있었는데 혁펜하임님이 정말 용어부터 하나하나 짚어주시고 심지어 모멘텀 설명하실 때는 관성까지 몸으로 표현해 주십니다 아래 사진은 경사를 보고 조심조심 눈치 보면서 가는 RMSProp를 몸으로 설명해 주십니다 ,,,,

그리고 혁펜 하임님 강의 장점에서 또 말하겠지만 정말 대충 넘어가지 않으시고, 작은 수식부터 하나하나 다 계산하고 이해를 도와주셔요

이렇게 m1, m2, m3와 같이 식 연산을 하나하나 다 풀어서 해주시는 건 정말 기본입니다.

한 m6까지 있어도 거의 다해주셔서 나중에는 안돼 그만 !!!! 할 정도로 대충이라는 단어를 모르시는 게 분명합니다 수업 듣고 굿 노트 약한 버전.. 아무튼 인공 신경망 작동하는 방식, 하이퍼 파라미터, activation 등등 기초 개념들을 잡아주는 chapter였습니다!

04. 딥러닝, 그것이 알고 싶다.

• DNN, 단 한 줄의 수식으로 표현하기 (행렬과 벡터의 식) • 왜 non-linear activation이 중요할까? • Backpropagation: 깊은 인공신경망의 학습 • 행렬 미분을 이용한 Backpropagation 챕터 구성을 보시면 알 수 있듯이 해당 파트에서는 non-linear activation의 중요성, chain rule을 적용한 backpropagation에 대해 설명해 주십니다!

​

linear activation으로는 입력과 출력 간의 선형적 관계만 가지게 되기에 non-linear activation이 중요합니다!

입력, 출력 간의 비선형 관계도 나타낼 수 있고, 깊을수록 복잡한 함수를 표현할 수 있기 때문입니다.

강의를 보면 아시겠지만 의문점들을 계속 제시해 주십니다.

여기서 기억나는 질문은!

linear -> non-linear -> linear -> non-linear

이렇게 하면? 

강의를 들으시면 바로 맞출 수 있습니다 ㅎㅎ 저도 멈춰놓고 바로 맞췄어요!

​

backpropagation은 chapter 1에서 배웠던 편미분과 chain rule, 행렬 미분의 개념이 사용됩니다

여기서도 하나하나 chain rule을 적용하면서 식을 전개해 주시는데

규칙성을 발견할 수 있습니다! 액웨액웨액웨..액앤!

05. 이진 분류와 다중 분류

• 선형 분류와 퍼셉트론 • Sigmoid를 이용한 이진 분류 • MSE vs likelihood (왜 log-likelihood를 써야 할까?) • 인공신경망은 “MLE 기계”다! • Softmax를 이용한 다중 분류 • Summary (인공신경망에 대한 정리)

저는 chapter5가 1 다음으로 가장 중요하고, 강의 중 가장 감탄했던 파트입니다.

일단 이진 분류와 다중 분류에 대한 직관적인 설명은 물론이고,

loss 함수에 대한 통찰력을 얻게 될 수 있습니다.

​

저는 책으로 딥러닝을 공부할 때, 이진 분류는 binary_crossentropy, 회귀는 MAE.. 하고 외워서 손실 함수에 대해 각각 공부했었는데 '딥러닝의 뿌리 이론'이라고 level 3 정도 수준의 개념을 다뤄주시는데 Loss 함수는 각각 공부하는 것이 아니라 같은 뿌리를 가졌다는 내용으로 풀어주십니다.

06. 인공 신경망, 그 한계는 어디까지인가?

• Universal Approximation Theorem (왜 하필 인공신경망인가?) • Universal Approximation Theorem (실습을 통한 확인) • Beautiful insights for ANN (AI가 스스로 학습을 한다는 것의 실체)

해당 chapter에서는 FC layer가 굉장히 비효율적이고, hidden layer 한 층만 있어도 어떠한 연속 함수를 표현할 수 있기에 인공 신경망에는 한계가 없다는 Universal Approximation Theorem에 대해 설명해 주시는 파트입니다!

그리고 미분만 가능하면 우리만의 layer를 표현할 수 있다는 것을 알려주십니다.

딥러닝에 대해 진입장벽이 높다고 생각했는데 이 chapter를 들으면서 나도 새로운 아이디어를 제시할 수 있구나라는 희망을 얻었습니다!

그리고 해당 파트부터는 Colab 환경으로 실습을 해주십니다! 원래 구글 드라이브를 사용하셨던 분들은 꼭 경로 복사하셔서 자기 경로를 넣어서 실습 진행하시면 될 거 같아요!

07. 깊은 인공신경망의 고질적 문제와 해결 방안

• 직관적으로 이해하는 vanishing gradient • Vanishing Gradient의 해결 방안들 • BN 직관적으로 이해하기 • Vanishing gradient 실습 • Loss landscape 문제와 skip-connection • Loss Landscape 실습 • Overfitting 과 해결 방안들 • Dropout 과 Regularization, 수식을 넘은 직관적 이해 • Autoencoder에 Dropout 적용, 실험 결과 공유 • Regularization 실험

해당 chapter는 기술 면접 질문을 준비하기에 좋은 파트라고 하셨습니다!

여기서는 Vanishing Gradient, Overfitting을 어떻게 해결하면 좋을지에 대한 것이 큰 주제고, 세부 개념들은 해당 문제들에 대한 해결 방안들에 대해서 강의해 주십니다!

그리고 chapter7은 실습 파일이랑 동영상을 제공해 주셔서 나중에 코드 응용해서 실험하기도 좋았고, 동영상 파일 보면서 복습하기에 더 용이하고 좋았습니다! 강의 들으면서는 강사님이 말해주시는 해석 적느라 사람이 바빠지고요 ,, ,

08. 왜 CNN이 이미지 데이터에 많이 쓰일까?

• CNN은 어떻게 인간의 사고방식을 흉내냈을까? • CNN이 잘될 수밖에 없는 이유 (MLP와의 비교) • CNN은 어떻게 특징을 추출할까? • Padding & Stride & Pooling • CNN의 feature map 분석 • CNN feature map 실습 • VGGnet 모델 읽기 & YOLO 감상 • VGGnet 실습 • Beautiful insights for CNN

저는 CNN은 정말 거의 무지에 가까운 상태였는데요 진짜 이건 강의를 보셔야 하는데 .... 다양한 사진과 예시로 설명을 직관적으로 해주셔서 개념을 머리에 채워 넣을 수 있었습니다.

이미지를 FC layer에 넣으면 정말 픽셀 하나하나를 쪼개서 너무 자세히 보려 할 텐데, 그건 인간이 이미지를 볼 때의 사고방식과는 정말 다릅니다. 그냥 딱 보고 강아지 면 강아지, 고양이면 고양이 알아야 하잖아요?

그래서 사전 정보인 위치, 배치가 중요하다는 것으로 개념을 잡아주십니다. convolution 연산을 통해 위치별 특징을 찾아내는 것입니다!

그래서 convolution 연산을 통해 어떻게 특징을 추출하는지, 컬러 사진일 때는 어떤 식으로 작동되는지,

padding, stride, pooling, VGGnet에 대한 내용도 잡아주십니다

이번에도 실습 파일을 통해서 구글 이미지를 직접 넣어보면서 CNN이 각 특징별 채널에 대해서 얼마나 특징을 잘 파악하는지에 대해 직관적으로 이해할 수 있었습니다!

09. 왜 RNN보다 트랜스포머가 더 좋다는 걸까?

• 연속적인 데이터 예시와 RNN의 개념 • RNN, 행렬, 벡터 식으로 5분 만에 이해하기 • RNN의 backpropagation과 구조적 한계를 직관적으로 이해 • plain RNN 실습 • RNN의 여러 유형과 seq2seq • seq2seq 실습 • seq2seq의 문제점과 attention 개념 • RNN + attention의 문제점과 트랜스포머의 self-attention • Beautiful insights for RNN • 강의 마무리 (딥러닝 연구는 뭘 잘해야 할까?)

마지막 chapter에서는 RNN의 개념, 동작 방식은 어떠한지!

해당 chapter에서 가장 강조하는 구조적 한계가 무엇인지.

구조적 한계 설명을 굿 노트로 필기하는데 정말 어마 무시했습니다..

RNN의 구조적 한계를 이해해야 발전된 형태인 seq2seq에 대해 이해할 수 있고,

또 seq2seq의 문제점은 무엇인지.

RNN이 어떻게 트랜스포머로 발전할 수 있었는지를 이해할 수 있습니다!

마지막으로 Attention is all you need라는 논문을 소개해 주시면서 RNN의 본질적 문제인 갈수록 흐려지고, 멀리 갈수록 잊혀지는 문제를 self-attention으로 해결할 수 있다는 것을 이해시켜주십니다.

그리고 강의의 마지막에 딥러닝 연구에 대해 한 페이지로 풀어주시면서 새로운 아이디어를 우리도 도출해낼 수 있다는 희망을 키워주십니다!

완강하시면 이렇게 혁펜하임님의 눈웃음과 박수를 받을 수 있습니다 ㅎ.ㅎ 이렇게 해서 길고 길었던 저의 chapter 후기를 마치겠습니다!

3. 강의의 차별점

마지막으로 강의의 장점, 추천하는 이유, 차별점에 대해 설명드리려고 합니다!

저는 이런 분들이 [혁펜하임의 AI DEEP DIVE]을 들었으면 좋겠습니다!

딥러닝의 기초 개념부터 응용 개념까지 배우고 싶은 사람

파라미터만을 조절하며 딥러닝을 다루고 있었던 사람

파편화된 딥러닝의 지식을 제대로 정리하고 싶은 사람

기술 면접을 준비하는 사람

제가 모두에 해당했기 때문에 진심으로 너무 추천드리고 싶습니다!

언급했던 것처럼 딥러닝의 기초 개념부터 응용 개념까지 단단하게 쌓을 수 있기에 스스로 학습하고 응용할 수 있는 힘을 기를 수 있습니다.

그리고 정말 대충 넘어가시는 개념 하나도 없이 작은 개념부터 큰 개념까지 자세히 풀어주시고, 강의 내용 자체도 무겁고 진입 장벽이 높다기 보다 예시가 진짜 이해가 쏙쏙 박히게 잘해주시고, 그리고 재미있으세요 ,,, 가장 이해가 잘 되었던 이해는 CPU vs GPU였는데 CPU는 카이스트 박사 1명이고, GPU는 초등학생 1000명이라고 해주셨습니다 ㅋ.ㅋ

​

앗! 그리고 가르치는 일을 정말 사랑하시는 강사님이라는 생각이 들었습니다! 유튜브 라이브 방송으로 소통으로 질문도 받아주시고 해당 강의를 들으면 오픈 채팅방에서 혁펜하임님이 직접 질의응답을 해주십니다! 저도 들어와있어요 ㅎㅎ

​

마지막으로 그저 파라미터만을 조절하면서 파편화된 지식으로 딥러닝을 대하고 있었다면 이번 기회에 혁펜하임님의 직관적인 설명으로 다양한 통찰력을 얻어 AI의 인사이트를 확보할 수 있었으면 좋겠습니다!

이상으로 강의를 한 바퀴 다 들은 후에 제가 강의에 대해 추천해 드리고 싶은 점, 각 chapter 별 후기 등에 대한 포스팅이었습니다!

저는 한 번 더 강의를 듣고, 개념을 정리하는 포스팅을 올리면서 전체 개념에 대한 사고의 폭을 넓히고자 합니다!

강의를 저와 같이 들으시면서 제 포스팅을 함께 봐주시면서 같이 고민하고, 피드백도 얻고 할 수 있었으면 좋겠습니다! 🐰

처음에는 in 연산자를 사용했는데, 오류가 나서 구글링을 해보니 isin()메서드를 사용한다고 합니다.

df_stop = df_3[df_3['index'].isin(stop_word)]
df_stop

해당 코드는 df_3의 index 칼럼에서 stop_word(list)에 들어있는 특정 값을 불린 인덱싱을 통해 추출하는 것입니다.

idx = 0
for i in list(df[ '특정 열']):
    내용 적기
    df.loc[idx, '특정 열'] = 넣고 싶은 데이터 값 
    idx += 1

df

정밀도(Precision) : precision_score(실제 결과, 예측 결과)**

• 예측을 Positive로 한 대상(FP + TP) 중 예측과 실제 값이 Positive로 일치한 데이터(TP)의 비율(Positive 예측 성능을 더욱 정밀하게 측정하기 위한 평가 지표로 양측 예측도)
• TP / (FP + TP)

—> 예측은 Positive인데, 예측이 맞은 것

재현율(Recall) : recall_score(실제 결과, 예측 결과)

• 실제가 Positive인 대상(FN + TP) 중 예측과 실제 값이 Positive로 일치한 데이터(TP)의 비율
• TP / (FN + TP)

—> 실제로 Positive인데 예측도 잘한 것

이진 분류 모델의 업무 특성에 따라 특정 평가 지표가 더 중요한 지표로 간주

정밀도와 재현율 둘다 TP를 높이는 데 동일하게 초점을 맞추지만,

• 재현율은 실제 Positive 양성인 데이터 예측을 Negative 음성으로 잘못 판단하게 되면, 업무상 큰 영향이 발생하는 경우 ex)암, 금융 사기 —> 재현율은 FN을 낮추는데 초점을 맞춘다.

• 정밀도는 실제 Negative 음성인 데이터 예측을 Positive 양성으로 잘못 판단하게 되면, 업무상 큰 영향이 발생하는 경우 ex) 스팸 메일 —> 정밀도는 FP를 낮추는데 초점을 맞춘다.

—> 전체 데이터의 스케일링 변환을 적용한 뒤, 학습과 테스트 데이터를 분리 why? 테스트 데이터로 새로운 스케일링 기준 정보를 만들게 되면, 학습 데이터와 테스트 데이터의 스케일링 기준 정보가 달라지기 때문에 올바른 예측 결과 도출이 어려움

—> 위에 과정을 못했다면, 테스트 변환 시에는 fit() 이나 fit_transform()을 하지 않고, 학습 데이터로 이미 fit() 된 Scaler 객체를 이용해 transform()만 사용해서 변환