또한 다른 사이트도 있었는데, 여기(백엔드)는 눈에 잘 들어오는 레이아웃이라서 보기에는 편했다.

컴공 + 독학으로 어느정도는 다 이해할 수 있지 않을까 했는데, 중간중간 모르는 게 나오니 내 지식의 공백을 시각적으로 찾을 수 있어서 유용한 것 같다.

그것을 알아보기 전에, 먼저 이해를 돕기 위해서 and,or 게이트를 퍼셉으론으로 표현한 그래프를 보자.

퍼셉트론 그래프 표현

AND, OR Gate

AND	OR

그래프로 표현해보면 직선을 입력들([0,0], [0,1], [1,0], [1,1])을 나눈 영역을 출력으로 볼 수 있다. (출력을 반대로하면 nand, nor 게이트가 된다.)

XOR Gate

그러면 xor은 어떻게 표현할 수 있을까?

and,or과는 달리 단일 직선으로는 xor을 표현할 수 없다.

그럼 XOR은 어떻게 표현할 수 있을까? 아래의 두 게이트를 봐보자.

NAND	OR
두 게이트를 잘 보면 (1,0),(0,1)에서 출력이 1로 곂친다.
그럼 두 게이트의 출력에 대해서 다시 AND연산을 하면 XOR가 되지 않을까?
실제로도 그렇다.

A	B	A NAND B	A OR B	(A NAND B) AND (A OR B) = A XOR B
0	0	1	0	0
0	1	1	1	1
1	0	1	1	1
1	1	0	1	0

NAND게이트와 OR게이트에 각각 A,B입력을 주고 나온 출력들을 AND게이트에 입력으로 넣어주면 XOR 게이트가 된다.

XOR 게이트를 퍼셉트론으로 구현

진리표와 그래프로 XOR를 표현하는 법을 알았으니 이번엔 퍼셉트론을 통해 XOR을 표현해보자.

우선 NAND와 OR의 연산 결과를 각각 $h_1$,$h_2$라고 해보자. 그리고 $h_1$,$h_2$의 AND연산 결과를 $y$라고 하면, 퍼셉트론은 아래와 같은 모양이 될 것이다.

| |-|-| (왼쪽과 오른쪽은 똑같다.) X는 입력, W는 가중치, h는 1단계 출력, y는 최종 출력값이다.

이제 이걸 바탕으로 코드로 만들어보자.

def AND(x1, x2):
    w, b = np.array([0.5, 0.5]), -0.7
    return 1 if np.sum(w * np.array([x1, x2])) + b > 0 else 0

def NAND(x1, x2):
    w, b = np.array([-0.5, -0.5]), 0.7
    return 1 if np.sum(w * np.array([x1, x2])) + b > 0 else 0

def OR(x1, x2):
    w, b = np.array([0.5, 0.5]), -0.2
    return 1 if np.sum(w * np.array([x1, x2])) + b > 0 else 0

def XOR(x1, x2):
    s1 = NAND(x1, x2)
    s2 = OR(x1, x2)
    return AND(s1, s2)

퍼셉트론을 2단계에 걸처 사용하여, XOR 게이트까지 성공적으로 구현할 수 있게 되었다!

여기까지 잘 이해했다면 흔히 보이는 이런 이미지에 대한 부담감도 적어질 것이다. 위 이미지는 입력이 5개이고 4개의 단계를 더 거쳐 4개의 출력이 나온다는 의미로 해석할 수 있다. 이렇게 여러 단계(층)로 중첩된 퍼셉트론을 다층 퍼셉트론(MLP: Multi Layer Perceptron)라고 부른다.

우리는 XOR 예제를 통해 MLP를 익혔다! 다음엔 이를 바탕으로 신경망에 대해서 익혀보자.

프랭크 로젠블렛$^{Frank Rosenblatt}$이 1957년에 고안한 알고리즘이다. 다수의 신호를 입력으로 받아 하나의 신호를 출력한다. 출력 신호는 0 또는 1의 값을 가진다.

아래는 2개의 입력을 받는 퍼셉트론 예시이다.

x는 입력신호, y는 출력신호, w는 가중치이다. 그림의 원을 뉴런 혹은 노드라고 부른다. 입력 노드가 출력 노드로 보내질 때는 각각 고유한 가중치가 곱해져 합산된다. 이때 정해진 한계점을 넘어 설 때만 1을 출력한다. 이 지점(임곗값)을 $\theta$ 기호로 표현하면 다음 수식으로 나타낼 수 있다.

$$ y= \begin{cases} 0, if (w_1x_1 + w_2x_2 \leq \theta)\ 1, if (w_1x_1 + w_2x_2 \gt \theta) \end{cases} $$

퍼셉트론은 복수의 입력 신호 각각에 고유한 가중치를 부여하며, 각 신호가 결과에 주는 영향력을 조절하는 요소로 작용한다.

#기본적인 논리 게이트

AND 게이트

$w_1x_1+w_2x_2\gt\theta$ 모든 입력이 1일 때, $\theta$를 초과하도록 가중치를 설정한다.

ex.($w_1 = 1.0$, $w_2 = 1.0$, $\theta = 1.5$)

NAND 게이트

모든 입력이 1일 때, $\theta$를 초과하지 않도록 가중치를 설정한다. 사실상 AND 게이트를 구현하는 모든 매개변수의 부호를 반전하면 NAND 게이트가 된다.

ex.($w_1 = -1.0$, $w_2 = -1.0$, $\theta = -1.5$)

OR 게이트

입력 신호 중 하나 이상이 1일 때, $\theta$를 초과하도록 가중치를 설정한다.

ex.($w_1 = 1.0$, $w_2 = 1.0$, $\theta = 0.5$)

#퍼셉트론 구현

AND 게이트 구현

def AND(x1, x2):
  w1, w2, theta = 0.5, 0.5, 0.7
  tmp = x1 * w1 + x2 * w2
  if tmp <= theta:
    return 0
  elif tmp > theta:
    return 1

가중치와 편향 도입

앞서 구현한 AND게이트는 직관적이고 알기 쉬우나, 이후를 생각하여 다른 방식으로 수정해보자. $\theta$를 좌변으로 이항하고, 기호 표기를 바꾸면 아래의 식으로 바뀐다.

$$ \begin{aligned} y_1&= \begin{cases} 0, if (w_1x_1 + w_2x_2 \leq \theta)\ 1, if (w_1x_1 + w_2x_2 \gt \theta) \end{cases}\ y_2&= \begin{cases} 0, if (b + w_1x_1 + w_2x_2 \leq 0)\ 1, if (b + w_1x_1 + w_2x_2 \gt 0) \end{cases} \end{aligned} $$ 원래는 신호와 가중치를 곱해서 모두 더한 값을 임곗값과 비교했다면, 지금은 편향으로 바꾸어 더한 다음 0과 비교하고 있다. 즉, 비교 기준점을 $\theta$에서 0으로 바꾸겠다는 의미다.

한번 코드를 만들어보자

import numpy as np
def AND(x1, x2):
  x = np.array([x1, x2])    # 입력
  w = np.array([0.5, 0.5])  # 가중치
  b = -0.7                  # 편향

  tmp = np.sum(x * w) + b    # 가중치 * 입력 + 편향
  if tmp <= 0:
    return 0
  else:
    return 1

입력과 가중치를 곱해서 모두 합한 것에 편향을 더한 다음 0과 비교를 하는 식으로 수정되었다.

#한계

그러나 지금까지의 퍼셉트론으로는 XOR 게이트를 구현하기에는 문제가 있다.

XOR 게이트는 배타적 논리합이라는 특징을 가지고 있다. 두 입력이 같다면 0, 다르다면 1을 출력한다. 이를 구현하기 위해서는 어떻게 가중치를 설정하면 될까?

사실 지금까지 본 퍼셉트론으로는 XOR을 구현할 수 없다. 어째설까?

집중력을 위해 여기서 한번 쉬고 다음 글에서 이어서 학습해보자

참고자료

저서: 밑바닥부터 시작하는 딥러닝 1 LaTeX Markdown LaTeX 기호 모음

Package Manager

프로젝트에 필요한 외부 라이브러리(패키지)를 설치, 업데이트, 관리하는 도구이다.

주요 역할

• metadata 작성 및 관리
• 모든 dependencies 일괄 설치 또는 업데이트
• dependencies 추가, 업데이트, 삭제
• 스크립트 실행
• 패키지 publish
• 보안 검사

npm

node.js의 패키기 관리자. npm 온라인 DB에 패키지를 등록하면 npm명령어로 패키지를 설치할 수 있다.

npx

패키지를 설치하지 않고도 실행할 수 있는 npm의 명령어다. 1회성으로 간편하게 실행하는 만큼 node_modules나 package.json에는 아무런 변화가 일어나지 않는다. 보일러 플레이트같은 변경사항이 잦은 패키지(ex. CRA)에 효과적이다.

yarn

2016년 페이스북에서 개발한 패키지 관리자로 npm의 성능, 보안적인 문제점을 개선하여 등장했다. npm과 같은 javascript 패키지 매니저이지만 yarn은 yarn.lock이나 package.json으로 부터 설치만 하며, yarn.lock은 모든 디바이스에 같은 패키지를 설치하는 것을 보장하기 때문에 버전의 차이로 인해 생기는 버그를 방지해줄 수 있다.

무엇을 쓸까?

지금까지는 npm을 많이 써왔고 익숙하기도 하다. 최근에는 npm도 성능적인 부분은 yarn과 큰 차이가 안날 정도로 많이 개선되었다고 하니, 팀 상황에 맞추어 사용할 것 같다. 개인적으로는 yarn도 한번 사용해봐야겠다는 생각이 들었다. (무엇보다 로고가 귀엽다)

출처

https://youngmin.hashnode.dev/npm-yarn https://devocean.sk.com/blog/techBoardDetail.do?ID=166592&boardType=techBlog https://blog.naver.com/kimbooshop/223467781306

SW중심대학사업의 SW아카데미 프론트엔드 과정을 이수하고, 캡스톤과 개인 프로젝트를 진행하며 프론트엔드 개발자로써 실력을 키우고 있었다. 그러나 프론트엔드 기술만으로는 현재 취업 시장에서는 꽤 불리하다는 것을 알게되며 백엔드도 학습하여 다양한 분야에 대해 전문성있는 지식을 보유한 풀스택 개발자가 되어야겠다는 목표를 갖게 되었다. 이후 관련 자료를 찾아보다가 goorm DEEP DIVE를 알게 되었고, 대학 과정과 병행할 수 있을 것이라는 생각이 들어 신청하였다.

풀스택이 아니라 백엔드과정을 신청하게 된 이유는, 이미 SW아카데미에서 프론트과정을 익히기도 했고, 각 페이지를 통해서 확인했을 때는 백엔드 과정이 보다 상세할 것으로 생각이 되어 백엔드 과정을 신청하게 되었다. (그래도 둘 다 해보고 싶다는 아쉬움은 남았다.)

그리고 운이 좋게도 합격 안내를 받았다.

학교에서 배우는 교육과정은 이론 중심이고, 사실 현업에서는 프로젝트를 어떻게 진행하는가를 배울 기회는 거의 없다고 생각한다. 대학 캡스톤에서 리더 역할을 하며 팀 프로젝트를 경험하긴 했으나, 실무에 대한 부분은 많이 부족하다고 느꼈다.

딥다이브는 기업에서 주관하고 있으며 현업자의 조언을 받을 수 있고, 다양한 실전 프로젝트를 통해서 경험을 쌓을 수 있을거라 생각하였다. 특히 다른 과정의 다양한 수강생과 해커톤을 한다는 점이 끌렸던 것 같다.

11개월 야간 과정이지만 조금 피로하더라도 대학을 다니면서 수강하기에 좋을 것 같다는 점도 한 몫 했다. (이미 SW아카데미로 늦은 시간까지 학습했던 경험이 있으니까... 어떻게든 버틸 수 있지 않을까 했다.)

사실 합격이 안될 것을 염두하고 다른 계획도 세우고 있었으나, 생각보다 합격 메일이 빨리 나왔다. 합격을 했으니 이번에도 열심히 수강해보자.