즉, 컴퓨터가 많은 양의 데이터를 이용해 마치 사람처럼 스스로 학습할 수 있게 하기 위해 인공 신경망(ANN: artificial neural network)을 기반으로 구축한 기계 학습 기술로, 인간의 뇌가 작동하는 것과 비슷한 원리라고 할 수 있습니다.

🏷 생물학적 뉴런(neuron, 신경세포)의 구조와 인공신경망

• 인간의 뇌는 뉴런이라는 신경세포들로 구성됨
• 수상돌기를 통해 외부 신호(자극)을 받아들이고 신경세포는 신호를 처리하며 시놉스를 통해 다른 신경세포로 전달함.

🏷 다층 신경망

• 입력층(input layer):입력변수에 대응되는 노드로 구성, 노드의 수는 입력변수의 개수
• 은닉층(hidden layer): 입력층으로부터 전달되는 변수값들의 선형결합을 비선형함수(활성화함수)로 처리, 출력층 또는 다른 은닉층에 전달하는 역할
• 출력층(output layer): 출력변수에 대응되는 노드, 분류모형에서는 클래스의 수 만큼의 출력노드가 생성
• 활성함수(activation function): 입력노드 혹은 은닉노드의 값에서 그 다음은 은닉층에 있는 노드값을 대응시키는 함수를 말하며 다음의 종류가 있음.
  • 은닉층에서 출력층으로 가는 활성함수는 출력활성함수라고 하며, 분류문제에서는 로지스틱, 회귀문제에서는 선형함수가 사용됨
  • ✅ 신경망학습에서 주의사항: 입력변수의 스케일링, 표준화가 결과에 많은 영향을 미치므로 표준화를 한 후 모형을 학습하기 바람.

🏷 퍼셉트론

퍼셉트론(Perceptron)은 프랑크 로젠블라트(Frank Rosenblatt)가 1957년에 제안한 초기 형태의 인공 신경망으로 다수의 입력으로부터 하나의 결과를 내보내는 알고리즘입니다. 퍼셉트론은 실제 뇌를 구성하는 신경 세포 뉴런의 동작과 유사한데, 신경 세포 뉴런의 그림을 먼저 보도록 하겠습니다. 뉴런은 가지돌기에서 신호를 받아들이고, 이 신호가 일정치 이상의 크기를 가지면 축삭돌기를 통해서 신호를 전달합니다.

• x는 입력값을 의미하며, w는 가중치(weight), y는 출력값입니다. 그림 안의 원은 인공 뉴런에 해당됩니다. 실제 신경 세포 뉴런에서의 신호를 전달하는 축삭돌기의 역할을 퍼셉트론에서는 가중치가 대신합니다.
• 각각의 입력값에는 각각의 가중치가 존재하는데, 이 때 가중치의 값이 크면 클수록 해당 입력 값이 중요하다는 것을 의미합니다.
• 각 입력값이 가중치와 곱해져서 인공 뉴런에 보내지고, 각 입력값과 그에 해당되는 가중치의 곱의 전체 합이 임계치를 넘으면 종착지에 있는 인공 뉴런은 출력 신호로서 1을 출력하고, 그렇지 않을 경우에는 0을 출력합니다. 이러한 함수를 계단 함수(step function)이라고 합니다.
  • 위의 식에서 임계치를 좌변으로 넘기고 편향 b(bias)로 표현할 수도 있습니다.

이렇게 뉴런에서 출력값을 변경시키는 함수를 활성화 함수라고 합니다.

🏷 단층 퍼셉트론

퍼셉트론은 단층 퍼셉트론, 다층 퍼셉트론으로 나뉘는데 단층 퍼셉트론은 한 개의 입력층과 한개의 출력층, 총 두 단계로 이루어져있는 구조를 뜻합니다. 이 때 각 단계를 보통 층(layer)이라고 부릅니다. 이처럼 단층 퍼셉트론은 AND 게이트, NAND 게이트, OR 게이트를 구현할 수 있으나 지금부터 설명할 XOR 게이트는 구현할 수 없습니다.

🏷 다층 퍼셉트론(MultiLayer Perceptron, MLP)

XOR 게이트는 기존의 AND, NAND, OR 게이트를 조합하면 만들 수 있습니다. 퍼셉트론 관점에서 말하면 층을 더 쌓으면 만들 수 있습니다. 이처럼 층을 추가한 퍼셉트론을 다층 퍼셉트론이라고 말합니다. 다층 퍼셉트론은 입력층과 출력층 사이에 은닉층(hidden layer)이 존재하는 것을 뜻합니다. 또한 은닉층이 2개 이상인 신경망을 심층 신경망(DNN)이라고 합니다.

지금까지는 OR, AND, XOR 게이트 등. 퍼셉트론이 제대로 된 정답을 출력할 때까지 저자가 직접 가중치를 바꿔보면서 적절한 가중치를 수동으로 찾았습니다. 하지만 이제는 기계가 가중치를 스스로 찾아내도록 자동화시켜야하는데, 이것이 머신 러닝에서 말하는 훈련(training) 또는 학습(learning) 단계에 해당됩니다. 앞서 선형 회귀와 로지스틱 회귀에서 보았듯이 손실 함수(Loss function)와 옵티마이저(Optimizer)를 사용합니다. 그리고 만약 학습을 시키는 인공 신경망이 심층 신경망일 경우에는 이를 심층 신경망을 학습시킨다고 하여, 딥 러닝(Deep Learning)이라고 합니다.

• plotly 홈페이지에서 api 입력받아 코드 작성하기
• ppt에 web viewer 설치하여 띄우기

🏷 1. plotly

📎 1-1.plotly 홈페이지 회원가입

chart-studio-plotly 링크 접속 https://chart-studio.plotly.com/feed/#/

📎 1-2. 설정 들어가기

📎 1-3. api 받기

• 저 파란색 버튼을 눌러주시면 api 키를 받으실 수 있습니다!
• 저는 이미 api가 존재하기 때문에 regenerate라고 뜹니다!

  📎 1-4. chart-studio 연동하기

  

• 임포트 :

  import chart_studio.tools

• username과 api_key를 활용해 연결

  username = ''  # 자신의 username (plotly account를 만들어야 함)
  api_key = ''    # 자신의 api key (settings > regenerate key)
  
  chart_studio.tools.set_credentials_file(username=username, api_key=api_key)

• 작성한 차트를 upload하는 코드

  chart_studio.plotly.plot(fig, filename = '파일이름', auto_open=True)  # fig: 작성한 차트를 저장한 변수
  ## 위 코드를 실행하면 새로운 window로 해당 차트의 링크가 열리고, notebook에도 link를 아래에 return해줌

  • 저는 fig와 fig_2 모두 업로드 해야했기에, py.plot을 두개 작성했습니다.

  • 🖍 밑에 나오게 되는 url을 잘 기록해주세요!

🏷 2. ppt에 web_viewer 설치하기

• web_viewer가 있으면 ppt에 url을 삽입함으로써 해당 홈페이지를 그대로 불러 들여올 수 있게 됩니다.

📎 2-1. ppt에서 '추가 기능 가져오기'를 눌러줍니다.

                                😎_그렇다면~~_😎

📎 2-2. web viwer를 검색한 후, '지금 받기'를 눌러주시면 됩니다.

📎 2-3. url 입력

• 🖍 vscode에서 출력되었던 url을 입력해 줍니다!
• 반드시.... 'https://'를 빼고 입력해주셔야 해요.. 'https://'이 친구가 두번 들어가서 오류났던 적이....

🏷 머신러닝

" 인공지능 > 머신러닝 > 딥러닝 " 대략 이렇게 보시면 될텐데요

머신러닝과 그 구성요소인 딥러닝, 신경망은 모두 AI의 세부 하위집합입니다. AI는 의사결정과 예측을 수행하기 위해 데이터를 처리합니다. AI는 머신러닝 알고리즘으로 데이터를 처리할 뿐 아니라 추가 프로그래밍 없이도 데이터를 학습하면서 지능화합니다. 인공지능은 모든 머신러닝 관련 하위집합을 포괄하는 상위집합입니다. 첫 번째 하위집합은 머신러닝이며, 그 안에 딥러닝이 있고 딥러닝 안에는 신경망이 있습니다.

📍 신경망이란?

신경망은 인간의 두뇌에서 영감을 얻은 방식으로 데이터를 처리하도록 컴퓨터를 가르치는 인공 지능 방식입니다. 인간의 두뇌와 비슷한 계층 구조로 상호 연결된 노드 또는 뉴런을 사용하는 딥 러닝이라고 불리는 기계 학습 과정의 유형입니다. 신경망은 컴퓨터가 실수에서 배우고 지속적으로 개선하는 데 사용하는 적응형 시스템을 생성합니다. 따라서 인공 신경망은 문서 요약 또는 얼굴 인식과 같은 복잡한 문제를 더 정확하게 해결하려고 합니다.

• input layer: 입력층
• hidden layer: 히든층
• output layer: 결과

신경망은 이후 페이지에서 한번 더 다뤄보도록 하겠습니다.

📍 딥러닝이란?

• 딥러닝은 사람에게는 자연스러운 일, 즉 예시를 통해 학습하는 것을 컴퓨터가 수행할 수 있도록 가르치는 머신 러닝 기법입니다. 딥러닝은 무인 자동차에서 활용되는 핵심 기술로, 자동차가 정지 신호를 인식하고 보행자와 가로등을 구별할 수 있도록 합니다. 딥러닝은 전화, 태블릿, TV 및 핸즈프리 스피커와 같은 가전의 음성 제어를 위한 핵심 요소입니다. 최근 딥러닝이 많은 관심을 받고 있습니다. 딥러닝을 통해 이전에는 불가능했던 결과를 도출합니다.

• 딥러닝에서는 컴퓨터 모델이 직접 이미지, 텍스트 또는 사운드로부터 분류 작업 방법을 학습합니다. 딥러닝 모델은 종종 사람의 능력을 넘어서는 최고 수준의 정확도에 도달하고 있습니다. 여러 레이어를 포함하는 신경망 아키텍처와 함께 레이블링된 대단위 데이터를 활용하여 모델이 학습됩니다.

🏷 머신러닝의 작동방식

: 지도, 비지도, 준지도, 강화

사용 중인 데이터 세트와 원하는 결과에 따라 각 모델 내에서 하나 이상의 알고리즘 기법을 적용할 수 있습니다. 머신러닝 알고리즘은 기본적으로 사물 분류, 패턴 발견, 결과 예측, 정보 기반 의사결정 등을 수행하도록 설계됩니다. 알고리즘은 하나씩 사용할 수도 있고 복잡하고 보다 예측 불가능한 데이터가 포함된 경우에는 정확도를 극대화하기 위해 여러 알고리즘을 결합할 수도 있습니다.

✏️ 지도형 학습이란?

지도 학습은 말 그대로 정답이 있는 데이터를 활용해 데이터를 학습시키는 것입니다. 입력 값(X data)이 주어지면 입력값에 대한 Label(Y data)를 주어 학습시키며 대표적으로 분류, 회귀 문제가 있습니다.

• 수많은 고양이와 기린의 사진을 주고 각 사진이 고양이인지 기린인지 하나하나 정답을 알려준 후 어떤 사진을 주었을 때 고양이인지 기린인지 알아맞힐 수 있도록 합니다.

지도학습의 목적은 분류(classification)와 회귀생성(regression)입니다.

• 분류는 위에서 예로 들었던 고양이와 기린을 구별해내는 것처럼 어떤 데이터를 적절한 유한개의 클래스로 분류하는 것을 의미합니다. 구체적으로, 두 개의 클래스로 분류하는 이진 분류(binary classification)와 셋 이상의 여러 개의 클래스로 분류하는 다중 분류(multiclass classification)로 나뉩니다.
• 회귀생성은 데이터의 특징을 기반으로 연속적인 값을 예측하는 것을 말하며 일반적으로 연속적인 숫자(벡터)를 예측하는 데에 사용됩니다. 예를 들어 사람들의 몸무게, 성별, 나이와 같은 데이터로 키를 예측하는 문제가 여기에 해당되죠. 최근 딥러닝을 활용해 전혀 새로운 이미지를 만들거나 목소리를 합성 (Text-to-speech) 하는데 이때 회귀생성이 사용되고 있습니다.

✏️ 비지도 학습이란?

• 어떤 사진이 고양이고 어떤 사진이 기린인지 알려주지 않더라도 사람들은 노랗고 얼룩무늬가 있고 목이 긴 동물과 그렇지 않은 동물로 구분할 수 있을 것입니다.

이렇게 하나하나 정답을 주지 않더라도 데이터의 특성을 파악하여 비슷한 사진끼리 분류하는 것을 군집화라고 합니다. 다시 말해, 비지도학습은 정답이 주어져 있지 않은 데이터의 특성을 학습하여 스스로 패턴을 파악하는 것을 의미합니다.

✏️ 준지도 학습이란?

• 모든 데이터가 시스템에 입력되기 전에 정형화되고 레이블이 지정되어 있다면 더할 나위 없이 완벽할 것입니다. 그러나 실제에서는 이러한 일이 불가능하기 때문에, 대량의 원시 비정형 데이터를 처리해야 하는 경우 준지도 학습은 유효한 해결책이 될 수 있습니다.

• 이 모델은 소량의 레이블이 지정된 데이터를 입력해 레이블이 없는 데이터 세트를 증강합니다. 이 모델의 핵심은 레이블이 지정된 데이터를 통해 시스템이 학습을 시작하게 하며, 학습 속도와 정확성을 상당한 수준으로 개선하도록 하는 것입니다. 준지도 학습 알고리즘은 레이블이 지정된 데이터를 분석해 레이블이 없는 데이터에 적용 가능한 상관관계가 있는 속성을 찾도록 머신을 훈련합니다.

✏️ 강화 학습이란?

• 강화학습의 핵심은 일단 해보는 것입니다.

• 강화(Reinforcement)는 시행착오(Trial and Error)를 통해 학습하는 방법 중 하나를 의미합니다. 이러한 강화를 바탕으로 강화학습은 실수와 보상을 통해 학습을 하여 목표를 찾아가는 알고리즘입니다. 기존의 신경망들이 라벨(정답)이 있는 데이터를 통해서 가중치와 편향을 학습하는 것과 비슷하게 보상(Reward)이라는 개념을 사용하여 가중치와 편향을 학습하는 것입니다. 목적은 최적의 행동양식 또는 정책을 학습하는 것입니다.

px와 go

fig = go.Figure() : go를 통해 그래프를 하나하나 설정하며 제작 fig = px.scatter() : px를 통해 템플릿으로 그래프를 빠르게 제작

설치

pip install plotly # 설치

pip install plotly --upgrade # 업데이트

그래프 종류

1. Bar graph
2. Scatter Plot

   a. Dot Plot b. Bubble Chart

3. Line chart
4. Pie graph

   a. Treemap b. Sunburst Chart

5. Statistical Charts

   a. Box Plot b. Strip Plot c. Violin Plot d. Histogram

* chart studio

: plotly로 시각화한 차트를 chart studio에 upload

pip install chart_studio로 설치!

• username과 api_key를 활용해 연결

  import chart_studio
  
  username = ''  # 자신의 username (plotly account를 만들어야 함)
  api_key = ''    # 자신의 api key (settings > regenerate key)
  
  chart_studio.tools.set_credentials_file(username=username, api_key=api_key)

• 작성한 차트를 upload하는 코드

  chart_studio.plotly.plot(fig, filename = '파일이름', auto_open=True)  # fig: 작성한 차트를 저장한 변수
  ## 위 코드를 실행하면 새로운 window로 해당 차트의 링크가 열리고, notebook에도 link를 아래에 return해줌

기본으로 제공되는 데이터 가져오기

import plotly.express as px
bills_df = px.data.tips()  # plotly express에서 제공되는 기본 data 사용
bills_df.head()

✏️ 1. Bar graph

1-1. daily average bills per sex

 fig = px.bar(bills_df.groupby(['day', 'sex'])[['total_bill']].mean().reset_index(),
             x='day', y='total_bill', color='sex',
             title='Average Bills per Day', category_orders={'day':['Thur', 'Fri', 'Sat', 'Sun']},
             color_discrete_sequence=px.colors.qualitative.Pastel)
 fig.show()

• color로 구분을 넣으면 default로 누적 그래프 형태로 시각화됨

1-2. daily average bills per sex

 fig = px.bar(bills_df.groupby(['day', 'sex'])[['total_bill']].mean().reset_index(),
             x='day', y='total_bill', color='sex', height=400, 
             title='Average Bills per Day', category_orders={'day':['Thur', 'Fri', 'Sat', 'Sun']},
             color_discrete_sequence=px.colors.qualitative.Pastel,
             barmode='group')  # 양 옆으로 놓이는 구조  # barmode='stack'라고 하면 누적 (dafault setting)
 fig.show()

• barmode='group' 옵션을 추가해주면 그룹별 값이 위아래 대신 양옆으로 배치됨
• height 옵션으로 크기를 지정해주는 것도 가능 (+. width 옵션도 가능)

1-3. daily total bills per sex

 fig = px.bar(bills_df, x='day', y='total_bill', color='sex',
             title='Total Bills per Day', category_orders={'day':['Thur', 'Fri', 'Sat', 'Sun']},
             color_discrete_sequence=px.colors.qualitative.Pastel)
 fig.show()

1-4. category별로 영역을 나누어 그리기

 fig = px.bar(bills_df, x='day', y='total_bill', color='smoker', barmode='group', facet_col='sex',
             category_orders={'day':['Thur', 'Fri', 'Sat', 'Sun']},
             color_discrete_sequence=px.colors.qualitative.Safe, template='plotly')
 fig.show()

• facet_col 옵션을 통해 특정 그룹별로 영역을 나눠서 시각화할 수 있다
  • template 옵션을 통해 각 그래프별 template을 별도로 지정할 수도 있다

✏️ 2. Scatter Plot

iris_df = px.data.iris()
iris_df.head()

2-1. 기본 scatter plot

 fig = px.scatter(iris_df, x='sepal_width', y='sepal_length', color='species',
                 color_discrete_sequence=px.colors.qualitative.Safe)
 fig.show()

2-2. trendline을 포함한 scatter plot

 fig = px.scatter(bills_df, x='total_bill', y='tip', trendline='ols',
                 color_discrete_sequence=px.colors.qualitative.Pastel1,
                 trendline_color_override='gold')
 fig.show()

• trendline='ols' 옵션을 통해 선형회귀선을 함께 시각화

✏️ 3. Dot Plot

데이터 가져오기

gapminder_df = px.data.gapminder()
gapminder_df.head()

fig = px.scatter(gapminder_df.query("continent=='Americas'"), x='lifeExp', y='country',
                color='year',
                color_continuous_scale='Burgyl')
fig.show()

✏️ 4. Bubble chart

fig = px.scatter(gapminder_df.query("year == 2007"), 
                 x='gdpPercap', y='lifeExp', size='pop', color='continent',
                 hover_name='country')
 fig.show()

✏️ 5. Line Chart

fig = px.line(gapminder_df.query("continent == 'Oceania'"), 
              x='year', y='lifeExp', color='country', symbol='country',
              color_discrete_sequence=px.colors.qualitative.Pastel1)
fig.show()

✏️ 6. Pie Graph

# 2007년 gapminder 수치 중, Asia 지역의 국가별 population 비중을 시각화

temp_df = gapminder_df.query("year == 2007").query("continent == 'Asia'")
# population이 가장 많은 top 15 국가를 제외하고는 다 'Other countries'로 처리
temp_df.sort_values(by='pop', ascending=False, inplace=True)
temp_df.iloc[15:, 0] = 'Other countries'

fig = px.pie(temp_df, values='pop', names='country',
             color_discrete_sequence=px.colors.qualitative.Antique)
fig.show()

✏️ 7. Treemap

temp_df = gapminder_df.query("year == 2007")
fig = px.treemap(temp_df, path=[px.Constant('world'), 'continent', 'country'], 
                values='pop', color='lifeExp', color_continuous_scale='RdBu',
                color_continuous_midpoint=np.average(temp_df['lifeExp'], weights=temp_df['pop']))

fig.update_layout(margin = dict(t=50, l=25, r=25, b=25))
fig.show()

✏️ 8. Sunburst Chart

fig = px.sunburst(bills_df, path=['day', 'time', 'sex'], values='tip',
                 color='time', color_discrete_sequence=px.colors.qualitative.Pastel)
fig.show()

✏️ 9. Statistical Charts

9-1. 기본 box plot

 fig = px.box(bills_df, x='sex', y='total_bill', color='smoker', 
             color_discrete_sequence=px.colors.qualitative.Pastel)
 fig.show()

9-2. 각 point를 함께 시각화

 fig = px.box(bills_df, x='sex', y='total_bill', color='smoker', points='all',
             color_discrete_sequence=px.colors.qualitative.Pastel)
 fig.show()

✏️ 10. Strip Plot

10-1. 기본 strip plot

fig = px.strip(bills_df, x='sex', y='total_bill', color='smoker', 
             color_discrete_sequence=px.colors.qualitative.Pastel)
 fig.show()

10-2. category별로 세분화해 시각화

 fig = px.strip(bills_df, x='total_bill', y='time', color='sex', facet_col='day', 
             category_orders={'day':['Thur', 'Fri', 'Sat', 'Sun']},
             color_discrete_sequence=px.colors.qualitative.Safe, template='plotly')
 fig.show()

✏️ 11. Violin Plot

11-1. violin plot

 fig = px.violin(bills_df, x='sex', y='total_bill', color='smoker',
                 color_discrete_sequence=px.colors.qualitative.Pastel)
 fig.show()

11-2. box, points 옵션 지정

 fig = px.violin(bills_df, y='total_bill', color='sex', box=True, points='all',
                 color_discrete_sequence=px.colors.qualitative.Pastel)
 fig.show()

✏️ 12. Histogram

12-1. 기본 histogram

 fig = px.histogram(bills_df, x='total_bill', nbins=10)
 fig.show()

• nbis 옵션으로 number of bins를 조절

12-2. categorical data를 넣으면 count plot처럼 적용

 fig = px.histogram(bills_df, x='day', category_orders={'day':['Thur', 'Fri', 'Sat', 'Sun']})
 fig.show()

12-3. histogram과 각 값의 분포를 함께 시각화

 fig = px.histogram(bills_df, x='total_bill', y='tip', color='sex', marginal='box',
                 color_discrete_sequence=px.colors.qualitative.Pastel)
 fig.show()

• marginal='box' 옵션을 추가하면 각 값의 분포를 box plot으로 함께 시각화해줌 (marginal: box, violin, rug 중에 선택 가능)

[참조] https://chaelist.github.io/docs/visualization/plotly/

• 다차원 배열로 Numpy 배열로 부터 시작함
• Rank, Shape, Type 3가지 구성요소가 있음

Rank

Array의 차원(Dimension)에 해당함

0 Rank : 스칼라 텐서, 0차원 텐서, ex. 3 1 Rank : 1차원 벡터, ex. [1, 2, 3] 2 Rank : 2차원 벡터, 행렬(Matrix)과 같음, ex. [[1, 2], [1, 2]] 3 Rank : 3차원 벡터, ex. [[[1, 2], [1, 2]], [[1, 2], [1, 2]]]

Shape

몇 개의 행과 열을 갖는지를 의미함

3은 shape [] 으로 표현됨 [1, 2, 3]은 shape [3] 으로 표현됨 [[1, 2, 3], [4, 5, 6]]은 shape[2, 3] 으로 표현됨 [[[1, 2, 3], [4, 5, 6]], [[1, 2, 3], [4, 5, 6]]]은 shape[2, 2, 3] 으로 표현됨

Type

텐서 값의 자료형

[1, 2, 3] 은 int 형 [1.0, 2.0, 3.0] 은 float 형 [[1, 2, 3], [4.1, 5.5, 6.0]]은 float 형 ex. tf.float32(32bit float 형), tf.float64(64bit float 형), tf.int8(8bit integer 형), tf.int16(16bit integer 형), tf.int32(32bit integer 형),..