본 자료는 심민경 코치님의 자료를 사용하여 정리하였습니다.

데이터 분석 기본 개념 살펴보기

머신러닝

데이터에 기반 $\rarr$ 숨겨진 패턴을 학습 $\rarr$ 결과를 예측하는 알고리즘 기법

데이터 분석 단계

데이터 수집 $\rarr$ 데이터 이해 및 전처리 $\rarr$ 모델링 & 분석결과도출 $\rarr$ 시각화 및 보고서 작성

머신러닝 분류

지도학습

• 답안지가 있어서 예측과 실제값을 비교해볼 수 있는 학습방식
• 분류, 회귀, 추천시스템, 텍스트 분석

비지도학습

• 예측결과의 답안이 없는 학습방식
• 클러스터링, 차원축소

연속형 & 범주형

선형 & 비선형

본 자료는 Elice 플랫폼의 자료를 사용하여 정리하였습니다.

프로젝트 준비하기

프로젝트와 데이터 분석

데이터와 정보

• 데이터 : 현실 세계의 일들을 관찰, 측정해서 얻은 값
• 정보 : 데이터를 처리해서 얻는 의미있는 값

데이터 분석이란?

• 데이터를 활용하여 원하는 정보를 얻어내기 위한 일련의 과정

데이터 분석 프로젝트

문제정의 $\rarr$ 가설설정 $\rarr$ 데이터준비 $\rarr$ 데이터분석 $\rarr$ 결과 정리

데이터 분석 시작하기

데이터 분석 프로세스

문제정의

• 현재 풀고자 하는 문제가 무엇인지를 명확히 정의

가설설정

• 문제를 해결하기 위한 데이터 분석의 토대인 가설 설정
• 문제와의 관련성 고려

데이터 준비

• 풀고 싶은 문제에 대한 정보를 담고 있는 데이터셋을 선정
• 데이터 수집 및 전처리 과정
  • 데이터 수집
    • 풀고 싶은 문제에 대한 정보를 담고있는 데이터셋
  • 데이터 전처리
    • 데이터 정제
    • 빠진 부분, 중복, 이상값제거, 형태변환 등의 초기데이터 전처리 시행

데이터 분석

• 본격적인 데이터 분석
• 데이터 분석 프로젝트의 성공여부는 얼마나 데이터를 이해하고 있느냐에 좌우된다.
• 탐험적 데이터 분석(EDA)
  • Exploratory Data Analysis
  • 데이터의 특징을 찾고, 숨겨진 패턴을 발견하는 과정

결과 정리

• 분석과정에서 알아낸 인사이트(Insight) 정리
  • 인사이트란 사물의 이면을 들여다보는 것이다.

명확한 목표 설정과 목표에 맞는 흐름에 따른 데이터 분석을 진행해야 의미있는 데이터 분석이라 할 수 있다.

Tip 데이터 분석 프로젝트

프로젝트 주제소개

"어떤 테이블을 담당해야 Tip을 가장 많이 받을 수 있을까?"

문제정의하기

• Tip이란?
  • 서비스 제공자에게 자발적으로 주는 돈을 의미

Tip 데이터셋 분석을 통해 높은 팁을 받는 테이블의 특징을 살펴보고, 가장 높은 Tip을 받기 위한 전략짜기

가설 설정하기

• 정의한 문제 해결을 위한 가설 설정을 통해 필요한 데이터셋과 데이터 분석방향을 이해할 수 있다.

예시가설1. 인원이 많은 테이블일수록 더 많은 팁을 줄 것이다.

• 가설 설정의 주의점
  • 데이터 분석 시각을 너무 좁게 만들 위험성이 있다.
  • 문제 해결을 위한 전체적인 방향의 개념으로 활용하되, 가설이 문제의 정답인 것처럼 생각해서는 안된다.

데이터 준비하기

• 설정한 가설을 바탕으로 필요한 데이터셋 선정 및 수집
• 수집한 데이터셋에 대해 이상치제거, 중복제거, 형태변환등의 기본 전처리 진행

데이터 분석하기

• 탐색적 데이터 분석(EDA)를 통해 데이터의 특징 파악
• 파악한 특징을 바탕으로 하여 설정한 가설이 옳았는지 검증하기

결과 정리하기

• 분석 결과 정리 시 주의해야할 점
  • 데이터 특징(인사이트) 위주로 정리하기
  • 설정한 가설이 옳았는지 검증 결과 정리하기
  • 문제 해결을 위해 새롭게 발견한 해결 방안 정리하기

본 자료는 심민경 코치님의 자료를 사용하여 정리하였습니다.

Pandas

Pandas란?

• 데이터 처리와 분석에 사용되는 파이썬 라이브러리
• Series(1차원)와 DataFrame(2차원)이라는 데이터 형식을 제공
• 데이터를 다룰 수 있는 ㅐㄴ장함수를 제공

Pandas : 데이터 입력 / 불러오기

판다스 라이브러리 호출

import pandas as pd

데이터 객체 데이터 프레임으로 변환

변수 = pd.DataFrame({'열1':list1, ...})

CSV 파일 불러오기

변수 = pd.read_csv(파일경로)

Pandas : Series

• 인덱스와 값으로 구성된 1차원 배열
• 인덱스로 값에 접근 가능
• 딕셔너리를 활용하면, 인덱스를 문자로 활용 가능하다.

Pandas : DataFrame

• 행 인덱스와 열 이름으로 구성된 2차원 배열
• .iloc으로 숫자를 이용해 값에 접근 가능
• 컬럼이름으로 특정 컬럼 불러오기 가능
• .append로 데이터프레임 위아래로 결합할 수 있다.
  • .concat도 가능하다.
• .isnull()로 결측치 확인이 가능하다.
  • 결과는 데이터프레임에 True/False로 매핑된다.
• .dropna로 결측치 제거가 가능하다.
• .sort_values로 정렬 가능하다.
  • ascending으로 오름차순/내림차순 선택이 가능하다.
• 조건 연산자를 사용할 수 있다.
  • df[열] = 값
  • 결과는 True/False로 나온다.
• 다중조건 검색이 가능하다.
  • df[(df[열] == 값) & (df[열] > 값)]
• 값 대체하기
  • df.replace({대체될 값:대체할 값, ...}, inplace = True)
• 함수 적용하기
  • df.apply(함수)
• 내장함수
  • 조건부로 집계하기 df.groupby(열).sum()
    • .max(), .min(), .mean() 가능
  • 변수 별로 다른 집계하기 df[열1, 열2].groupby(열).aggregate({열1: 'min', 열2: 'mean'})
  • 특정 그룹 정보만 선택 df[열1, 열2].groupby(열).get_group(값)
  • 함수 적용 df[열1, 열2].groupby(열).apply(lambda x: x.mean() - x.min())
  • 필터링하기 df[열1, 열2].groupby(열).filter(함수)
  • pivot_table df.pivot_table(index = '행', column = '열', values = '요약할 컬럼')
    • aggfunc = ['min', 'mean', 'max']도 넣을 수 있다.

Numpy

Numpy

• 숫자 배열을 효과적으로 저장하고 가공할 수 있는 라이브러리

Numpy : 배열(Array)

1차원 배열 선언하기

변수 = np.array([원소1, ...]) 변수 = np.array(리스트객체)

Indexing / Slicing

변수[number] 변수[start:end] 변수[:: step_num]

데이터형 확인

변수.dtype

특정 규칙으로 채워진 배열 선언하기

• 1차원 변수 = np.arange(시작값, 마지막값 + 1, step) 변수 = np.random.random(생성할 난수 갯수)
• 2차원 변수 = np.random.random(생성할 난수 갯수, size = (행, 열)) 변수 = np.random.randint(생성할 정수시작, 끝, size = (행, 열))

1차원 배열로 2차원 배열 만들기

변수 = np.reshape((행, 열))

배열 붙이기

• 1차원 변수 = np.concatenate([배열1, 배열2])
• 2차원 변수 = np.concatenate([배열1, 배열2], axis = 0) - 위/아래로 붙이기 변수 = np.concatenate([배열1, 배열2], axis = 1) - 양옆으로 붙이기

배열 분리하기

변수1, 변수2 = np.split(변수, [위에 둘 행 개수], axis = 0) - 위/아래 나누기 변수1, 변수2 = np.split(변수, [왼쪽에 둘 행 개수], axis = 1) - 양옆 나누기

사칙연산

• 1차원
  • 원소 각각 적용
  • +, -, *, / 가능
  • 변수 + 숫자
• 2차원
  • 원소 각각 적용
  • +, -, *, / 가능
  • 변수 + 숫자, 변수 + 변수

집계함수

• 1차원
  • np.sum(변수)
  • np.mean(변수)
  • np.max(변수)
  • np.min(변수)
• 2차원
  • np.sum(변수) : 모든 원소
  • np.mean(변수)
  • np.max(변수, axis = 0) : 열기준
  • np.min(변수, axis = 1) : 행기준

조건연산자

• 변수 < 숫자 : True/False로 매핑된다.
• 변수1[변수1 < 숫자] : 해당되는 값만 나온다.

Matplotlib

Matplotlib이란?

• 시각화에 필요한 다양한 그래프 형식과 디자인 기능을 제공하는 라이브러리

Matplotlib 사용하기

import matplotlib.pyplot as plt  # 라이브러리 호출
fig, ax = plt.subplot()
plt.plot(x, y, options...)  # 라인 그래프
plt.scatter(x, y, options...)  # 산점도 그래프

대표적인 plot 옵션

• color = '색상' : 색상, 0 ~ 1사이의 숫자, RGB 값 사용가능
• linestyle = 'solid' : solid, dashed, dashdot, dotted등 사용가능
• label = '라벨' : 선 이름 지정

본 자료는 Elice 플랫폼의 자료를 사용하여 정리하였습니다.

Numpy 사용해보기

Numpy 소개

Numpy란?

• Python에서 대규모 다차원 배열을 다룰 수 있게 도와주는 라이브러리

list와 차이점

• list에 비해 빠른 연산을 지원하고 메모리를 효율적으로 사용

배열 만들기

import numpy as np
np.array([1, 2, 3, 4, 5])  # array([1, 2, 3, 4, 5])

배열 데이터 타입

np.array([1, 2, 3, 4], dtype = float)  # array([1., 2., 3., 4., 5.])
  or
numpy배열.astype(int)  # array([1, 2, 3, 4])

• 타입은 int, float, str, bool 등이 있다.

다양한 배열 만들기

• np.zeros(10, dtype = int) : 0으로 1x10 배열 만들기
• np.ones((3,5), dtype = float) : 1로 3x5 배열 만들기(실수형태로)
• np.arange(0, 20, 2) : 0 <= x < 20으로 2배수씩 채워서 배열 만들기
• np.linspace(0, 1, 5) : 0 ~ 1을 5개로 나눠서 배열 만들기

난수로 채워진 배열만들기

• np.random.random((2,2)) : 난수로 2x2 배열 만들기
• np.random.normal(0, 1, (2,2)) : 평균이 0이고 표준편차가 1인 값으로 2x2 배열 만들기
• np.random.randint(0, 10, (2,2)) : 0부터 10까지 값으로 2x2 배열 만들기

배열의 기초

• x2.ndim : 몇차원인지
• x2.shape : ?x? 배열인지
• x2.size : 원소가 몇개인지
• x2.dtype : 데이터타입이 뭔지

Indexing / Slicing

• 배열[위치]
• 배열[시작:끝]

모양바꾸기

• 배열.reshape((행, 열)) : shape를 행x열로 변경
• np.concatenate([배열1, 배열2], axis = 0) : 행을 기준으로 배열을 이어붙인다.(axis를 1로 설정하면 열을 기준으로 삼는다.)
• a, b = np.split(배열, [인덱스], axis = 0) : 행을 기준으로 인덱스 부분에서 나눈다.(axis를 1로 설정하면 열을 기준으로 삼는다.)

Numpy 연산

기본연산

• 배열 + 5 : 배열 모든 값에 +5
• 배열 - 5 : 배열 모든 값에 -5
• 배열 * 5 : 배열 모든 값에 x5
• 배열 / 5 : 배열 모든 값에 /5 행렬끼리도 가능하다.

브로드캐스팅

shape이 다른 array끼리 연산

• matrix + 5 : matrix의 모든 값에 +5
• matrix + np.array([1, 2, 3]) : matrix행 마다 [1, 2, 3]을 더한다.
• np.arange(3).reshape((3, 1)) + np.arange(3) : 3x1과 1x3을 더한다.

집계함수 & 마스킹연산

집계함수

• np.sum(배열) : 합
• np.min(배열) : 최소값
• np.max(배열) : 최대값
• np.mean(배열) : 평균값 배열뒤에 axis로 행 또는 열 별 집계가 가능하다.

마스킹연산

• 배열 < 3 : 값을 다 비교하고 값 위치에 True/False를 채운다.
• 배열[배열 < 3] : True인 값만 출력

Pandas 기본 알아보기

pandas란?

• 구조화된 데이터를 효과적으로 처리하고 저장
• Array 계산에 특화된 numpy를 기반으로 설계

Series

• numpy array가 보강된 형태
• Data와 Index를 가지고 있다.

  import pandas as pd
  pd.Series([1, 2, 3, 4], index = ['a', 'b', 'c', 'd'], name = 'Title')

• 딕셔너리를 Series에 넣을 수 있다.

DataFrame

• 여러 개의 Series가 모여서 행과 열을 이룬 데이터 pd.DataFrame(...)

저장과 불러오기

저장

df.to_csv(파일명) df.to_excel(파일명)

불러오기

변수명 = pd.read_csv(파일명) 변수명 = pd.read_excel(파일명)

Indexing / Slicing

• .loc : 인덱스를 이용해 인덱싱
• .iloc : 정수를 이용해 인덱싱

새로운 컬럼 추가

df[컬럼명] = np.nan df.loc[0, 컬럼명] = 값

컬럼 선택하기

df[컬럼명] df[[컬럼1, 컬럼2]]

누락된 데이터 체크

• df.isnull() : 비어있으면 True
• df.notnull() : 값이 있으면 True
• df.dropna() : 비어있는 값이 있는 행 삭제
• df[컬럼명] = df[컬럼명].fillna(값) : 비어있으면 값을 채워준다.

값으로 정렬하기

• df.sort_values(컬럼명, ascending = True) : 오름차순 정렬
• df.sort_values([컬럼1, 컬럼2]) : 컬럼 2개로 정렬

Pandas 심화 알아보기

조건으로 검색하기

Masking 연산

df["A"] < 0.5

조건 선언

df[(df["A"] < 0.5) & (df["B" > 0.3)] or df.query("A < 0.5 and B > 0.3")

문자열로 검색

df["Animal"].str.contains("Cat") or df.Animal.str.match("Cat")

함수로 데이터 처리하기

df[컬럼명].apply(함수)

apply 기능에서 데이터 값만 대체하고 싶을 때

df.Sex.replace({"Male":0, "Female":1}, inplace = True)

그룹으로 묶기

df.groupby(컬럼명)

• aggregate : 집계를 한번에 df.groupby(컬럼명).aggregate({'data1':'min', 'data2':np.sum})
• filter : 필터링 df.groupby(컬럼명).filter(함수)
• apply : 함수 적용 df.groupby(컬럼명).apply(lambda x: x.max() - x.min())
• get_group : 그룹에서 Key로 데이터 가져오기 df.groupby(컬럼명).get_group(값)

MultiIndex

index = [['A', 'A', 'B', 'B'], [1, 2, 1, 2]]

• Columns도 가능하다.

pivot_table

Matplotlib 데이터 시각화

Matplotlib이란?

• 파이썬에서 데이터를 그래프나 차트로 시각화할 수 있는 라이브러리

저장하기

• 위의 그림에서 아래 코드 추가

      fig.set_dip(300)
      fig.savefig(파일명)

그래프 여러개 그리기

그래프 스타일

라인강조

라인스타일

라인색상

라인마커

축경계 조정

범례

선점도 그래프(Scatter)

막대 그래프(Bar)

Histogram

Matplotlib with Pandas

본 자료는 심민경 코치님의 자료와 Elice 플랫폼의 자료를 사용하여 정리하였습니다.

자료구조 2

딕셔너리

딕셔너리 특징

• 키와 값의 순서쌍으로 구성
• 키는 중복 X
• 딕셔너리 이름 = {키1:값1, 키2:값2, ..., 키n:값n} 형태

딕셔너리 메소드

• .get(key) : 키에 해당하는 값 반환
• .keys() : 키 전부 출력
• .values() : 값 전부 출력
• .items() : 딕셔너리 출력

갯수 확인

len(딕셔너리)

요소 추가

딕셔너리이름[새로 추가할 키] = 값

요소 수정

딕셔너리이름[수정할 키] = 새로운 값

요소 삭제

• 특정요소 삭제 del 딕셔너리이름[삭제할 키]
• 모든 요소 삭제 딕셔너리이름.clear()

Set

Set 특징

• 순서도, 중복도 없는 자료형
• set이름 = {값1, 값2, ..., 값3} 형태

Set 메소드

• .add('새요소') : 요소 1개 추가
• .update('새요소1', '새요소2', ..., '새요소n') : 요소 여러 개 추가
• .remove('기존요소') : 특정요소 삭제
• .clear() : 전체요소 삭제

Set : 교집합/합집합/차집합

• 교집합 연산

      set1 & set2
      set1.intersection(set2)

• 합집합 연산

      set1 | set2
      set1.union(set2)

• 차집합 연산

      set1 - set2
      set1.difference(set2)

• XOR도 가능하다.

복합자료형 비교

파일 입/출력

CSV

CSV 장점

• 같은 데이터를 저장하는 데 용량을 적게 소모한다.

CSV 단점

• 데이터 오염에 취약하다.

python에서 CSV 열기

import csv
with open('movies.csv') as file:
  reader = csv.reader(file, delimiter = ',')
  for row in reader:
    print(row[0])

판다스로 CSV 열기

import pandas as pd
변수명 = pd.read_csv(파일경로)

JSON

JSON이란?

• "키-값"으로 이루어진 데이터 오브젝트를 전달
• 사람이 읽고 쓰고, 기계가 분석하고 생성하기 용이
• 개방형 표준 포맷이고, 구조에 제한이 없다.
• 웹 환경에서 데이터를 주고받는 가장 표준적인 방식
• 키를 이용하여 원하는 데이터만 빠르게 추출 가능
• 데이터가 쉽게 오염되지 않는다.
• 다른 포맷에 비해 용량이 조금 큰 편이다.

JSON 라이브러리 호출

import json

JSON을 Python 딕셔너리로 변환

변수명 = json.loads(json명, strict = False)

Python 딕셔너리를 JSON으로 변환

변수명 = json.dumps(딕셔너리, ensure_ascii = False)

JSON 파일 읽어오기

변수명 = json.load(open(json명, 'r', encoding = 'utf-8'))

• with open을 사용하는 경우

      with open(json명, 'r', encoding = 'utf-8') as f:
          변수명 = json.load(f)

대용량 데이터 처리

Iterable

• 차례로 하나 씩 반복해서 반환할 수 있는 객체
• List, Set, Tuple, Dictionary

Iterator

• 값을 차례대로 꺼낼 수 있는 객체
• next() 메소드로 데이터를 순차적으로 호출할 수 있다.
• List는 iterator가 아니지만, for문에서 임시로 iterator로 쓰인다

  y = iter(x)
  next(y)

Generator

• Iterator를 생성해주는 함수

유용한 파이썬 함수

Lambda 함수

• 한 줄짜리 이름 없는 함수
• lambda 필요한 동작, 인수 형태 lambda r: r*r*pi

assert 함수

• assert안에 연산을 검증해준다.

map 함수

• 원소를 함수에 대입한 결과를 반환 map(함수, 인자가 들어있는 리스트)
• 함수부분에 lambda를 사용해도 된다.

filter 함수

• 함수 결과가 True인 경우 결과를 반환 filter(함수, 인자가 들어있는 리스트)
• 함수부분에 lambda를 사용해도 된다.

본 자료는 Elice 플랫폼의 자료를 사용하여 정리하였습니다.

트럼프 대통령 트윗으로 시작하는 데이터처리

리스트 순회

for, in

• 배열 반복

      fruits = ["사과", "바나나", "키위"]
      for fruit in fruits:
            print(fruit + "는 맛있어")

• 범위 반복

      for num in range(10):
          print(num)

  인덱싱

• 배열 인덱싱

      fruits = ["사과", "바나나", "키위", "배"]
      last_fruit = fruits[-1]
      tropical_fruits = fruits[1:3]
      no_apple = fruits[1:]
      np_pear = fruits[:3]

• 문자열 인덱싱

      word = "superman"
      print(word[3])  # 'e'
      print(word[-2])  # 'a'
      print(word[5:])  # 'man'
      print(word[:5])  # 'super'

문자열 함수

• startswith()

      word = "superman"
      print(word.startswith('s'))  # True

• split()

      fruits = "사과,귤,배"
      print(fruits.split(","))  # ["사과", "귤", "배"]

• append()

      numbers = []
      numbers.append(1)  # [1]
      numbers.append(2)  # [1, 2]

• upper(), lower()
  • 원래 문자열을 직접 수정하지 않는다.(다른 변수에 담거나 같은 변수에 담을 것)

      intro = "Hello"
      print(intro.upper())  # "HELLO"
      print(intro.lower())  # "hello"

• replace()
  • 특정 문자를 없애는 것도 가능하다.

      intro = "Hello, my name is Elice"
      print(intro.replace("Elice", "엘리스"))  # "Hello, my name is 엘리스"

영어 단어 모음으로 시작하는 텍스트 파일 분석

파일 다루기

파일 열기/닫기

      file = open('data.txt')
      content = file.read()
      file.close()

파일 자동으로 닫기

      with open('data.txt') as file:
          content=file.read()

줄 단위로 읽기

      contents = []
      with open('data.txt') as file:
          for line in file:
              contents.append(line)

파일의 모드(쓰기모드로 열기)

      with open('data.txt', 'w') as file:
          file.write('Hello')

데이터 구조 다루기

튜플 vs 리스트

• 공통점
  • 순서가 있는 원소들의 집합
• 차이점
  • 각 원소의 값을 수정할 수 없다. (인덱싱 X)
  • 원소의 개수를 바꿀 수 없다. (append() X)

리스트로 리스트 만들기

words = ['life', 'love', 'faith']
first_letters = [word[0] for word in words]

특정 원소 걸러내기

numbers = [1, 3, 4, 5, 6, 7]
even = [n for n in numbers if n%2 == 0]

데이터 정렬하기

numbers = [-1, 3, -4, 5, 6, 100]
sort_by_abs = sorted(numbers, key=abs)

• key에는 reverse, lambda등이 들어간다.

그래프 다루기

matplotlib

• 파이썬에서 그래프를 그릴 수 있게 하는 라이브러리
• 꺾은선 그래프, 막대 그래프 등을 모두 지원한다.

본 자료는 심민경 코치님의 자료를 사용하여 정리하였습니다.

Python Review

객체 지향 프로그래밍

• 클래스에서 정의한 객체를 상호연결해 문제를 해결하는 과정

객체란?

• 클래스에서 정의한 것을 토대로 메모리(실제 저장공간)에 할당된 것
• 프로그램에서 사용되는 데이터 또는 식별자에 의해 참조되는 공간을 의미
• 변수, 자료구조, 함수 또는 메소드가 될 수 있다.

객체의 구성요소

• 속성 : 자신의 상태를 표현하는 정적인 성질
• 행위 : 객체 내부 혹은 다른 객체와 상호작용하는 행위
• 같은 속성, 다른 속성값
• 미리 지정된 행위 : 외부요청에 따라 객체는 미리 정해진 일을 스스로 처리 $\rarr$ 자신의 데이터를 가지고 필요한 처리를 스스로 수행하는 연관된 정보(변수, 함수)들의 묶음

클래스

• 공통의 속성을 갖되, 서로 다른 속성값을 지니면서 공통의 행위를 수행하는 같은 종류의 객체를 생성하기 위해 정의되는 틀

함수(Function) vs 메소드(Method)

함수

• 내장함수
  • 파이썬 내부에 호출 형태와 동작 내용이 미리 정의된 함수
  • print 등

메소드

• 함수와 다르게 인자를 넣어 주지 않아도 된다.

모듈

• 전역변수, 함수, 클래드 등을 모아놓은 .py확장자를 가진 파일
• 다른 파이썬 파일에서 모듈을 import명령어를 이용해 불러올 수 있다.

패키지(라이브러리)

• 모듈을 모아놓은 폴더

자료구조 1

자료형(Data Type)

• 하나의 값을 나타내는 데이터의 유형
• 기본자료형(데이터 하나)
  • 정수형, 실수형, 복소수형, 논리형, 문자열
• 복합자료형(다수의 데이터 묶음)
  • 리스트, 튜플, 딕셔너리, 집합

문자열

• 문자 혹은 문자들의 묶음
• 같은 종류의 따옴표로 감싸진 문자들
• 문자열 조작
  • 인덱싱
    • 문자열을 구성하는 문자들의 순번(인덱스 값)에 따라 해당문자를 얻어오는 연산
    • 첫 번째 문자에 대한 인덱스 값이 0번
    • 마지막 문자는 -1로 시작, 왼쪽으로 하나씩 이동(세글자의 경우 -3, -2, -1)
    • 문자열[인덱스] 형태
  • 슬라이싱
    • 범위 표현으로 문자열을 구성하는 부분 문자열을 얻는 연산
    • 문자열의 시작 인덱스부터 끝 인덱스이전까지 부분문자열
    • 문자열[시작:끝] 형태
• 문자열 메소드
  • 문자열.upper() : 대문자로 변환
  • 문자열.lower() : 소문자로 변환
  • 문자열.replace(찾을 문자열, 새 문자열) : 문자열 대체
  • 문자열.startswith(특정 문자열) : 시작문자열 체크
  • 문자열.split(구분자) : 구분자를 기준으로 잘라서 리스트로 반환

리스트

• 저장 순서가 있는 변수들의 묶음
• 다수의 데이터를 모아 하나의 이름으로 저장
• 반복문과 함께 사용하면 효율적으로 데이터에 접근할 수 있다.
• n개의 요소(element)를 갖는 리스트 선언문
• 리스트 이름 = [값1, 값2, ..., 값3] 형태
• 리스트 조작
  • 인덱싱
    • 유효한 순번에 따라 각 요소 데이터를 개별적으로 선택해 접근가능
    • 리스트이름[인덱스] 형태
  • 슬라이싱
    • 범위를 지정해서 리스트를 구성하는 일부요소를 또 다른 리스트로 생성하는 연산
    • 리스트이름[시작 인덱스:끝 인덱스] 형태
• 리스트 내장함수
  • len(리스트 이름) : 데이터의 개수 확인
  • sorted(리스트 이름, reverse=false) : 정렬
    • reverse가 true면 내림차순 정렬
  • 리스트이름.append(값) : 맨 마지막에 값 추가

For 반복문

• 지정된 횟수만큼 반복하거나, 일정 범위를 일정한 간격으로 증감하며 반복

      for 변수 in 범위표현식:
          수행할 문장

• 범위 for 반복문

      for 변수 in range(start, end, step):
          수행할 문장

• List for 반복문

      for 변수 in list:
          수행할 문장

튜플

• 리스트와 유사한 복합자료형
• 한 번 정의된 이후, 튜플에 포함된 요소를 수정, 삭제가 불가능하다.
• 튜플에 새 요소를 추가할 수 없다.
• 튜플이름 = (값1, 값2, ..., 값n) 형태
• 튜플 인덱싱, 슬라이싱, 연결
  • 리스트와 같은 방식으로 인덱싱, 슬라이싱 가능
  • 튜플에 정의된 후 요소를 수정하거나, 추가할 수 없지만 연결은 가능
  • 새로운 튜플이름 = 튜플1 + 튜플2 형태
  • 새로운 튜플이름 = 튜플 * 반복 수 형태

파일 입/출력

• pandas 라이브러리를 활용해 csv파일을 데이터프레임으로 읽어올 수 있다.
• 판다스 라이브러리 호출 import pandas as pd
• 특정 경로에 저장된 csv파일을 데이터 프레임으로 생성 변수명 = pd.read_csv(파일경로)

데이터 시각화

• matplotlib 라이브러리 활용(numpy 배열 기반)

      import numpy as np
       import matplotlib as mpl
           or
       import matplotlib.pyplot as plt

• 데이터프레임에 저장된 특정컬럼을 리스트 or 배열로 저장

      변수명 = list(데이터프레임 명[컬럼명])
          or
      변수명 = np.array(데이터프레임 명[컬럼명])

• 히스토그램 그리기 plt.hist(변수명, bins=18, color='#800080')

본 자료는 Elice 플랫폼의 자료를 사용하여 정리하였습니다.

데이터 그룹 짓기

GROUP BY

• SELECT COUNT(*) FROM 테이블명 GROUP BY 컬럼명;

데이터 그룹에 조건 적용하기

GROUP BY / HAVING

• SELECT COUNT(*) FROM 테이블명 GROUP BY 컬럼명 HAVING 조건;

두 개의 테이블에서 조회하기

INNER JOIN

• SELECT * FROM 테이블명1 INNER JOIN 테이블명2;

조건을 적용해 두 개의 테이블 조회하기

INNER JOIN

• SELECT * FROM 테이블명1 INNER JOIN 테이블명2 ON 연결할 조건;

LEFT JOIN

LEFT JOIN

• SELECT * FROM 테이블명1 LEFT JOIN 테이블명2 ON 연결할 조건;

INNER JOIN vs LEFT JOIN

RIGHT JOIN

RIGHT JOIN

• SELECT * FROM 테이블명1 RIGHT JOIN 테이블명2 ON 연결할 조건;

LEFT JOIN vs RIGHT JOIN

서브쿼리

서브쿼리 정의

• 하나의 쿼리 안에 포함된 또 하나의 쿼리
• 메인 쿼리가 서브쿼리를 퐇마하는 종속적인 관계

서브쿼리의 특징

• 알려지지 않은 기준을 이용한 검색에 유용
• 메인쿼리가 실행되기 이전에 한 번만 실행
• 한 문장에 여러 번 사용 가능

서브쿼리를 사용한 예시

SELECT * 
FROM employee
WHERE 급여 > (SELECT 급여
             FROM employee
             WHERE 이름 = 'elice');

서브쿼리 사용 시 주의사항

• 서브쿼리는 괄호와 함께 사용되어야한다.
• 서브쿼리 안에서 ORDER BY 절은 사용할 수 없다.
• 서브쿼리는 연산자의 오른쪽에 사용되어야 한다.
• 서브쿼리는 오로지 SELECT 문으로만 작성할 수 있다.

반환에 따른 분류

단일 행 서브쿼리 정의

• 결과가 한 행만 나오는 서브쿼리
• 서브쿼리가 결과를 1개의 값만 반환하고, 이 결과를 메인쿼리로 전달하는 쿼리

단일 행 서브쿼리 기본 문법

SELECT * 
FROM employee
WHERE 급여 > (SELECT 급여
             FROM employee
             WHERE 사원번호 = 1);

• 연산자는 =, <>, >, >=, <, <=가 있다.

다중 행 서브쿼리 정의

• 결과를 2개 이상 반환

다중 행 서브쿼리 기본 문법

SELECT * 
FROM employee
WHERE 급여 IN (SELECT MAX(급여)
              FROM employee
              GROUP BY 부서번호);

• 연산자는 IN, ANY, ALL이 있다.

다중 행 연산자 사용 예시

1 in (1, 2, 3, 4)
10 <any (1, 2, 3, 4)
99 >=all (99, 100, 101)

위치에 따른 분류

스칼라 서브쿼리 정의

• SELECT 절에서 사용하는 서브쿼리
• 오직 한 행만 반환
• 마치 JOIN을 사용한 것과 같은 결과를 나타낸다.

스칼라 서브쿼리 사용 방법

SELECT student.name, (SELECT math
                      FROM middle_test as m
                      WHERE m.student_id = students.student_id) AS middle_avg
FROM students;

본 자료는 Elice 플랫폼의 자료를 사용하여 정리하였습니다.

SQL이란?

데이터베이스란?

• 여러사람이 공유해 사용할 목적으로 통합하여 관리되는 데이터의 모음

데이터베이스를 제어하는 방법

• 데이터베이스에 접근하고 조작하기 위한 표준언어인 SQL을 이용

테이블에서 데이터검색하기

SELECT 문

• SELECT 컬럼명 FROM 테이블명;
• 모든 컬럼을 검색하려면 *을 사용

SELECT 문 중복제거

• SELECT DISTINCT 컬럼명 FROM 테이블명;

조건을 추가하여 SELECT

• SELECT 컬럼명 FROM 테이블명 WHERE 조건;
• 조건에는 비교연산자, AND/OR, BETWEEN, IN등 사용가능

데이터에서 유사한 값 찾기

LIKE

• SELECT name FROM student WHERE name LIKE '%민%';
• %는 어떤 값도 상관없다는 뜻

데이터 정렬하기

ORDER BY

• SELECT 컬럼명 FROM 테이블명 ORDER BY 컬럼명 ASC;
• ASC 또는 DESC를 사용한다.

데이터 삽입하기

INSERT 문

• INSERT INTO 테이블명(컬럼명) VALUES(추가할 데이터);
• 컬럼명은 생략 가능하다.

테이블의 데이터 수정하기

UPDATE 문

• UPDATE 테이블명 SET 변경할값 WHERE 조건;

테이블의 데이터 삭제하기

DELETE 문

• DELETE FROM 테이블명 WHERE 조건;

SQL과 함수

COUNT

• 검색된 결과의 데이터의 개수를 가져오는 내장함수
• NULL인 데이터는 제외
• SELECT COUNT(컬럼명) FROM 테이블명;

LIMIT

• 테이블에서 출력하고자 하는 데이터의 개수를 제한하는 명령
• SELECT 컬럼명 FROM 테이블명 LIMIT 제한할숫자;
• 제한할 숫자에 2, 5 처럼 적으면 2번째 줄부터 5번째 줄까지 출력이라는 뜻이다.

SUM

• 지정한 컬럼의 값을 모두 더해주는 내장함수
• SELECT SUM(컬럼명) FROM 테이블명;

AVG

• 지정한 컬럼의 평균값을 더해주는 내장함수
• SELECT AVG(컬럼명) FROM 테이블명;

MAX

• 지정한 컬럼의 최대값을 더해주는 내장함수
• 문자형도 가능하다.
• SELECT MAX(컬럼명) FROM 테이블명;

MIN

• 지정한 컬럼의 최소값을 더해주는 내장함수
• 문자형도 가능하다.
• SELECT MIN(컬럼명) FROM 테이블명;

본 자료는 심민경 코치님의 자료를 사용하여 정리하였습니다.

데이터 집계함수

• COUNT : 개수
• MAX : 최대값
• MIN : 최소값
• SUM : 합계
• AVG : 평균값
• VARIANCE : 분산
• STDDEV : 표준편차

Group by

• 집계할 대상의 그룹을 특정변수를 기준으로 나눈다.
• Group by는 WHERE 뒤, Order by 앞에 위치한다.

Having

• 집계결과 값에 조건식 더하기
• Having은 Group by 뒤, Order by 앞에 위치한다.

JOIN

테이블 결합

서브쿼리(Subquery)

• 메인쿼리 안에 있는 또 다른 SELECT 문장
• 소괄호로 둘러 싼 형태로 작성
• 종류
  • 스칼라 서브쿼리 : SELECT 절에 서브쿼리 사용
  • 인라인 뷰 : FROM 절에 서브쿼리 사용
  • 중첩 서브쿼리 : WHERE 절에 서브쿼리 사용 $\rarr$ 안티조인은 중첩서브쿼리에 NOT을 붙인것이다.

Distinct

• 키워드 중복제거
• SELECT 바로 뒤에 위치

본 자료는 Elice 플랫폼의 자료를 사용하여 정리하였습니다.

DCL

데이터제어어(Data Control Language)

• 데이터베이스에 접근하는 권한을 관리하는 등의 데이터제어
• GRANT : 데이터베이스 권한 부여
• REVOKE : 데이터베이스 권한 회수 아래 명령어는 TCL이라고 분류하기도 한다.
• COMMIT : 트랜잭션 작업을 반영하여 저장
• ROLLBACK : 트랜잭션 작업을 취소하여 이전 상태로 돌린다.

인덱스(Index)

인덱스

• 데이터베이스 테이블의 검색속도를 향상 시키기 위한 자료구조
• 모든 데이터를 조회한다면 인덱스가 불필요하다.

장단점

• 장점
  • 테이블을 조회하는 속도와 성능이 올라간다.
• 단점
  • 인덱스를 관리하기 위한 추가 작업이 필요
  • 인덱스를 저장 할 추가 저장공간 필요
  • 경우에 따라 검색 성능이 저하될 수 있다.

인덱스를 사용하면 좋은 경우

• 규모가 큰 테이블
• 데이터의 삽입, 수정, 삭제 작업이 많지 않은 경우
• WHERE 조건절이나 ORDER BY(정렬), JOIN을 자주 하는 컬럼
• 데이터의 중복도가 낮은 컬럼

본 자료는 Elice 플랫폼의 자료를 사용하여 정리하였습니다.

이상현상과 정규화

이상현상이란?

• 잘못된 데이터베이스 설계로 발생하는 오류

이상현상 종류

• 삽입이상 : 데이터를 삽입할 때 불필요한 내용까지 삽입해야 하는 문제
• 갱신이상 : 중복된 데이터 중 일부만 갱신되어 발생하는 문제
• 삭제이상 : 어떤 데이터를 삭제할 때 다른 유용한 정보도 함께 삭제되는 문제

함수종속성

• 속성들간의 종속관계
• 완전함수종속, 부분함수종속, 이행함수종속등이 있으며 함수 종속성에 대하 알아야 이상현상을 제거하기 위한 정규화를 이해할 수 있다.

정규화

• 이상현상을 제거하기 위해 데이터베이스를 구조화하는 과정
• 데이터간의 종속성을 제거하여 중복되는 데이터를 줄인다.
• 데이터의 일관성과 무결성을 보장
• 1차 ~ 5차 정규화, 보이스코드 정규화가 있다.

1차 정규화(1NF)

• 테이블의 컬럼이 하나의 값만 갖도록 도메인을 원자값으로 설정하는 과정

2차 정규화(2NF)

이상현상

• 삽입이상 : 한번도 대여를 하지 않은 고객을 삽입할 수 없다.
• 갱신이상 : 하나의 튜플에서만 이름을 변경하면 데이터의 불일치가 발생
• 삭제이상 : 브랜드 대여 기록을 삭제하면 고객의 데이터가 완전히 사라진다.

부분함수종속

• 기본키를 구성하는 속성 중 일부가 결정자 역할을 하는 경우 $\rarr$ 고객 테이블과 대여 테이블로 분리하여 부분함수종속을 제거

• 부분함수종속을 제거하고 완전함수종속이 되도록 테이블을 분해하는 과정

3차 정규화

이상현상

• 삽입이상 : 고객이나 대여이력이 없는 경우 새로운 회사가 만든 브랜드를 삽입할 수 없다.
• 갱신이상 : 브랜드명이 변경되는 경우 데이터의 불일치가 발생
• 삭제이상 : 고객의 대여기록을 삭제하면 회사의 데이터가 완전히 사라진다.

이행함수종속

• X $\rarr$ Y, Y $\rarr$ Z 라는 종속관계가 있을 때, X $\rarr$ Z가 성립하는 경우 $\rarr$ 대여 테이블과 회사 테이블로 분해하여 이행함수종속을 제거 $\rarr$ 대여 테이블과 가격 테이블을 분해하여 이행함수종속을 제거
• 이행함수종속을 제거하도록 테이블을 분해하는 과정

정규화 정리

BNCF

• 결정자이면서 후보키가 아닌 것

다치종속

• 키로 묶여있어서 쓸모없는 데이터가 추가되어야 하는 문제

조인종속

• 테이블을 분해하고 다시 합쳤을 때 불필요한 튜플이 발생

역정규화

• 정규화된 데이터베이스의 성능을 개선하기 위해 다시 통합하여 구조를 재구성

본 자료는 Elice 플랫폼의 자료를 사용하여 정리하였습니다.

제약조건

정의

• 테이블에 잘못된 데이터가 입력되는 것을 방지하기 위한 규칙
• 제약조건을 통해 무결성을 지킬 수 있다.

NOT NULL

• 널(NULL) 값 비허용
• 데이터를 입력하지 않으면 에러가 발생
• 아무것도 명시하지 않는 경우 기본값은 널 값 허용

UNIQUE

• 중복 값 비허용
• 똑같은 값이 있으면 에러가 발생
• NULL 값은 허용

DEFAULT

• 기본값 설정

CHECK

• 값의 범위를 제한

제약조건 정의

• CONSTRAINT 제약조건이름 제약조건(적용할 속성);

제약조건 추가

• ALTER TABLE 테이블명 ADD CONSTRAINT 제약조건이름 제약조건(적용할 속성);

제약조건 삭제

• ALTER TABLE 테이블명 DROP CONSTRAINT 제약조건이름;

키(key)

키(key)

• 조건에 만족하는 튜플을 찾거나, 정렬할 때 기준이 되는 속성
• 기본키, 외래키, 후보키, 대체키, 슈퍼키 등이 있다.

기본키

• 서로 다른 튜플을 유일하게 식별할 수 있는 기준이 되는 속성
• 중복 X, 널값 X
• 테이블 당 1개만 설정

외래키

• 다른 테이블의 기본키를 참조하는 속성으로 테이블의 관계를 정의
• 참조되는 테이블의 기본키에 없는 값은 지정할 수 없다.

기본키/외래키 지정

PRIMARY KEY / 
FOREIGN KEY (참조할 속성) REFERENCES 참조되는 테이블(참조되는 속성)

그외 키

• 후보키 : 기본키가 될 수 있는 키로 유일성과 최소성을 만족(기본키 $\subset$ 후보키)
• 대체키 : 후보키 중에 기본키가 아닌 키(대체키 $\subset$ 후보키)
• 슈퍼키 : 유일성은 만족하지만 최소성은 만족하지 않는 키

무결성 제약조건

• 개체 무결성 : 기본키는 널 값과 중복 값을 가질 수 없다.
• 참조 무결성 : 외래키는 널이거나 참조되는 기본키 값과 동일해야한다.

데이터 모델링

정의

• 현실 세계에 존재하는 데이터를 데이터베이스화하는 과정

데이터 모델과 구성요소

데이터 모델

• 현실세계의 데이터를 단순화, 추상화하여 표현한 모델

  구성요소

• 개체(Entity)
• 속성(Attribute)
• 관계(Relationship)

과정

• 개념적 설계 : 현실세계를 추상적 개념으로 표현하는 과정
• 논리적 설계 : DBMS가 처리할 수 있는 데이터구조(스키마)를 설계
• 물리적 설계 : DBMS에 테이블을 저장할 구조를 설계

ER다이어그램(Peter Chen)

정의

• ERD(Entity-Relationship Diagram) 개체-관계 다이어그램
  • 현실 세계의 데이터를 개체와 관계형태의 다이어그램으로 나타내는 것

Peter Chen

관계 추가하기

ER다이어그램(IE)

IE(Information Engineering)

까마귀발(crow's foot) 표기법

본 자료는 Elice 플랫폼의 자료를 사용하여 정리하였습니다.

데이터베이스 소개

데이터와 정보

• 데이터 : 현실세계에서 수집된 단순한 사실과 값들을 모아 놓은 것
• 정보 : 데이터를 특정 목적에 의해 해석하거나 가공한 형태

데이터베이스 정의

• 데이터들의 집합
  • 한 조직 안에서 여러 사용자와 응용프로그램이 공동으로 사용하는 데이터들을 통합하여 저장하고 운영하는 데이터

데이터베이스의 필요성

• 파일처리시스템의 한계
  • 데이터구조가 바뀌면 응용프로그램의 구조도 바뀌어야한다. 데이터 종속
  • 응용프로그램 별로 데이터를 생성할 수 있기 때문에 데이터가 중복될 수 있다.
  • 데이터 무결성을 지킬 수 없다.

데이터베이스의 특징

• 실시간 접근성
  • 사용자가 원할 때 언제든지 접근 가능해야 한다.
• 지속적인 변화
  • 데이터의 삽입, 삭제, 갱신을 통해 최신데이터를 유지해야한다.
• 동시공유
  • 여러 사용자가 동시에 이용할 수 있어야 한다.
• 내용에 대한 참조
  • 데이터가 저장된 물리적인 위치가 아닌 값을 가지고 검색할 수 있어야 한다.

데이터베이스의 종류

데이터베이스 구분

• RDB : 관계형 모델을 기반으로 SQL을 이용해 데이터를 관리한다.
• NoSQL : 데이터 간의 관계를 정의하지 않고 RDB보다 유연한 모델을 이용한다.

관계형 데이터베이스

• 데이터를 행과 열을 가지는 테이블로 표현
• 테이블간의 관계를 이용해 데이터를 효과적으로 관리하여 데이터의 무결성을 보장
• 정의된 테이블(스키마)에 맞게 데이터가 삽입되므로 데이터의 안정성을 보장
• 데이터의 구조가 일관적인 경우에 주로 사용

RDBMS의 종류

• MySQL, PostgreSQL, MariaDB 등

NoSQL

• 데이터를 저장할 수 있는 유형의 제한이 없다.
• 새로운 유형의 데이터를 추가하기 용이
• 데이터의 구조가 일관적이지 않고 자주 변경되는 경우에 적합
• 대용량의 데이터를 더 빠르게 처리할 수 있다.

NoSQL의 종류

• MongoDB, Redis, Apache Cassandra 등

관계형 데이터베이스 만들기

구성요소

• 테이블은 행과 열로 구성
• 속성을 데이터의 특성을 나타내는 가장 작은 논리적 단위를 의미
• 튜플은 속성이 모여 구성된 각각의 행을 의미
• 속성이 가질 수 있는 값의 집합을 도메인이라고 한다.

관계

• 관계가 있다면 하나의 속성으로 테이블을 연결해서 데이터를 효과적으로 관리

테이블 정의하기

CREATE TABLE 테이블명(
    속성1    데이터타입,
    속성2    데이터타입,
    ...
);

정의된 테이블 확인

SHOW TABLES;    -- 데이터베이스의 테이블 목록을 확인
DESC 테이블명;    -- 테이블의 구조를 확인

SQL 작성규칙

• SQL문법은 대문자로 작성하는 것을 권장
• 테이블명, 속성명은 소문자로 작성하는 것을 권장
• 이름은 항상 의미가 잘 드러나도록 작성
• 이름에 여러 단어를 혼합하는 경우 _를 이용해 구분
• --을 이용해 주석을 나타낼 수 있다.
• 명령어 끝에는 세미콜론(;)을 작성

데이터 삽입하기

INSERT INTO 테이블명(속성1, ...) VALUES(속성값1, ...);

데이터 출력하기

SELECT 속성1, ... FROM 테이블명;

데이터베이스 정의어

SQL(Structured Query Language)

• 데이터 정의어(DLL) : 테이블과 같은 데이터 구조 정의
• 데이터 조작어(DML) : 데이터 조회 및 검색
• 데이터 제어어(DCL) : 데이터베이스에 접근하는 권한 관리

데이터 타입

• VARCHAR, INT, FLOAT, DATETIME 등

테이블 수정하기

-- 컬럼 추가
ALTER TABLE customer ADD COLUMN birthday DATE NULL;
-- 컬럼 수정
ALTER TABLE customer MODIFY COLUMN id varchar(15) NULL;
-- 컬럼 이름 변경
ALTER TABLE customer CHANGE COLUMN name korean_name varchar(10) NOT NULL;
-- 컬럼 삭제
ALTER TABLE customer DROP COLUMN address;
-- 테이블 이름 변경
ALTER TABLE customer RENAME member;

테이블 삭제하기

DROP TABLE 테이블명

본 자료는 심민경 코치님의 자료를 사용하여 정리하였습니다.

데이터베이스

DB란?

• 구조화된 데이터의 집합

DBMS를 통한 데이터 관리

• 데이터베이스의 데이터 조작과 관리 극대화
• 여러 응용프로그램이 동시에 공유가능

RDB

관계형 데이터 모델

• 데이터 간 관계에 초점을 두고, 데이터의 독립특성으로 데이터를 나눠서 관리하는 방식

구성요소

• 개체 : Table
• 속성 : Column
• 관계 : Foreign Key

SQL

• 관계형 데이터베이스에서 데이터를 다루고 관리하는데 사용하는 데이터베이스 질의언어

SQL DML

SELECT

• 데이터를 조회하는 문장
• 모든 열(Column)을 조회
  • SELECT * FROM 테이블명;
• 일부 컬럼을 조회
  • SELECT 컬럼명 FROM 테이블명;

SELECT + WHERE 조건

• 테이블에서 원하는 데이터만 조회
  • SELECT * FROM 테이블명 WHERE 조건;
• AND/OR, 조건연산자, IN, BETWEEN 등 사용가능

ORDER BY

• 조회결과를 정렬, 앞에 둔 변수가 정렬 우선순위가 높다.
  • SELECT * FROM 테이블명 ORDER BY 컬럼명;
• ORDER BY의 기본값은 오름차순(asc)이며 컬럼명 뒤에 desc를 붙이면 내림차순으로 정렬된다.

INSERT

• 테이블에 데이터를 입력
  • INSERT INTO 테이블명(컬럼명...) VALUES(값...);
• VALUES 부분을 SELECT로 해도 된다.

DELETE

• 데이터를 삭제
  • DELETE FROM 테이블명 WHERE 조건;

UPDATE

• 데이터를 수정
  • UPDATE 테이블명 SET 변경값 WHERE 조건;

SQL 기본함수

숫자형 함수

• ABS(n) : 절대값 반환
• LN(n) : 자연로그값 반환
• ROUND(n, i) : i+1번째 반올림
• TRUNC(n, i) : i자리까지만 출력

문자형 함수

• CONCAT(char1, char2) : 두 문자 결합
• SUBSTR(char, n1, n2) : n1부터 n2길이만큼 자르기
• TRIM(char) : 양쪽 끝 공백 제거

형 변환 함수

• TO_NUMBER(char) : 문자를 숫자로
• TO_CHAR(n, format) : 숫자를 format에 맞게 문자로
• TO_CHAR(date, format) : 날짜를 format에 맞게 문자로
• TO_DATE(char, format) : 문자를 format에 맞게 날짜로

CASE 표현식

CASE WHEN 변수 조건1 THEN 결과1
     WHEN 변수 조건2 THEN 결과2
     ...
     ELSE 결과n
     END 결과를 담을 변수 이름
FROM 테이블명;

데이터 집계함수

• COUNT(expr) : 개수
• MAX(expr) : 최대값
• MIN(expr) : 최소값
• SUM(expr) : 합계
• AVG(expr) : 평균값
• VARIANCE(expr) : 분산
• STDDEV(expr) : 표준편차

본 자료는 Elice 플랫폼의 자료를 사용하여 정리하였습니다.

회원가입 구현하기

회원가입 설명

• 이메일, 이름, 패스워드의 간단한 정보만 사용
  • 이메일 형식 확인
  • 비밀번호 최소길이 확인
  • 패스워드와 패스워드 확인 일치여부 확인

비밀번호 저장방법

• Hash

  • 문자열을 되돌릴 수 없는 방식으로 암호화
  • 로그인 시 전달된 비밀번호를 Hash하여 저장된 값과 비교

• Hash 사용하기

  const hash = crypto.createHash('sha1');    // sha224, sha256 등 사용가능
  hash.update(password);
  hash.digest('hex');

회원가입 구현하기

1. 회원가입 페이지 구현
2. script를 이용해 이메일 형식, 비밀번호 확인 문자 확인
3. form을 이용해 post 요청 전송
4. 회원가입 처리 및 redirect

passport.js와 로그인

passport.js란?

• Express.js 어플리케이션에 간단하게 사용자 인증 기능을 구현하게 도와주는 패키지
• 유저 세션 관리 및 다양한 로그인 방식 추가 가능

passport-local

• passport는 다양한 로그인 방식을 구현하기 위해 strategy라는 인터페이스를 제공
• passport-local은 username, password를 사용하는 로그인의 구현체

로그인 기능 구현하기

1. 로그인 화면 구성하기
2. passport-local strategy로 로그인 구현하기
3. passport.js 설정하기
4. passport로 요청 처리하기

Session Store

Session이란?

• 웹 서버가 클라이언트의 정보를 구분하여 서버에 저장하고, 클라이언트 요청 시 Session ID를 사용하여 클라이언트의 정보를 다시 확인하는 기술

Session 작동방식

1. 서버는 세션을 생성하고 Session ID를 클라이언트에게 전달
2. 클라이언트는 요청 시 Session ID를 함께 요청에 담아서 전송
3. 서버는 전달받은 Session ID로 해당하는 세션을 찾아 클라이언트 정보 확인

Express.js의 Session

• Express-session 패키지로 자동으로 session 동작 구현

Session Store 사용 이유

• express-session은 session을 메모리에 저장한다. (재부팅 시 모든 로그인 해제)
• 서버 간 세션정보를 공유하지 않는다.

Session Store 구성

MongoDB를 Session Store로 사용하기

const MongoStore = require('connect-mongo');

app.use(session({
  secret: 'secret',
  resave: false,
  saveUninitialized: true,
  store: MongoStore.create({
    mongoUrl: 'mongoUrl',
  }),
}));

• connect-mongo 패키지를 사용해 express-session 설정 시 store 옵션에 전달하고, mongoUrl을 설정
• 세션데이터를 몽고디비에 저장하고 관리하는 기능을 자동으로 수행해준다.

회원과 게시글의 연동

회원과 게시글 연동 기능 설명

• 게시글 작성 시 로그인된 회원정보를 작성자로 추가
• 게시글 - 작성자는 populate하여 사용하도록 구현
• 게시글 수정, 삭제 시 로그인된 유저와 작성자가 일치하는지 확인
• 작성자의 게시글 모아보기 기능 구현

PostSchema 수정

• populate를 사용하기 위해 ObjectID 사용

게시글 등록 요청 수정

const author = await User.find({
  shortId: req.user.shortId,
});
if (!author) {
  throw new Error('No User');
}

await Post.create({
  title,
  content,
  author,
});

• req.user에는 strategy에서 최소한의 정보로 저장한 shortId, email, username만 가지고 있다.
• Post 생성 시 user의 ObjectID를 전달해야 하는데, 이를 위해 User에서 shortId로 회원을 검색하여 한 번 더 검증한다.
• type: ObjectID로 선언된 필드에 객체가 주어지면 자동으로 ObjectID을 사용한다.

게시글에 작성자 연동

// ./routes/posts.js

router.get('/', ... {
  ...
  const posts = await Post.find({})
    .populate('author');

res.render('posts/list', { posts });

// ./views/posts/list.pug
...
  td post.author.name

• 게시글 find 시 populate를 추가하여 ObjectID로 저장된 author를 각 게시글에 주입
• 사용 시 post.author.{field}로 사용 가능하다.

게시글 수정, 삭제 시 유저확인

const post = await Post.find({ shortId, }).populate('author')

if (post.author.shortId !== req.user.shortId) {
  throw new Error('Not Authorized');
}

• 게시글 수정, 삭제 시 작성자를 populate하여 로그인된 사용자와 일치하는지 확인

작성자 게시글 모아보기 기능 구현

• 기본적으로 MongoDB는 Document 검색 시, 전체 문서를 하나씩 확인한다. $\rarr$ 비효율적, 속도 저하의 원인
• Index
  • 쿼리를 효육적으로 수행하여 성능을 향상시키게 할 수 있다.

author에 index 설정하기

author: {
  types: Schema.Types.ObjectId,
  ref: 'User',
  required: true,
  index: true,
},

• PostSchema의 author 속성에 index: true 옵션을 사용하면 mongoose가 자동으로 MongoDB에 인덱스를 생성해준다.
• 이미 데이터가 많은 상태에서 인덱스를 추가할 시 작업 시간이 길어져, MongoDB가 응답하지 않을 수 있다.
• 따라서, 예상되는 인덱스를 미리 추가하는 것이 좋다.

회원 게시글 라우팅 추가하기

// ./routes/users.js

router.get('/:shortId/posts', ... => {
  ...
  const { shortId } = req.params;
  const user = await User.find({ shortId });
  const posts = await Post.find({ author: user }).populate('author');
  res.render('posts/list', { posts, user });
});

• RESTful 한 구성을 위해, 회원 $\rarr$ 게시글의 경로를 /users/{userId}/posts로 구성
• 게시글 목록 view는 기존에 작성한 posts/list.pug를 재활용한다.

게시글 목록 화면 수정

h2= user ? `${user.name}의 게시글`: "전체 게시글"
...
td: a(href=`/users/${post.author.shortId}/posts`) = post.author.name

• 게시글 목록 화면을 재활용하기 위해 수정
• 유저의 게시글인 경우 "###의 게시글"이라는 제목 사용
• 게시글의 사용자 이름에 유저의 게시글 link 추가

CSR로 댓글 기능 구현하기

CSR을 구현하는 방법

1. 페이지 로드 시 필요한 리소스를 클라이언트에 선언
2. 클라이언트에서 필요한 데이터를 비동기 호출
3. 클라이언트가 전달받은 데이터를 가공, 리소스를 사용하여 화면에 표시

클라이언트에 리소스 선언 - HTML Template

• 브라우저에 표시되지 않는 HTML Element를 작성해두고, JavaScript로 이를 화면에 반복적으로 그릴 수 있게 하는 기술

댓글 화면 작성하기

// posts/view.pug

...
table
  thead
    tr
      td(colspan="2")
        input#content(type="text")
      td: button(onclick="writeComment()")
        댓글 작성
  tbody#comments
template#comment-template
  tr
    td.content
    td.author
    td.createdAt

• 게시글 상세 화면 하단에 댓글작성, 목록 화면 추가
• HTML Template 사용하여 한 개의 댓글이 표시될 모양을 선언
• JavaScript로 조작하기 위해 id, class를 선언하는 것이 유용하다.

데이터 비동기 호출 - API 작성하기

• 지금까지는 HTTP 응답으로 HTML을 전송하는 방식
• CSR에서는 데이터만 주고받을 수 있는 API를 구성해야 한다.(JSON 사용)

게시글에 댓글 추가하기

const CommentSchema = new Schema({
  content: String,
  author: {
    type: Schema.Types.ObjectId,
    ref: 'User',
  },
}, {
  timestamps: true,
});

const PostSchema = new Schema({
  ...
  comments: [CommentSchema],

• mongoose의 sub-schema를 이용하여 Post 스키마에 Comment를 배열로 추가
• populate를 사용할 때, ObejctID만 저장하는 것과는 다르게 Comment의 내용을 게시글이 포함하게 된다.
• sub-schema 내부에서도 populate가 가능하다.

API 작성하기

댓글 작성

...
router.post('/posts/:shortId/comments', ... {
  const { shortId } = req.params;
  const { content } = req.body;
  const authro = await User.findOne({ shortId: req.user.shortId });

  await Post.updateOne({ shortId }, {
    $push: { comments: {
      content,
      author,
    }},
  });

  res.json({ result: 'success' });
});

• api 라우터를 추가하고, RESTful하게 api/posts/{postId}/comments 경로로 댓글 작성 기능 구현
• 게시글 업데이트 시 $push를 사용하여 comments 배열에 새로 작성된 댓글 추가 $\rarr$ 동시에 들어오는 요청에 대해 정확하게 처리
• api는 render 하지 않고 json으로 응답

댓글 목록

...
router.post('/posts/:shortId/comments', ... {
  const { shortId } = req.params;
  const post = await Post.findOne({ shortId });

  await User.populate(post.comments, {
    path: 'authro'
  });

  res.json(post.comments);
});

• /api/posts/{postId}/comments로 RESTful 경로 설정
• find에 populate하지 않고 User (model)의 populate를 사용하는 방법도 가능하다.

데이터 비동기 호출 - fetch로 클라이언트에서 API 호출하기

• 브라우저는 비동기 HTTP 요청을 fetch 함수를 이용해 제공
• jQuery의 Ajax와 유사한 기능
• fetch를 이용하면 간단하게 JavaScript로 HTTP요청을 비동기 처리할 수 있다.

fetch로 API 호출하고 처리하기

댓글 작성하기

...
script.
  function writeComment() {
    const input = document.querySelector('#content')
    const content = input.value;
    fetch('/api/posts/#{post.shortId}/comments', {
      method: 'post',
      headers: { 'Content-Type': 'application/json' },
      body: JSON.stringify({ content }),
    })
    .then(() => {
      if (res.ok) {
        input.value = '';
          loadComments();
      } else {
        alert('오류가 발생했습니다.');
      }
    });

• 댓글 작성 버튼 클릭 시 writeComment() 실행
• input#content에서 내용을 읽어 fetch로 댓글 작성 api 호출
• 호출 결과의 성공 여부를 확인하여, 댓글 다시 불러오기 실행

댓글 목록 불러오기

// 댓글 목록 api 호출하기
script.
  loadComments();
  function loadComments() {
    document
      .querySelector('#comments')
      .innerHTML = '', // 이전 목록 삭제
    fetch('/api/posts/#{post.shortId}/comments')
      .then((res) => {
        if (res.ok) {
          return res.json();
        } else {
          throw new Error('댓글을 불러오지 못했습니다.');
        }
    })
    .then((comments) => {
      comments.forEach(addComment);
    });
    .catch((err) => alert(err.message));
  }

// HTML Template 사용하여 댓글 화면에 표시하기
function addComment(comment) {
  const template = document.querySelector('#comment-template');
  const node = document.importNode(template.content, true);
  node.querySelector('.content').textContent = comment.content;
  node.querySelector('.authro').textContent = comment.author.name;
  node.querySelector('.createdAt').textContent = comment.createdAt;
  document.querySelector('#comments').appendChild(node);
}

MongoDB Aggregation

Aggregation이란?

• MongoDB에서 Document들을 가공하고, 연산하는 기능
• RDBMS에서 SQL로 수행할 수 있는 기능들을 유사하게 구현할 수 있다.

Aggregation을 사용하는 이유

• MongoDB의 find는 검색필터링과 정렬이외의 기능을 제공하지 않는다.
• 다른 Collection에서 데이터를 가져오거나 검색된 데이터를 그룹화하는 등의 작업에 필요

간단한 Aggregation 예제

db.posts.aggregate([
  { $group: { _id: '$authro', count { $sum: 1 } } },
  { $match: { sum: { $gt: 10 } } },
  { $lookup: { from: 'users', localField: '_id', foreignField: '_id', as: 'users' } },
]);

• aggregation은 Stage들의 배열로 이루어지고 각 Stage는 순차적으로 수행된다.

1. 작성자별 게시글 수를 취합하고
2. 게시글 수가 10개보다 많은 작성자를 찾아서
3. 해당 작성자를 회원 collection에서 검색한다.

본 자료는 Elice 플랫폼의 자료를 사용하여 정리하였습니다.

Template Engine

Template Engine이란?

• 서버에서 클라이언트로 보낼 HTML의 형태를 미리 템플릿으로 저장
• 동작 시에 미리 작성된 템플릿에 데이터를 넘어서 완성된 HTML 생성
• 템플릿엔진은 템플릿 작성문법과 작성된 템플릿을 HTML로 변환하는 기능을 제공

Express.js의 템플릿엔진

• EJS - html과 유사한 문법
• Mustache - 간단한 데이터 치환정도만 제공
• Pug - 들여쓰기 표현식 이용

Pug란?

• 들여쓰기 표현식 사용 $\rarr$ 가독성이 올라가고 개발생산성이 올라간다.
• 문법적 실수를 줄일 수 있다.
• layout, include, mixin 등 강력한 기능을 제공한다.

Pug문법

html
  head
    title = title
  body
    h1#greeting 안녕하세요
    a.link(href="/") 홈으로

• 닫기 태그를 사용하지 않고 들여쓰기로 문법을 구분한다.
• =를 이용해 전달받은 변수를 사용할 수 있다.
• id나 class는 태그 바로 뒤에 사용한다.

pug문법 - each, if

each item in arr
  if item.name == 'new'
    h1 New Document
  else
    h1 = `${item.name}`

pug문법 - layout

// layout.pug

html
  head
    title = title
  body
    block content    // layout은 block을 포함한 템플릿


// main.pug
extends layout        // extends로 아래 부분에 작성한 HTML 태그가 block부분에 포함된다.
block content
  h1 Main Page

pug문법 - include

// title.pug

h1 = title

// main.pug

extends layout
  block content
    include title        // 자주 반복되는 구문에 사용
    div.content
      안녕하세요
    pre
      include. article.txt        // 텍스트 파일도 가능하다.

pug문법 - mixin

// listItem.pug

mixin listItem(title, name)
  tr
    td title
    td name

// main.pug

include listItem
table
  tbody
    listItem('제목', '이름')        // 파라미터로 값을 넘겨받아 사용한다.

Express.js와 pug 연동

// app.js

app.set('views', path.join(__dirname, 'views'));    // 템플릿이 저장되는 디렉토리 지정
app.set('view engine', 'pug');        // 템플릿 엔진 지정

// request handler

res.render('main', {    // res.render는 화면을 그리는 기능이다.
  title: 'Hello Express',        // res.render(템플릿 이름, 템플릿에 전달되는 값)
});

Express.js의 app.locals

// app.js

app.locals.appName = 'Express'        // render함수에 전달되지 않은 값이나 함수를 사용(템플릿에 전역으로 사용될 값을 지정)

// main.pug

h1 = appName

express-generator 사용 시 템플릿 엔진 지정하기

$ express --view=pug myapp

게시판 CRUD 만들기

게시판에서의 CRUD

Create

• 게시글 작성
• 제목, 내용, 작성자, 작성시간 등의 정보를 기록
• 제목과 내용은 최소 n글자 이상

Read

• 게시글의 목록과 게시글의 상세를 볼 수 있어야 한다.
• 게시글 목록은 제목과 작성시간을 간략하게 보여준다.
• 게시글 상세는 제목, 작성자, 내용, 작성시간, 수정시간 등을 상세하게 보여준다.

Update

• 게시글 수정(작성자만 가능)
• 제목과 내용이 수정되고 수정시간이 기록
• 제목과 내용은 최소 n글자 이상

Delete

• 게시글 삭제(작성자만 가능)
• 삭제 후 게시글 목록과 상세에서 사라져야 한다.

shortID

const { nanoid } = require('nanoid');    // 중복없는 문자열을 생성해주는 패키지
const shortId = {
  type: String,
  default: () => {
    return nanoid();    // ObjectId를 대체할 아이디 생성
  },
  required: true,
  index: true,
}
module.exports = shortId;

게시글 작성

게시글 작성 흐름

1. /posts?write=true로 작성페이지 접근
2. `
   이용해 post 요청 전송
3. router.post 이용하여 post 요청 처리
4. res.redirect 이용하여 post 완료 처리

작성페이지 만들기

// ./routes/posts.js

const { Router } = require('express');

const router = Router();

router.get('/', (req, res, next) => {
  if (req.query.write) {
    res.render('posts/edit');
    return;
  }
  ...
});
...
module.exports = router;

// ./views/posts/edit.pug

...
form(action="/posts", method="post")
  table
    tbody
      tr
        th 제목
        td: input(type="text" name="title")
      tr
        th 내용
        td: textarea(name="content")
      td
        td(colspan="2")
          input(type="submit" value="등록")

POST 요청 처리하기

const { Post } = require('./models');
...
router.post('/', async (req, res, next) => {
  const { title, content } = req.body;
  try {
    await Post.create({
      title,
      content,
    });
    res.redirect('/');
  } catch (err) {
    next(err);
  }
});

게시글 목록 및 상세

게시글 목록 및 상세 흐름

1. /posts로 목록페이지 접근
2. <a href='/posts/:shortId'> 이용하여 상세 URL Link
3. router.get('/:shortId') path parameter 이용하여 요청 처

게시글 목록 구현하기

// ./routes/posts.js

router.get('/', async (req, res, next) => {
  const posts = await Post.find({});
  res.render('posts/list', { posts });
});

// ./views/posts/list.pug

...
table
  tbody
    each post in posts
      tr
        td
          a(href=`/posts/${post.shortId}`)
            = post.title
        td= post.author
        td= formatDate(post.createdAt)
  tfoot
    tr
      td(colspan="3")
        a(href="/posts?write=true")
          등록하기

formatDate 함수 추가하기

// app.js

const dayjs = require('dayjs');

app.locals.formatDate = (date) => {
  return dayjs(date).format('YYYY-MM-DD HH:mm:ss');
}

게시글 상세 구현하기

// ./routes/posts.js

router.get('/:shortId', async (req, res, next) => {
  const { shortId } = req.params;
  const post = await Post.findOne({ shortId });
  if (!post) {
    next(new Error('Post NotFound'));
    return;
  }
  ...
  res.render('posts/view', { post });
});

// ./views/posts/view.pug

...
table
  tbody
    tr
      td(colspan="2")= post.title
    tr
      td= post.author
      td= formatDate(post.createdAt)
    tr
      td(colspan="2"): pre= post.content
    tr
      td: a(href=`/posts/${post.shortId}?edit=true`)
        수정
      td
        button(onclick=`deletePost("${post.shortId}")`)
          삭제

게시글 수정

게시글 수정 흐름

1. /posts/{shortId}?edit=true로 수정페이지 접근
2. 작성페이지를 수정페이지로도 동작하도록 작성
3. <form action="/posts/:shortId" method="post">로 post 요청 전송
   • html form은 put을 지원하지 않기 때문에 post를 사용한다.

수정 페이지 만들기

// ./routes/posts.js

router.get('/:shortId', async (req, res, next) => {
  ...
  if (req.query.edit) {
    res.render('posts/edir', { post });
  }
  ...
});

// ./views/posts/edit.pug
...
- var action = post ? `/posts/${post.shortId}` : "/posts"
form(action=action, method="post")
  table
    tbody
      tr
        th 제목
        td: input(type="text" name="title" value=post&&post.title)
      tr
        th 내용
        td: textarea(name="content")= post&&post.content
      td
        td(colspan="2")
          - var value = post ? "수정" : "등록"
          input(type="submit" value=value)

수정 요청 처리하기

// ./routes/posts.js

...
router.post('/:shortId', async (req, res, next) => {
  const { shortId } = req.params;
  const { title, content } = req.body;
  const post = await Post.findOneAndUpdate({ shortId }, { title, content });
  if (!post) {
    next(new Error('Post NotFound'));
    return;
  }
  res.redirect(`/posts/${shortId}`);
}

게시글 삭제

게시글 삭제 흐름

1. 게시글 상세 페이지에 삭제 버튼 추가
2. html form은 DELETE를 지원하지 않는다.
3. JavaScript fetch 함수로 HTTP DELETE 요청 전송
4. router.delete의 응답을 fetch에서 처리

HTTP Delete 요청 전송 및 응답 처리

// posts/view.pug

td
  button.delete(
    onclick='deletePost("${post.shortId}")'
  ) 삭제
...
script(type="text/javascript").
  function deletePost(shortId) {
    fetch('/posts/' + shortId, { method: 'delete' })
      .then((res) => {
        if (res.ok) {
          alert('삭제되었습니다.');
          window.location.href = '/posts';
        } else {
          alert('오류가 발생했습니다.');
          console.log(res.statusText);
        }
      })
      .catch((err) => {
        console.log(err);
        alert('오류가 발생했습니다.');
      });
  }

DELETE 요청 처리하기

// ./routes/posts.js

const { Post } = require('./models');
...
router.delete('/:shortId', async (req, res, next) => {
  const { shortId } = req.params;
  try {
    await Post.delete({ shortId });
    res.send('OK');
  } catch (err) {
    nexst(err);
  }
});

Async Request Handler

request handler의 오류처리

request handler에서 오류를 처리하기 위한 방법

1. promise().catch(next)
2. async function, try ~ catch, next

async request handler

• try ~ catch, next를 자동으로 할 수 있도록 구성
• asyncHandler는 requestHandler를 매개변수로 갖는 함수형 미들웨어이다.
• 전달된 requestHandler는 try ~ catch로 감싸져 asyncHandler 내에서 실행되고, throw 되는 에러는 자옹으로 오류처리 미들웨어로 전달되도록 구성된다.

  const asyncHandler = (requestHandler) => {
  return async (req, res, next) => {
    try {
      await requestHandler(req, res);
    } catch (err) {
      next(err);
    }
  }
  }
  

router.get('/', asyncHandler(async (req, res) => { const posts = await Posts.find({}); if (posts.length < 1) { throw new Error('Not Found'); } res.render('posts/list', { posts }); });

# Pagination
## Pagination 이란?
- 데이터를 균일한 수로 나누어 페이지로 분리하는 것

## 사용방법
```javascript
router.get(... => {
  const page = Number(req.query.page || 1);  // 현재 페이지
  const perPage = Number(req.query.perPage || 10);  // 페이지 당 게시글 수

• /posts?page=1&perPate=10 일반적으로 url query를 사용해 전달한다.
• query는 문자열로 전달되기 때문에 Number로 형변환이 필요하다.

router.get(... => {
  ...
  const total = await Post.countDocument({});
  const posts = await Post.find({});
    .sort({ createdAt: -1 })
    .skip(perPage * (page -1))        // 검색 시 포함하지 않을 데이터 수
    .limit(perPage);        // 검색 결과 수 제한
const totalPage = Math.ceil(total / perPage);

• MongoDB의 limit와 skip을 사용하여 pagination 구현가능
• pagination시에는 데이터의 순서가 유지될 수 있도록 sort를 사용할 수 있도록 한다.
• 게시글 수 / 페이지 당 게시글 수 = 총 페이지 수

mixin pagination(path)
  p
    - for(let i = 1; i <= totalPage; i++)
    a(href=`${path}?page=${i}&perPage=${perPage}`)
      if i == page
        b= i
      else
        = i
    = " "
---
include pagination
tr
  td
    +pagination('/posts')

• pagination을 mixin으로 선언
• pagination이 필요한 페이지에서 해당 템플릿을 include한 후, +pagination으로 mixin을 사용한다.
• 현재 페이지는 b 태그로 굵게 표시한다.

PM2 Process Manager

PM2란?

• Node.js 작업을 관리해주는 Process Manager
• node 명령어로 실행 시 오류 발생이나 실행 상태 관리를 할 수 없다.
• pm2는 작업관리를 위한 다양한 유용한 기능을 제공해준다.

PM2를 사용하는 이유

• 안정적인 프로세스 실행 - 오류발생 시 자동 재실행
• 빠른 개발환경 - 소스코드 변경 시 자동 재실행
• 배포 시 편리한 관리 - pm2에 모든 프로세스를 한 번에 관리

PM2 사용방법

• $ pm2 init simple 혹은 $ pm2 init 명령어를 이용하여 pm2 설정파일 예제를 만들 수 있다.
• 예제를 수정하여 설정파일을 생성한 후, $ pm2 start 명령어를 실행하면 어플리케이션을 pm2 데몬으로 실행해준다.
• 개발 시 watch 옵션을 사용하여 파일 변경 시 서버 자동 재실행 구성을 할 수 있다.

  module.exports = {
  apps : [{
    name: 'simple-board',
    script: './bin/www',
    watch: '.',
    ignore_watch: 'views',
  }],
  };
  

$ pm2 start

## PM2 Example
![](https://velog.velcdn.com/images/luna_0219/post/56472f18-eaf9-4614-92fa-9e1ab98a2199/image.png)

본 자료는 Elice 플랫폼의 자료를 사용하여 정리하였습니다.

MongoDB

MongoDB란?

• 대표적인 NoSQL, Document DB
• Mongo는 Humongous에서 따온 말로, 엄청나게 큰 DB라는 의미 $\rarr$ 대용량 데이터를 처리하기 좋다.

RDB와 NoSQL

RDB

• Relational DataBase 관계형 데이터베이스
• 자료들의 관계를 주요하게 다룬다.
• SQL 질의어를 사용하기 위해 데이터를 구조화해야한다.

NoSQL을 사용하는 이유

• 스키마에 정의된 데이터가 아니면 저장할 수 없는 제약이 따른다.
• NoSQL은 사전작업 없이 데이터베이스를 사용할 수 있다.

MongoDB 기본개념

Database $\rarr$ Collection $\rarr$ Document

Database

• 하나 이상의 Collection을 가질 수 있는 저장소
• SQL에서의 database와 유사하다.

Collection

• 하나 이상의 Document가 저장되는 공간
• SQL에서의 table과 유사하다.
• 하지만, Collection이 Document의 구조를 정의하지 않는다.

Document

• MongoDB에 저장되는 자료
• SQL에서 row와 유사하지만 구조제약 없이 유연하게 저장가능
• JSON과 유사한, BSON을 사용하여 다양한 자료형을 지원
• objectID
  • 각 Document의 유일한 키값, SQL의 primary key와 유사하다.
  • Document 생성 시 자동으로 생성되는 값이다. (timestamp + random value + auto increment)

MongoDB 사용방법

• MongoDB
• MongoDB Cloud
• MongoDB Compass (GUI로 DB설정 가능)

Mongoose ODM

Mongoose ODM이란?

• Object Data Modeling
• MongoDB의 Collection에 집중하여 관리하도록 도와주는 패키지
• Collection을 모델화하여, 관련기능들을 쉽게 사용할 수 있도록 도와준다.

Mongoose ODM을 사용하는 이유

• 연결관리
  • MongoDB의 기본 Node.js 드라이버는 연결상태를 관리하기 어렵다.
  • Mongoose를 사용하면 간단하게 데이터베이스와의 연결상태를 관리해준다.
• 스키마관리
  • 스키마 정의가 필요없는건 NoSQL의 장점이지만, 데이터 형식을 미리 정의해야 코드작성과 프로젝트 관리에 유용하다.
  • Mongoose는 Code-Level에서 스키마를 정의하고 관리할 수 있게 해준다.
• Populate
  • MongoDB는 기본적으로 Join을 제공하지 않는다.
  • Join과 유사한 기능을 사용하려면 aggregate라는 복잡한 쿼리를 해야 하지만, Mongoose는 populate를 사용하여 간단하게 구현할 수 있다.

Mongoose ODM 사용하기

스키마 정의하기

• Code-Level에서 관리가능
• 형식을 미리 지정하고 체크가 가능하다.
• timestamps 옵션을 사용하면 생성, 수정시간을 자동으로 기록해준다.

  const { Schema } = require('mongoose');
  const PostSchema = new Schema({
  title: String,
  content: String,
  }, {
  timestamps: true,
  });
  module.exports = PortSchema;

모델 만들기

• 스키마를 사용할 수 있는 모델로 만들어야한다.
• 모델의 이름을 지정할 수 있다.

  const mongoose = require('mongoose');
  const PostSchema = require('./schema/board');
  exports.Post = mongoose.model('Post', PostSchema);

데이터베이스 연결하기

• connect 함수를 이용하여 간단하게 데이터베이스에 연결할 수 있다.
• mongoose는 자동으로 연결을 관리해주어 직접 연결 상태를 체크하지 않아도 모델사용 시 연결 상태를 확인하여 사용이 가능할 때 작업을 실행한다.

  const mongoose = require('mongoose');
  mongoose.connect('mongodb://localhost:27017/myapp');

모델 사용하기 - 간단한 CRUD

• CREATE - Create
• READ - find, findById, findOne
• UPDATE - updateOne, updateMany, findByIdAndUpdate, findOneAndUpdate
• DELETE - deleteOne, deleteMany, findByIdAndDelete, findOneAndDelete

CREATE

• Document를 생성하고 반환해준다.

  const { Post } = require('./models');
  

async function main() { const created = await Post.create({ title: 'first title', content: 'second title', });

const multipleCreated = await Post.create([ item1, item2 ]); }

## FIND (READ)
- query를 사용하여 검색하거나 findById를 사용하면 Document를 검색할 수 있다.
```javascript
const { Post } = require('./models');

async function main() {
  const listPost = await Post.find(query);
  const onePost = await Post.findOne(query);
  const postById = await Post.findById(id);
}

UPDATE

• update~ 함수의 경우 수정 결과를 반환해준다.
• find~ 함수의 경우 검색된 Document에 업데이트를 반영하여 반환해준다.

  async function main() {
  const updateResult = await Post.updateOne(query, {
    ...
  });
  const updateResults = await Post.updateMany(query, {
    ...
  });
  const postById = await Post.findByIdAndUpdate(id, {
    ...
  });
  const onePost = await Post.findOneAndUpdate(query, {
    ...
  });

DELETE

• delete~ 함수의 경우 삭제 결과를 반환해준다.

• find~ 함수의 경우 검색된 Document에 삭제를 반영하여 반환해준다.

  async function main() {
  const deleteResult = await Post.deleteOne(query);
  
  const deleteResults = await Post.deleteMany(query);
  
  const onePost = await Post.findOneAndDelete(query);
  
  const postById = await Post.findByIdAndDelete(query);
  }

populate

• Document 안에 Document를 담지 않고, ObjectID를 가지고 reference하여 사용할 수 있는 방법을 제공한다.
• Document에는 reference되는 ObjectID를 담고, 사용할 때 populate하여 하위 Document처럼 사용할 수 있게 해준다.

  const Post = new Schema({
  ...
  user: {
    type: Schema.Types.ObjectId,
    ref: 'User'
  },
  comments: [{
    type: Schema.Types.ObjectId,
    ref: 'Comment',
  }],
  });
  

const post = await Post.find().populate(['user', 'comments']);

// post.user.name, post.comments[0].content

## 자주 사용되는 query
- `{key: value}`로 exact match
- `$lt`, `$lte`, `$gt`, `$gte`를 사용하여 range query 작성 가능
- `$in`을 사용하여 다중 값으로 검색
- `$or`을 사용하여 다중 조건 검색
```javascript
Person.find({
  name: 'kyubum',
  age: {
    $lt: 20,
    $gte: 10,
  },
  languages: {
    $in: ['ko', 'en'],
  },
  $or: [
    { statue: 'ACTIVE' },
    { isFresh: true },
  ],
});

Express.js + Mongoose ODM

Mongoose ODM 커넥션 이벤트

• connected - 연결 완료
• disconnected - 연결이 끊김
• reconnected - 재연결 완료
• reconnecteFailed - 재연결 시도 횟수 초과

  mongoose.connect('----');
  

mongoose.connection.on('connected', () => { });

mongoose.connection.on('disconnected', () => { });

mongoose.connection.on('reconnected', () => { });

mongoose.connection.on('reconnecteFailed', () => { }); ```

본 자료는 Elice 플랫폼의 자료를 사용하여 정리하였습니다.

Express.js의 Middleware

Middleware란?

• Express.js 동작의 핵심
• HTTP 요청과 응답 사이에서 단계별 동작을 수행해주는 함수

Middleware 동작원리

• HTTP 요청이 들어온 순간부터 시작
• 미들웨어는 HTTP 요청과 응답개체를 처리하거나, 다음 미들웨어를 실행
• HTTP 응답이 마무리될 때까지 미들웨어 동작 사이클이 실행

Middleware의 작성과 사용

작성법

• req, res, next를 가진 함수를 작성하면 해당 함수는 미들웨어로 동작할 수 있다.

  • req - HTTP 요청을 처리하는 객체
  • res - HTTP 응답을 처리하는 객체
  • next - 다음 미들웨어를 실행하는 함수

• 작성

  const logger = (req, res, next) => {
    console.log(`Request ${req.path}`);
    next();   // next() 함수가 없으면 미들웨어 사이클이 멈추기 때문에 주의!!!!
  }

Route Handler와 middleware

• Route Handler도 미들웨어의 한 종류
• Route Handler는 라우팅 함수(get, post, put, delete 등)에 적용된 미들웨어
• path parameter 사용 가능

사용법

• 적용되는 위치에 따라 어플리케이션 미들웨어, 라우터 미들웨어, 오류처리 미들웨어로 분류가능

• 어플리케이션 미들웨어

  • use나 http method함수로 연결
  • 순차적으로 적용

    app.use(함수명)
    app.get('/', (req, res, next) => {
    res.send('test');
    });

• 라우터 미들웨어

  • router 객체에 미들웨어가 적용되는 것 외에는 어플리케이션 미들웨어와 동일
  • 특정 경로의 라우팅에만 적용하기 위한 방법

    router.use(함수명)
    router.get('/', (req, res, next) => {
    res.send('test');
    });
    app.use('/admin', router);

• 미들웨어 서브스택

  • use나 http method 함수에 여러개의 미들웨어로 동시에 적용가능

    app.use(함수명1, 함수명2)
    app.use('/admin', auth, router);
    app.get('/', logger, (req, res, next) => {
    res.send('test');
    });

• 오류처리 미들웨어

  • 일반적으로 마지막에 위치하는 미들웨어
  • err, req, res, next 네가지 인자를 가진다.
  • 앞선 미들웨어에서 next함수에 인자가 전달되면 실행된다.

• 함수형 미들웨어

  const auth = (memberType) => {
  return (req, res, next) => {
    if (!checkMember(req, memberType)) {
      next(new Error(`member not ${memberType}`));
      return;
    }
    next();
  }
  }
  

app.use('/admin', auth('admin'), adminRouter); app.use('/users', auth('memver'), userRouter);

```

REST API

REST API란?

• REST + API
• REST 아키텍처를 준수하는 웹 API
• Restful API라고도 한다.

API란?

• Application Programming Interface
• 서비스나 프로그램간에 미리 정해진 기능을 실행할 수 있도록 하는 규약

REST란?

• REpresentational State Transfer
• 웹에서 자료를 전송하기 위한 표현방법에 대한 아키텍처

JSON

JSON이란?

• JavaScript Object Notation
• 객체를 표현하는 표현식

Object

• {"key": "value"}로 표현한다.

Array

• [item1, item2]로 표현한다.

Express.js로 REST API 구현하기

MVC 패턴

• MVC 패턴은 웹 서비스의 가장 대표적인 프로젝트 구성 패턴
• 프로젝트의 기능들을 어떻게 분리할지에 대한 하나의 구성방법
• Model - View - Controller를 구붖ㄴ하여 프로젝트 구조를 구성하는 것

Model

• Model은 데이터에 접근하는 기능 또는 데이터 그 자체를 의미한다.
• 데이터의 읽기, 쓰기는 Model을 통해서만 이루어지도록 구성해야 한다.

View

• View는 데이터를 표현하는 기능을 의미한다.
• 주로 Controller에 의해 데이터를 전달받고 전달받은 데이터를 화면에 표시한다

Controller

• Controller는 Model을 통해 데이터에 접근하여 처리결과를 View로 전달해준다.
• 웹 서비스에선 주로 라우팅 함수가 해당 기능을 수행한다.

Postman 사용하기

Postman이란?

• API를 테스트할 수 있는 도구

본 자료는 박민 코치님의 자료와 Elice 플랫폼의 자료를 사용하여 정리하였습니다.

웹의 이해

웹이란?

• 사전적 의미 - World Wide Web, 인터넷상에서 동작하는 모든 서비스
• 일방적 의미 - 웹 브라우저로 접속해서 이용하는 서비스, 웹사이트

웹 서비스 동작 방식

• 웹 서비스는 기본적으로 HTTP 요청과 응답의 반복으로 이루어진다.
• HTTP 요청은 사용자가 어떤 데이터가 필요한지를 서버에게 알리는 역할
• HTTP 응답은 HTTP 요청에 해당하는 적절한 데이터를 전달하는 역할

HTTP 요청 예시

• 어떤 사용자가, 어떤 데이터를 필요로 하는지 등을 담고있다.

HTTP 응답 예시

• 사용자가 요청한 데이터와, 어떤 데이터가 전송되는지 등을 담고 있다.

백엔드와 프론트엔드

• 백엔드는 사용자에게 보이지 않는 데이터 가공 등의 기능을 주로 담당한다. (서버)
• 프론트엔드는 사용자가 직접 사용하게 되는 웹 페이지를 주로 담당한다. (클라이언트)

정적 웹과 동적 웹

정적 웹

• Web 1.0
• 사용자와 상호작용하지 않는 페이지 - 단방향 통신
• Link를 통한 페이지 이동 정도만 가능
• 일반적으로 변하지 않는 html파일로 제공

동적 웹

• Web 2.0
• 사용자와 상호작용을 한다. - 양방향 통신
• 사용자가 다양한 기능을 수행할 수 있다.
• 프론트엔드와 백엔드가 유기적으로 통신하여 등장 $\rarr$ 현대적인 웹은 대부분 동적 웹

동적 웹의 두 가지 구현방법

CSR (Client-Side Rendering)

• 프론트엔드에서 사용자가 페이지에서 보는 동적인 부분을 대부분 처리하는 방식

SSR (Server-Side Rendering)

• 백엔드에서 페이지 대부분의 영역을 처리해서 프론트엔드로 전달하는 방식

CSR의 특징

• 사이트가 변하는 부분들을 프론트엔드에서 처리
• 프론트엔드 코드에 페이지 리소스들이 미리 정의되어 있다.
• 서버와의 통신은 API통신을 이용
• 빠른 반응이지만 페이지의 내용은 API호출이 완료된 후에 보여진다. $\rarr$ 프로젝트 구성이 복잡하고 개발 사이즈가 커진다.

SSR의 특징

• 사이트가 변하는 부분들을 백엔드에서 처리
• 백엔드에서 HTML파일을 작성해서 프론트엔드로 전달
• CSR에 비해 쉬운 구성, 작은 개발사이즈
• 로딩이 완료되면 페이지와 데이터가 한 번에 표시된다.
• 상대적으로 사용자가 보기엔 로딩이 느려보인다.
• 페이지 이동할때마다 다시 로딩하기 때문에 페이지가 깜박인다.

웹 프레임워크

웹 프레임워크란?

• 웹 서비스에 필요한 기능들을 제공해주는 다양한 도구들의 모음

웹 프레임워크를 사용하는 이유

• 웹 서비스를 구성하기 위해서는 매우 많은 기능이 필요하다.
• 이러한 기능들을 하나씩 직접 만드는 것에는 너무나 큰 비용이 발생
• 웹 서비스는 많은 부분이 정형화되어 있다.
• 프레임워크를 사용하여 정형화된 부분을 간단하게 구현
• 필요한 부분만 집중해서 개발할 수 있다.

웹 프레임워크의 기본 구성요소

• 웹 서비스의 정형화된 구성을 많은 웹 프레임워크가 기본적으로 제공한다.
• HTTP 요청처리, HTTP 응답처리, 라우팅, HTML Templating

웹 프레임워크 - HTTP 요청처리

• HTTP 요청을 처리할 수 있다.
• 어떤 데이터를 필요롤 하는지, 어떤 사용자로부터 요청이 수신되었는지 등

웹 프레임워크 - HTTP 응답처리

• HTTP 응답을 처리할 수 있다.
• 응답데이터가 어떤 형식인지, 응답 상태가 정상적인지 등

웹 프레임워크 - 라우팅

• HTTP 요청을 분기하는 방법을 제공한다.
• HTTP 요청 URL에 해당하는 알맞은 응답의 경로를 미리 설정한다.

웹 프레임워크 - HTML Templating

• SSR을 구현하기 위한 방법을 제공
• SSR에서 응답으로 보낼 HTML을 서버에서 작성하기 위해, HTML Templating을 통해 미리 페이지의 뼈대를 작성가능

Node.js의 웹 프레임워크

• Express.js
• Koa.js
• Nest.js 등

Express.js 시작하기

Express.js를 사용하는 이유

• Node.js의 웹 프레임워크 중 가장 유명한 웹 프레임워크
• 필요에 따라 유연하게 구조 설정 가능
• 다양한 미들웨어를 통해 필요한 기능을 간단하게 추가 가능
• 모든 동작이 명시적으로 구성되기 때문에, 웹 프레임워크의 동작방식을 이해하기 가장 좋은 프레임워크

npm init으로 시작하기

• Express.js 설치

  1. npm init
  2. npm install express

• Express.js 시작하기

  const express = require("express");
  const app = express();
  

app.get('/', (req, res) => { res.send('Hello World'); });

app.listen(3000);

<span style="color:red">$\rarr$ Express.js를 처음부터 작성할 수 있는 방법</span>


## nodemon으로 자동 실행하기
- 코드를 수정하면 자동으로 재실행된다.
- nodemon 설치
  1. `npm init` 입력
  2. `npm install nodemon` 입력
  3. package.json 파일 수정
      * script에 `"start": "nodemon ./index.js"` 추가
  4. `npm start` 입력

## express-generator 사용하기
- 설치하기
  1. `npm install -g express-generator`
  2. `express my-web`
  3. `cd my-web`
  4. `npm install`
  5. `npm start`
  <span style="color:red">$\rarr$ 프로젝트 자동 작성</span>





# Express.js의 구조
- 기본구조 알아보기
  + my-web
    * app.js - Express.js의 가장 기본이 되는 파일, 웹 어플리케이션의 기능을 정의
    * bin/www - Express.js 실행부분을 담당, 포트와 실행오류 등을 정의
    * package.json - 프로젝트 의존성 및 스크립트 정의
    * public - 코드를 통하지 않고, 직접 제공되는 파일 디렉토리
    * routes - 라우팅 파일 디렉토리
    * views - HTML Template 디렉토리



# Express.js 동작방식
## 동작방식
1. app.js $\rarr$ app.use
2. routes/index.js $\rarr$ router.get
3. routes/index.js $\rarr$ res.render
4. views/index.jade

## app.js
- app 객체
  + app.use() - 미들웨어를 사용하기 위한 함수
  + app.listen() - http 서버를 생성해주는 함수
  + app.locals - app에서 사용할 공통 상수

## 라우팅
### app 라우팅
```javascript
app.get('/', (req, res) => {
  res.send('Hello World');
});

• get, post, put, delete, all 사용가능
• 첫 번째 인자는 라우팅을 실행할 URL
• 마지막 인자는 라우팅이 실행될 때 작동하는 함수

Express.Router

• app라우팅은 그룹화를 지원하지 않는다.
• Express.Router로 라우팅을 모듈화할 수 있다.

  // users.js 파일
  const router = express.Router();
  router.get('/board', (req, res) => {
  res.send('Hello board');
  });
  

module.exports = router;

// index.js 파일 const express = require('express'); const usersRouter = require('./routes/users.js'); const app = express();

app.get('/', (req, res) => { res.send('hello'); });

app.use('/users', usersRouter); // /users URL을 usersRouter로 사용 app.listen(8080);

- app라우팅과 동일한 동작을 한다.

## 라우팅 - path parameter 사용
- 주소의 일부를 변수처럼 사용 가능하다.
```javascript
/users/:id   // /users/123, /users/456 등...
/messages/:from-:to    // /messages/123-456 등...

Request Handler

• 설정된 라우팅 경로에 해당하는 요청이 들어오면 Request Handler 함수가 실행된다.
• HTTP 메소드 함수의 마지막 인자

Request Handler - Request 객체

• req.params - /path/:id에서 :id를 req.params.id로 사용
• req.queries - /path?page=2에서 page부분을 req.queries.page로 사용
• req.body - res.body에 요청데이터가 저장되어 들어온다.
• req.get('') - HTTP Request의 헤더 값을 가져올 수 있다. req.get('Authorization') 등

Request Handler - Response 객체

• res.send() - text형식의 HTTP 응답을 전송
• res.json() - json형식의 HTTP 응답을 전송
• res.render() - HTML Template를 사용하여 화면을 전송
• res.set() - HTTP 응답의 헤더를 설정
• res.status() - HTTP 응답의 상태값을 설정

Tip - http모듈로 Server열기

const http = require('http');
const server = http.createServer((req, res) => {
  console.log(req);
  res.end('Node Server!!');
});
server.listen(8080);