주로 폴더의 파일을 긁어오는 용도로 사용되는데, 경로를 이용해 원하는대로 뽑을 수 있습니다.

form glob import glob
glob('*.exe')
>> ['aaaaaa.exe', 'gggg.exe']
golb('*.txt')
>> ['aaaaaa.txt', 'gggg.txt']

golb()함수는 인자로 받은 패턴과 이름이 일치하는 모든 파일과 디렉토리의 리스트를 반환합니다. * 는 전체를 표현합니다. 물론 현재경로가 아닌 다른 경로에 대해서도 조회 할 수 있습니다.

os

파일을 바꾼다거나 경로를 찾아가는 등 주로 노트북 외부에서 하는 일을 처리하는 모듈입니다. os.getcwd() 현재경로를 찾을 수 있습니다. os.listdir() 현재경로의 파일들을 리스트로 뽑아 줍니다.

예시1 ) 
os.listdir('../dataset/')
>>['aaa', 'aaa.zip', 'asv_png', 'asv_png.zip']

예시2 ) 폴더별 데이터의 개수 비교

label_nums = ['0', '1', '2', '3', '4', '5', '6', '7', '8', '9']
dataset = os.listdir('../dataset/')
nums_dataset = []

for n in label_nums:
    data_per_class = os.listdir('../dataset/' + n)
    nums_dataset.append(len(data_per_class))

plt.bar(label_nums, nums_dataset)
plt.title('Number of Dataset per class')
plt.show()

학습 시킬 때는 모든 데이터를 숫자로 넣어줘야 한다. 명목형 데이터의 경우엔 어떻게 처리해야할까?

예를 들자면 지역의 경우

• 0: 오렌지, 1: 사과, 2: 바나나

3가지의 과일이 해당타입의 숫자로 배열되어있다. ** Ex) [0, 1, 2, 2, 2, 1, 1, 0] **

기계학습이나 딥러닝의 학습과정에서 0,1,2의 데이터가 들어간다면 서로 상관이 없지만 숫자로 표현 되어 있기 때문에 영향을 미칠 수 있다.

1 + 1 = 2 라는 수식이 사과 + 사과 = 바나나

라는 결과를 초래할 수 있기 때문

때문에 이를 방지하기 위해 별도에 3개의 column을 만들고 해당 타입의 columns에만 1 나머지 column에는 0 을 대입해주는 pre-processing을 거쳐야 하고, 이것을 one-hot encoding 이라 한다.

즉, 아래와 같이 바뀐다.

One-hot encoding 방법

1. TensorFlow

to_categorical()

# import module
from tensorflow.keras.utils import to_categorical

# label = 5
label_onehot = to_categorical(label, num_classes = 10) # class의 수를 알아야 사용가능
label_onehot

> array([0., 0., 0., 0., 0., 1., 0., 0., 0., 0.], dtype=float32)

2. pandas

pd.get_dummies()

# import module
import pandas as pd

# 예시 데이터 생성
data = {
    '과일' : ['오렌지', '사과', '바나나', '바나나', '바나나', '사과', '사과', '오렌지']
}

# DataFrame변환
df = pd.DataFrame(data)
df

pd.get_dummies(df)

하나의 df로 보자면

pd.concat([pd.DataFrame(df), pd.get_dummies(df['과일'])], axis=1)

# import module
import numpy as np
import tensorflow as tf

tensorflow에서 numpy는 떼려야 뗄 수 없는 관계

Array 생성

• tuple이나 list 둘 다 np.array()로 씌워 array를 만들 수 있다.

Tensor 생성

• tf.constant()

  • list -> Tensor

  • tutple -> Tensor

  • Array -> Tensor

Tensor 정보 확인

• shape

• data type 확인

  • 주의 : Tensor를 생성 할 때 dtype을 정하지 않기 때문에 type에 혼동이 올 수 있으며,
  • type에 따라 모델의 무게나 성능 차이에도 영향*을 미친다.

  

• data type 정의

• data type 변환

  • Numpy에서 astype()을 쓰듯, Tensorflow에서는 tf.cast사용

• Tensor에서 Numpy 불러오기

  • np.numpy()

  • np.array()

  type()을 이용해 변환 확인

난수 생성

• 난수 : 무작위로 만들어진 수열
• Normal Distribution(정규분포)은 중심극한 이론에 의한 연속적인 모양
• Uniform Distribution(연속균등분포)은 중심 극한 이론과는 무관하며 불연속적이며 일정한 분포

• Numpy에서는 정규분포를 기본적으로 생성

• Tensorflow에서 정규분포

• Tensorflow에서 연속균등분포

잘 쓰이진 않을 듯

영상인식에서 사용 될 이미지 시각화

사용 할 이미지

# import module
import numpy as np
from PIL import Image
import matplotlib.pyplot as plt

dog_image.shape (734, 1100, 3) -> (가로 사이즈, 세로 사이즈, RGB) 흑백이미지의 경우 3차원이 아닌 1차원이 된다.

그래프로 시각화

plt.hist(image.ravel(), 256, [0,256])
plt.show()

이미지가 높은 value에서 분포되어 있음

그림 보기

plt.imshow(image)
plt.show()

image_pil = Image.open(path).convert('L') # 이미지를 흑백으로 바꿔준다
image_bw = np.array(image_pil)
image_bw.shape

(734, 1100) 뒤에 RGB3차원이 삭제 된 것을 볼 수 있음

plt.imshow(image_bw)
plt.show()

수치적으로 높을수록 노란색, 초록색 등으로 밝게 표현 흑백은 아니다. (다른 이미지들도 다 이렇게 되는진 모르겠다)

# 2개의 차원일 때는 gray scale로 열림
plt.imshow(image_bw, 'gray')
plt.show()

'gray'를 해줘야 흑백으로 보인다.

다른 색상으로 cmap 표현하기

# 가장 많이 사용됨.
plt.imshow(image_bw, 'jet') # 'RdBu'도 있음
plt.show()

color bar 추가하기

plt.imshow(image_bw, 'jet')
plt.colorbar()
plt.show()

• plt.figure(figsize=(10, 10))로 이미지 사이즈도 조절이 가능하다.
• plt.title()로 이미지 타이틀도 설정이 가능하다.

다른이미지

cat_path = 'source/cat.jpg'
cat_pil = Image.open(cat_path)
cat_image = np.array(cat_pil)
plt.imshow(cat_image)
plt.show()

cat_image.shape

을보면 (183, 275, 3)로 강아지의 사진보다 사이즈가 작음

고양이 이미지를 강아지의 이미지 shape에 맞추기

다양한 방법이 있겠지만 openCV를 이용해 해보자.

import cv2

dog_image = cv2.resize(image, (275, 183))
dog_image.shape

(183, 275, 3)

openCV의 경우 shape을 반대로 입력해야한다. 원래 사이즈는 (183, 275)

이미지 합치기 ( 같이 그리기 )

plt.imshow(image)
plt.imshow(cat_image)
plt.show()

그래프의 경우 한번에 같이 그려 졌지만 이미지의 경우 한번에 같이 겹쳐 그려져 강아지 사진이 고양이 사진 뒤에 숨어있다. 중간에 plt.show()를 넣는다면 2개가 따로 그려지겠지만 한번에 같이 볼 순 없다. 같이 보기 위해서는 투명도를 옵션으로 주면 됨

plt.imshow(image, alpha=0.8)
plt.imshow(cat_image, alpha=0.5)
plt.show()

subplot

plt.figure(figsize=(10, 10))
plt.subplot(2, 2, 1)
plt.imshow(image)
plt.subplot(2, 2, 2)
plt.imshow(cat_image)
plt.subplot(2, 2, 3)
plt.imshow(image_bw, 'gray')
plt.show()

Matplotlib는 파이썬에서 데이터를 차트나 플롯(Plot)으로 그려주는 라이브러리 패키지로서 가장 많이 사용되는 시각화(Data Visualizaion) 패키지

Matplotlib는 라인 플롯, 바 차트, 파이차트, 히스토그램, Box plot, Scatter Plot 등을 비롯하여 다양한 차트와 플롯 스타일을 지원

import matplotlib.pyplot as plt

Basic Attributes

alpha : 투명도
kind : 그래프 종류 'line', 'bar', 'barh', 'kde'
logy : Y축에 대해 Log scaling
use_index : 객체의 색인을 눈금 이름으로 사용할지 여부
rot : 눈금 이름 돌리기 (rotating) 0 ~ 360
xticks, yticks : x, y축으로 사용할 값
xlim, ylim : X, Y축의 한계
grid : 축의 그리드를 표현할지 여부
subplots : 각 column에 독립된 subplot 그리기
sharex, sharey : subplots=True 이면 같은 X,Y축을 공유하고 눈금과 한계를 연결
figsize : 생성될 그래프의 크기를 tuple로 지정
title : 그래프의 제목 지정
legend : subplot의 범례 지정
sort_columns : column을 알파벳 순서로 그린다.

Multi Graph

subplot을 이용해 여러개의 그래프를 한번에 그릴 수 있음

# 데이터 준비
hist_data = np.random.randn(100)
scat_data = np.arange(30)

plt.subplot(2, 2, 1)
plt.plot(data)

plt.subplot(2, 2, 2)
plt.hist(hist_data, bins = 20)

plt.subplot(2, 2, 3)
plt.scatter(scat_data, np.arange(30) + 3)

plt.show()

Graph Line Option

그래프를 그릴 때 표시되는 색이나 마커 패턴을 바꾸는 것

• 색상: b(파란색), g(초록색), r(빨간색), c(청록색), y(노란색), k(검은색), w(흰색)
  • 검은색만 'k' 니까 주의
• 마커: o(원), v(역삼각형), ^(삼각형), s(네모), +(플러스), .(점)

plt.plot(data, 'g--')
plt.show()

Graph Size

figsize를 이용하여 가로, 세로 길이 조절 가능 (단위는 inch) 주의 ) figsize는 항상 맨 위에 올라 와야 함

plt.figure(figsize= (10, 5))
plt.plot(data, 'k+')
plt.show()

여러 그래프에 대한 크기 조절 (그냥 plt.figure만 해주면 된다. 똑같다)

plt.figure(figsize= (10, 10))

plt.subplot(2, 2, 1)
plt.plot(data)

plt.subplot(2, 2, 2)
plt.hist(hist_data, bins = 20)

plt.subplot(2, 2, 3)
plt.scatter(scat_data, np.arange(30) + 3)

plt.show()

Graph Legend

그래프 범례추가

1. 머신러닝, 딥러닝에서 val셋 비교에 자주 사용

#데이터 준비
data = np.random.randn(30).cumsum()

# 데이터 시각화
plt.plot(data, 'k--', label = 'Default')
plt.plot(data, 'b--', drawstyle = 'steps-post', label = 'steps-post')
plt.legend()
plt.show()

위 코드와 다른 방법으로

plt.legend(['XXX', 'YYY'])

도 있다.

Graph Name

그래프 이름 달기

1. 한눈에 보기 쉽게 만들기 위해 사용
2. 문서에 서식에 맞춰 타이핑 하기 싫을 때도 사용

# 데이터 준비
plt.plot(np.random.randn(1000).cumsum())
# 데이터 시각화
plt.title('Random Graph')
plt.xlabel('Stages')
plt.ylabel('Values')
plt.show()

한글 폰트 코드

다양한 한글 폰트 사용 코드들이 있지만 안되는 경우가 종종 있었지만 이 코드는 계속 사용 중 그래프 사이즈까지 같이 묶어서 주로 사용

# 한글 폰트 적용
from matplotlib import font_manager, rc
font_name = font_manager.FontProperties(fname="c:/Windows/Fonts/malgun.ttf").get_name()
rc('font', family=font_name)
# 그래프 사이즈
plt.rcParams["figure.figsize"] = (16,6)

++ 자주 쓰는 내용으로 계속 업그레이드 할 거임

얼마나 자주 쓰게 될 진 모르겠다. 공부하는 것들 기록용으로 노션 대신 쓰려고 하는데 쉽고 이뻐 보인다. 매일은 아니더라도 자주 쓰긴 해야할텐데.. 공부하는 것들을 잘 정리해보자. 어차피 내가 볼 거니까.. 이쁘게 하는건 나중에..;

++ 추가

오.. 이모지 어케했누 했는데 윈도우는 window + . 누르니까 이모지가 나오네?👍 나중에 맥 살꺼니까 맥os도 체크 ctrl + cmd + space bar