1. 앙상블이란?

정의

여러개의 개별 모델을 조합하여 최적의 모델로 일반화 하는 방법을 앙상블 기법이라고 합니다. 앙상블 기법은 여러 모델의 예측 결과를 합쳐 더 나은 예측을 하도록 합니다. 핵심은 여러 모델들이 서로 다른 방식으로 학습해야 한다는 것입니다.

종류

1. 배깅(부트스트랩)

: 배깅은 데이터의 여러 부분집합을 샘플링하여 각각의 모델을 독립적으로 학습시킨 후, 그 예측 결과를 평균하거나 다수결을 통해 결합하는 방법 ** 모델 종류 ** : 랜덤 포레스트(Random Forest)

2. 부스팅

: 이전 모델이 잘못 예측한 데이터를 다음 모델이 더 잘 예측하도록 학습하는 방식입니다. 모델들이 순차적으로 학습하여, 이전 모델의 오류를 보정

** 모델 종류 ** : Gradient Boosting, XGBoost, LightGBM

3. 스태킹

: 여러 개의 다른 모델들을 학습시키고, 그 모델들의 예측을 다시 다른 모델(보통 메타모델)에 넣어서 최종 예측을 만드는 방법

앙상블 기법의 종류는 다음과 같이 3개가 있으며 그 중 오늘은 배깅 기법을 통한 모델인 랜덤포레스트에 대해 알아보겠습니다.

2. 랜덤포레스트

정의

배깅(Bagging) 기법을 기반으로 한 앙상블 학습 알고리즘입니다. 여러 개의 결정 트리(Decision Tree)를 생성하여, 각 트리의 예측을 종합함으로써 최종 예측을 도출하는 모델입니다.

과정

1. 데이터 샘플링 : 부트스트랩 샘플링을 통해 샘플을 추출합니다. 이를 통해 여러 개의 훈련샘플 집합을 형성합니다. 이때 부트스트랩은 중복이 가능한 복원추출이므로 샘플링한 부분집합에 중복된 값이 들어갈 수 있습니다.

2. 결정트리 학습 : 랜덤포레스트는 각 샘플에 대해 결정트리를 학습시킵니다. Decision Tree라고도 하는 이 모델링은 다음 챕터에서 다루어보도록 하겠습니다^^

3. 예측 결과 결합 : 모든 결정트리가 학습을 마치고 나면 각 트리의 예측을 결합합니다. 랜덤포레스트에서는 분류와 회귀 두개가 다 되는데

• 분류 : 분류의 경우 다수결 투표 방식으로 각 트리가 예측한 결과 중 가장 많이 나온 클래스를 최종 예측값으로 결정합니다.
• 회귀 : 각 트리의 예측값을 내어 최종 예측값을 도출합니다. 다음과 같은 과정으로 모델이 학습됩니다.

장점

1. 과적합 방지 : 대부분의 앙상블 모델 기법은 과적합을 방지합니다. 랜덤포레스트도 기반이 되는 결정트리라는 모델을 학습에 활용하는데 이 모델은 노드를 최적화 하는 특징으로 가지가 뻗는 경향이 있어 과적합될 위험이 있습니다.

2. 특징 중요도 평가 : 랜덤 포레스트는 각 특징이 모델에 얼마나 중요한지 평가할 수 있는 기능이 있습니다. 특징 중요도를 계산하여, 모델에 가장 큰 영향을 미치는 변수를 파악할 수 있습니다.

단점

1. 해석의 어려움 : 여러개의 트리를 결합한 것이므로 최종 모델이 결과를 어떻게 도출했는지 해석의 어려움이 존재합니다.

2. 메모리 사용 : 여러 개의 결정 트리를 학습시키기 때문에, 메모리 사용량이 많을 수 있습니다. 특히 데이터가 클 경우 메모리 부담이 커질 수 있습니다.

파라미터

rf_model = RandomForestClassifier(
    n_estimators=200,      # 200개의 트리 사용
    max_depth=10,          # 트리의 최대 깊이를 10으로 제한
    min_samples_split=4,   # 분할을 위한 최소 샘플 수를 4로 설정
    min_samples_leaf=2,    # 리프 노드에 최소 2개의 샘플이 있도록 설정
    max_features="sqrt",   # 각 트리가 사용할 특징의 개수를 sqrt(n_features)로 설정
    bootstrap=True,        # 부트스트랩 샘플링 사용
    n_jobs=-1,             # 모든 코어를 사용하여 병렬 처리
    random_state=42        # 결과의 재현을 위해 난수 시드 설정
)

여기서 리프 노드란 더 이상 분할되지 않는 노드로, 최종 예측 결과를 담고 있는 부분, n_jobs는 cpu코어를 몇개 사용할지 입니다. -1은 전부다 1은 1개의 코어만 이런식인거죠~^^ feature란 랜덤 포레스트는 각 트리마다 전체 특성 중 일부를 랜덤하게 선택하여 분할을 만듭니다. 이때 고려할 그 특성(feature)들의 수를 max_features에서 몇개를 선택할지를 쓴 것입니다.

오늘은 여기까지 랜덤포레스트 모델에 대해 알아봤습니다. 간단한 난이도 있는 개념이니 꼭 숙지하시면 좋을 것 같아요! 다음번에는 의사결정트리로 돌아오겠습니다! 감사합니다~

1. 물고기 종류 별 대어 찾기

문제

문제설명

• 2개의 테이블이 있습니다.

• TABLE : FISH_INFO

• COLUMN : ID, FISH_TYPE, LENGTH, TIME

• 테이블 생김새 :

  ID	FISH_TYPE	LENGTH	TIME
  0	0	30	2021/12/04
  1	0	50	2020/03/07

  • TABLE : FISH_NAME_INFO

• COLUMN : FISH_TYPE, FISH_NAME

• 테이블 생김새 :

  FISH_TYPE	FISH_NAME
  0	BASS
  1	SNAPPER

• 문제 :

1. 물고기의 ID 컬럼명은 ID, 이름 컬럼명은 FISH_NAME, 길이 컬럼명은 LENGTH로 해주세요.
2. 결과는 물고기의 ID에 대해 오름차순 정렬
3. 단, 물고기 종류별 가장 큰 물고기는 1마리만 있으며 10cm 이하의 물고기가 가장 큰 경우는 없습니다.
   
   

• 풀이문법 :
  • JOIN ON : SQL에서 두 개 이상의 테이블을 연결하여 원하는 데이터를 결합할 때 사용하며 ON은 두 테이블간 조건을 지정할 때 사용합니다.
    • AS ~

풀이과정

이번 문제는 JOIN을 알아야합니다. 두개 이상의 테이블을 결합하여 왔다갔다?할 때 JOIN을 많이 활용하는데요. 그럼 예제를 통해 생소한 이 JOIN에 대해 보겠습니다.

---

일단 예시 결과는 다음과 같습니다.

ID    FISH_NAME    LENGTH
6    BASS         60
8    ANCHOVY         73
9    SNAPPER         73

ID가 있는 테이블은 FISH_INFO이고 FISH_NAME이 있는 테이블은 FISH_NAME_INFO이며 LENGTH가 있는 테이블은 FISH_INFO로 서로 하나의 테이블에 있지않고 여러 테이블에 컬럼들이 흩어져있습니다.

그래서 위와 같은 결과를 내기 위해 FISH_INFO테이블에서는 ID와 LENGTH를 FISH_NAME_INFO테이블에서는 FISH_NAME을 출력해야 합니다.

이제 본격적으로 문제풀이를 순서대로 한번 봅시다.

1. 저는 2개 이상의 테이블을 활용할 때 FROM구문부터 활용합니다. 그리고 테이블명이 길기 때문에 이를 FI라고 명명해줍니다. 이때 AS구문을 사용합니다.

ON을 사용할 때는 결합할 2개의 테이블에 공통으로 존재하는 컬럼을 선택해줍니다.

FROM
    FISH_INFO AS FI
JOIN
    FISH_NAME_INFO AS FN
ON
    FI.FISH_TYPE = FN.FISH_TYPE

2. 물고기 종류별 가장 큰 물고기는 1마리만 있으며 10cm 이하의 물고기가 가장 큰 경우는 없습니다. 이 구문을 이용해서 LENGTH가 최대인 친구들만 가져와줍니다. 메인 쿼리는 각 행의 LENGTH가 서브쿼리에서 계산한 MAX(LENGTH)와 동일한 행만 반환합니다.

   WHERE
    FI.LENGTH = (
        SELECT MAX(F.LENGTH)
        FROM FISH_INFO F
        WHERE F.FISH_TYPE = FI.FISH_TYPE
    )

3. ID에 오름차순 정렬

   ORDER BY ID ASC;

4. 그래서 결국

   SELECT
    ID, FISH_NAME, LENGTH

   가 됩니다.

2. 잡은 물고기 중 가장 큰 물고기의 길이 구하기

문제

문제설명

위 문제와 크게 달라지지 않지만 알아갈게 있는 문제입니다.

• TABLE : FISH_INFO

• COLUMN : ID, FISH_TYPE, LENGTH, TIME

• 테이블 생김새 :

  ID	FISH_TYPE	LENGTH	TIME
  0	0	30	2021/12/04
  1	0	50	2020/03/07

• 문제 :

1. FISH_INFO 테이블에서 잡은 물고기 중 가장 큰 물고기의 길이를 'cm' 를 붙여 출력하는 SQL 문을 작성
2. 컬럼명은 'MAX_LENGTH' 로 지정
   
   

• 풀이문법 :
  • CONCAT : 여러 문자열을 하나로 결합하는데 활용
    • AS ~

풀이과정

예시 결과를 먼저 보겠습니다.

MAX_LENGTH
50.00cm

이렇게만 나오면 됩니다. 하지만 cm를 붙이는게 걸리는데 이거는 CONCAT함수를 활용하면 됩니다!

CONCAT : CONCAT(string1, string2, ..., stringN) 다음과 같으며 이 결과를 내기 위해서는

1. 가장 큰! 이므로 MAX함수를 활용합니다.

   SELECT 
    CONCAT(MAX(LENGTH), 'cm') AS MAX_LENGTH
   FROM
    FISH_INFO

   사실 이게 끝입니다. CONCAT함수를 알면 쉽게 풀 수 있는 문제였습니다!

오늘은 이렇게 물고기 2문제를 봤어요! 새로운 함수인 JOIN과 CONCAT에 대해 배웠는데 다음에는 더 양질의 문제로 돌아오겠습니다! 감사합니다!

1. TF-IDF

정의

TF-IDF (단어 빈도-역 문서 빈도, Term Frequency-Inverse Document Frequency)

• 각 단어의 중요도를 계산하여 텍스트 데이터를 수치적으로 표현하는 기법
• 특정 문서에서 자주 등장하지만, 다른 문서에서는 드물게 등장하는 단어에 높은 가중치를 부여
• 텍스트 데이터가 고차원 벡터 형태로 변환
  이 가장 기본적인 정의 및 의미인데요. 이제 하나씩 뜯어봅시다!

1-1. TF(Term Frequency)

• 특정 단어가 문서에 얼마나 등장했는가?
• 많이 등장할 수록 중요단어로 인식

  1-2. IDF(Inverse Document Frequency 역문서 빈도)

• 단어가 여러 문서에 걸쳐 얼마나 자주 등장했는지 측정
• 너무 흔한 단어는 중요하지 않으므로 가중치를 낮춤
• 예) the, and같은 단어들은 단어를 연결하는 어디서나 등장하는 단어이므로 중요도가 낮음

즉, TF-IDF값이 낮을수록 중요도가 낮고 값이 높을수록 중요도가 높음을 알 수 있습니다

활용

• 문서 유사도
• 검색 시스템에서 결과의 중요도를 정하는 작업
• 리뷰에서 긍정과 부정을 구분할 때
• 문서 내에서 특정 단어의 중요도 확인

예시

문서 3개

• 문서1: "사과 바나나"
• 문서2: "사과 오렌지"
• 문서3: "사과 바나나 바나나"

  계산

1. TF 계산(단어 빈도)
   
   
2. IDF계산(역문서 빈도)
   
3. TF-IDF계산
   

해석

• 특정 문서에서 자주 등장하지만, 다른 문서에서는 드물게 등장하는 단어에 높은 가중치를 부여하는데 사과의 경우 모든 문서에 등장해 중요하다고 보지 않습니다.
• 바나나의 경우 일부 문서에 등장해 어느 정도 중요도가 있습니다.
• 오렌지는 한 문서에만 등장해 중요도가 높다고 판단됩니다.

2. COSINE 유사도

정의

코사인 유사도는 두 벡터간 유사도를 측정하는 것입니다. 앞에서 배웠던 벡터기초에서 유사도 이런얘기 많이 했는데요! 이것 때문에 코사인을 쓰는 것 같습니다. 각이 예각일수록 유사도가 크다, 둔각일수록 관련성이 적다고 할 수 있습니다.

예시로 보기

코사인 유사도가 어떻게 적용이 될까요? 자세한 수식은 어려우니 간단한 설명으로 넘어가보겠습니다.

• 문서1: "사과 바나나"
  단어 빈도: "사과": 1번 등장 "바나나": 1번 등장 벡터로 표현: [1, 1]

• 문서2: "사과 바나나 바나나"
  단어 빈도: "사과": 1번 등장 "바나나": 2번 등장 벡터로 표현: [1, 2]

  따라서 두 벡터는 비례관계에 있다고 할 수 있습니다.

3. 영화 추천

데이터는 영화리뷰 데이터가 있고 컬럼은 다음과 같습니다.

Index(['movieId', 'title', 'genres', 'imdbId', 'tmdbId', 'userId_x', 'rating',
       'timestamp_x', 'userId_y', 'tag', 'timestamp_y'],
      dtype='object')

1. 우리가 주목할 부분이 movieId와 title, rating에서 결측치는 제거합니다. 그리고 title이 str이 아닌 형태는 다 제거해줍니다.

   data = data.dropna(subset = ['movieId', 'title','rating'])
   data = data[data['title'].apply(lambda x : isinstance(x, str))]
   data

2. movieId에서 중복이 되는 컬럼은 제거해줍니다.

   data_sampled = data.drop_duplicates(subset = ['movieId']).reset_index(drop = True)

3. tf-idf를 활용합니다. title을 기준으로 tf-idf점수를 매긴 후 matrix형태로 바꿔줍니다. matrix로 바꾸는 이유는 자연어 텍스트 데이터를 처리 가능한 수치 데이터로 바꿔주기 위해서 입니다.

   import pandas as pd
   from sklearn.feature_extraction.text import TfidfVectorizer
   from sklearn.metrics.pairwise import cosine_similarity
   

tfidf=TfidfVectorizer(stop_words = 'english') tfidf_matrix = tfidf.fit_transform(data_sampled['title'])

4. cosine_sim을 계산해줍니다. 행렬 형태로 바꿔준 tfidf_matrix를 활용해 cosine_sim을 만들어줍니다.

cosine_sim = cosine_similarity(tfidf_matrix, tfidf_matrix) cosine_sim

5. 추천함수를 만들어줍니다.

def recommendation(title, data = data_sampled, cosine_sim = cosine_sim) : idx = data[data['title'] == title].index[0] sim_scores = list(enumerate(cosine_sim[idx])) # 유사도 높은순서로 정렬 sim_scores = sorted(sim_scores, key = lambda x : x[1], reverse = True)

rec = []
for i, score in sim_scores : 
    if data['title'].iloc[i] != title and score < 0.99 : 
        rec.append(data['title'].iloc[i])
    if len(rec) == 5 : 
        break
return rec

- 추천함수의 매개변수는 3개로 title : 내가 선정한 영화제목, data = data_sample, cosine_sim = cosine_sim을 넣어줍니다.
- idx = 내가 입력한 title의 값을 data에서 찾고 인덱스 값을 출력하여 idx에 저장합니다.
- 이 idx에 해당하는 cosine_sim을 구합니다. 그리고 이를 유사도 높은순서로 정렬해줍니다.
- sim_scores를 잠시 보고가면 다음과 같습니다.

(1517, 1.0), (703, 0.3692687247777396), (145, 0.34449433911927485),

- for문은 이 sim_score를 i와 score로 돌립니다.
- if문을 보면 title즉, 내가 입력한 title과 다르고 sim_scores의 점수가 0.99미만이면 rec에 저장해줍니다.
- 그리고 최대 5개까지 저장합니다.
6. 마지막으로

title= data_sampled['title'].iloc[7] print(f'우리가 추천하는 상품 설명:{title}') print('\n추천 상품들:') print(recommendation(title))

``` 이거로 마무리하면 우리가 원하는 결과가 나옵니다~!

이렇게 오늘은 추천알고리즘에 대해 tf-idf를 활용해 공부했습니다! 오늘도 읽어주셔서 정말 감사해요~

1. cohort

정의

사회학에서 사용되는 용어로 코호트란 특정 기간에 특정 경험들을 공유하는 사람들을 말합니다. 특정 기간 동안 동일한 경험을 공유하는 유저 그룹을 분류하고 이들의 특성과 행동 패턴을 분석하여 마케팅 전략을 수립하는데 활용됩니다.

활용

어느 상황에서 많이 진행할까요? ① 고객의 이탈 시점파악 ② 소비 패턴을 파악 및 미래 예측 에서 많이 활용하는데요 예시를 봅시다.

예시

① 유저가 많이 이탈하는 시점이 있을 것입니다. 이때 이들을 다시 우리 브랜드로 돌리도록 CRM마케팅을 진행할 수 있을 것 같습니다. ② 1만원 쿠폰을 준 그룹과 5만원 쿠폰을 준 그룹 중 어느 쿠폰을 줬을 때 성과가 좋은지 성과를 비교할 때도 쓸 수 있을 것 같아요

목표

결국 초개인화 시대에 맞는 마케팅을 진행하는데 가장 잘 활용할만한 분석방법인 것 같아요 특히, 충성고객을 만드는데 좋은 방법으로 보입니다!

2. 리텐션

정의

리텐션이란, 어떤 제품에 대해 특정 기간동안 활성화된 유저 혹은 고객의 수를 말합니다. 보통 '리텐션율'이라는 비율을 통해서 나타내는대요. 공식을 한번 봅시다.

를 리텐션율 이라고 합니다.

의미

리텐션의 의미는 어떻게 볼 수 있을까요?

예를 들어봅시다) 스타벅스가 겨울 프리퀀시를 진행해요 그럼 그 기간이 있습니다. 몇일부터 몇일까지 스탬프를 다 모아야 굿즈를 받을 수 있어요 그 기간동안 이용한 고객 활성화된 유저를 리텐션이라고 합니다.

특징

리텐션은 중요한 지표입니다. 단순히 고객이 제품이나 서비스를 계속 사용하는 것을 넘어 기업의 지속가능성과 연결되기 때문이에요. 제가 생각하는 기업의 고객 수입 프로세스를 한번 보며 이해해봅시다

① 신생 기업이 탄생하면 고객을 끌어모을 것입니다. 여러 이벤트를 활용해서 모읍니다. ② 모은 고객을 우리 기업만의 당골로 만들어야 되요 즉, 충성고객으로 만들어야 합니다. ③ 그럼 이 고객들은 계속 우리 기업의 제품만 소비할 것이고 기업은 안정적인 수익을 갖추게 됩니다.

여기서 리텐션은 뭘까요? 1번에서는 시작 이벤트 기간동안 참여한 고객이 될 것이고, 2번째에서는 충성고객을 만들기 위해 예를들면 신세계유니버스 같은 와우회원 같은 것들이 될 수 있겠네요 멤버십도 저는 리텐션의 한 예라고 생각합니다.

유저 리텐션 vs 고객 리텐션

먼저 유저와 고객은 무슨 특징이 있을까요?

1. 유저 : 우리 제품이나 서비스를 이용하는 사람입니다.
2. 고객 : 우리 제품이나 서비스에 가격을 지불하는 사람을 말해요.
   EX ) 이커머스 쿠팡이 있습니다. 쿠팡 앱을 방문하는 사람들 뭐 아이쇼핑을 하면서 앱을 이용하는 사람들을 유저, 직접 그 물건을 장바구니에 담아 구매까지 하는 사람들을 고객이라고 볼 수 있습니다.

유저 리텐션 vs 고객 이탈율

이 둘은 큰 상관관계가 있는데, 이탈율은 기업이 고객을 잃는 것을 의미합니다. 그래서 고객을 확보하는 리텐션의 역수를 이탈율이라고 볼 수 있습니다.

개선방법

그렇다면 리텐션을 개선하려면 어떻게 해야할까요?

1. 코호트 분석하기

비용은 한정되어 있는데 항상 이벤트 효과는 최대화 하기를 원합니다. 그래서 코호트 분석을 하는데요. 고객 군집들을 나눠 관리를 해야 보다 효율적인 관리를 할 수 있습니다.

2. 유저 피드백 수집

매 순간순간마다 고객과 소통하려고 노력하는 것이 브랜드의 핵심이라고 생각하는데요. 제품에 대한 리뷰를 5초에 한번씩 노출하게 한다던지(물론 피로도가 높아질 수 있습니다.) 아니면 고객이 이탈하려 할 때 넷플릭스처럼 왜 멤버십을 해지하는지 묻거나 하는 행위가 중요할 것입니다.

오늘은 이렇게 마케팅 지표 중 2가지 리텐션과 코호트 분석에 대해 알아봤는데요! 오늘도 유익한 글이 되길 바랍니다! 감사합니다~

1. k-최근접 이웃이란?

k 최근접 이웃을 알기 전에 우선 회귀라는 단어에 대해 알고 넘어가보려고 해요!

1-1. 회귀란?

머신러닝에는 대표적인 3가지 학습방법?모델링방법?이 있습니다. ① 지도학습 ② 비지도학습 ③ 강화학습 그 중 지도학습에는 두가지가 있습니다. 바로 분류와 회귀입니다. 이 중 우리는 오늘 회귀에 대해 알고자 하는데요.

1-2. 회귀의 의미

회귀에는 2가지 의미가 있습니다. ① 회귀란 어떤 임의의 숫자를 예측하는 문제입니다. ② 두 변수간 상관관계를 분석하는 방법도 회귀의 의미입니다.

2. k-최근접 알고리즘

정의

: k-NN알고리즘이란 원형이 짜장 사각형이 짬뽕이라고 생각해봅시다. 위 별이 (짜장)인지 (짬뽕)인지 한번 보겠습니다.

y축은 단맛 선호 x축은 매운맛 선호라고 봤을 때 단맛을 선호할 수록 짜장을 매운맛을 선호할수록 짬뽕을 선호한다고 볼 수 있을 것입니다.

이제 K-NN알고리즘을 이용해 인접한 3개의 데이터를 찾아보겠습니다. 짜장 2개가 묶인 것을 볼 수 있는데요. 그럼 이 별은 짜장이 될 것입니다.

하지만 4개일 때는 어떨까요? 4개일 때는 뭐가 뭔지 모르겠습니다. 짜장일수도 있고 짬뽕일 수도 있어요. 이와 같이 k를 설정해 거리 기준 인접한 분류형태가 되는 것이 K-NN입니다.

2-1. 장점 / 단점

장점 ① 단순하고 효율적이다 ② 훈련이 빠르고 수치기반 데이터에서 성능이 우수하다.

단점 ① 적절한 K의 선택이 필요하다(중복되면 애매해질 수 있다.) ② 데이터가 많을 수록 분류 단계가 느리다.

3.K-NN회귀는?

바로 x를 활용해 y를 예측하는 것입니다. 해당 k-최근접 이웃 알고리즘을 사용해 회귀 문제를 푸는데요, 가장 가까운 이웃 샘플을 찾고 이 샘들들의 타깃값을 평균하여 예측으로 삼는 것이 K-NN회귀입니다.

예시

perch_length = np.array([8.4, 13.7, 15.0, 16.2, 17.4, 18.0, 18.7, 19.0, 19.6, 20.0, 21.0,
       21.0, 21.0, 21.3, 22.0, 22.0, 22.0, 22.0, 22.0, 22.5, 22.5, 22.7,
       23.0, 23.5, 24.0, 24.0, 24.6, 25.0, 25.6, 26.5, 27.3, 27.5, 27.5,
       27.5, 28.0, 28.7, 30.0, 32.8, 34.5, 35.0, 36.5, 36.0, 37.0, 37.0,
       39.0, 39.0, 39.0, 40.0, 40.0, 40.0, 40.0, 42.0, 43.0, 43.0, 43.5,
       44.0])
perch_weight = np.array([5.9, 32.0, 40.0, 51.5, 70.0, 100.0, 78.0, 80.0, 85.0, 85.0, 110.0,
       115.0, 125.0, 130.0, 120.0, 120.0, 130.0, 135.0, 110.0, 130.0,
       150.0, 145.0, 150.0, 170.0, 225.0, 145.0, 188.0, 180.0, 197.0,
       218.0, 300.0, 260.0, 265.0, 250.0, 250.0, 300.0, 320.0, 514.0,
       556.0, 840.0, 685.0, 700.0, 700.0, 690.0, 900.0, 650.0, 820.0,
       850.0, 900.0, 1015.0, 820.0, 1100.0, 1000.0, 1100.0, 1000.0,
       1000.0])

다음과 같이 농어의 무게와 크기가 있을 때 회귀모델을 활용할 수 있습니다.

이 데이터들을 통해 모델을 학습시킵니다. 코드는 아래와 같습니다.

from sklearn.model_selection import train_test_split

train_input, test_input, train_target, test_target = train_test_split(perch_length, perch_weight, random_state=42)

train_input = train_input.reshape(-1,1)
test_input = test_input.reshape(-1,1)
print(train_input.shape, test_input.shape)

from sklearn.neighbors import KNeighborsRegressor

knr = KNeighborsRegressor()
knr.fit(train_input, train_target)

from sklearn.metrics import mean_absolute_error

test_prediction = knr.predict(test_input)

mae = mean_absolute_error(test_target, test_prediction)
mae

무게와 길이에 따른 농어 예측입니다. 이 같은 모델을 회귀모델이라고 합니다.

오늘은 k-nn회귀에 대해 알아봤습니다! 읽어주셔서 감사합니다~!

1. z-score란?

1-1. 정의

z-score란 어떤 데이터 포인트가 그 데이터 집합의 평균으로부터 표준편차의 몇 배만큼 떨어져 있는지를 나타냅니다. X: 관찰 값 μ: 전체 데이터의 평균 σ: 전체 데이터의 표준 편차

예시를 들어 분모 분자에 대해 알아볼게요!

우리가 한 반의 시험 점수에 대해 분석한다고 가정해봅시다.

1-1-1. z-score가 높다는 것은?

분자의 관점에서 내가 시험점수를 잘 맞으면 z-score가 높아지고 시험이 어려워서 평균이 낮아지는 것도 z-score가 높아진다고 볼 수 있습니다.

분모의 관점에서는 표준편차가 작을수록 z-score가 크겠죠? 그리고 z-score가 낮아진다는 것은 반대라고 볼 수 있습니다.

---

자 그러면 하나씩 알아볼게요!

먼저 분자입니다. 분자는 (원점수 - 평균)으로 이뤄져 있습니다. 시험을 잘 보려면? 내 점수가 높거나 평균이 낮으면 z-score가 올라가겠죠?

그러면 이번에는 분모에 대해 보겠습니다. 분모는 '표준편차'입니다. 표준편차는 작아질수록 z-score가 커진다고 볼 수 있겠네요.

표준편차란 내 점수가 우리 반 애들 평균으로 부터 얼마나 떨어져 있는지 보는 지표입니다. 작을수록 점수가 오밀조밀 붙어 있음을 알 수 있고 클수록 실력차이가 크다고 볼 수 있습니다.

1-2. 의미

• z-score = 0이면 평균과 동일하다.
• z-score > 0 해당 데이터는 평균보다 n만큼 크다.
• z-score < 0 해당 데이터는 평균보다 n만큼 작다. 즉, z-score는 데이터 포인트가 평균에 비해 얼마나 '표준적'이거나 '비표준적'인지 알려줍니다.

2. 정규화?

우리가 저번에 알아봤던 정규화는 normalization이고 이 정규화는 조금 성격이 다릅니다. 그럼 차이점에 대해 알아보겠습니다.

2-1. z-score와 normalization의 차이

2-1-1. z-score

• 목적 z-score의 목적은 얼마나 데이터가 표준적인지 비표준적인지 나타내며, 데이터가 정규분포를 따를 때 더욱 유용하게 활용됩니다.

• 언제 활용 이상치 탐지, 통계적 추론 등

2-1-2. normalization

• 목적
• minmax scaling*으로도 본 이것은 데이터를 0~1사이 값으로 스케일링을 맞춰준다는 개념으로 데이터를 균일하게 맞춰주는 역할을 합니다. 또한 이 정규화는 분포에 영향을 받지 않습니다.
• 언제 활용 머신러닝 모델 학습, 여러 데이터를 하나로 쓰고 싶을 때

2-2. 차이점

• 범위 : z-score의 경우 ±표준편차 만큼 벌어집니다. 반면, minmax scaler의 경우 0~1의 범위로 줄어듭니다.

• 분포특징 : z-score는 정규분포를 좋아하는 반면, minmax는 분포에 상관없이 활용가능합니다.
• 수식 : z-score는 평균과 표준편차를 활용하고 minmax는 데이터의 최대 최소 값을 활용합니다.

3. 표준화?

우리가 저번에 알아봤던 표준화와는 뭐가 다를까? 그럼 차이점에 대해 알아보겠습니다.

3-1. z-score와 표준화의 차이

3-1-1. z-score

• 특징 z-score는 각각의 개별 데이터가 전체 평균으로 표준편차의 몇 배만큼 떨어져 있는지를 봅니다.

• 언제 활용 이상치 탐지, 통계적 추론 등

3-1-2. 표준화

• 특징 수식은 z-score와 같지만, 평균이 0, 표준편차를 1에 전체 데이터를 맞춥니다. 실제로 표준화 과정에서 각 데이터 포인트를 해당 데이터 집합의 Z-점수로 변환합니다.
• 언제 활용 머신러닝 모델 학습, 여러 데이터를 하나로 쓰고 싶을 때

3-2. 차이점

• 범위 : z-score의 경우 개별 데이터를 활용하는반면, 표준하는 평균 : 0, 표준편차 : 1에 전체 데이터를 맞춥니다.

• 활용특징 : z-score는 주로 이상치 탐지에 활용하고, 표준화는 스케일링에서 활용합니다.

1. 자동차 종류 별 특정 옵션이 포함된 자동차 수 구하기

문제

문제설명

• TABLE : CAR_RENTAL_COMPANY_CAR
• COLUMN : CAR_ID, CAR_TYPE, DAILY_FEE, OPTIONS
• 테이블 생김새 :

• 풀이문법 :

1. 풀이과정

   이번 문제는 정말 쉽기보다 처음에는 조금 헤맸습니다. WHERE문을 써야하나? GROUP BY에는 HAVING을 써야하나? 싶더라고요? 그럼 어떻게 문제를 풀어나갔는지 한번 보겠습니다.

   ---

   일단 예시 결과는 다음과 같습니다.

   CAR_TYPE    CARS
   SUV            2
   세단            1
   트럭            1

   자 그러면 SELECT 문으로 CAR_TYPE과 CARS를 출력해야합니다. SELECT CAR_TYPE, CARS로 시작해야겠죠? 여기서 2번과 3번 풀이과정이 쓰여야합니다. 집계함수를 활용하라 했기에

SELECT CAR_TYPE, COUNT(CAR_TYPE) AS CARS로 해줍니다. CAR_TYPE별로 계산을 하는데 이것을 출력시 CARS로 해주겠다는 것입니다. 그 다음은 GROUP BY입니다. 자동차 종류 별로라고 했기 때문에 CAR_TYPE별 개수를 구해줘야합니다. 따라서 GROUP BY CAR_TYPE으로 해주고 자동차 종류 기준 오름차순이므로 ORDER BY CAR_TYPE ASC;로 끝내줍니다.

사실 여기까지는 이전에서 본것과 크게 다를 부분이 없습니다.

그럼 이 문제에서 얻어갈 것은 무엇일까요? 바로 LIKE활용입니다. 한글로 나오는 옵션에 대해 통풍시트라고 했으므로 LIKE를 활용합니다.

LIKE는 문자열의 부분옵션일치를 탐색하는 구문이기 때문에 해당 문제에서 활용할 수 있습니다. 그리고 '통풍시트', '열선시트', '가죽시트' 중 하나 이기 때문에 OR구문을 활용합니다. 따라서 결과는!

SELECT CAR_TYPE, COUNT(CAR_TYPE) AS CARS
FROM CAR_RENTAL_COMPANY_CAR
WHERE OPTIONS LIKE '%통풍시트%'OR
    OPTIONS LIKE '%열선시트%' OR
    OPTIONS LIKE '%가죽시트%'
GROUP BY CAR_TYPE
ORDER BY CAR_TYPE ASC;

다음과 같이 구할 수 있습니다

2. 진료과별 총 예약 횟수 출력하기

문제

문제설명

• TABLE : APPOINTMENT
• COLUMN : APNT_YMD, APNT_NO, PT_NO, MCDP_CD, MDDR_ID, APNT_CNCL_YN, APNT_CNCL_YMD
• 테이블 생김새 :

• 풀이문법 :

1. WHERE 코드별 : GROUP BY
2. 00로 지정 : AS 3, 4. 정렬 : ORDER BY

풀이과정

SELECT MCDP_CD AS '진료과 코드', COUNT(MCDP_CD) AS '5월예약건수'
FROM APPOINTMENT
WHERE APNT_YMD >= '2022-05-01 00:00:00.000000' 
        AND APNT_YMD < '2022-06-01 0:00:00.000000'
GROUP BY MCDP_CD
ORDER BY COUNT(MCDP_CD) ASC, MCDP_CD ASC;

2022년 5월 예약환자를 진료 하는 것이므로 WHERE APNT_YMD >= ''APNT_YMD의 형태를 따라가도록 했습니다. 5월 기준이므로 5월 1일부터 6월 1일 전까지라는 의미의 WHERE절을 만들어주고

컬럼명은 AS를 활용해줍니다. 특히 진료과 코드별~ 이라고 했으므로 진료과 코드별로 GROUP BY를 활용해 묶어주면 코드를 완성할 수 있습니다.

오늘은 이렇게 2문제를 풀었습니다. 이제 2단계를 풀고 있는데 4단계는 푸는 그 날까지 열심히 나아가고자 합니다! 감사합니다~!

1. 강원도에 위치한 생산공장 목록 출력하기

문제

문제설명

• TABLE : FOOD_FACTORY
• COLUMN : FACTORY_ID, FACTORY_NAME, ADDRESS, TLNO
• 테이블 생김새 :

• 풀이문법 :

1. SELECT FACTORY_ID, FACTORY_NAME, ADDRESS
2. WHERE FACTORY_ID
3. 강원도에 위치한을 어떻게 처리할지?

풀이과정

일단 정말 쉽습니다. 하지만 주의할점이 있습니다. 바로 강원도에 위치한인데요 그렇다면 다음과 같이 해야할까요?

SELECT FACTORY_ID, FACTORY_NAME, ADDRESS
FROM FOOD_FACTORY
WHERE ADDRESS = '강원도'
ORDER BY FACTORY_ID asc;

안됩니다. 해당 쿼리는 ADDRESS가 '강원도'인 지역 즉, '강원도' 이 3글자인 ADDRESS를 출력하는 것입니다. 우리가 푸는 문제는 강원도에 위치한 공장이므로 문법 LIKE를 사용합니다. LIKE A%는 A로 시작하는 단어를 출력할 때 사용하는 문법이며 그래서 결과는 아래와 같습니다.

SELECT FACTORY_ID, FACTORY_NAME, ADDRESS
FROM FOOD_FACTORY
WHERE ADDRESS LIKE '강원도%'
ORDER BY FACTORY_ID asc;

2. 중복 제거하기

문제

문제설명

• TABLE : ANIMAL_INS
• COLUMN : ANIMAL_ID, ANIMAL_TYPE, DATETIME, INTAKE_CONDITION, NAME, SEX_UPON_INTAKE
• 테이블 생김새 :

• 문제 :

1. 동물 보호소에 들어온 동물의 이름은 몇 개인지 조회
2. 이름이 NULL인 경우는 집계하지 않으며
3. 중복되는 이름은 하나

• 풀이문법 :

1. COUNT
2. IS NOT NULL
3. DISTINCT

풀이과정

일단 결과를 보고 설명드리겠습니다.

SELECT COUNT(DISTINCT NAME) as COUNT
FROM ANIMAL_INS
WHERE NAME IS NOT NULL

1. COUNT : 집계함수로서 NAME의 개수를 집계합니다. 몇개인지 조회이므로 사용합니다. 그리고 원하는 결과가 COUNT열로 나와야 하므로 집계한 열을 AS COUNT라고 이름지어줍니다.
2. 이름이 NULL인 경우는 집계하지 않습니다. 즉, IS NOT NULL을 사용합니다. NAME IS NOT NULL을 WHERE절에 사용합니다.
3. 중복은 DISTINCT라는 문법을 사용하며 이는 SELECT문에 넣어 활용합니다.

오늘은 LEVEL1 2문제에 대한 풀이를 남겼는데요. 봐야할 함수 목록 잘 보고 가져가시기 바랍니다~~ 감사합니다!

1. 평균일일대여요금구하기

문제

문제설명

• TABLE : CAR_RENTAL_COMPANY_CAR
• COLUMN : CAR_ID, CAR_TYPE, DAILY_FEE, OPTIONS
• 테이블 생김새 :

풀이과정

주의

SELECT ROUND(AVG(DAILY_FEE) 'AVGERAGE_FEE', 1)
FROM CAR_RENTAL_COMPANY_CAR
WHERE CAR_TYPE = 'SUV'

이문법은 오류가 발생합니다 왜일까요? 바로 ROUND함수의 활용입니다. AVERAGE_FEE를 결과에 명시하기 위해 이렇게 출력을 하게 되면 오류가 나는데요 이때는 AVERAGE_FEE를 명시하기 위해 AS 구문을 사용해야합니다.

SELECT ROUND(AVG(DAILY_FEE), 1) AS 'AVERAGEE_FEE'
FROM CAR_RENTAL_COMPANY_CAR
WHERE CAR_TYPE = 'SUV'

AVERAGEE_FEE
93727.3

라는 결과가 나옵니다. 하지만 ROUND함수에서 또 다른 주의점은 자릿수 1이 1자릿수까지 결과가 나온다. 라는 의미라는 점입니다.

결과

SELECT ROUND(AVG(DAILY_FEE)) AS 'AVERAGEE_FEE'
FROM CAR_RENTAL_COMPANY_CAR
WHERE CAR_TYPE = 'SUV'

AVERAGEE_FEE
93727

이렇게 나오면 됩니다!

2. 재구매가 일어난 상품과 회원 리스트 구하기

문제

문제설명

• TABLE : ONLINE_SALE
• COLUMN : ONLINE_SALE_ID, USER_ID, PRODUCT_ID, SALES_AMOUNT, SALES_DATE
• 테이블 생김새 :

USER_ID 가 1인 유저가 PRODUCT_ID 가 3, 4인 상품들을 재구매하고, USER_ID 가 2인 유저가 PRODUCT_ID 가 4인 상품을 재구매

• 문제 :

1. ONLINE_SALE 테이블에서 동일한 회원이 동일한 상품을 재구매한 데이터를 구하기
2. 재구매한 회원 ID와 재구매한 상품 ID를 출력
3. 결과는 회원 ID를 기준으로 오름차순 정렬
4. 회원 ID가 같다면 상품 ID를 기준으로 내림차순 정렬

• 풀이문법 :

1. HAVING
2. SELECT USER_ID, PRODUCT_ID
3. ORDER BY USER_ID ASC
4. ORDER BY USER_ID ASC PRODUCT_ID DESC

풀이과정

SELECT USER_ID, PRODUCT_ID
FROM ONLINE_SALE 
GROUP BY USER_ID, PRODUCT_ID
HAVING COUNT(*) >= 2
ORDER BY USER_ID ASC, PRODUCT_ID DESC

USER_ID    PRODUCT_ID
15    12
119    12

일단 결과는 이렇습니다. 그러면 코드 한줄씩 알아볼게요!

① SELECT 문이 나온다? 그러면 일단 SELECT FROM WHERE를 씁니다. WHERE를 현재 문제에서는 안 썼지만 그냥 써놓고 지우면 돼요^^ 이 문제는 USER_ID와 PRODUCT_ID를 출력하는 것이기 때문에 SELECT USER_ID, PRODUCT_ID를 SELECT문에 적습니다.

② GROUP BY문을 사용했습니다. GROUP BY는 열 이름이 와야하며 우리는 USER_ID가 PRODUCT_ID를 재구매 한 사람을 출력하고 싶습니다. 때문에 이 둘을 GROUP BY해줍니다. 만약 USER_ID만 GROUP BY 해주면 어떻게 될까요? USER_ID별 PRODUCT_ID가 출력될 것입니다.

USER_ID    PRODUCT_ID
2    21
7    1
15    12

다음과 같이 말이죠. 2번 USER가 21번 PRODUCT를 재구매 했다는 의미입니다. 즉, 각 사용자가 얼마나 많은 구매를 했는지에 대한 총합입니다. 하지만 USER_ID와 PRODUCT_ID를 동시에 GROUP BY 해주게 되면 각 사용자별로 특정 제품을 몇 번 구매했는지를 집계해줍니다. 즉, 사용자가 각 제품을 구매한 횟수를 각각 집계하여 반환합니다.

USER_ID    PRODUCT_ID
15    12
119    12

③ HAVING COUNT(*) >= 2는 GROUP BY한 GROUP이 2번 이상 발생하면 출력입니다. 즉, 재구매 이므로 다음과 같은 쿼리를 작성했습니다.

④ 회원 ID가 같다면 상품 ID를 기준으로 내림차순 정렬, 정렬은 ORDER BY 구문을 사용합니다. 먼저 USER_ID로 ASC를 한 뒤 이가 같으면 PRODUCT_ID로 내림차순이므로 ORDER_BY USER_ID ASC, PRODUCT_ID DESC로 적습니다. 항상 '컬럼1 다음 오는 컬럼2는 컬럼1이 같을경우 컬럼2는 이렇다'로 이해해주시면 될 것 같습니다.

오늘은 이렇게 2문제에 대해 리뷰를 남깁니다. 오늘도 읽어주셔서 감사합니다~!

행렬식

정의

행렬이 갖고 있는 양을 뜻합니다. 정방행렬이여야만 하는 조건이 있습니다. 또한 이 수식은 ad-bc인데요~!

계산식

조금 더 이해가 쉽게 계산식을 보겠습니다. B벡터가 3*3으로 정방행렬 형태를 띄고 있으며 det(B)를 구하기 위해 다음과 같은 계산식이 들어가네요

-1은 왜 곱할까?

-1을 곱하는 부분 다들 궁금하시죠? 간단하게 짚고 넘어가겠습니다. 이유 : 행렬식 계산 과정에서 교환에 의한 부호 변화인데 이는 여인자 전개 방식에서 등장한다고 합니다. 그럼 여인자 전개방식이 뭘까요? 여인자 전개방식 : NxN행렬식을 더 작은 (n-1)x(n-1)행렬들의 행렬식으로 표현하는 것입니다. 이 과정에서 특정 행 또는 열을 기준으로 전개할 때 부호패턴을 맞추기 위해 (−1)^i+j과 같은 부호를 사용합니다. 여기서 i와 j는 원소의 행과 열입니다. 그래서 3x3행렬을 계산할 때 다음과 같은 부호 행렬을 사용합니다. 행과 열 번호의 합이 짝수일 때는 양수, 홀수일 때는 음수가 되도록 (−1)을 제곱하는 것입니다.

평행사변형의 넓이

앞에서 행렬식은 결국 행렬의 부피의 크기(volume)을 의미하는데요. 우리가 다음과 같은 벡터A가 있다고 가정해보겠습니다. det(A)는 두 기저벡터 (a,d),(b,c)가 이루고 있는 평행사변형의 넓이를 의미합니다. 왜 평행사변형의 넓이일까요? 바로 행렬식이 선형 변환의 크기 변화 비율을 나타내기 때문입니다. 먼저, 행렬로 선형 변환의 크기 변화 비율을 나타낸다는 말은 2차원의 경우 변환이 적용된 도형의 면적 변화 비율을 나타냅니다. 즉, 행렬식이 나타내는 값은 선형 변환이 주어진 공간에서 크기를 얼마나 늘리거나 줄이는지를 설명합니다.

위 행렬을 통한 선형변환은 한변의 길이가 1인 정사각형을 넓이가 ad-bc인 평행사변형꼴로 바꾼 선형변환입니다. 결국 이 평행사변형의 넓이도 두 벡터가 독립적인지 아닌지 만약 독립이라면 넓이가 0이 될 것이며, 또한 2차원 공간이라는 의미를 지닙니다.

이렇게 두 벡터를 곱해 넓이를 구하고 이런 일을 했다면 반대의 일도 할 것 같습니다. 이 때 나오는 개념이 역행렬인데요!

역행렬

역행렬의 의의

행렬을 통해 시스템을 분석하고 해석하는 데 필수적인 도구로, 선형 방정식의 해를 찾거나, 선형 변환을 반대로 되돌리거나, 데이터 분석에서 모델링 등에 자주 사용됩니다. 수식은 1/det(A)이며, 1/ad-bc이 되겠습니다. 그렇다면 역행렬의 쓰임을 하나씩 알아볼게요!

1. 선형방정식의 해 구하기

AX = B라는 식이 있습니다. 이 때 X라는 해를 구하기 위해 A의 역행렬을 양 항에 곱하여 X = A^(-1)B가 될 수 있습니다.

2. 역변환

벡터에 행렬A를 곱하는 것은 그 벡터를 특정한 방식으로 변환하는 것입니다. 이때 A^(-1)를 활용하면 원래의 벡터로 복원할 수 있습니다. AX = X > A^(-1)A X = X A^(-1)

3. 항등행렬

또한 원래 행렬A에 역행렬을 곱하면 항등행렬 I가 됩니다.

오늘은 역행렬과 행렬식에 대해 알아봤습니다. 내용이 너무 어려워 단어로 작게작게 나누어 핵심만 적었는데 더 깊은 내용은 chatgpt를 활용하시면 좋을 것 같습니다~

감사합니다~!!!^^

링크텍스트

2. 행렬

정의

행렬 : 숫자들을 격자 형태로 배열한 것으로, 주로 데이터나 변환을 표현하는 데 사용됩니다. 행과 열로 구성되며, 각 요소는 행과 열의 교차점에 위치합니다. 행렬은 대괄호로 둘러싸여 있으며, 각 행은 쉼표로 구분되고 각 열은 공백이나 쉼표로 구분합니다. n * p 형태로 n by p라고 읽으며 n을 행, p를 열이라고 합니다.

연산

연산은 파이썬으로 한번 보겠습니다.

import numpy as np

a = np.array([[1,4],[2,3]])
b = np.array([[5,6],[1,7]])

c = a + b
d = a - b
e = a * b
f = a / b 

print(a)
print()
print(b)
print()
print(c)
print()
print(d)

이 코드의 결과는

[[ 6 10]
 [ 3 10]]

[[-4 -2]
 [ 1 -4]]

[[ 5 24]
 [ 2 21]]

[[0.2        0.66666667]
 [2.         0.42857143]]

이렇게 나옵니다.

각 연산에 대한 방법을 알아보도록 할게요!

1. 덧셈 : 같은 자리에 있는 값들끼리 더해졌습니다. [[1+5, 4+6], [2+1, 3+7]]

2. 뺄셈 : 이 또한 동일합니다. [[1-5, 4-6], [2-1, 3-7]]

3. 곱셈 [[15, 46], [21, 37]]

4. 나눗셈 [[1/5, 4/6], [2/1, 3/7]]

   항등행렬

항등행렬 : 주로 I로 표현하며 행렬의 곱셈에서 곱해도 변화하지 않는 역할을 하는 특별한 행렬입니다. 또한 항등행렬은 정방행렬일 때만 정의되며, 대각선 상의 원소는 1로, 나머지 원소는 0으로 채워집니다. 또한 항등행렬은 역행렬의 기본이 되므로 알아두면 좋습니다

정방행렬

그렇다면 정방행렬은 무엇일까요? 단순합니다. n과p가 동일하면 정방행렬입니다. 또한 a = aT인 경우 정방행렬은 대칭입니다.

전치(T)

n과 p 즉, 행과 열을 바꾼 것인데요. 예를 들어보겠습니다.

위 A는 2(행)*3(열)행렬입니다. 이를 전치하면 3행 2열이 됩니다.

행렬간 곱

A는 2X3행렬, B는 3X2행렬로 서로 곱할 경우 C = (3x3 + -1x6 + 4x2, 3x4 + -2x-1 + 2x3 4x3 + 0x6 + 5x4, 4x4 + 0x(-2) + 5x3) 로 계산할 수 있습니다.

단순한 행렬의 계산에 대해 알아봤습니다. 다음은 행렬식(det(A)와 역행렬에 대해 다음 포스팅에서 마무리해볼게요!)

오늘도 읽어주셔서 감사합니다.

선형대수란?

선형대수학이란 벡터 공간, 벡터, 선형 변환, 행렬, 연립 선형 방정식 등을 연구하는 대수학의 한 분야

라고 합니다! 하지만 너무 방대하고 다 외워야 돼? 이런생각이 드시죠! 그래서 이번 챕터는 그 중 기초들만 훑고 넘어가고자 합니다. 선형대수 파이썬 챕터에서 실습을 하는게 더 중요하니까요!!

선형대수의 필요성

① 주어진 데이터를 어떤 공간에 표현하는 것을 말합니다. ② A대학교 학생의 여러 속성들을 여러 학생들에게 일반화 시키기 ③ 2번의 내용을 행렬로 표현한게 선형대수입니다.

1. 벡터

정의

벡터 : 크기와 방향을 가지고 있는 양의 개념 (크기 + 방향) 스칼라 : 방향이 없는 물리적인 양 (only 크기)

표현과 차원

이렇게 표현하고 v1과 v2를 벡터의 성분이라고 표현하며 다음과 같이 2개의 벡터로 이뤄져 있는 벡터를 2차원 벡터 3개면 3차원 벡터 이렇게 말합니다. 즉, 벡터의 차원은 성분의 개수를 의미합니다.

벡터의 연산

벡터의 연산은 파이썬 코드로 보겠습니다.

import numpy as np

list1 = [1,3,2]
list2 = [5,3,7]
v1 = np.array(list1)
v2 = np.array(list2)
scaler = 5

print(v1)
print(v1 + v2)
print(v1-v2)
print(v1 * scaler)

해당 코드의 결과는 아래와 같습니다.

[1 3 2]
[6 6 9]
[-4  0 -5]
[ 5 15 10]

벡터간 덧셈과 뺄셈은 성분간 덧셈 뺄셈이며, 벡터와 스칼라 곱은 스칼라가 각 성분에 곱해지는 특징이 있습니다.

각각 그래프로 한번 보자면~

벡터의 덧셈

벡터의 곱셈

양의 방향 혹은 음의 방향으로 스칼라 곱만큼 가는 것

이들의 공통점은 위치로 표시된다는 것입니다. 무슨 말이냐~ (a,b,c)처럼 표시된다는 것입니다. 값 3.75이런 것이 아닌 현재 포인트의 위치를 말한다는 것을 꼭 알아주세요!

그렇다면 이렇게 결과가 나왔다면 길이는 어떻게 구할까요?

벡터의 길이

벡터의 길이는 다음과 같습니다. ** x1과 x2를 각각 제곱하고 더한다음 루트! 이것이 벡터의 길이인데요 이건 바로 **피타고라스의 정리입니다! 삼각형 빗변 구하기 공식이죠! 길이를 L, 벡터를 x라고 한다면 벡터 X의 길이는 LX라고 나타낼 수 있습니다. 그러면 이 빗변과 밑변이 이루는 각은 또 무슨 의미가 있을까요?

벡터의 각

벡터의 각은 두 벡터의 관계를 의미합니다! 다음과 같이 A벡터와 B벡터가 있을 때 이 두 벡터가 이루는 각을 theta라고 합니다. 또한 밑변과 빗변이 이루는 관계를 표현한 것이기 때문에 cos(theta)로 구할 수 있습니다. 그러면 cos(theta)의 그래프는 어떻게 생겼을까요?

그래프는 다음과 같습니다. 원형으로 표시한 부분이 cos(theta)값이 0이 되는 부분으로 theta의 각은 90, 270도 입니다. 반면 0도, 180도 인 부분은 cos(theta)의 값이 1인 것을 확인할 수 있습니다.

수식 cos(theta)는 X와 Y의 곱을 X의 길이 * Y의 길이로 나눈 값입니다.

이들이 갖고 있는 의미는 무엇일까요? 중간 요약을 봅시다.

요약

1. 벡터는 방향과 크기를 갖고 있습니다.
2. 두 벡터가 있을 때, 두 벡터가 서로 같은 방향을 바라 보면 관계가 있다라고 표현할 수 있고 90도 그 이상의 각도로 벌어질 경우 관계가 없다라고 표현할 수 있습니다.
3. 두 벡터가 있을 때 두 벡터의 덧셈으로 구해진 선은 피타고라스의 정리로 구할 수 있습니다. 그것을 LX라고 표현했습니다.
4. 이 빗변이 밑변과 이루는 각을 theta라고 했을 때, theta의 각도에 따라 cos(theta)의 값이 달라집니다. theta의 값이 예각일 경우 두 벡터는 관계가 있다. 둔각일 경우 관계가 없다. 직각일 경우 서로 독립적이다 라고 표현할 수 있습니다.
5. 2개의 벡터가 이루는 각은 theta이며, 이 값은 cos(theta)로 구하는데 cos(theta)의 결과는 -1 ~ 1입니다. 0은 관련이 없다 1은 관계가 있음을 의미합니다.
   

즉, 두 벡터가 얼마나 관련이 있지?를 표현하고자 하는 것이라고 할 수 있을 것 같습니다.

벡터의 내적(두 벡터의 연관성을 의미)

정의

두 벡터의 각 성분을 곱하고 그 결과를 모두 더하는 연산 두 벡터 a와 b가 이루는 각이 (𝜃)일 때 즉, 두 벡터의 크기와 이루는 각의 코사인 곱을 통한 연산 하지만, 결과는 스칼라

특징

① 유사도 측정 : 두 벡터가 비슷한 방향을 가지고 있을수록 내적 값은 크고, 서로 다른 방향을 가지고 있을수록 내적 값은 작아집니다. ② 투영 : 벡터 내적은 한 벡터를 다른 벡터 방향으로 투영한 길이를 계산하는 데 활용 ③ 역행렬과 선형 시스템: 벡터 내적은 선형 방정식과 역행렬 계산에 사용될 수 있습니다. 선형 시스템의 해를 구할 때 내적은 계수 행렬과 해 벡터의 관계를 표현하는 데 활용

직교(orthogonal)

위에서 cos(theta)의 값이 0일 경우 이루는 각이 90도 라고 했던 부분 기억나시나요? 90도는 직각이라고 말할 수 있고 X와 Y가 직교한다. 라고 표현할 수 있습니다. 두 벡터 X와 Y가 서로 독립이다. 라고 표현할 수 있습니다.

사영 : Y로 설명될 수 있는 X정보량

위에서 내적의 특징 중 2번 기억하시나요? 투영! 바로 Y라는 벡터에 X라는 벡터를 내리 꽂는 기술을 사영이라고 합니다. 사영이 이뤄지기 위해서는 예각이어야 합니다. 왜 일까요? 90도 이상의 각도로 벌어지면 사영되는 각이 안나오기 때문입니다. 즉, theta가 90보다 작아야 사영이 이루어지며 theta의 크기에 따라 정보량이 달라진답니다.

(가) 그래프와 (나) 그래프의 각도 차이가 보이시나요? A벡터가 X, B벡터가 Y라고 했을 때, 각도에 따라 정보량이 달라집니다. (나) 그래프가 가지고 있는 정보량의 의미가 더 작음을 알 수 있어요! 이 말은 Y로 설명될 수 있는 X정보량이 작다를 말합니다.

5줄 요약

1. 벡터는 방향과 크기를 갖고 있으며, 스칼라는 크기만 갖고 있다.
2. 두 벡터의 각으로 방향성을 볼 수 있으며 이 방향성은 관계성을 말하고 방향이 같을수록 즉, 각이 작을 수록 관계가 깊다고 표현할 수 있다.
3. 관계가 깊을수록 Y로 설명될 수 있는 X정보량이 많음을 의미하고 이를 사영이라고 말한다. 정보량이 많을수록 theta의 값은 작고 예각일 때 이는 돋보인다.
4. theta의 각이 0혹은180일 때 cos(theta)의 값은 1이고 90,270일 때 값은 0이다. 값이 0일 때 두 벡터가 서로 독립이라고 표현한다. 이를 직교라고 말했다.
5. 내적은 중요하다!

오늘도 읽어주셔서 감사합니다. 다음은 2탄 행렬로 찾아뵐게요!

데이터 정규화란?

데이터 정규화란 무엇일까요? 머신러닝에 사용되는 데이터는 그 값이 너무 크거나 작지 않고 적당한 범위에 있어야 모델의 정확도가 높아집니다.

아래 수식처럼 변수 x의 원래 값에서 x의 최솟값을 뺀 값을 x의 최댓값과 최솟값의 차이로 나눈 값으로 계산할 수 있습니다.

▶ 언제 사용할까?

ex) a : 하나의 x변수가 금액을 나타내는 변수 0 ~ 20000원 b : 하나의 x변수가 거리를 나타내는 변수 1 ~ 2000km 로 주어질 경우 이 변수를 동일한 크기(단위)인 01사이로 변환하는 것입니다. 하지만, 기호에 따라 110까지 스케일링을 해도 괜찮습니다. 원하는 범위를 지정하여 스케일링할 수 있습니다.

▶ 특징

① 정규화를 통해 변수들을 일정범위 내로 좁혀 평등한 범위 내에서 관찰 및 학습 가능 ② 하지만 minmax scaler는 0 ~ 1 같은 분류문제에서는 효과가 좋지 않고 회귀문제 해결 시 더 적합한 스케일링 방법

▶ 실습

*minmaxscaler : *데이터의 값을 0~1사이로 정규화 시키기 위해 minmaxscaler를 활용합니다. (만약 음수가 있을경우 -1 ~ 1사이로 변환해줍니다.)

c = titanic_df[['Age', 'Fare']]

from sklearn.preprocessing import MinMaxScaler

scaler = MinMaxScaler()

train_minmax = scaler.fit_transform(c)
train_minmax

titanic 데이터의 age와 fare를 활용해 예시문을 작성했습니다. minmax scaler는 sklearn에서 import를 해와야 하며 fit_transform() 함수를 활용하여 scaling시켜줍니다.

pd.DataFrame(train_minmax, index = c.index, columns = c.columns)

이후에는 해당 코드를 통해 데이터프레임 형태로 만들어주면 결과는

다음과 같이 나오게 됩니다.

5줄 요약

1. minmax scaler는 0~1사이로 값의 범위를 평등하게 해주는 것

2. 분류문제 해결 시는 효과적이지 않지만 회귀문제에서는 효과적

3. 실제로 데이터를 여러 개 불러와서 분석을 진행할 때 많이 썼던 정규화방법

데이터 스케일링

데이터 스케일링이란 서로 다른 변수의 값 범위를 일정한 수준으로 맞추는 작업을 얘기합니다. 그리고 또한 해당 작업은 값을 조정하는 것이기 때문에 수치형에만 적용을 해야합니다!

언제 사용할까?

ex) X1은 값이 0~100사이 X2는 값이 1000 ~ 10000사이 Y는 1000 ~ 10000사이라면 X1은 Y에 큰 영향을 안 끼칠 수 있습니다. 이 때 모든 값들을 동일한 범위내로 만들어주고 싶을 때 스케일링 작업을 해준다고 생각하시면 좋을 것 같아요!

여기에는 표준화와 정규화 방법이 있는데 각각에 대해 한번 보겠습니다.

🟢 표준화 : 평균을 0, 표준편차를 1로 변환하여 데이터를 조정하는 것을 의미 🔴 정규화 : 데이터를 특정범위로 변환하여 범위를 일치시키는 작업을 의미

그렇다면 데이터 스케일링 中 🟢표준화에는 어떤 종류가 있을까요? 한번 종류별로 알아봅시다!

표준화

※ Standard Scaler

첫번째는 가장 많이 사용되는 Standard Scaler입니다. 해당 식은 Z표준화라고 하는 식이며, 스탠다드 스케일링은 가장 많이 사용되는 표준화 방법 중 하나인데요.

사이킷런 데이터셋 중 load_breast_cancer 데이터를 활용해 간단한 표준화 예시를 들어볼게요!

예시 : load_breast_cancer

from sklearn.datasets import load_breast_cancer

cancer = load_breast_cancer()

caner 변수에 데이터를 로드합니다.

data = pd.DataFrame(data = cancer.data, columns = cancer.feature_names)

data['target'] = cancer.target
data['target']

data

데이터프레임형태로 바꿔준 뒤, 각 컬럼들에 대한 시각화를 해봤는데요 주로 이러한 형태를 지닌 그래프인데요. 이를 표준화를 하면

다음과 같습니다. 변화를 아시겠나요? y축이 평균이 0을 기준으로 표준화된 것을 볼 수 있습니다. 파이썬에서 표준화를 하기 전 주의사항이 있습니다. 바로 fit을 진행해야한다는 것인데요!

from sklearn.preprocessing import StandardScaler

# StandardScaler 인스턴스 생성
std = StandardScaler()

# 먼저 fit을 통해 데이터를 학습시킴
std.fit(data[['mean radius']])  # 데이터는 2D 형태로 전달되어야 함

# 데이터를 변환하여 표준화
r = std.transform(data[['mean radius']])

# 결과 출력
plt.plot(r, color = 'red')

다음과 같이 fit을 한 뒤, 이를 표준화시켜줘야 합니다.

실제로 스케일링을 했을 때와 안 했을 때 모델의 성능 또한 다른데요

X_train, X_test, y_train, y_test = train_test_split(cancer.data, cancer.target, test_size = 0.2, random_state=42, shuffle = False)
dtc = DecisionTreeClassifier()
dtc.fit(X_train, y_train)
print('모델 정확도 : ', round(dtc.score(X_test, y_test), 4))

스케일링을 안 했을 때의 결과는

했을 때의 결과는

from sklearn.preprocessing import StandardScaler

std = StandardScaler()
std.fit(X_train)
X_train_scaled = std.transform(X_train)
X_test_scaled = std.transform(X_test)
dtc.fit(X_train_scaled, y_train)
print('모델의 정확도 :', round(dtc.score(X_test_scaled, y_test), 4))

다음과 같습니다 > 성능 차이가 보여지나요? 또한 각각에 대해 히스토그램 시각화를 진행하게 될 경우 평균 0을 기준으로 1~4 시그마 정도씩 그래프가 그려지는 모습을 볼 수 있습니다.

5줄 요약

1. 표준화는 평균 0, 표준편차 1의 범위로 데이터를 표준에 맞게 통일시키는 것

2. 데이터마다 값이 다르기 때문에 y축, 즉 값을 일정범위에 일치시켜주고 싶을 때 사용

3. 모델을 학습시키기 전에 사용을 하며 범위가 비슷하면 모델이 학습을 할 때 더 잘 할 수 있기에 이를 활용한다.

4. data[['mean texture']]와 같이 2차원 형태의 구조에서 활용가능하다.

5. 반드시 fit을 해준 뒤, 활용해야한다.