haeun_71.log

[2024.5.2] SQL_문제풀이1

Thu, 02 May 2024 10:27:11 GMT

문제 1. AWS RDS (MySQL) 에 프로젝트 관련 Database 를 생성하고, 접근 가능한 사용자 계정을 생성하세요.

Database Name : oneday
User Name / Password : oneday / 1234

제출 1.

Database 생성문 조회 결과 : SHOW CREATE DATABASE oneday;
- 사용자 권한 확인 결과 : SHOW GRANT FOR ‘oneday’@‘%’

# oneday 라는 이름의 DATABASE 만들기 #한글과 이모티콘 포함
CREATE DATABASE oneday DEFAULT CHARACTER SET utf8mb4;

# oneday라는 이름의 유저 만들기 # % = 외부에서 접근한다는 뜻
CREATE USER 'oneday'@'%' identified by '1234';

# 접근 가능 권한 부여
GRANT ALL ON oneday.* to 'oneday'@'%';

# 확인
SHOW GRANTS FOR 'oneday'@'%';

문제 2. 스타벅스 이디야 데이터를 저장할 테이블을 다음의 구조로 생성하세요.

# DATABASE 사용
use oneday;

# TABLE 생성 1
CREATE TABLE COFFEE_BRAND
    -> (
    ->  id int NOT NULL AUTO_INCREMENT PRIMARY KEY,
    ->  name varchar(10)
    -> )
    -> ;

# 확인
DESC COFFEE_BRAND;

mysql> DESC COFFEE_BRAND;
+-------+-------------+------+-----+---------+----------------+
| Field | Type        | Null | Key | Default | Extra          |
+-------+-------------+------+-----+---------+----------------+
| id    | int         | NO   | PRI | NULL    | auto_increment |
| name  | varchar(10) | YES  |     | NULL    |                |
+-------+-------------+------+-----+---------+----------------+


# TABLE 생성 2
# 위도경도 양식 참고
 CREATE TABLE COFFEE_STORE
    -> (
    ->  id int NOT NULL AUTO_INCREMENT PRIMARY KEY,
    ->  brand int NOT NULL,
    ->  name varchar(32) NOT NULL,
    ->  gu_name varchar(5) NOT NULL,
    ->  address varchar(128) NOT NULL,
    ->  lat decimal(16,14) NOT NULL,
    ->  lng decimal(17,14) NOT NULL,
    ->  FOREIGN KEY (brand) REFERENCES COFFEE_BRAND(id)
    -> );

# 확인
DESC COFFEE_STORE;
+---------+----------------+------+-----+---------+----------------+
| Field   | Type           | Null | Key | Default | Extra
 |
+---------+----------------+------+-----+---------+----------------+
| id      | int            | NO   | PRI | NULL    | auto_increment |
| brand   | int            | NO   | MUL | NULL    |
 |
| name    | varchar(32)    | NO   |     | NULL    |
 |
| gu_name | varchar(5)     | NO   |     | NULL    |
 |
| address | varchar(128)   | NO   |     | NULL    |
 |
| lat     | decimal(16,14) | NO   |     | NULL    |
 |
| lng     | decimal(17,14) | NO   |     | NULL    |
 |
+---------+----------------+------+-----+---------+----------------+

문제 3. Python 코드로 COFFEE_BRAND 데이터를 다음과 같이 입력하고 확인하세요.

제출 2.

Table 생성 결과 : Desc COFFEE_BRAND; Desc COFFEE_STORE; 제출 3.
COFFEE_BRAND 조회 결과 : SELECT * FROM COFFEE_BRAND;

# VSCode에서 진행
import mysql.connector

conn = mysql.connector.connect(
    host= 'localhost',
    user= 'oneday', 
    password= '1234',
    database= 'oneday'


#select 할거기 때문에 buffer 줌
cursor = conn.cursor(buffered=True) 


#제대로 됐는지 데이터 가져와서 확인
cursor.execute('DESC COFFEE_BRAND')
result = cursor.fetchall()

for row in result:
    print(row)


# 확인
('id', 'int', 'NO', 'PRI', None, 'auto_increment')
('name', 'varchar(10)', 'YES', '', None, '')
)


# 미션수행
cursor.execute("INSERT INTO COFFEE_BRAND (name) VALUES ('STARBUCKS'), ('EDIYA')")


# select 로 확인
cursor.execute('SELECT * FROM COFFEE_BRAND')
result = cursor.fetchall()

for row in result:
    print(row)


# 결과
(1, 'STARBUCKS')
(2, 'EDIYA')

문제 4. 스타벅스 페이지에 접근하는 코드에서 팝업창이 없는 경우, 팝업창을 닫는 코드에서 에러가 발생합니다. 예외처리 해서 에러 메시지를 출력하고 실행이 중단되지 않도록 수정해주세요.

# 기존
# driver.find_element_by_css_selector('.holiday_notice_close a').click()


# 팝업창 닫기 오류코드 수정

from selenium.common.exceptions import NoSuchElementException

try: #팝업이 있는 경우
    driver.find_element_by_css_selector('.holiday_notice_close a').click()

#없는 경우
except NoSuchElementException as e:
    print(e)

24.04.19 실습_주유소데이터분석

Fri, 19 Apr 2024 11:10:14 GMT

1. 페이지 접근

url = 'https://www.opinet.co.kr/searRgSelect.do'
driver = webdriver.Chrome("../driver/chromedriver.exe")
driver.get(url)

2. 서울 고정

seoul = driver.find_element_by_css_selector('#SIDO_NM0 > option:nth-child(2)')
seoul.click()

3. 구별 선택

gu_list_raw = driver.find_element_by_css_selector('#SIGUNGU_NM0') #부모태그
gu_list = gu_list_raw.find_elements_by_css_selector('option') 
gu_names = [option.get_attribute('value') for option in gu_list if option.get_attribute('value')] #if문은 공백제거역할

import pandas as pd #최종저장
import time
import googlemaps

gmaps_key = "AIzaSyC-aSVFR4qL3Jphc-MVw4Nmv_5YkjzQ7_k"
gmaps = googlemaps.Client(key=gmaps_key)

datas = []

#전체 구 가져오고, 개수에 맞게끔 순환
for i in range(len(gu_names)):
    gu_selecter = f'#SIGUNGU_NM0 > option:nth-child({i+2})'
    driver.find_element_by_css_selector(gu_selecter).click()
    station_items = driver.find_elements_by_css_selector('#body1 > tr') # 주유소 목록

    for idx in range(len(station_items)):
        detail_selector = f'#body1 > tr:nth-child({idx+1}) > td.rlist > a'
        driver.find_element_by_css_selector(detail_selector).click()
        #title = driver.find_element_by_css_selector('.header #os_nm').get_attribute('innerText') 
        #print(f'{v} 주유소 이름: ', title)
        #time.sleep(0.5)
        # 메인 데이터 수집

        name = driver.find_element_by_css_selector('.header #os_nm').get_attribute('innerText')
        gasoline = driver.find_element_by_css_selector('#b027_p').get_attribute('innerText')
        diesel = driver.find_element_by_css_selector('#d047_p').get_attribute('innerText')
        address = driver.find_element_by_css_selector('#rd_addr').get_attribute('innerText')
        brand = driver.find_element_by_css_selector('#poll_div_nm').get_attribute('innerText')
        cwsh_yn = 'N' if '_off' in driver.find_element_by_css_selector('.service #cwsh_yn').get_attribute('src').split('/')[-1] else 'Y'
        lpg_yn = 'N' if '_off' in driver.find_element_by_css_selector('.service #lpg_yn').get_attribute('src').split('/')[-1] else 'Y'
        maint_yn = 'N' if '_off' in driver.find_element_by_css_selector('.service #maint_yn').get_attribute('src').split('/')[-1] else 'Y'
        cvs_yn = 'N' if '_off' in driver.find_element_by_css_selector('.service #cvs_yn').get_attribute('src').split('/')[-1] else 'Y'
        sel24_yn = 'N' if '_off' in driver.find_element_by_css_selector('.service #sel24_yn').get_attribute('src').split('/')[-1] else 'Y'

        try: 
            driver.find_element_by_css_selector('#self_icon').get_attribute('alt')
            is_self = 'Y'

        except:
            is_self = 'N'


        # 구, 위도, 경도 한꺼번에 하겠음. sql할 때 한 코드안에 있어야 편함
        address = driver.find_element_by_css_selector('#rd_addr').get_attribute('innerText')

        #gu
        gu = address.split()[1]

        #lat, lng #주소값으로 검색함
        tmp = gmaps.geocode(address, language='ko') 
        lat = tmp[0].get('geometry')['location']['lat']
        lng = tmp[0].get('geometry')['location']['lng']

        datas.append({
            'name': name,
            'address': address,
            'brand': brand,
            'is_self': is_self,
            'gasoline': gasoline,
            'diesel': diesel,
            'car_wash': cwsh_yn,
            'charging_station': lpg_yn,
            'car_maintenance': maint_yn,
            'convenience_store': cvs_yn,
            '24_hour': sel24_yn,
            'gu': gu,
            'lat': lat,
            'lng': lng
        }) #위에서 변수로 찍어주고, 밑에서 이렇게 써주는게 유지보수가 편함. 위에서만 수정하면 반영됨

        time.sleep(0.2)
    time.sleep(0.5)

driver.quit()
df = pd.DataFrame(datas)
df.tail()

df.info()

csv 파일로 저장

import datetime
now = datetime.datetime.now()
nowDate = now.strftime('%Y%m%d')

df.to_csv(f'./oilstation_oneday_{nowDate}.csv', encoding='utf-8')

csv 파일 읽기

thousand=',' 로 하면 ,를 지우고 데이터타입을 int타입으로 인식함

stations = pd.read_csv('./oilstation_oneday_20240419.csv', encoding='utf-8', thousands=',', index_col=0)
stations

3. 주유소 정보 시각화

한글 설정

import matplotlib.pyplot as plt
import seaborn as sns
import platform
from matplotlib import font_manager, rc

get_ipython().run_line_magic("matplotlib", "inline")

f_path = r"C:\Windows\Fonts\NanumGothic.ttf" #tab
font_manager.FontProperties(fname=f_path).get_name()

rc("font", family="NanumGothic")

휘발유를 boxplot으로 그리기(seaborn 이용)

plt.figure(figsize=(12, 8))
sns.boxplot(x='is_self', y='gasoline', data=stations, palette='Set1')
plt.grid(True)
plt.show()

휘발유 브랜드 별 비교

plt.figure(figsize=(12, 8))
sns.boxplot(x='brand', y='gasoline', hue='is_self', data=stations, palette='Set1')
plt.grid(True)
plt.show()

휘발유 구별 비교

plt.figure(figsize=(18, 8))
sns.boxplot(x='gu', y='gasoline', data=stations, palette='Set1')
plt.grid(True)
plt.show()

4. 지도 시각화

import json
import folium

가장 비싼 주유소 10개

stations[['gu', 'name', 'is_self', 'gasoline']].sort_values(by='gasoline', ascending=False).head(10).reset_index(drop=True) #내림차순

가장 싼 주유소 10개

stations[['gu', 'name', 'is_self', 'gasoline']].sort_values(by='gasoline', ascending=True).head(10).reset_index(drop=True) #내림차순

[20240209] GPT_Transformer

Fri, 09 Feb 2024 12:50:46 GMT

Transformer

** 가장 핵심적인 아이디어

파란박스 = 입력방법: position encoding : 기존의 RNN에서는 가능했던 순서처리가 안 되는 Transformer : 단순한 병렬처리가 되기 때문에 -> 성능이 좋아짐 -> 속도가 빨라져서 한꺼번에 여러개할 수 있음 : 단점 - 순서를 알 수 없음
빨간박스 = 핵심모듈: (Masked) Multi head attention : self-attention 매커니즘을 이용한 자연어 처리 향상 모듈 1) 왜 self - attention인지 2)key query value = 각각 해서 화살표가 3개 기존에는 key 와 query만 있었음 왜 value값이 들어가고 왜 좋은지?
간단한 참고 도구
(파란부분)성능향상1: skip connection : multihead attention의 output dimension과 input의 크기가 같아야 함
(빨간부분)성능향상2: layer normalization

- transformer

기계번역 task에서 기존의 연구들보다 성능적으로 우수
병렬적으로 처리가 가능한 모델 -> time complexity 감소
이후에 사용되는 Bert, GPT모델에서 일반화에 강점이 있다는 게 확인됨 : 자연어는 데이터의 랩을 얻는게 어렵고 처리하는게 어려움
이번 클립에서는 Transformer의 모듈별로 자세한 메커니즘을 공부
- positional Encoding(Transformer)
왜 필요한가?
자연어 자체가 문장에 순서가 존재. 영어도 순서가 중요.
순서를 고려하기 위한 다른 모델이 필요없음
병렬처리를 해야ㅎ서 느리긴 함

어떻게 줄까?

단어 순서대로 숫자를 카운팅하다보면, : 숫자가 너무 빨리 커져서 weight 학습시 어려움이 있다. : (CNN에서의 initialization method를 생각)
단어 순서대로 숫자를 카운팅후 정규화하면, : 0부터 1사이이므로 학습 weight는 안정적. : 그런데 두번째 단어는 같은 값을 할당해야하는데 단어의 길이가 다를 경우 값이 변함. : 처리가 힘들고, 길이에 마다 성능이 천차만별일 수 잇음
단어 순서대로 벡터로 표현할 경우? : 가변적인 길이에 상관없이 같은 벡터 할당 가능 : 단어 순서끼리의 거리가 달라진다
연속함수이며 주기함수인 sin과 soc를 이용하자
0부터 250까지 포지션 250까지 가다보면 훨씬 프리퀀시가 낮음 : 차원은 128 = 벡터의 차원에 따라서 진동수가 줄어든다
p = 포지션 i = depth wk = 진동수 2k = 포지션의 길이

= 이렇게 복잡한 방법이 각도를 기준으로 상대적인 거리가 같게 만들어준다

요약 : 기존의 RNN방법과는 달리 위치 정보를 얻을 수 없는 Transformer의 input embedding : 이를 해결하기 위해서 positional Encoding을 사용

- multi-head self-attention(Transformer)

key, quary, value attention을 기반으로
scaled Dot-product attention을 사용함

예) I am a teacher

teacher는 am 과 i와 연관이 있을 것이다
am과 i가 연관이 되는 근거는 서로 다르다

INTRO

문장을 이해할 때 각각의 단어는 서로 영향을 끼친다 = attention
그 강도는 다르다 = key value quary key값이 어떤 의미를 가지냐. 주어나 동사 등에 따라 value값에 더해줌. : 문장구조상 목적어랑 목적보어관계 처럼
연관의 근거는 다 다르다 = multi head

ATTENTION

T번째 ATTENTION스코어는 hidden에 각각의 attention 모듈을 더해줘서, 가장 큰 거에 영향받음
기존의 attention기법의 경우에는 key와 query만 존재
그러나 transformer의 attention의 경우 value까지 존재
문장을 이해할 떄 단어들은 서로 영향을 끼치며 (Attention)/ 그 강도는 다르다(key 또는 value)

-> 이 단어에 대한 벡터는 (Q) 주어진 단어들에 대해 유사한 정도 만큼 (K) 고려하고, 각 주어진 단어들은 V만큼의 중요도를 가진다 ; a는 중요도가 작다는 것.

- 단어에 대한 쿼리 벡터를 곱함. quary(I love you)에 대해 key값을 구하고, value값을 곱해줘서(a는 작고 teacher은 크고) 유사값을 구함

- layer normalization

betch normalization 데이터가 미분값을 구해서 loss값이 가장 낮은 것으로 거쳐갈 때, 데이터 형식을 다 같게 해주기 위해 나옴 크기에 따라 성능이 달라짐. 크기가 크면 의미가 있어서 표준화하면 성능이 좋은데 std가 3이되면 거의 의미가 없음
layer normalization batch별로 가 아니라 feature별로 normalization을 C(채널)이나 H, W등 각각의 feature에 따라

- final

input이 들어가면 embedding을 통해 쿼리가 나오고, position encoding을 해주면 - Q, K, V를 해줘서 Multi head attention을 해주고 - 대신 dimension이 같아야 한다 skip connection을 해줘야하니까 - 거쳐서 나온 걸 layer nomalization을 해주고 - skip connection을 해줘서 최적의 x'k를 뽑아준다

- Transfer learning

- Few show, zero shot learning

- Bear

- GPT-1,2,3

- Hugging face 소개 및 실습

[20240208] GPT_자연어처리기초

Thu, 08 Feb 2024 10:27:41 GMT

Motivation & Direction

많은 부분에서 Transformer라는 모듈을 다루는데 --> GPT & Bert 등장 = positional Encoding, Multi Self-Attention + a = 기계어 번역에서는 좋은 성능을 보이는데, 자연어에서는 레이블을 주기 애매함. 그러나 다양한 Task에 정확한 레이블 없이도 작동 가능하게 하고 싶다!

- 자연어 데이터의 특징

Tabular Dataset = 각각의 데이터 샘플들이 구성하고 있는 features는 독립적이다. = KNN, Linear Regression 의 기초가 되는 데이터셋 구조 = 키, 성별, 몸무게별로 매핑해서, decision boundary를 그어줄 때 0보다 크면 검정색, 작으면 하얀색으로 마킹해주는 모델에서 잘 작동하는 데이터 셋!
이미지 = 이미지 안의 의미있는 정보는 위치와 무관함. 눈이라는 의미는 30px이 그렇게 생겼기 때문에. 한 픽셀은 눈이 아님. = locality라는 정보 = 데이터 셋이 이미 귀납적으로 평향을 갖고 있다는 뜻
자연어 데이터(문장)의 경우 = Translation Invariance 가 적용X (다 같은 석상인데, 위치가 3가지로 달라져도 똑같이 이해하는게 이미지에는 적용되는데, 문장에는 적용 안 됨) = 문장을 구성하고 있는 단어들의 위치가 변해서는 안됨 = 단어들 간의 관계가 중요, 하나의 단어만 바뀌거나 추가돼도 전혀 다른 의미가 됨(나는 미국인을 좋아한다 -> 나는 미국인을 안 좋아한다 = 긍정 -> 부정문)

SUMMERY

Gpt를 구성하는 모델은 transformer에서 가져온 것
Bert, GPT의 경우 특히 자연어 데이터에 특화된 프레임워크
자연어데이터는 단어와 단어들 사이 순서, 관계가 중요
문장이 갖고 있는 문맥을 알고리즘이 이해할 수 있게 하는 게 어렵다

- 자연어 데이터의 토큰화

토큰화할 수 있다= 문장을 의미있는 단위로 쪼갤 수 있다

Character 기반으로 = L e t ' s d o t o k e n i z a t i o n = 문장의 시계열 길이가 너무 늘어남. = 각각의 문자는 의미를 갖고있지않음 -> 결국 단어로 표현해야함
split on spaces(word) = Let's do tokenization! = 경우의 수가 너무 많음 = 사전에 없는 단어가 생길 위험이 큼
split on punctuation = let 's do tokenization!
- hugging face와 같은 대중적 공유 라이브러리가 존재하기 전 개발자들이 각각 토큰화를 임의 진행 = 모델을 다운받아 실행시킬경우 전혀 다른 결과가 나타남. 데이터셋이나 환경에 따라. = 토큰처리 과정에 대해 아는 건 매우 중요

- 언어모델

- 자연어 처리 tesk

하나의 문장을 확률적으로 모델링; 분석한다. = 하나의 문장을 여러개로 나누고, 나눈 토큰들의 결합분포로 문장에 대해 확률계산

나는 사과를 먹었다 w1 / w2 / w3 P(W) = P(w1, w2, w3) = P : 일반적인 문장에 대한 확률.
문장 감정 분석: 맛있는 사과를 먹었다 = P(w1, w2, w3) = P는 긍정적인 확률 가정 = 높아짐 / 맛없는 사과를 먹었다 = 낮아짐
기계어 번역 & Question answering 나는 사과를 먹었다 => I ate an apple P(w'1, w'2, w'3 | w1, w2, w3) = 확률이 높게 나옴 / crush = w'5 P(w'1, w'5, w'2, w'3) = 확률이 낮게 나옴

= 단어가 중요한 이유

나는 ? 을 먹었다 w1 / w2 / w3 : w = 사과 일경우, P(w|w1, w3) >> 0 : w = 식탁 일경우, P(w|w1, w3) ~~ 0 = 조건부 확률

뭘 푸는지 정해놓고, 가장 맞는 모델을 찾는 것

- metric

자연어 처리, 감정분석 = 정량분석은 어렵다. 장 파악하고 접근하기

Text metrics

자연어 처리 모델 기존연구들

context(문맥)이 중요하다 한 -> 사투리 : 단어만 바꾸면 되지만, 한 -> 영어 : 순서, 포맷이 바뀜. = "한 문장을 context를 가진 벡터로 표현하고 싶다"로 접근
기존의 이미지나 tabular 데이터와는 달리 순서가 중요
(문장의 문맥을 하나의 벡터로 표현하기 위해) 인코딩 1) token = 나는 / 사과를 / 좋아한다 2) 숫자로 표현하고 백터화 -> 인코딩해서 입력 -> n차원의 context 벡터가 됨. = 얼마나 의미있는 embeding이 되느냐가 중요
문맥을 알아내는 encoder를 학습했다면, 다양한 task에 적용가능
감정분석, 기계어번역, QA(Question Answer)

예) QA = context라는 긴 문장을 보고, 영어지문풀듯 문제가 나옴. 질문에 정답을 내는 방식으로 진행 = 문맥, Q에 대한 이해가 둘다 필요하고 A를 냄

Recurrent neural networks(RNNs) input이 순서대로 나올 때 - 모델이 output으 두가지로 내뱉음 = Transformer 이전에 사용 = encoder를 거치고 - context becter - decoder를 지나감.
? 문장은 단어들이 순서를 갖고 있다는 것을 알겠다. 하지만 중요한 단어들이 처음 부분에 있다면 정보를 잊어버리지 않을까? = 그래서 번역을 한 문장씩 하는 것. 일반적으로는 2-3문장 지나면 잊어버림.
! 각각의 단어에 대해 attention을 줄 수 있다면 좋겠다 나는 사과를 좋아한다 = I like an Apple = I를 번역할 때는 '나는', apple을 번역할 때는 '사과'에 집중
= attention score을 주고, 전체 문장을 보고 문장 중 중요한 단어에 attention을 줘서, 문장 번역에 도움을 줌 이전문장의 단어가 임베딩된 벡터 hi, 번역할 단어의 임베딩 벡터 hj j는 apple이고, h2hj 스코어가 가장 높아야 한다.

이 열 백터의 값이 나오면, 그 후 softmax함수를 취한다 softmax(score(hj)) = 단어 임베딩 벡터 hj가 어떤 단어와 가장 유사한지를 확률적으로 출력 = 이게 apple이다 = 이전 문장의 벡터들을 보고, 변하지 않는 hj(=apple)과 뭐가 가장 유사한지 확인하는 것 = 한국어 문장 기준이니가 k는 3

정리

= 자연어 데이터의 순차적인 특성을 고려하는 기존 연구들 문장마다의 중요도를 계산해서 attention 모듈을 생각해냄

선형대수 기초

? = 일단. 강의목표는 hihj = 어떤 h1벡터와 hj벡터간의 "유사도"를 의미한다는 걸 아는 것

1) Cos 유사도(각에 대한 것)와 벡터의 내적의 관계 벡터 = []안의 숫자들이 있고 얘들은 순서가 있음 Cos 유사도 가 이렇게 생겼고, 그 안에 '내적'이 있다

   a . b = 벡터의 내적
=  ------
   ||a|| ||b|| = 벡터의 크기

내적의 유사도의 근거가 1)또는 2)인 것!

2) 벡터의 내적과 거리의 관계, KL divergence

distance의 정의: = 거리의 정의에 내적이 있다 = 내적은 유사도

벡터의 내적이 유사도라는 게 가슴으로 이해돼야한다

내적 -> 행렬

행렬과 벡터의 관계 열벡터와 행벡터로 이루어진 것 -> 행렬 m차원의 컬럼벡터가 n개 있다
```
[  가로로 긴  ]  * [ 세로로 긴]
1*n            *     n*1          = 1
```

#### softmax
![](https://velog.velcdn.com/images/haeun_71/post/201a8b14-b63c-4cb7-a9f6-cf29013c5250/image.png)
모든 사건의 확률 다 더하면 1이 나온다
확률은 다 0보다 큼
= 확률의 정의가 깨지지 않게 구현해줄 수 있음
= exponential = 미분이 많이 쓰임.

젠장 괜찮아 한국말이다 살려주세요

[2024.01.03-4] Machine Learning_Preprocessing(2)

Wed, 03 Jan 2024 03:47:59 GMT

- 와인 맛에 대한 분류 : 이진분류

- Pipeline

직접 공부하며 코드를 하나씩 실행해보면 혼돈이 큼 방법1: 코딩스타일바꾸기 (함수위주보다는 클래스 위주) 방법2: sklearn 유저라면 Pipeline기능을 사용

- 하이퍼파라미터

-교차검증

과적합: 모델이 학습데이터에만 과도하게 최적화된 현상. 그로인해 일반화된 데이터에서는 예측 성능이 과하게 떨어지는 현상

과적합 막기 위해 훈련과 테스트 데이터로 분류 심지어, 훈련데이터를 한번 더 분류 = 검증데이터

train 데이터를, k(5개 혹은 3개)
fold cross validation으로 나누고
각각을 검증 = 5번
5개의 평균을 구해서 최종 검증을 정확도로 봄
검증이 끝나면 test 용 데이터로 재검증

지난번 와인 맛 평가에서 훈련용데이터의acc는 72.94, 테스트용 데이터는 71.61%. 누가 결과가 정말 괜찮냐고 물어보면?

- 하이퍼파라미터 튜닝

하이퍼파라미터 순서: raw값 - 특성관찰 - 데이터를 나눔 - 모델을만들고 결과를 보다가 - 하이퍼파라미터(=손으로 스스로 수정해야할 것들)
튜닝대상 결정나무에서 튜닝해볼만한건 max_depth 반복문으로 바꿔가며 테스트해볼 수 있음 근데, 보다 간편하고 유용한 방법이 있다

[2024.01.02] Machine Learning_Preprocessing(1)

Tue, 02 Jan 2024 12:58:19 GMT

- label_encoder

글자를 숫자로, 숫자를 글자로 바꿔줌 label_encoder 불러오고 fit - transform inverse - transform

- min-max scaling = 정규화

x' = x - min(x) / max(x) - min(x)

min = 0이면, x / max(x)가 된다. max = 100으로 나누면 1이 된다. 예) 서울시범죄현황데이터 다룰 때, 1000단위, 1자리로 발생하는 게 있었음. 다 양수니 max로 나눴었음.

- standard scaler = 표준화

표준정규분포 z = X - y(평균) / a(표준편차)

- robust scaler

Xi - Q2 / Q3 - Q1 예) boxplot에서 Q1(1/4지점), Q2(중간), Q3(3/4 지점) = 평균이 아닌 median을 0로 보는 것 50%의 데이터끼리를 나눠준 것

Desicion tree를 통해 와인데이터 분석 https://github.com/PinkWink/ML_tutorial/blob/master/dataset/wine.csv

- 데이터 전처리: min-max scaler, standard scaler

desicion tree는 scaler에 크게 영향받지않음

[2023.12.27] Machine Learning workflow(1) - 타이타닉 생존자 예측

Tue, 02 Jan 2024 11:33:35 GMT

- 성별에 따른 생존률

- 경제력 대비 생존률

- 선실등급별 성별

- 나이별 승객현황

- 나이에 따른 등실별 생존률

[2023.12.22] Tableau for Business Analytics(3)

Fri, 22 Dec 2023 03:52:35 GMT

Date 함수

시계열 분석 때 필수, 외국계 회사에서는 회계연도를 다르게 써서 알아두면 유용

- DATEPART

= 지정한 날짜의 부분을 정수로 반환시켜주는 함수 = 의도치 않았지만 '주문일자' 활용해 차트 만들때마다 활용 중

예) 년(주문일자) 더블클릭 후 계산식 복사
'계산된필드만들기' - 계산식 붙여넣기
필드 복제 - 열선반의 분기(주문일자) 계산식 복사 - 편집 - 계산식 붙여넣기 = 두 필드는 모두 측정값에 포함됨. 데이터파트 함수는 결과값을 정수로 반환.
두 필드를 선택해서 '차원'으로 올려줌 - 우클릭 - '계층- 만들기'
화면에 있는 '주문일자' 빼고, 방금만든 계층 넣기 - 드릴다운 - 연도별 분기가 나옴
계산된 필드에 함수써서 요일을 표현
새 시트 - '주문일자' 드래그해서 행선반 - 불연속형
계산된 피드만들기 - '요일' - IF DATEPART('weekday', 주문일자드래그) = 1 THEN 'SUN' ELSEIF DATEPART('weekday', 주문일자드래그) = 2 THEN 'MON' ELSEIF DATEPART('weekday', 주문일자드래그) = 3 THEN 'TUS' ELSEIF DATEPART('weekday', 주문일자드래그) = 4 THEN 'WED' ELSEIF DATEPART('weekday', 주문일자드래그) = 5 THEN 'THUR' ELSEIF DATEPART('weekday', 주문일자드래그) = 6 THEN 'FRI' ELSE 'SAT' END
'요일' 드래그 - '마크-텍스트' - 요일표현 가능

- DATETRUNC

지정한 날짜 부분 기준으로 잘라내고, 새날짜를 반환하는 함수 -> 새 시트 - '주문일자' 드래그해서 열선반(연속형 년(주문일자)) - '매출' 더블클릭 -> 열 앞의 +버튼 누르면 불연속형과 다르게, 연속형은 그 자리에서 그대로 대체된다. '일'레벨까지 드릴다운 - 더블클릭

DATEPART, DATETRUNC 차이
좌측화면에서 '주문일자' 드래그 - 행선반 '매출' 앞 올리기 - 우클릭 - '날짜부분을 일'로 변경

- DATEDIFF
날짜란의 차이를 구해주는함수
예) 각 제품별 배송까지 걸리는 기간 만들기
새 시트 -'주문번호' 더블클릭 - '주문일자'를 주문번호 뒤에 넣고(주문일자-불연속형) - '배송일자'도 동일하게
'계산식필드' - 배송까지 걸린 기간 - DATEDIFF('day', 주문일자드래그(시작), 배송일자드래그(끝))
필드 드래그 - '마크-텍스트'
주문번호 하나에 여러 제품이 포함돼있어 제품별 배송기간이 다를 수 있음. 제품명 추가해야 정확한 기간이 나옴
'제품명' 드래그 - 행의 '주문번호' 뒤에 붙여줌 - 경고창뜨면 모든맴버선택

- 날짜함수

MTD(Month to day), QTD(querter ~ ), YTD(year ~) = 연 분기 월의 시작일로부터 특정일까지 합계매출을 볼 때 사용 = 합계로 보는 이유? 현재 기준에서 목표대비, 작년대비 성장률을 보기 위함

- MTD

예)
'매개변수만들기' - 'date', 날짜유형: 날짜, 2019년 12월 18일
우클릭 - '매개변수표시'
'주문일자' - 행선반으로 드래그 - '주문일자-불연속형'
'매출' 더블클릭
매개변수를 동쪽으로 만들어주기 위한 계산식
'계산된필드' - F_MTD - DATEDIFF('month', 주문일자드래그, 메개변수드래그') = 0 AND DATEDIFF('day', 주문일자드래그, 매개변수드래그') =0
필드 드래그 - 필터 - 참만 가져오기
첫번째 조건인 같은 달에서, 두번째 조건인 매개변수의 날짜기준과 이전날짜까지만 가져오게 됨
방금만든 시트의 이름을 MTD로 변경 - 복제 - QTD
F_MTD 복제 - QTD로 이름 수정 - 'month대신 'querter 입력'
드래그해서 F_MTD위로 올리기
시트 QTD - 복제 - YTD
F_QTD 복제 - YTD로 이름 수정 - 'querter 대신 year 입력'
드래그해서 F_QTD위로 올리기
각 시트 열에 있는 불연속형 주문일자 뺴기
대시보드 만들기(1000*500)
차례로 넣고 폰트색상을 바꿔줌 - 값이 표시된 영역 우클릭 - 서식 -빨간색 볼드
테두리 서식 - 테투리 굵게 넣고 - 전체보기
상단에 텍스트 박스 삽입 - '매출 현황판' - 글자 20, 볼드체
오른쪽 매개변수를 바꿔주면 값이 달라짐

LOD(Level Of Detail) 세부수준식

= 필수로 이해하고 사용해야함 = 세부수준에서 데이터 깊이를 결정하고, 집계해 계산하는 방식

{INCLUDE[차원1], [차원2] : SUM([측정값])}

반드시 중괄호 안에 식을 써야하고, 차원과 측정값 사이 :

표현식

- INCLUDE

= 화면에 포함되지 않은 특정 차원을 포함해 결과를 계산

예)
'제품대분류, 매출' 더블클릭 - '계산된필드만들기' - INCLUDE_제품중분류 - {INCLUDE 제품중분류드래그 : SUM (매출드래그) }
더블클릭 -> 제품대분류와 값이 동일하게 나옴 = 중분류에서 집계한 값을 대분류에서 다시 합계로 재집계했기 때문
이해하기 쉽게, 매출과 INCLUDE 제품중분류 필드 집계방식을 합계가 아닌 최대값으로 변경
중간 측정값 '최대(매출)'에서 우클릭 - 합계 - 최대값
합계(INCLUDE)도 동일하게 변경
좌측 'NUMBER OF RECORDS'를 측정값 상단으로 끌어오기
두 값의 차이가 큼. 매출 값이 어떻게 나왔는지 이해할 필요가 있음
시트 복제 - 제품 대분류의 가구만 유지 - INCLUDE 제품 중분류는 빼기
'고객명' 더블클릭 - 내림차순 정렬 - '원하얀'고객만 유지
'주문번호' 더블클릭 - '제품코드 '더블클릭 = 최하위레벨에서 각 RECODE를 확인가능
시트 1로 돌아오기 = 가구의 최대값 매출은 2428개의 주문건수 중 가장 높은 값을 가져온 거라고 볼 수 있음
제품 대분류에서 최대값 INCLUDE가 어떻게 계산된건지 확인
시트 복제 - '매출, RECODE'뺴기
'제품 중분류'를 대분류 옆에 놓고 - 내림차순정렬 = 의자 매출이 5억 2천 = INCLUDE는 눈에 보이지 않지만, 화면에서 보이는 차원에서 더 깊은 차원에서 집계해, 값을 갖고 있고, 지금과같이 화면에서 재집계하면 값을 가져와 계산해줌

- EXCLUDE

= 화면에 포함된 특정 차원을 제외해 결과를 계산

예)
'제품대분류, 중분류' 더블클릭, '마크'에 '매출' 넣기
'계산된필드만들기' - EXCLUDE_제품중분류 - {EXCLUDE 제품중분류드래그 : SUM([매출])}
드래그해서 뷰화면에 넣기 -> INCLUDE와 다르게 값이 중복돼 들어감. = 대분류 안에 있는 중분류의 합계
매출 드래그해서 합계를 보면 EXCLUDE와 값이 같음을 알 수 있음 = EXCLUDE도 값을 백단에서 갖고 있고, 화면에서 표현하는 과정에서 대분류별 합계값 하나만 갖고 있어서 복제해줌. 값을 평균으로 바꿔도 값은 변하지 않음 = 현재화면에 보이는 차원값을 무시하고 집계를 내기 떄문에, 특정 차원을 빼고 재집계할 때 사용할 수 있는 함수
INCLUDE, EXCLUDE는 특정 차원레벨에서 집계를 해줘서 다양한 계산을 할 수 있지만, 크게 활용되지 않음.

- FIXED

= 화면에 상관없이 특정 차원을 고정해 결과를 계산 반드시 중괄호 안에 식을 써야하고, 차원과 측정값

예)
새 시트 - '계산된필드만들기' - Fixed_제품대분류 - { FIXED 제품대분류드래그 : SUM([매출])} = 제품대분류 차원 수준에서 매출의 합계를 만들어준다
필드 복제 - 편집 - Fixed_제품중분류 - { FIXED 제품중분류드래그 : SUM([매출])}
'제품대분류, 중분류' CTRL로 선택 - 우클릭 - '계층-계층만들기-'제품 분류'
'제품분류' 계층 드래그 해서 뷰에 넣고, '매출' 더블클릭
FIXED 두개도 더블클릭 = 제품 대분류는 값이 다 같게 나옴
'제품대분류' 드릴다운 = 중분류 레벨에서 고정해 합계를 계산했기 때문에 중분류는 제대로 나옴. = 대분류는 차원을 고정해서 만드니까 중분류합계에 대한 결과값이 복제돼 표현됨 = INCLUDE, EXCLUDE와 같은 개념.
지난 시간에 사용하던 'EXCLUDE_중분류' 드래그 - 측정값 중 '제품 대분류와 중분류' 사이에 두기
지난 시간에 사용하던 'INCLUDE_중분류' 드래그 - 측정값 중 'FIXED 중분류' 뒤에 두기
값 비교가 잘 되도록, 좌측의 '측정값 이름'을 '마크-색상'에 넣고 - 오른쪽 '색상정렬' 더블클릭 - 'FIXED_대분류 & EXCLUDE_중분류'는 빨 / 'FIXED_중분류 & INCLUDE_중분류'는 파 / 매출은 회색
'마크-측정값' 우클릭 - '측정값 - 합계'
중분류에서 고정된 FIXED 대분류값과, 중분류를 제외한 EXCLUDE값은 동일한 결과값
열에서 '제품 중분류'를 빼면, 합계로 재집계돼서, 표시되는 값은 모두 같아짐
'마크-측정값'- 우클릭 - '측정값-최대값' = 재집계방식을 합계가 아닌 최대값으로 바꿔주면 FIXED_중분류, INCLUDE_중분류는 그 안에서 최대값을 가짐 = FIXED_대분류, EXCLUDE_중분류는 제품 대분류기준의 합계; 하나의 결과값만 존재해서 이전과 동일한 값
실습) FIXED를 사용해 유입시점별 고객매출기여도 알아보기
새시트 - '매출, 주문일자' 더블클릭 - 차트는 막대로 변경
각 연도별 신규 ㅇ유입된 고객이 구매를 일으키고, 다음에도 구매를 하는지, 전체의 몇퍼센트를 차지하는지
처음 구매한 시점을 보기위해 '계산된필드' 생성 - First_구매일 - {FIXED 고객명드래그: MIN([주문일자])}
필드 드래그 -'마크-색상'
행선반 '합계(매출)- 퀵테이블(구성비율) - 다음을 사용해계산(테이블아래로) - 툴바의 마크레이블
고객별 첫 구매일, 두번째 구매까지 걸린 경과
'고객명' 더블클릭, '주문일자' 드래그해서 '고객명'옆(불연속 주문일자)
'FIRST_구매일' 을 '주문일자' 옆에 드래그해서 '불연속형'

--> 두번째 구매일 계산 '주문일자'의 첫번째 구매일은 제외 - '계산된~' -

FIRST_구매일제외 - IIF([주문일자] > [FIRST_구매일), [주문일자], NULL)
크면 주문일자를 가져오고 , 아니면 NULL로 처리

-> FIRST구매일제외'도 'F_구매일'뒤에 넣어줌

[2023.12.21] Tableau for Business Analytics(2)

Thu, 21 Dec 2023 02:11:57 GMT

- 태블로 내장함수

- PRIMARY 함수: 함수 내에 다른 함수가 포함된 함수

- RUNNING(5가지)

RUNNING_SUM = 첫번째행에서 현재행까지 주어진 식의 누계합계를 반환하는 함수 = 퀵테이블 계산으로 간단하게 만든걸 함수로 써서 만들 수 있음
예)
새시트 - '계산된시트만들기' - RUNNING_SUM - RUNNING SUM(SUM([매출]))
더블클릭 - '주문일자'도 더블클릭
툴바 '레이블 선택' - '전체보기'
-> 사이드바 '매출' 드래그 - 행선반 RUNNING_SUM옆에 두기
-> 마우스 우클릭 - '퀵테이블-누계'
RUNNING_AVG = 첫번째행에서 현재행까지 주어진 식의 누계평균을 반환하는 함수
예)
새시트 - '계산된시트만들기' - RUNNING_AVG - RUNNING AVG(SUM([매출]))
더블클릭 - '주문일자'도 더블클릭
툴바 '레이블 선택' - '전체보기'
- RUNNING AVG와 MOVING AVG의 차이?
-> 사이드바 '매출' 드래그 - 행선반 RUNNING_AVG옆에 두기
-> 마우스 우클릭 - '퀵테이블-이동평균' - 2016부터 2018까지 값은 같지만, 2019는 다름
-> 열선반 '주문일자' 우클릭 - '연속형 분기' == RUNNING AVG: 특정기간을 포함한 이전 기간의 모든 매출에 대한 평균값 == MOVING AVG: 특정 기간으로부터 지정한 이전기간까지의 매출의 평균값 즉, 2019년 4분기에 대한 RUNNING AVG: 2016년 1분기부터 2019년 4분기까지의 매출 평균 / MOVING AVG: 2019년 2,3,4분기의 평균을 나타냄 따라서, 이동평균에 사용되는건 RUNNING이 아닌 WINDOW

- TOTAL

= 총합계를 구하는 함수 = 매출비중을 만들 때 주로 사용함. = 퀵테이블에서 비중을 나타낼 때 사용하는 함수 ** TOTAL과 SUM의 차이?

예)
새시트 - '계산된필드' - TOTAL - TOTAL(SUM([매출]))
'제품대분류, 매출, TOTAL, 재품중분류' 더블클릭 == SUM은 차원을 나누면 해당레벨에 맞춰 합계를 다시 구함 == TOTAL은 차원에 영향받지 않고, 화면에 있는 측정값을 총합계로 나타냄

- LOOKUP

= 현재 행을 기준으로 오프셋만큼 떨어진 대상에 주어진 식의 값을 반환

예)
새시트 - '주문일자, 매출' 더블클릭 - 행렬전환
'계산된필드만들기' - LOOKUP_1 - LOOKUP(SUM([매출]), -1) =현재 행에서 -1만큼 떨어진 행의 값을 가져오겠다
'LOOKUP'필드 더블클릭 = 전년도 매출값 = LOOKUP값
좌측'LOOKUP_1' - '편집' - '-1을 1'로 바꿈 = 내년도 매출값 = LOOKUP값
전년도와 매출액 차이를 만들어줄 것
'LOOKUP'필드 우클릭 '복제' - 전년 대비 매출액 차이 - ZN(SUM([매출])) - ZN(LOOKUP(SUM([매출]), -1))
더블클릭
사이드바 '매출' - '마크-세부정보' - 우클릭 - '퀵테이블 - 차이'
필드 드래그 - 측정값 중 '전년대비 매출액차이' 아래로 넣어줌

- WINDOW

= 현재 화면 내에서 해당 식을 반환하는 함수 = RUNNING 함수와 비슷하지만, 특정 범위를 지정해 계산할 수 있다는 점에서 큰 차이

WINDOW_SUM
WINDOW_AVG
예)
새시트 - '매출' 우클릭 - '주문일자' 드래그 해서 열선반에(연속형 분기) - 레이블 표시
'계산된 필드 만들기' - WINDOW_AVG - WINDOW AVG(SUM([매출]), -3,0)
필드 드래그 - 행선반 위 합계(매출) 옆에 두기 = 4개 분기(해당분기로부터 최근 1년) 매출에 대한 평균값을 보여주는 차트 생성
행선반 - 합계(매출) 우클릭 - '퀵테이블 - 이동평균' = 두 값에 차이가 있는 건 범위가 달라서
행선반 - 합계(매출) 우클릭 - '테이블대상편집' - 이전값:3
WINDOW_COUNT
WINDOW_MAX
WINDOW_MIN

- 문자열 함수

= 현재 갖고 있는 데이터 변형시켜 다른 시각에서 인사이트 얻을 수 있음 = 제품 대분류, 중분류값만 있어서 특정 제품이나 브랜드별 성과는 확인이 어려움 = 문자열 함수 사용하면 더 세분화해 다양한 시각에서 인사이트 도출 가능

예) '제품명' 더블클릭
스마트폰이 APPLE만 있는지 다른 종류도 있는지 확인하기 위해 '계산된필드만들기' - CONTAINS - CONTAINS(UPPER(제품명 드래그), 'SMART PHONE')
필드를 '필터'로 드래그 - 참만 보기
브랜드명과 제품을 나눠줌
'계산된피드만들기' - SPLIT_BRAND - SPLIT(제품명 드래그)- SPLIT([제품명], ' ', 1) = 첫번쨰 브랜드명만 가져오게
필드를 행선반 - 제품명 옆에 드래그
SMART PHONE을 가져오기 위해, 띄어쓰기 있는 걸 REPLACE로 변신
'계산된필드만들기' - REPLACE - REPLACE(UPPER([제품명]), 'SMART PHONE', 'SMARTPHONE')
필드 드래그 - 열선반에 놓기
'SPLIT_BRAND' 복제 - 편집 - SPLIT_PRODUCT - LEFT( SPLIT([REPLACE], ' ', 2), 10) = SMARTPHONE, 으로 출력돼서, 왼쪽에서부터 10개만 출력
필드를 행선반에 드래그 - 정상적으로 데이터 가져온 것 확인가능
행선반의 '제품명, REPLACE'빼기
열선반에 '매출' 놓기 - 행열전환
열선반 : SPLIT_PRODUCT, SPLIT_BRAND순으로 재정렬
사이드바 'SPLIT_BRAND' - '마크-색상'
사이드바 '매출' 드래그 - 마크 칸에 놓기 - 우클릭 - '퀵테이블계산 - 구성비율' - '레이블'에 드래그

- RUNNING(5가지)

RUNNING_SUM = 첫번째행에서 현재행까지 주어진 식의 누계합계를 반환하는 함수 = 퀵테이블 계산으로 간단하게 만든걸 함수로 써서 만들 수 있음
예)
새시트 - '계산된시트만들기' - RUNNING_SUM - RUNNING SUM(SUM([매출]))

[2023.12.20] Tableau for Business Analytics

Wed, 20 Dec 2023 03:02:39 GMT

- 퀵테이블 계산

- 누계(각 값을 누적)

예) 각 월별 매출, 누적 매출 함께볼 것 -> '매출' 더블클릭, '주문일자' 열선반으로 놓을 때(연속형 월선택) -> 행에 있는 '매출' ctrl 눌러서 복사 - 차트가 두개 됨 -> 두번째 합계(매출) - 우클릭 - '퀵테이블계산-누계', - 우클릭 - '이중축'

- 차이(계산기준을 지난, 다음, 첫번째 등으로 설정가능)

예)
'매출' 더블클릭 - '주문일자' 열선반에 놓기(연속형 분기)
'차트-막대'로 변경
합계(매출) - 우클릭 - '퀵테이블계산-차이' = 이전분기와의 차이가 나타남
뷰 우측하단에 한개의 값이 null. 맨 앞값은 비교대상 없어서 그럼. 우클릭해서 안 보이게
'합계(매출)' 드래그 - '마크-색상'
예) 새로운 시트
'주문일자' - 행선반에 드래그 - 드릴다운(월까지, 분기는 뺌)
좌측에서 '매출' 더블클릭
마크에 있는 '매출'우클릭 - '퀵테이블계산 - 차이' = 바로 이전 값과 비교해서 차이를 구함
예) 1월과 비교한 각 연도별 차이
- 세모모양표시=델타=테이블로 계산이 됐다는 뜻
마크에 있는 '매출' 우클릭 - '기준-첫번째'
예) 각 연도별 1월과 차이를 구하기
마크에 있는 '매출' 우클릭 - '다음을 사용해 계산 - 패널 아래로'

- 구성

예) 매출합계를 기준으로 각각의 제품 중분류별 매출의 구성배율 구할 것
좌측의 '제품 대분류, 중분류, 매출' 더블클릭
마크에 있는 '매출' 우클릭 - '퀵테이블계산-구성비율' = 전체 드래그하면 1또는 100%
예) 대분류에 속한 제품 중분류에 비중을 만들어줄 것. '가구, 사무기기, 사무용품' 각각의 비중을 100%로 할당해서, 다 합치면 3또는 300%이 나오게 만들것
마크 '매출' 우클릭 - '테이블계산편집-특정차원-제품대분류 해제'
- '테이블계산편집'은 계산방식이 어떻게 되는지 하이라이트로 표시해줘서 직관적 / 차원을 여러개 넣고 행렬을 바꾸면 계산이 틀어져서 '테이블계산편집'에서 차원값을 직접 선택해주는 편 = 노란색영역이 대분류 '가구'에만 해당. 가구에 해당하는 값만 드래그해보면 전체 합이 100%인걸 볼 수 있음
'분석패널 - 총계 - 소계' = 각각 대분류별 총계 퍼센트가 100%로 나옴

- 순위

예)
'제품 대분류, 중분류, 매출' 더블클릭
'마크-합계(매출)' - 세모 - '퀵테이블-순위'
계산방식 변경: 순위매길때 같은 제품대분류 안에 있는 중분류 별 순위
'마크-합계(매출)' - 세모 - '테이블계산편집 - 특정차원 - 제품대분류 해제'
전체 기준 순위를 옆에 추가
'측정값 - 매출' 더블클릭 - 우클릭 - '퀵테이블-순위'
'합계(매출)' 우클릭 - 서식 - '숫자(표준)'
측정값 이름 변경
'마크-합계(매출)(1)' - 드래그 - 좌측사이드바로 - 이름지정'전체순위'
'마크-합계(매출)(2)' - 드래그 - 좌측사이드바로 - 이름지정'제품대분류 내 순위'
좌측 '매출' - 중간의 '측정값'에 넣고 - '매출'에 대한 부분을 내림차순 정렬
'제품대분류 내 순위'를 필터에 넣고 - '1, 3까지만 잡아주고' 확인 = 같은 중분류 상위 3개 품목에 대해 순위, 전체순위, 매출 확인 가능 = 월간리포트 상위10위 베스트셀러 항목 표현가능

- 비율차이, 전년대비 성장률

비율차이 = 측정값들 사이의 퍼센트 차이 혹은 성장률
전년대비성장률 = 같은 월에서 이전년도와 비교한 것
예) 앞에있는 값과 비교해 증감을 퍼센트로 나타냄
좌측 '주문일자' 더블클릭 - 행선반으로 옮기기 - 드릴다운 '월까지, 분기는 뺌'
좌측 '매출' 더블클릭
'마크-매출' - '퀵테이블계산-비율차이'
전년 동월대비 성장률
'매출' 더블클릭 - '퀵테이블-전년대비성장률'
'측정값' 이름 변경 - ctrl 누르고 좌측바로 드래그 - '전년대비성장률' & '전월대비성장률'
- 실무에서는 전년대비성장률(날짜타입이 화면에 있어야 비교가능)보다 비중차이(비교대상만 있으면 됨, 전월과의 대비도 가능해서 자주 씀)를 주로 씀
'2016년 1월 ctrl 6월' - '이 항목만 표시' - 전년대비성장률은 연도를 바라보기 때문에 계산값이 안 나옴, 화면상 비율차이는 6월의 직전월이 1월이니까 그에 대한 값 표시 가능

- 백분위

예) 새로운 시트
좌측 '고객명, 매출' 더블클릭
뷰화면 '고객명 - 아래방향세모 - 필드 - 합계(매출)' = 내림차순정렬
'마크-매출' - 우클릭 - '퀵테이블-백분위수'
일반적으로 상위 n%로 표시하기 때문에 큰값을 0, 작은값은 100으로 변경
'마크-매출' - 우클릭 - '테이블계산편집 - 백분위수, 내림차순'

- 이동평균

평균 구하는 기간을 설정, 그 기간을 수로 나눠줌. = 시험성적 평균 구하는 것과 동일 = 실제 주식데이터에서 많이 씀(5, 20, 60, 120일을 이동평균기간으로)
예)
좌측 '매출' 더블클릭
'주문일자' 드래그 - 열선반 - 연속형 분기
행선반 '매출' 우클릭 - '퀵테이블 - 이동평균' = 연분기 기준 매출에 대한 이동평균 적용 중
좌측 '매출' 드래그 - 뷰화면 축 안에 넣기 - 오른쪽 상단 색상범위 - 이동평균선은 주황색으로
상단 툴바 - '마크레이블표시' = 이동평균 계산방식: 2019년 4분기의 3억4천~은 = 2019년 2분기 3분기 4분기에 대한 평균
평균 구하는 기간 변경
'측정값-합계(매출)(2)' - 우클릭 - '테이블계산편집-이전값:5' = 2019년 4분기는 기존의 3억 4천에서~ 3억만 남음. 2018년 3,4, 2019년 1,2,3,4까지 총 6개의 값에 대한 매출평균 = 이동평균선 = 성과기준

- YTD(year to day)총계

= 해당연도 시작일부터 현재일까지. 특정시점까지의 총계

예)
좌측 '주문일자' 드래그 - 행선반 - 드릴다운(월까지, 분기는 뺌)
'매출' 더블클릭 = 연월기준 매출값이 나옴
'마크-매출' - 우클릭 - '퀵테이블-YTD총계'= 연도내 월별매출이 누적표시
'측정값-매출' 더블클릭 - YTD에 잘 들어갔는지 확인 = 누계와 거의 동일. = 누계: 시간의 흐름에 따라 연속적인 누계합계로 표시 = YTD총계: 연도를 기준으로 연속적인 누계합계 표시
누계, YTD총계 비교
계산되지않은 '마크-합계(매출)' - '퀵테이블-누계;
년바뀌면 새로, 계속 쌓여서 계산 = YTD총계: 누계의 테이블계산을 기준으로 계산방식만 다름. = '누계 - 우클릭 - '다음을~' - 패널(아래로)'

- 통합성장률; 연평균 성장률(Compound Annual Growth Rate)

= 여러 해 동안의 성장률을 평균으로 환산한 것으로, 매년의 성장률을 산술평균(일반적으로 아는 평균)이 아닌 기하평균(복리효과 발휘한 평균)으로 환산한다. = (최종연도값/최초연도값)^(1/연도간격)-1

-> 왜곡이 생김. -> 산업이나 기업의 장기적성장을 위해서는 '기하평균'으로 연평균 성장률을 구해줘야 현실적인 값이 나옴

예) 4년간 연평균성장률
좌측 '주문일자, 매출' 더블클릭
'마크-합계(매출)' 우클릭 - '퀵테이블-통합성장률' = 기하평균 사용한 성장률 = 2019년도 23.7%만 확인하면 됨
'마크-합계(매출)' ctrl 드래그 - 사이드바'연평균성장률'
사이드바 '매출' 더블클릭 - '퀵테이블계산-전년대비성장률'
좌측 아래세모 - '계산된필드만들기' - 이름: 산술평균 - 'WINDOW AVG'(특정필드값 기준 평균값 반환) - 그 뒤에 '중간부분 측정값카드-전년대비성장률' 드래그 해서 괄호안에 넣음'
방금만든 계산된필드를 드래그해서 '측정값-연평균성장률'아래에 넣음 - 서식 - 백분율 = 2019년 기준 연평균성장률과 산술평균값이 다르다는 걸 알 수 있음

- 계산된 필드

- 구성요소 = 모두 새로운 필드를 만들어줌

필드: 데이터 원본에 존재하는 차원이나 측정값을 활용해 새로운 필드를 만듬
연산자: 함수, 필드, 매개변수등을 사칙계산으로 새로운 값을 만듬. 데이터 원본에 있는 차원이나 측정값 사용하지 않고도 상수값을 직접입력해 새로운 값을 만들 수 있음
매개변수: 상수값을 동적인 값으로 변경 최근 한달이나 1년등 필요에 따라 범위를 바꿔볼 때 사용
함수: 데이터 원본의 필드와 태블로 내장함수를 활용해 데이터형태를 바꾸거나 원하는 값을 가져오는데 사용

- 연산자

예)
좌측 '매출' - 드래그 - '마크-텍스트'
'수량, 수익' 더블클릭 = 하나의 측정값 안에 매출, 수량, 수익이 같이 표시됨
- 일반적으로 '주문건수'는 데이터원본에 없는 경우가 많아 별도로 만들어줘야함. 주의할 건, 중앙번호를 단순카운트하면 중복됨. 고유카운트; DISTINCT를 해줘야함. 고객이 여러제품을 한번에 구매했을 경우, 하나의 주문건수에 다수의 제품이 있기 때문에 같은 주문번호로 제품수만큼의 ROW가 DB테이블에 생성됨
'주문번호' - 우클릭 - '만들기-계산된필드' - '주문건수' - COUNTD([주문번호])
한번 주문할 때 발생하는 평균금액 확인위해, 주문건당 단가 추가
왼쪽 상단 아래세모 - '계산된 필드 만들기' -> '주문건당 단가' - '측정값필드- 합계(매출)' 드래그해서 넣고 / '주문건수(이미 COUNTD로 집계된 함수)' 넣어줌
하나의 주문건에 평균적으로 발생하는 구매수량이 얼마인지 확인할 수 있는 필드 추가
왼쪽상단 - '계산된필드만들기' - '주문건당 수량' - '측정값-합계' 드래그 해서 넣고 / '주문건수' 드래그 해서 넣음
수익을 보면 금액보다 수익률로 보는 게 직관적일 듯
'계산된필드만들기' - '수익률' - '측정값-합계(수익)' 드래그 / '매출'
주요 KPI는 다 만들었으니 뷰화면에 넣어줄 것
만든 '주문건수, 주문건당 수량, 단가, 수익률' 드래그 해서 '측정값'에 넣어줌
순서: 매출, 수량 = 합계(데이터원본에 있는 필드이기 때문에 기본방식인 합계로 계산됨) 주문건수, 주문건당 단가, 수익, 수익률 = 집계(집계방식이 계산식에 포함돼있어서 집계로)
측정값 서식 변경 = 수익률이 0으로 나와있음. 현재 매출과 수익은 정수형태. 수익률에 대한 결과값이 소수점으로 나와서 정수형태인 0으로 나오는 중
측정값에 있는 '수익률' 우클릭 - '서식- 숫자형식 - 백분율 - 소수점 2자리'
'주문건당 수량' - '서식- 숫자형식 - 숫자(사용자지정) - 소수점 1자리'
좌측 '주문일자' - 열선반에 넣기 = 작년과 비교해 연간 KPI지표 확인 가능

= 비즈니스를 볼 때 KPI설정해서 보는 게 매우 중요. = 매출이 성장한다고 무조건 좋은 게 아님. 예) 2018년도와 2019년도 매출을 보면 성장했지만, 주문건당 단가/수량/수익률 지표는 오히려 떨어짐 = 개선점 파악가능

- 논리함수

if, case와 같은 함수를 말함. 특정 조건이 참인지 거짓인지 여부 결정가능 태블로에서 가장 많이 쓰는 함수 중 하나 로직 세우는 게 어려운 함수라서, 다양한 상황에서 사용해보는 게 중요
예)
'매출' 드래그 - 열선반
'제품중분류' 더블클릭 - 내림차순 정렬 - 전체보기
'매출' 드래그 - '마크-레이블'
식을 만들어서 매출합계가 2억 이상/미만인 제품 중분류를 색상으로 구분
상단 아래방향세모 - '계산된필드' - '매출 2억 구분' - IF SUM(['매출'] >= 200000000 THEN '2억 이상 매출' ELSE '2억 미만 매출' END
'매출 2억 구분' 필드 드래그 - '마크-색상' - 오른쪽 색상편집 - '이상은 노란색, 미만은 회색으로 설정'
2억기준 참조선 추가
좌측 '분석 - 상수라인 - 테이블' = 입력값=최소값을 기준으로 나옴
선 선택 - '편집 - 값:200M'
IIF함수를 써서 같은 결과값 만들 것
'매출 2억구분' - 우클릭 - '편집 - 계산식 앞에 //를 넣어서 주석처리' - 추가: IIF((SUM(['매출'])>= 200000000, '2억 이상 매출', '2억 미만 매출') = 사용하고자 하는 조건이 한 가지면 IF보다는 IIF를 통해 문장길이 줄이는 걸 추천
IIF보다 더 간결하게 만들어보겠다
좌측상단 '계산된필드' - '매출 2억 구분_TF' - SUM(['매출']) >= 200000000
좌측보면 TF라고 표시돼있음. = 앞서만든 IF나 IIF는 조건 뒤 원하는 문자형태의 값을 입력해줌 = TF 필드는 만든 로직이 참이냐 거짓이냐에 따라 결과가 나옴
만든 TF를 '마크-합계(매출)'위에 올려놓음 = 색상범례가 T/F로 구분됨 = 문자형보다 BOOL이 데이터 처리속도가 빠름

- 매개변수(범위형)

지난 시간 만든 2억구분 차트 활용

예)
상수라인 제거, '색상-매출(2억)' 삭제
상단 - '매개변수만들기 - '이름: 특정 금액 이상, 데이터유형: 정수, 허용가능값: 범위, 최소값: 50M, 최대값: 500M, 단계크기: 최소값복사해서 동일하게'
매개변수 - 우클릭 - '매개변수 표시' = 단독으로 사용할 수 없고, 계산식이나 참조식과 함께 사용해야함
계산식 생성
상단 - '계산된필드 만들기' - '이름: 특정 금액 이상 색상구분' - SUM(['매출']) >= 특정금액이상 매개변수 드래그
'특정금액이상 색상구분'이 BOOL형태라 앞에 TF가 뜸. - '마크-색상'에 드래그 - '색상편집: 노랑, 거짓'
매개변수 조절하면서 값이 달라짐
라인추가
'분석 - 참조선 - 테이블 - 값: 특정금액이상, 레이블: 사용자지정 <값>, 라인: 점선 빨간색, = 값 변화에 따라 색상, 참조선, 참조선 값이 같이 바뀜

- 매개변수(목록형)

= 실무에서 대시보드 제작시 많이 사용 = 외국계회사인 경우 화폐단위가 달라서 필수적으로 사용해야함

예) 원화와 달러기준의 매출 같이 확인할 수 있는 테이블
새로운 시트 - '주문일자, 제품 대분류, 매출' 더블클릭
상단 - '계산된필드만들기' - USD - SUM(['매출']) / 1120
USD를 뷰화면의 매출값이 표시된 영역에 드래그
다른 사람과 같이 볼 경우를 생각해 좀 더 쉽게 화면 구성
상단 - '매개변수 만들기 - 이름: 환율, 허용가능한 값: 목록, 값: 1 - 1120, 표시형식: KRW - USD
매개변수 우클릭 - '매개변수표시'
매개변수는 단독으로 사용이 안 돼서 계산된 필드 추가해서 매출과 같이 묶어줄 것
'계산된필드 만들기' - KRW/USD - SUM(['매출']) / 환율 매개변수 드래그해서 가져오기
KRW/USD 필드를 '측정값' 마지막 아래쪽에 추가 = 합계 매출액 값과 동일하게 표시됨 = 현재는 매개변수가 KRW로 설정돼있음 = 우측에서 바꿔주면 USD로 바뀜

- 매개변수(날짜형)

= 실무에서 대시보드 제작시 많이 사용 = 실무자용 대시보드 만들 때 날짜형태는 from 형태의 매개변수 추가해서 만듬 월이나 분기단위로도 보지만, 특정 이벤트를 진행했을 때 그 기간의 성과를 보기에 유용하기도 함.

예)
새 시트 - '주문일자' 드래그 - 열선반(주문일자 연속형)
'매출' 드래그 - 행선반
- 범위지정
- 아래세모 - '매개변수만들기' - From - 데이터유형: 날짜
'매개변수만들기' - To - 데이터유형: 날짜
둘다 우클릭 - '매개변수표시'
from = 2019.01.01, to = 2019.01.31
계산된 필드와 매개변수를 묶어서 동적으로 만들어주기
아래세모 - '계산된필드만들기' - 날짜선택 - 주문일자 드래그 >= [From] AND 주문일자 드래그 <= [To]
'날짜선택' 필드 - 필터로 이동 - '참'만 표시
행선반 '주문일자' 우클릭 - 불연속형

- 매개변수(복합 매개변수)

= 한 화면에서 다양한 각도로 분석이 필요할 때 복합 매개변수 활용

예) 하나의 차원이나 측정값이 아니라, 여러개를 바꿔가면서 보려는 것. = 차원과 측정값을 각각 매개변수와 엮어서 하나의 필드로 만들 필요가 있다 = 차원은 제품 중분류와 대분류를 바꾸고, 측정값은 매출 수량 수익 할인율을 바꿔서 볼 것
새 시트 - 아래세모 - '매개변수만들기' - 차원 선택 - 허옹가능값: 목록, 값: 1, 2 / 표시형식: 제품 대분류, 제품 중분류
'매개변수만들기' - 측정값 선택 - 허용가능값: 목록, 값: 1, 2, 3, 4 / 표시형식: 매출, 수량, 수입, 할인율
'매개변수' 우클릭 - 화면에 '매개변수표시'
계산된 필드로 매개변수 엮기
'계산된필드만들기' - 차원 필드 선택 - CASE 차원선택드래그 WHEN 1 THEN [제품 대분류] WHEN 2 THEN [제품 중분류] END
'차원필드선택' 드래그 - 열선반
아래세모 - '계산된필드만들기' - 측정값 필드 선택 - CASE 측정값선택 매개변수 드래그 WHEN 1 THEN SUM([매출]) WHEN 2 THEN SUM([수량]) WHEN 3 THEN SUM([수익]) WHEN 4 THEN AVG([할인율]) * 100 END
'측정값필드선택' 드래그 - 행선반, '마크-레이블'
측정값별 단위를 붙여주기
좌측 '측정값필드선택' 우클릭 - '복제'
우클릭 - '편집' - 단위선택 - WHEN 1 THEN '원' WHEN 2 THEN '개' WHEN 3 THEN '원' WHEN 4 THEN '%' END
'단위선택' 필드를 '마크-레이블'에 넣어주기
'레이블' 선택 - '텍스트-편집' - 단위를 측정값 옆으로 붙여줌
매개변수에 따라 시트 명이 바뀌도록
뷰화면 상단 '시트명' 우클릭 - '제목편집' - 현재 이름 지우고, 삽입 - <매개변수차원선택> <매개변수 측정값선택> - 차원선택은 파란색, 측정값선택은 빨간색으로 수정

[2023.12.19] What is Machine Learning(2)

Tue, 19 Dec 2023 02:54:14 GMT

- scikit learn

= 2007년 구글 썸머코드에서 처음 구현 = 현재 파이썬에서 가장 유명한 기계학습 오픈소스 라이브러리

- scikit learn을 이용한 결정나무의 구현

from sklearn.tree import DecisionTreeClassifier

iris_tree = DecisionTreeClassifier()

iris.data
iris.data.shape
iris_tree.fit(=학습해라) (iris.data[:, 2:], iris.target())
= petal length와 width를 구하는 것
= 사람도 이건 강아지야, 고양이야라고 배워서 아는 것 
= 데이터 알려주고, 정답을 주는 것
= 학습 끝

- accuracy 확인

값만 던져주고 예측하라고 시킨 것 = 데이터에서 학습한게 iris_tree = 학습이 완료된 애한테 데이터를 주고

from sklearn.metrics import accuracy_score

y_pred-tr = iris_tree.predict(iris.data[:, 2:])
accuracy_score(iris.target, y_pred_tr)

decisionTree를 이용한 iris 분류

- 과적합

- 지도학습

학습 대상이 되는 데이터에 정답(label)을 붙여서 학습시키고
모델을 얻어서 완전히 새로운 데이터에 모델을 사용해서 '답'을 얻고자 하는 것

머신러닝안에 딥러닝이 포함된다고 하지만, 딥러닝의 규모가 꽤 커졌다.

- mlxtend 설치

sklearn에 없는 몇몇 유용한 기능을 가지고 있다

pip install mlxtend

...

결과를 보여주는 잔기술들(zip과 언패킹)

- 리스트를 튜플로 zip

list = ['a', 'b', 'c']
list2 = [1, 2, 3]

pairs = [pair for pair in zip(list1, list2)]
pairs

==> [('a', 1), ('b', 2), ('c', 3)]

만약 리스트를 다시 a,1 b,2 c,3과같은 튜플로 만들고 싶을 때 = 같은 위치끼리 묶어서 만들어줌

- 튜플을 dict으로

dict(pairs)

- 한번에

dict(zip(list1, list2))

- 풀고싶다면(unpacking 인자를 이용한 역변환)

a, b = zip(*paris)

print(list(a))
print(list(b))

[2023.12.18] What is Machine Learning

Mon, 18 Dec 2023 03:11:21 GMT

- 머신러닝이란?

머신러닝은 명시적으로 프로그래밍하지 않고도 컴퓨터에 학습할 수 있는 능력을 부여하는 학문 = 머신이, 명시적인 프로그램에 의해서가 아니라, 주어진 데이터를 통해 규칙을 찾는 것
(과거 데이터로부터 얻은) 경험이 쌓여감에 따라 주어진 태스크의 성능이 점점 좋아질 때 컴퓨터 프로그램은 경험으로부터 학습한다고 할 수 있음

- 흔히 말하는 머신러닝(딥러닝)의 역사

아더 사뮤엘 : 처음으로 머신러닝이라는 용어 사용 : 체커 게임(1959) - 스스로 학습하는 다양한 파트의 사람들이 자신의 파트에 인공지능을 접목하고자
IBM 딥블루 : 세계 체스 챔피언에게 승리(1997)
DEEPMIND 알파고 : 이세돌에게 4:1 승리(2016)
로젠블롯의 퍼셉트론(1962) : 최초의 인공신경망

- 직접 (머신) 휴먼러닝을 해봅시다

머신러닝이 어떤 것인지, 어떤 절차를 수행하는 것인지 알기 위해

- Iris Classification

아이리스(프랑스의 국화) 분류문제 = versicolor / virqinica / setosa = 꽃잎(petal), 꽃받침(sepal)의 길이와 너비정보를 이용해 3종의 품종을 구분할 수 있을까?

- 데이터관찰(python)

불러오기

from sklearn.datasets. import load_iris

iris = load_iris()

- 뭐가있나?

iris iris.keys() print(iris["DESCR"] (사이킷런으로 받아온 데이터에는 설명이 포함돼있음)

print(iris["target_names"]) ...

#### - 상황파악(머신러닝말고 우리 눈으로)
- 먼저 구분을 위해 iris의 3개 품종의 특성을 먼저 공부해야한다.

#### - pandas
- 데이터를 바로 딥러닝에 적용하거나, sklearn 을 이용한 머신러닝에 적용할 때 꼭 필요한 건 아님
- 데이터를 정리해서 관찰할 때는 아주 유용한 도구가 pandas
- 미국식 농담으로 pandas = 스테로이드 맞은 엑셀

#### - DataFrame으로 만들기

iris_pd = pd.DataFrame(iris.data, columns=iris("feature_names") iris_pd

#### - 품종 정보도 column에 포함

iris_pd["species"] = iris.target iris_pd.head()

#### - 일단 그래프 그리는 모듈 import

import seaborn as sns import matplotlib.pyplot as plt

#### - sepal length(cm)와 species의 관계 -> boxpolt

plt.figure(figsize=(12, 6)) sns.boxplot(x='sepal length (cm)', y='species', data=iris.pd, orient='h');

= 3개가 다 겹치는 부분이 있고, 버지니카 중 하나다 예외값을 가짐


#### - petal length(cm)와 species의 관계 -> boxpolt

plt.figure(figsize=(12, 6)) sns.boxplot(x='sepal length (cm)', y='species', data=iris.pd, orient='h');

= setosa 는 petal이라는 특성을 통해 명확히 구분 가능

#### - pairplot = 전체보기

sns.pairplot(iris_pd, hue='species')

#### - 품종 세개를 구분할 수 있을까?
- petal length로는 setosa 는 가능하다.
대략 2.5보다 작으면 다 setosa로 구분가능

- 몇개의 대이터는 놓치지만 petal width가 1.6정도에서 자르면
-> versicolor = length > 2.5, width < 1.6
-> verginica = length > 2.5, width > 1.6

- 이 내용을 질문(조건문)으로 순차적으로 표현
= Decision Tree라는 알고리즘

#### - 결과가 정확하냐는 질문에 답하기 위해 알고리즘이 등장
- 현재 상황에서는 이것이 최선이라는 근거
가로선이 어디있는게 최선인지 확인해보기
- 다양한 방향으로 진행했을 때의 각각의 차이점에 대한 정량적 수치 제시    

#### Decision Tree
- 조건을 따라 흘러가는 모양새가 직관적으로 알기 좋음
- 스킬 발휘 유무에 큰 차이가 없음
간결하게 설명가능
- 머신러닝 알고리즘 중 딥러닝과 머신러닝 중 머신러닝을 선택했다면, 앙상블 계열의 알고리즘의 기본이 decision tree

#### - 데이터 변경

iris_pd['species'] ==> 0, 1, 2가 나옴

iris_pd['species'] == 0 ==> T, F로 나옴

iris_pd['species'] ! = 0 ==> F, T로 나옴

iris_pd[iris_pd['species'] ! = 0] ==> F 를 다 빼버림 = IRIS 1, 2


#### - 학습을 위해 두개의 데이터에 집중해보자
- 오직 직선으로 나눠야함(수평 혹은 수직)
- 선이 어디있어야 오차가 적을지 고민해야함

= Decision Tree의 분할기준(split criterion)

#### - 정보획득
- 정보의 가치를 반환하는데 발생하는 사전의 확률이 작을수록 정보의 가치는 커진다(=확률적 희소성)
- 정보 이득이란 어떤 속성을 선택함으로써 데이터를 더 잘 구분하게 되는 것

#### - 엔트로피 개념
- 열역학의 용어로 물질의 열적 상태가 점점 차가운 곳으로 진행
= 확률분포(정보)의 무질서나 불확실성을 수치적으로 나타냄.
= 확률들의 합
= 엔트로피가 낮으면 질서 있는 상태, 높으면 무질서한 상태

#### -p \log_{2}(p)
- 엔드토피는 이 확률들의 합이다

import numpy as np

p=np.arange(0.001, 1, 0.001) plt.grid() plt.title('$-p \log_{2}(p)$') plt.plot(p, -p*np.log2(p));

#### - 엔트로피 연습

(두개로 나눠진 것 중 하나를 고를 확률 * (-pi(빨간공 개수) * log2 * pi(파란공개수))

(반대편도 똑같이) ```
- 지니계수
불순도율을 나타냄
엔트로피의 계산량이 많아서 비슷한 개념이면서 보다 계산량 적은 지니계수를 사용하는 경우가 많음
```
예)
1- (6/16)**2 - (10/16)**2
```
= 분할 했을 때 지니계수가 낮을 수록, 분할하는 것이 좋다

- 어떻게 가르는 게 좋은가?

아래서부터 올라오면서 지니계수 계산을 계속함 요즘엔 코딩된게 있어서 frame work로 다들 공유함

[2023.12.15] Tableau(3)

Fri, 15 Dec 2023 12:15:21 GMT

- 다양한 기능활용

- 그룹

실습) 좌측 '시도' 우클릭 - '만들기-그룹' - '경기도, 서울특별시, 인천광역시 - 그룹("수도권") - 기타포함 클릭'
'매출' 더블클릭 - '주문일자' 드래그 해서 '열'에 올려놓기 - '분기(주문일자) 선택 = 분기별로 매출값이 나오고 있음
시도 그룹별 색상으로 구분
'시도(그룹)' 드래그 - '마크-색상' - '막대'로 변경
열선반의 '분기(주문일자)' 우클릭 - '불연속형' = 분기별 간격이 생김
전체보기, 행렬위치 변경
연 기준으로 수도권과 기타지역의 매출비중표시
열 선반 '매출' 우클릭 - '퀵테이블계산-구성비율'
열 선반 '매출' 우클릭 - '다음을 사용해 계산 - 테이블(옆)' = 각각의 분기별로 100%가 맞춰지면서, 분기별 수도권과 기타지역 매출비중이 나옴
비중표시
열선반 '매출'을 CTRL누르고, '마크-레이블'에 넣어줌
'서식' - '패널- 숫자 - 백분율:0'
분기별 수도권매출이 절반을 넘어서는지 보기 위해 상수라인 추가
좌측사이드바 '분석' - '상수라인' 드래그 - 값: 0.5 입력
기준선 잘보이게, 하단의 '매출에 대한 통계'축에서 우클릭 - '참조선 편집' - 라인: 점선, 빨간색
수도권이 강조돼보이도록 색상변경
'마크-색상편집' - '기타' 더블클릭 - '흰색'으로 변경 - '수도권' 더블클릭, 노란색으로 변경 - '테두리 색상'ㅣ 회색
라인이 떠보이면? 뷰에서 우클릭 - '서식' - '라인서식' - '축눈금자' 색상을 통일시키면 됨
그룹편집
좌측 '시도(그룹)' 우클릭 - '그룹편집' - '기타 중 광주, 대구, 대전, 부산, 울산 을 하나의 그룹으로' - 적용
새로운 그룹이 추가됨

- 집합

= 해당되는 집합에 포함되는지? 안되는지?로만 나뉨

'시도' 우클릭 - '집합'선택 - '서울, 경기, 인천' 선택
'시도'집합을 드래그 해서 '마크-색상'에 있는 '시도(그룹)'과 교체
색상변화O. 매출비중에는 영향X
IN - 수도권, OUT - 기타 = 두개그룹을 나눌 땐 그룹, 집합 어느걸 사용해도 문제없음 = 세개 이상의 그룹을 나눠볼 땐, 반드시 '그룹'을 사용해야함

- 결합된 집합

실습) 고객별 매출상위 1~10위의 집합
'고객명' 더블클릭 - '매출' 더블클릭 - '내림차순' 정렬
좌측 '고객명' 우클릭 - '만들기-집합' - '이름: TOP 10' - '상위' - '필드기준: 10'
실습) 고객별 매출상위 1~20위의 집합
좌측 'TOP 10' 우클릭 - '복제' - 우클릭 - '집합 - 편집' - '이름: TOP 20' - '상위' - '필드기준: 20'

- TOP10, TOP20 집합을 드래그 - 상단 '행' 에 넣기 -> 제외한 사람은 OUT으로 표현됨

상위 11~20위까지의 집합 만들기
좌측의 TOP10, TOP20 선택 - 우클릭 - '결합된 집합만들기' - '이름: TOP11~20, 세번째 기준선택'
결합된 집합 드래그 - '행'에 올려놓기
드래그 해서 '필터'에 넣고 - 'IN'만 클릭 - 화면에 표시 = RANK라는 함수를 써서도 동일한 결과획득가능

- 계층

화면에서 드릴다운한 값을 세부적으로 찾는데 유용
지역데이터 기준으로, 동일한 시군구가 있을 때 여러 에러가 발생가능. 상위와 하위 레벨에 대한 계층 만들어주는게 중요
실습)
'매출' 더블클릭 - '제품 대분류' 더블클릭 - 행렬전환, 전체보기
'제품 중분류'를 '행'에 추가 = 대분류와 중분류의 매출 합계를 바꿔가며 확인하는 경우, 계층을 만들어주면 하나의 차트에서 확인가능.
계층만드는 방법 1) 하위개념인 차원필드로 드래그해서, 계층을 만들고자 하는 상위필드위에 올려놓기 예) '제품 중분류'를 드래그해서 '제품 대분류'에 올려줌 2) 계층을 만들고자 하는 차원필드(제품대분류, 제품중분류를 동시 선택) - 우클릭 - '계층-계층만들기'
상단의 '제품대분류'에 -가 생김.
) 계층을 만들지 않아도, 자동적으로 만들어놓는 필드명이 있음.
"날짜형식의 필드" : 년, 분기, 월, 일 형태로 계층이 만들어져있음
'시간이 포함된 날짜형식' : 일 + 시, 분, 초까지 드릴다운 가능 = 대시보드에서 비슷한 유형의 시트를 줄여줄 수 있어서 효율적인 대시보드 만들기 가능

- 맵차트 만들기

실습)
'국가' 필드 앞 'ABC' 선택 - '지리적 역할 - 국가'
측정값부분에 '경도', '위도' 생성됨 + '국가' 필드앞 지구본 모양으로 변경
'국가' 필드 더블클릭. = 우리나라 위치에만 점이 찍힘. 위치값이 우리나라밖에 없음
'시도'필드 앞 부분 데이터타입 선택 - '지리적역할-주/시/도'
'시도'필드 더블클릭 = 우리나라 17개의 시/도가 원으로 찍힘
'시군구'필드 앞 선택 - '지리적역할-시군구'
더블클릭
국가, 시도, 시군구 기준으로 계층만듬 (계층없으면 일부데이터가 누락됨)
상단 아이콘 툴바에서 '시트 지우기'
시군구 더블클릭
우측 하단에 '7개의 알수없는 값이 뜸' - '특수값 - 위치편집 = 동일한 시군구 지역명이 시도에 있기 때문에
시트 지우기
'시군구', '시도'를 각각 행 선반에 넣음
'시도' 우클릭 - '측정값-카운트(고유)'
'시도'값을 '마크-레이블'에 넣음
'시군구' 별 몇개의 시도를 갖고 있는지 카운트해서 보여줌. 두개 이상 = 동일한 시군구가 있다는 것.
레이블에 있는 '시도'를 CTRL로 '필터'에 넣어줌 - '카운트(고유) - 값범위:2'
화면의 '강서구'부터 '중구'까지 CTRL 눌러서 선택 - '이 항목만 유지' - '필터- 시도' 삭제
사이드바의 '시도'드래그 - 행 자리의 '시군구' 옆에 놔둠
시트 삭제 / 계층 생성
'시도'보다 하위인 '시군구'드래그해서 상위레벨인 '시도'에 올려 계층필드를 만들어줌 - 이름: 지도
시군구 더블클릭 = 시군구와 계층으로 묶여 있는 걸 마크에서 볼 수 있듯, 모든 시군구에 대해 정상적으로 매칭됨
지도필드에 '국가'를 드래그 - 지역계층에 '국가, 시도, 시군구'순으로 계층생성
계층확인위해 시트 삭제
'사이드바에서 국가'더블클릭
우리나라에 점 하나 찍히고, '마크-국가'에 +가 생김, 누르면 행정구역 표시, 또 누르면 시군구가 찍힘
시트 생성
사이드바의 '시군구'더블클릭
'매출'드래그 '마크-크기'에 놓고 크기 확대
'수익' - '마크-색상' - 색상선택:불투명도 70, 테두리는 검정 = 각 시군구별 매출이 크고 작은 곳을 볼 수 있음

- 도구설명활용

기존 맵차트 복제 + 새 시트 만들기
새시트
상단의 행에 '제품 대분류, 중분류' 추가
열에 '매출' - 내림차순 - 그 옆에 있는 '마크레이블'달아줌
'수익' - '마크-색상'
도구설명활용 시트
'마크- 도구설명' 클릭 - 세부항목 편집창이 뜸
'수익'아래쪽 클릭 - 상단의 '삽입 - 시트(새로 만든시트) 클릭' - '수익 아래 추가된 정보 중 ""안에 있는 건 수정가능 : 마우스오버했을 때 차트가 좀 더 잘보이게 넓이와 높이 수정하기'
'넓이: 500, 높이: 400'으로 변경
마우스 오버하면 각 지역별 매출과, 제품분류로 지표확인가능

- 필터활용

오른쪽 상단의 '전체- 드랍다운- 선택된 지역만 보고 강조 가능'

기존 맵차트 복제
지역별 영역이 구분되도록, '크기'에 들어가있는 '매출'제거
'마크-차트종류-맵'
맵차트 배경을 위성으로 변경
상단의 메뉴바 '맵' - '배경-위성'
필터 적용
'시도' - '필터-전체선택'
대시보드 1개 생성, 크기:자동
방금만든 시트 넣고, '화살표 아래방향 - 필터 - 시도' 추가
'시도 필터 - 아래방향 - 단일값(드롭다운)
'시도 필터 - 아래방향 - 부동
필터를 원하는 곳에 위치시킬 수 있음.
보고자 하는 지역 선택
줌인되면서 해당지역만 강조됨

- 응용차트 만들기

- 워크클라우드

= 텍스트 데이터를 시각화 = 특정 주제에 대한 연관키워드 파악 = 데이터분석에 있어서는 여러제약이 많지만, 시각적으로 관심을 집중시킬 수 있어서 대시보드에 사용하는 경우가 종종 있음

실습)
'매출', '중분류' - 동시에 '마크'에 넣어줌 = 뷰 화면에 네모모양이 뜸. 마우스 오버하면 각각 제품의 중분류를 나타냄
'마크- 제품중분류' - '레이블'
제품 중분류별 매출크기 표현
'마크-매출' 드래그 - '크기'
'마크에서 차트형태를 텍스트'로 변경
수익에 대한 정보도 색상으로 구분
'수익' 드래그 - '색상'

- 달력형 히트맵

= 실무에서 피드백이 좋음

실습)
'주문일자' 더블클릭
선반위 '주문일자' 우클릭 - '자세히-주번호차' - 행렬변환
'매출' - '마크-텍스트'에 넣어줌
사이드바 '주문일자' 드래그 - '열'선반에 올려놓음 - '요일(주문일자)'로 바꿔줌 - 화면 전체보기
사이드바 '주문일자' - '필터 - 월 - 1월' = 2016년~2019년도 1월 매출의 합계
1년치 매출만 확인
사이드바 '주문일자' - '필터 - 년 - 2019년'
'분석'패널 - '통계' 드래그 - '행총합계(주차별합계)
'매출' ctrl - 색상
차트형태 - 사각형
월별로 매출을 순차적으로 확인하고 싶다면
'필터 - 월주문일자' 우클릭 - '필터표시' - '삼각형 선택 - 단일값(슬라이드) - 오른쪽 방향 클릭하며 확인'

- 대시보드 만들기

= 여러개의 시트를 하나의 뷰로 만들어, 필요에 따라 시트간 상호작용이 가능하게 해줌

- 동작1 (필터, 하이라이트, 시트이동)

- 필터, 하이라이트

실습)
'주문일자' 더블클릭
'매출' - '마크-레이블' - 전체화면
시트이름 :연간매출
새로운 시트
'매출, 제품 대분류' 더블클릭 - 행렬전환 -내림차순 - 전체화면
'제품 대분류' - '마크-색상'
'매출' - '마크-레이블'
'매출' 우클릭 - '퀵테이블계산 - 구성비율'
시트이름 : 제품대분류 매출
시트2 복제
이름: 제품 중분류 매출
'제품중분류' - 행의 '제품대분류;와 교체 - 내림차순
월별 차트
연간매출 차트 복제, 이름: 월간 매출
열 선반의 '주문일자'를 월까지 드릴다운 - 월만 남기기
'마크-합계(매출)' ctrl - 열에 옮기기
대시보드 생성
크기: 자동
순서: 연간매출 제품 대분류 매출 - 월간매출 제품 중분류 매출
동작기능 추가. 상단 '대시보드-동작-동작추가-필터'
원본시트: 연간매출
대상시트: 연간매출 외 모든시트
동작실행조건: 선택
선택내용을~ : 모든 값 표시
-> 필터 동작 추가: 제품 중분류 선택시 월간매출이 변하도록
제품중분류 / 월간매출 / 선택 / 모든 값 표시
--> 하이라이트 동작 추가
제품대분류 / 제품중분류 / 마우스오버
: 연간매출 선택 - 해당연도 매출값만 나옴 : 제품중분류 선택 - 품목별 월간 추이 볼 수 있음
- 여러 품목 복수선택 - 영향받는 월간매출에는 선택한 항목의 합계로 표시됨 : 선택한 필터 해제 - esc 눌러서 : 제품대분류에 마우스 오버 - 해당하는 중분류 매출만 하이라이트 됨

- 시트의 이동

= 연간성 있는 두 대시보드를 연결시켜줌

실습)
시트 생성
행 선반에 '연간 매출 보기'를 생성
뷰화면에 입력된 텍스트. - 전체화면 - 머릿글 영역 넓어줌. 행 레이블은 숨겨줌
머리글 우클릭 - '서식- 기본값-음영-검정' - '글자색 - 흰색-글자크기20'
동작 설정
대시보드 생성 - 시트 삽입
작은 버튼형태로 만들어주기 위해 시트 선택된 상황에서 - 화살표 클릭 - 부동 - 버튼 크기 줄이고 - 시트명 숨김
'메뉴 - 대시보드 - 동작 - 동작추가 - 시트로 이동'
실행조건: 메뉴, 대상시트: 앞서 만든 대시보드1

- 매개변수 변경

실습)
'매출, 수량, 수익' 동시 선택 - 뷰로 드래그 - 행렬교체 - '마크-차트-파이차트'
'열'선반의 '측정값이름' ctrl 누르면서 '마크-색상' - 전체화면
매출추이 확인할 차트 생성
시트 새로 생성
사이드바 상단의 아래 세모모양 클릭 - '매개변수만들기 선택
데이터타입: 문자열 / 허용가능한값: 목록 / 값: '매출', '수량', '수익' 각각 입력
사이드바에 '매개변수' 생성됨 - 우클릭 - '매개변수표시' = 단독사용x, 계산된 필드나 참조선등과 같이 사용해야 동작함
계산된 필드 만들기
사이드바 아래 세모 클릭 - '계산된 필드 만들기'
'CASE' 입력, 좀 전에 만든 매개변수 끌어옴
WHEN '매출' THEN SUM([매출]) = 이 매개변수에서 매출을 선택할 경우, 매출의 합계를 표시해달라는 뜻
WHEN '매출' THEN SUM([수량])
WHEN '매출' THEN SUM([수익])
END
사이드바의 '계산1' - 상단의 '행'에 드래그
'주문일자' 드래그 - '열'에 드래그 - 연속형 '월(주문일자)' 선택
사이드바 '매개변수' - '마크-색상'
사이드바 '계산1' - '마크-레이블' - 우크릭 - '라인끝'
시트이름도 동적으로 바뀌도록. '뷰화면 - 시트2' 더블 클릭 - '삽입 - 매개변수1'
대시보드 생성, 매개변수 변경동작 설정
'매출, 수량, 수익' 파이차트 를 위, '라인'을 아래
대시보드 크기 : 자동 - 오른쪽 범례 삭제
'시트 1' 시트명 숨김
'메뉴-대시보드-동작-동작추가 - 매개변수변경'
원본시트: 시트1 / 대상매개변수: 매개변수1 / 동작실행조건: 선택 / 현재값유지 / 원본필드: 측정값이름 = 파이차트 선택하면 선택한 측정값으로 라인차트 변경

- 집합 값 변경

= 집합에 속해있는 값 변경 = IN, OUT의 값을 대시보드에서 선택한 집합에 따라 IN, OUT으로 변경시켜서 대상시트에 적용시켜주는 동작

실습)
시트 새로 생성
그룹
'시도' 우클릭 - '만들기 -그룹 - 경기도,서울시,인천시 - 그룹(수도권) - '기타'포함'
집합
시도(그룹) 우클릭 - '만들기-집합-수도권'

- -> '매출' 더블클릭, 시도(그룹) 더블클릭 - 행렬전환 - 전체화면 -> '시도(그룹)집합) - '마크-색상', '매출'-'마크-레이블'

실습2) 시트 집합 in에 해당할 경우 지역정보나오게 표현
시트 1 복제
사이드바 - 아래 세모 모양 - '계산된 필드 만들기'
IIF(['시도그룹(집합], [시도], [시도(그룹)]) = 드래그
이름: 수도권 그룹 & 시도 (IF와 동일하지만 식을 간단히 만들 수 있음)
계산된 필드 드래그 - 행선반 '시도(그룹)' 옆
대시보드 생성. 집합값 변경 적용
시트1(왼), 시트2(오) - 크기 자동
'메뉴-대시보드-동작-동작추가-집합값변경'
원본: 첫번째 시트 / 실행조건: 선택 / 대상집합: 현재 데이터-시도그룹(집합) / 집합값 유지
- 동작(url) 개체

= 동작이 걸려있는 시트 선택시, 미리 걸려있는 URL로 이동. 대부분 외부리소스와 연결
실습) 상단에 지역 클릭시, 검색어가 등록된 네이버사이트로 이동
'지역' - '열'선반으로 이동 - 전체화면
머리글 영역(1행) 키워줌 - 우클릭 - '서식- 글자크기 - 15, 볼드, 색상 검정'
대시보드 생성
시트 삽입 - 좌측하단 '웹페이지' 드래그 해서 시트 아래로 위치 - 'URL입력: (네이버에서 강원 검색한 것 중 query까지만의 값)'
동작추가
'메뉴-대시보드-동작-동작추가-url동작추가'
원본시트: 시트1 / 실행조건: 선택 / url 대상: 웹페이지 개체 / url: 동일한 링크 복붙 / 삽입-화살표-지역필드 넣어줌 = <지역>

- 대시보드 개체

'좌측 하단 - 개체' 중 '네비게이션'
'탐색' 을 뷰로 드래그 - 더블클릭 - '편집단추 - 이동할 위치(시트or대시보드) - 버튼스타일(텍스트or이미지)
탐색 영역에서 alt 누르고 클릭하면, 설정한 시트나 대시보드로 이동

- 대시보드 레이아웃

1) 대시보드 창 좌측 하단 - 바둑판식(기본값) = 겹치지 않고 전체 대시보드 크기에 따라 크기가 조정
2) 좌측 하단 - 부동 = 다른 시트위에 겹칠 수 있고, 영향받지 않아서, 지정한 사이드가 그대로 유지 = 상황에 따라 범례나 필터등에 사용
대시보드 - 레이아웃 - 항목계층에서 확인가능
우선: 기획 -> 어떤 차트를 어디에 배치할지 구도를 잡은 후 작업
실습) 시트1
'매출' - '마크-텍스트' - 화면 전체보기 - '서식-글자크기 크게-굵게'
패널 윗부분 '테두리서식 - 행구분선-라인-진하게'
'주문일자, 시도' 각각 필터에 추가 - 모든항목 체크
'필터-년(주문일자)' 우클릭 - '워크시트에 적용 - 관련데이터 원본~'
'필터 - 시도' 동일하게
시트2(시트1 복제)
'마크-매출'을 '수익'으로 변경
'서식 - 글자크기 크게 - 굵게'
시트3(시트2복제)
'제품 대분류, 중분류' 상단 '행' 선반에
'매출' 상단 '열' 선반 - 내림차순
'마크-수익' 드래그 - '색상'
대시보드 생성
목표 레이아웃: 수익(부동형), 나머지(바둑판식-세로로 가로3개)
크기: 자동
'개체-세로' 넣고, '텍스트' 넣어줌
'개체 - 가로' 3개를 넣어줌
- 점선이 나올 때 놔야 함
첫번째 가로 컨테이너에 '텍스트'박스 넣어서 제목 생성 = '연간 매출 대시보드', 20, 볼드
좀 전에 만든 텍스트는 삭제
텍스트박스와 두번째 가로 컨테이너 사이에 '빈박스' 추가해서 라인처럼 만듬 - 왼쪽 상단 '레이아웃'선택 - '백그라운드 - 색상추가' - 우클릭 - '높이설정: 12'
두번째 가로컨테이너에 - 텍스트 추가 - '매출', 16, 볼드, 빨간색 - 높이 드래그해서 키워줌
'매출' 우측에 '텍스트박스' 하나 더 넣어줌 - '수익', 16, 볼드, 빨간색
세번째 가로에 - 시트1 , 그 옆에 - 시트2 - 더블클릭 - 우클릭 - '콘텐츠 균등분할' - 시트명 숨기기
하나 남은 시트는 '매출', '수익' 아래에 추가
필터, 범례 수정 - '수익' 우클릭 - '필터-시도, 주문일자와 연도'
필터 선택 - 세모모양 - 단일값(드랍다운)
'연도', '시도' 필터 - 드래그해서 '연간매출 대시보드' 옆으로 이동
'수익' 필터 - '부동'으로 변경 - 막대차트에 겹쳐서 배치

- 스토리

= 데이터가 여러개인 시트 -> 대시보드 = 여러개의 대시보드 -> 스토리 : ppt같은 느낌

주의
청중이 관심있는 주제?
궁극적으로 하고자 하는 얘기?
처음부터 끝까지 흐름에 맞는 기획?
불필요하게 너무 많은 데이터나, 계산식, 매개변수 사용x = 불러오는데 시간이 오래걸려 흐름이 끊김

[2023.12.14] Tableau(2)

Fri, 15 Dec 2023 06:33:50 GMT

기본차트만들기

집계값에 대한 비중을 알아보는 차트 만들기

- 파이 차트

= 셉터로 구분된 원 형태의 차트. = 원 안에서 상대적 비중을 표시하기에 유리함. 예) 시장 내 점유율 표시
실습) '매출', '고객세그먼트'를 '마크'에 넣음.
'파이차트'로 변경, 상단에서 '표준->전체보기'
(보고자 하는 건 세그먼트별 비중) '세그먼트필드'를 '색상'에 넣어 구분해줌
(각 세그먼트별 매출의 비중이 반영된 차트가 아님.) 비중을 나타내기 위해 '매출'을 '각도'에 넣어줘야 함.
(각 색상이 무엇을 나타내는지 표시하기 위해) CTRL + '고객세그먼트'를 '레이블'에 올려놓음.
'매출'도 같이 보면 좋을 것 같으니 '레이블'에 올려놓음
각 세그먼트별 매출 차지비율을 알기위해) '매출' 우클릭 - '퀵테이블계산 - 구성비율(기본적으로 소수점 2자리까지 나옴'
(소수점 없애기위해) '매출' 우클릭 - '서식' - '패널-기본값-숫자-백분율-소수점=0'
(실제 매출금액도 같이 확인하기 위해) - 사이드바에서 '매출' 드래그해서 '레이블'에 넣기 - '합계(매출)' 우클릭 - 서식 - '기본값-숫자(사용자지정)-디스플레이 장치(백만)'
'마크' - '레이블' - '텍스트 - ... 클릭 - 텍스트 변경' -> ```
형태: <합계(매출)>(<합계(매출)에 대한 총계 %>) <고객 세그먼트>
효과: (<합계(매출)에 대한 총계 %>) - bold, 빨간색

- 트리맵 차트

전체를 기준으로 얼마정도의 비중을 차지하는지 '비중'을 나타낼때
파이차트와 다른 점: 데이터 항목이 많을 때 더 효과적
실습) 오른쪽 상단 '표현방식' 클릭 - 사이드바 '매출'과 '시도'필드를 ctrl눌러서 동시 선택 - '트리맵'선택
(비중을 보고 싶으니 하나 더 추가) 사이드바 '매출'드래그 해서 '마크' 영역에 넣고, 우클릭 - '퀵테이블계산 -비중', '레이블'에 올려놓기

- 막대 차트

매출 비중을 효과적으로 시각화
실습) '매출' 더블클릭 - '고객세그먼트'를 드래그해서 '마크-색상'에 넣고 - '오름차순'정렬 - '전체보기' = 차트가 하나씩 쌓여있는 것처럼 보인다 해서 "누적막대차트"로 부름
*색상의 크기차이는 비중이 아니라, 매출의 크기. 절대값의 크기를 나타냄.
'주문일자' 더블클릭 - '마크-막대차트' : 연도별 매출크기가 각 차트로 표현됨
보려는 건 구성비율이기 때문에, 상단의 열-'매출' 우클릭 - '퀵테이블계산-구성비율'
화면전체 드래그 하면 전체값을 볼 수 있음.
각 연도, 월별 '고객세그먼트' 비중변화를 보려는 것이기 때문에, 구성비율을 계산하는 기준을 바꿔줘야함. 상단 '매출' 우클릭 - '다음을 사용해 계산 - 테이블 아래' = 각 연도별 세그먼트 합이 100이 됨
마무리 작업. 비중으로 변경한 상단의 '매출'필드를 ctrl누르고 드래그 해서 '레이블'에 넣고, '서식-패널-숫자-백분율 0으로 만들어줌'
매출 비중의 변화를 자세히 보기 위해, 상단의 열 - '주문일자' 드릴다운해서 '월별비중'으로 .
오른쪽 상단의 '고객세그먼트'에서 하이라이트 돼서 볼 수 있고, 드래그 하면 순서도 바꿀 수 있음

- 대시보드 만들기

목적 : 누가 사용할 것인가? : 전달하려는 정보가 무엇인가?
디스플레이 환경 : 태블릿? 핸드폰? pc?
레이아웃 배치 : 핵심 내용은 왼쪽 상단에 배치
실습) 우측하단의 '대시보드추가' - 왼쪽의 시트들 옮기기
상단에 테이블, 그 아래 막대/라인, 그 아래 파이/누적막대
제목 숨기기
상단에 텍스트 박스 넣기 <대시보드 만들기> 20/빨간색/bold

- 분산형 차트 만들기

측정값 간의 관계를 파악하기 위해. 2~4개의 측정값을 선반에 올린 후, 차원으로 나누는 방식으로 세분화해 정보를 확인
추세선과 같은 정보를 추가해, 측정값간의 관계를 쉽게 파악할 수 있음
실습) 좌측 '수익', '할인율' 더블클릭
분산형으로 만들어짐
표 하단의 '할인율'이 합계로 나와서 0부터 1600까지 나옴. 합계를 평균으로 바꿔줄 것. '열선반-합계(할인율)' 우클릭 - '집계방식-평균' - 우클릭 - '서식-숫자-백분위 소수점 1'
하나의 값으로만 표현된 수익과 할인율을 상세히 보기 위해, 고객기준으로 세분화 해 상관관계를 볼 것. '고객명' 드래그 '마크-세부정보' = 전체 고객을 기준으로 수익과 할인율이 나뉨
'모양'마크를 원 마크로 변경, '색상'마크 효과에서 테두리를 흰색으로 바꿔줌
'수익'을 색상마크게 넣어서 수익 기준으로 구분되도록 표현
'수익'을 드래그 '색상 마크'에 넣으면 +는 파란색, -는 주황색으로 표시됨
색상범례의 기준값이 0이맞는지 확인. 우측 상단의 '색상범례-적용버튼 위 고급버튼 - 가운데 0인 것 확인'
전체적 추세 확인 좌측 '분석패널' - 추세선 드래그 - 선형 = 평균 할인율이 높아질수록 수익이 떨어진다는 게 추세선으로 확인가능
데이터 설명 '이서준'고객의 마크 클릭 - 전구 아이콘 눌러서 데이터 설명 보기 - 문제가 있어보이는 데이터의 문제가 무엇인지 알 수 있음

- 이중축 만들기

많은 정보를 하나의 뷰로 담고 싶을 때, 축을 이중으로 씀.
마크를 서로 동일하게 혹은 다른 마크를 써서 표현할 수 있음

- 콤비네이션 차트

막대차트와 라인차트를 하나의 뷰로 만들어 더 많은 정보를 시각화 예) 목표치 대비 실제 매출액 표시 할 때 사용

실습) '주문일자', '매출' 더블클릭 - 전체화면 - '고객세그먼트'별 매년 성과를 확인하기 위해 '고객세그먼트'를 '열'로 가져오되 '주문일자'앞으로 가져옴. = 매년성장하는 걸 볼 수 있음.
매출 증가에 비례하게 수익이 증가했는가 확인하고자 함 '수익'을 드래그 해서 '행'으로 가져오되 '매출'뒤에 가져옴. 수익에 대한 막대차트가 더 생기는데, 아래위로 분리돼서 나타남.
나눠진 차트를 합치기 위해 이중축 사용해야함. '수익' 우클릭 - '이중축'옵션 클릭 = 두개의 차트가 막대차트로 동일하게 중첩돼보임.
'마크'영역에서 '수익'을 '라인'으로 바꿈
상단의 '매출'을 '마크-레이블'에 넣고 - 매출값의 위치를 중간으로 바꿈 - '매출-서식- 단위는 백만'으로 바꿈
'수익'도 '마크-레이블'에 넣고, 값의 단위를 백만으로 바꿔줌, 글체를 빨간색으로 변경
수익을 보여주는 라인차트가 눈에 들어오게끔, '수익'크기에 변화를 줄것. 사이드바 '수익' 드래그 - '마크-크기'에 넣어줌
- 라인차트 + 영역
실습2) 이중축 활용해 라인차트를 돋보이게 만드는 법 = 트랜드와 함께 매출을 강조하고 싶을 때 사용 '매출', '주문일자' 더블클릭 - 전체화면 - '고객세그먼트' 드래그해서 '마크-색상'에 넣어줌
선반의 매출을 ctrl 눌러서 옆으로 복사 = 아래 위로 차트가 복사됨
마크 카드의 '매출(2)'의 차트 바꿔주기 - '원형'로 바꾸고, '크기' 키워주기
선반의 두번째 '매출' 우클릭 - '이중축'선택.
원형모양이 라인에 정확히 싱크되지 않는 건 축이 달라서. '축범위'에서 우클릭 - '축동기화'
각 연도별 매출값을 강조하기 위해, 사이드바의 '매출'을 '마크-매출(2)의 레이블'에 넣기.
단위절사가 필요해보이니, '서식-백만단위, 소수점은 0'으로 변경
값이 도형안에 표현되도록, 가운데정렬 - 값이 차트에 있기 때문에 '축'에서 우클릭 - '머릿글 숨기기'

- 응용차트(라인영역)

실습1) '주문일자' 드래그해서 '열'에 올려놓음
'필드놓기' 에서 '분기(주문일자)'를 선택
'매출'을 '행'선반에 올려놓음 = 시간적 흐름에 다른 매출의 추세이기 때문에 라인차트로 표현됨
'행'선반의 '매출'을 ctrl눌러서 옆에 복사
'마크'에 있는 '매출(2)'를 '영역'차트로 변경
'행'선반 중 뒤에있는 '합계(매출)' 우클릭, '이동축' 선택 = 라인차트가 영역차트 위에 덧대어지면서, 차트가 강조돼보임.
좌측의 '매출' 드래그해서 '마크-크기'에 올려놓음. =매출규모에 따른 선굵기로 표현됨
- 여기서 구하는 건 매출규모의 크기가 아니라, 전분기대비 성장률
'마크-합계(매출)' 우클릭, '퀵테이블계산-비율차이'
라인차트의 값을 화면에 표시할 것
'마크-크기'에 들어가있는 '합계(매출)'에 ctrl을 누르고 '레이블'에 넣음
색상 강조하기 위해 영역차트의 색상을 연하게 바꿔줄 것
'합계(매출2)' - '색상' 원하는 색으로 변경
축의 기준을 맞춰줄 것
'축' 우클릭, '축동기화'
라인차트가 영역차트보다 더 앞에서 표현되도록 왼쪽에 있는 '라인차트' 축 우클릭 - '맨 앞으로 마크이동'

- 도넛차트

파이 = 각 데이터가 차지하는 비중을 조금 더 강조. 전체 합계나 파이차트가 의미하는걸 보여주기 힘듬
도넛 = 파이차트 두개 합쳐서 만들 수 있어서 '비중' 나타낼 때 더 많이 사용
실습) 상단의 '열'에 '0'을 넣음
0을 기준으로 작은 막대차트가 만들어짐.
'마크-파이'로 변경
'고객세그먼트' 드래그 - '마크-색상'에 넣어줌
화면의 영역이 뭘 나타내는지 구분하기 위해 '고객세그먼트' 드래그 - '마크-레이블'에도 넣어줌
각 매출별 비중을 보기 위해 '매출'을 '마크-각도'에 넣음
'매출'표시를 위해 '마크-레이블'에 넣음
도넛차트 만들기 위해 파이차트 복제할 것
상단 열에 있는 '합계'를 ctrl 누르면서 옆으로 끌어당김
화면을 '전체화면'
두개를 합치기 전 파이차트의 크기를 좀 더 크게 표현
'마크-합계(0)' - '크기'키워줌
'마크-합계(0)(2)' - '레이블'에 들어간 매출 빼고 나머지는 빼줌
상단 열에 있는 '합계(0)' 우클릭 - '이중축'사용해서 차트 하나로 합쳐줌
중간의 파이차트 크기 키워주기 위해 '마크-합계(2)' - '크기' 키우고, '색상'은 바탕화면 색과 같은 흰색으로 변경
가운데 숫자가 의미하는 걸 쉽게 이해하기 위해, '전체매출'이라는 택스트 추가할 것.
'합계(2)'- '레이블'선택- '텍스트-...' 선택 - '전체매출'을 윗줄에 빨간 글자로 추가
깔끔하게 다듬기 하단의 '0'으로 표시된 머리글 선택 - 우클릭 - '머리글표시' 선택취소
'뷰'창에서 우클릭 - '서식' - 상단의 '라인서식' 선택 - 라인이 열에 있기때문에 '열'선택 - '격자선', '영 기준선' 없음으로 바꾸기
그 옆 '화면테두리'에 있는 '행구분선'의 '패널', '머리글' 없음으로 바꾸기
차트에 마우스 오버 했을 때 도구설명의 값이 나옴
열 선반의 0값은 의미없으니 없애줌. '열선반'의 '합계(0)' 우클릭 - '도구설명포함'해제

대시보드 만들기, 동작기능추가

실습) 만든 차트들 대시보드에 배치
새 시트 추가 - 상단의 '행' 에 "VS" 넣어서 추가 - '전체화면'
왼쪽 상단의 'VS'클릭 - '행에 대한 필드 레이블 숨기기'
뷰 화면에 우클릭 - '서식' - 상단중 4번째 서식 - '행' - '행구분선-패널' 없음
뷰 화면에 머리글 영역 크기 조절
'고객세그먼트' - '마크' 빈영역에 넣어줌 = 동작 옵션 중 모든 값을 제어할 경우, 원본 시트에는 한가지 이상의 '차원'값을 포함해야, 시트간 인터렉션이 생기기 때문
대시보드의 '도넛'과 '파이'차트 사이에 추가
위 아래로 '개체-빈페이지' 추가
오른쪽 끝 부분 '범례' 삭제
동작추가 : 나타났다 사라졌다 하는 효과
상단의 '대시보드' - '동작' - '동작추가 - 필터'
원본시트: '차트비교'시트만
대상시트: '파이'시트만 선택
동작실행조건: 선택
'선택내용을 지울경우의 결과': 모든값 제외 = VS 부분을 선택하면 파이차트가 나타났다 사라짐
동작추가 : 차트 연동
상단의 '대시보드' - '동작' - '동작추가 - 필터'
원본시트: '도넛'시트만
대상시트: '라인영역'시트만 선택
동작실행조건: 선택
'선택내용을 지울경우의 결과': 모든값 표시 = '도넛-기업고객' 선택시 , '라인영역'에 고객세그먼트 데이터를 넘겨줌.
- 세그먼트별 트렌드 차트를 각각 만들필요없이, 하나의 시트로 필터링 해서 분석가능
동작추가 : 차트 연동
상단의 '대시보드' - '동작' - '동작추가 - 하이라이트'
원본시트: '도넛'시트만
대상시트: '이중축, 콤비네이션'시트만 선택
동작실행조건: 메뉴
대상하이라이트: 모든필드 = '도넛-기업고객' 선택시 , 마우스 오버한 상태로 있으면 '하이라이트'영역이 뜸. 대상시트로 설정했던, '이중축, 콤비네이션'차트에 '고객세그먼트'만 하이라이트 돼서 눈에 더 잘들어옴 = 하이라이트는 필터보다는 활용도가 조금 낮지만, 많은 정보를 담고있는 복잡한 차트에서 사용하면 확실히 효과적

[2023.12.13] Tableau

Wed, 13 Dec 2023 10:21:48 GMT

DATA LITERACY - 데이터를 보고 활용할 수 있느 능력. 탐색을 통해 이해하고, 통찰하는 능력. 구성원들이 데이터에 쉽게 접근할 수 있도록

데이터 시각화 : 데이터에 색상, 모양, 사람들의 시선을 끌 수 있는 요소를 배치해 데이터를 효과적이고 직관적으로 표현하는 것. = 전달하고자 하는 메시지를 정하고 불필요한 부분은 생략

테블로: 데이터를 시각화 및 분석하는 솔루션. : 데이터를 보고, 이해할 수 있도록 돕고자 만들어짐. : 장점
- 유연한 데이터 연결
- 직관적인 drag & drop 인터페이스
- 다양한 형태의 시각화
- 디지털 노마드에 최적화
BI(Business Intelligence): 기업에서 데이터를 수집, 정리, 분석, 활용해 효율적인 의사결정을 하도록 하는 애플리케이션과 기술의 집합

데이터 결합
UNION 설명: 한 테이블의 행을 다른 테이블에 추가해, 두개 이상의테이블을 결합가능. 방법: 테이블을 지정해 데이터를 끌고옴 UNION이란 옵션이 나타남. 유의: 원하는 결합을 하려면, 결합하는 테이블의 구조가 같아야 함. 필드 수, 이름, 유형이 일치해야함. 확인: 마우스 우클릭 - 유니온 편집 - 테이블 확인 가능

*JOIN 설명: 로지컬 테이블에서 새로운 테이블을 끌어다 놓으면 관계가 형성됨. 더블 클릭해서 피지컬 테이블 화면에 끌어와서 JOIN해줘야 함. 다이어그램이 형성됨. 조인 유형 변경 가능. 같은 피드명이 존재하면 KEY값을 잡아줌 확인: 데이터 그리드에서 확인가능하고, 추가된 필드는 맨 오른 쪽에서 확인가능

로지컬 테이블: 각 시트 및 테이블간의 관계만 설정. 공동된 필드로 관련방식설명. 테이블을 하나로 병합하지는 않음. 테이블은 각 분리되며 고유한 상태를 유지함. 관계형성은 두 테이블 간의 약속. 약속에 따라 데이터를 가져온 후 적절한 JOIN쿼리를 작성. 결론: JOIN과 관계는 큰 차이가 있다. 데이터를 물리적으로 병합해서 하나의 테이블로 만든ㄴ 것/ 물리적으로 결합하지는 않음.

편집 1) 데이터 필드명 변경 F1, F2 혹은 직관적이지 않은 경우, 누구나 이해가능하게 변경 메타 데이터 목록을 통해 원격필드에서는 원본이 어떻게 있었는지 추적해볼 수 있음 2) 데이터 타입 변경 날짜 타입 -> 문자 타입 등 변경가능. 3) 필터 데이터원본에 필터를 적용해 분석에 필요하지 않은 범위에 대해 축소하면, 속도 향상시킬 수 있음. = 전처리
오른쪽 상단 필터 - 추가 - 추가 - 필터하고자하는 필드 선택 - 항목선택 - 확인 - 확인 : 날짜 : 이벤트 성과 등 확인 시 : 매출 등 측정값 = SALES
인터페이스 1) 우측 하단 '새로운 시트 만들기' 2) 좌측 데이터 목록= 필드 상단영역: 차원 / 하단영역: 측정값 더블클릭하면, 추천하는 그래프 형식으로 뜸. 3) 시각화 마크 영역을 사용 혹은 우측 '표현방식' 4) 하단 시트 영역 생성, 원본으로 돌아감 등이 가능

데이터를 끌어다놓으면 성격에 따라 차원/측정값으로 자동분류됨 드래그해서 속성변경 가능. = 집계된 측정값을 원하는 차원레벨에 맞춰 잘라서 볼 수 있음.

차원 = 정상적인 값. 이름, 날짜, 지리적 데이터 포함. = 데이터의 세부정보 나눠 분류가능
측정값 = 집계가 가능하거나 필요할 수 있는 데이터 = 숫자로 구성
더블클릭 또는, 드래그 해서 상단에 놓을 때 = 차트 생성
뷰 영역으로 드래그 했을 때 = 집계된 결과값 생성. 마크카드 옵션에서 텍스트를 가지게 됨.
예)
세일즈 측정값: 뷰 영역 - 드래그
카테고리 차원필드: 더블클릭
->세일즈 데이터가 카테고리 항목만큼 분할돼서 표시
오더데이트 차원값: 카테고리 옆에 드래그
-> 연도별 각 카테고리의 매출값이 집계
필드 앞 +버튼 누르면 하위단계로 내려가서 드릴다운 분석이 가능
예) 차원과 측정값이 자동배치된 걸 변경 측정값을 차원으로 옮기고 더블클릭
속성변경=고객분석에 많이 사용: 마스터 테이블에는 고객ID등의 고유값만 있어서 차원형태로 인식. 고객수 카운트위해서는 속성변경해야함.

연속형(초록색) / 타이틀이 축으로 생성
불연속형(파란색) / 머릿글로 생성
예) SALES와 카테고리를 더블클릭해서 차트 생성 :파란색 필드(카테고리)에서 우클릭- 서식 - 사이드바가 [머리글] 변경할 수 있게 뜸. :초록색 필드(SALES) 좌측 숫자 선택 - 우클릭 - [축]이 표시 됨
예) 날짜타입 = 불연속형으로 구분되지만, 목적에 따라 연속형으로 변경가능 : SALES 더블클릭, ORDER DATE 더블클릭 - ORDER DATE를 CTRL누른채로 드래그 해서 필터 부분에 놓음 - '년'선택 - '2020'년만 선택 - 점 하나만 보일텐데, +를 눌러서 드릴다운
불연속으로 뜸 : 시트 복사본 생성 - 드릴드롭해서 처음으로 돌아옴 - ORDER DATE 우클릭 - '일'형태의 연속형으로 변경
연속으로 뜸
예) 색상구분 : 매출, SUB CATEGORY 추가 - 행과 열을 바꿔주고, 내림차순 정렬(상단 아이콘 버튼) - SUB CATEGORY를 CTRL 누르고 '마크'부분의 색상에 놓기 - 각 다른 색상으로 표현됨 : 연속형 필드(매출)를 색상에 넣음 - 불연속형 필드와 다르게 같은 색상의 그라데이션으로 표현. = 색상도 표현방식에 따라 연속형, 불연속형으로 변경가능

기본차트 만들기

- 테이블

텍스트 테이블, 하이라이트 테이블 : 시각화는 아니지만, 카드지표나 정확한 값이 표현돼야할 때 : 엑셀에 익숙해진 다른 부서와 대시보드를 공유해서 사용할 때. 단순한 시각화가 훨씬 상대방이 이해하기 좋음.
테이블 생성 '고객 세그먼트', '매출'을 넣고 '행렬' 바꿔줌
CTRL 누르며 '매출'을 '마크 - 색상'에 끌어다 놓음
'마크-사각형'으로 바꿔줌. 값이 높은 순으로 색상이 진하게 표현됨 ('제품 중분류'같이 값 많은 걸 넣어주면 시각화 효과가 두드러짐)

- 막대

막대 테이블 : 특정 집계에 대한 절대적인 크기를 시각적으로 표현하기에 적합 : 엑셀이나 PPT에서 많이 사용해 일반적으로 사람들에게 익숙한 차트 : 단순한 '크기'를 보여주고자 한다면, 막대그래프 활용이 적절
테이블 생성 '고객 세그먼트', '매출'을 넣음
순서에 따라 차트형식이 달라짐 1) '차원' - '측정값' -> 표 생성 2) '매출'(측정값) -'고객 세그먼트' (차원) = 자동으로 막대차트 생성
효과적인 시각화 위해 행렬전환 - 내림차순정렬 - 화면 전체보기
세그먼트 구분을 위해, '고객 세그먼트' 를 '마크-색상'에 넣어줌
차트 정리를 위해 '마크'에 '매출'을 끌어오고 우클릭 - 서식 - 패널 - 숫자 서식 중 단위를 '사용자 지정' - '디스플레이 패널' 중 '백만'으로 변경 - 맞춤은 가운데 맞춤으로 변경

- 라인

일련의 값에 대한 시간별 추세, 미래값 예측에 유용 예) 주식: 시간의 흐름에 따른 등락이 중요해서 라인차트 사용 X축에 시간을 넣어 표현하는게 일반적
'시트 생성'-'매출', '주문일자'를 넣음 '날짜타입'의 '차원'을 넣어서 자동으로 라인차트를 만들어 줌. : '월' 레벨까지 드릴다운 - 좀 더 보기 쉽게 '분기'는 빼줌. 잡아서 위로 올려버리면 됨
연도별 월 트렌드 차트가 만들어짐. 해당월의 매출 확인 위해, '매출'을 '마크- 레이블'에 넣음
최고점, 최저점만 표시하게 만들어주기 위해, '마크 -레이블' 클릭 - '최대(최소)'를 눌러줌
연도별 평균매출을 추가해 증가혹은하락을 확인해주고자, 사이드바 '분석' - '평균라인'드래그 해서 화면에 갖고 오면 옵션이 생김 - '패널'수준에서 평균값 구하기로 함.
마우스 오버를 하면 평균값이 확인되지만, PDF로는 확인 안 되기 때문에, 화면에 표시해주고자 - '평균라인'클릭 - '편집' - '레이블- 사용자 지정' - '계산' 클릭 - '='입력 - '값' 클릭

= 차트나 대시보드를 마무리 하기 전에, 누구와 공유해서 사용할 것인지 생각하고 마무리 하는 게 중요

[2023.12.12] Git - Tag, README

Tue, 12 Dec 2023 06:19:36 GMT

실습환경 만들기

remote repository 생성 : tag_project
local에 clone : git_ws로 이동 = glt clone 주소(이름:토큰)
파일 생성후 commit 3개 만들기 : hello.txt : commit1 = Hello, world. : commit2 = Hello, noma. : commit3 = Hello, zerobase.
remote repository에 push : git push origin master

- Tag

- git Tag

- 특정 버전(commit)에 tag를 달아놓을 필요가 있을 때 사용

(예: 버전 릴리즈)

- git Tag 생성

현재 버전에 tag 달기

= git tag

예) 현재 버전(commit3) 에 tag(v0.3) 달기 = tag_project% git tag v0.3 = git log

- git Tag 생성2

특정 버전에 tag 달기

= git tag

예) 특정 버전(commit2) 에 tag(v0.2) 달기 = tag_project% git tag v0.2 6cfcc5a1bcdd6c594a82ccccfc2276b28ce2e4ab

= git log

- git Tag 생성3

tag를 remote repository에 push

= git push origin

예) tag를 remote repository에 push = tag_project% git push origin v0.3
remote repository - tag 페이지에서 확인가능

- git Tag 목록 보기

= git tag

예) = tag_project% git tag

- git Tag 상세정보

= git show

예) = tag_project% git show v.02

- git Tag 삭제 1(local)

= git tag --delete

예) = tag_project% git tag --delete v0.3 = git tag

- git Tag 삭제 2(remote)

= git push --delete origin

예) = tag_project% git push --delete origin v0.3

- README

- README란?

- 프로젝트에 대한 설명, 사용방법, 라이센스, 설치법과 같은 부분에 대해 기술하는 파일

- 나, 직장동료, 프로그램 사용자를 위해 존재

- MARKDOWN

- Github에서 README 파일 수정을 선택

- 파일 수정 후 commit

- headers = 큰 제목

This is H1
==========

- headers = 작은 제목

This is H2
-----------

- headers = 글머리(1~6까지 지원)

#This is H1
##This is H2
###This is H3
####This is H4
#####This is H5
######This is H6

- BlockQuote - 블럭인용문자 사용(>)

> This is a first blockquote.
> > This is a second blockquote.
> > > This is a third blockquote.

- BlockQuote(혼합)

블럭 내에서 다른 markdown 요소를 포함할 수 있음

> This is H3
> * List
>

- 목록: 순서가 있는 목록

내림차순으로 자동 정렬됨

1. 첫번째
2. 두번째
3. 세번째

- 목록: 순서가 없는 목록

내림차순으로 자동 정렬됨 혼용해도 같은 결과로 나타남

+ 빨강
    + 초록
        + 파랑

* 빨강
    - 초록
        + 파랑

- 코드블럭1

{code}

예)
print('this is readme file.')

* pre를 빼면 코드불럭이 끝까지 안 가고 text에서 끊김

- 코드블럭2

```{code}```

예)

```print('this is readme file.')```

- 수평선

* * *
***
***** 
- - - 
--------------

- 외부링크

Link: [Google](http://google.com, "google link")

또는
* 외부링크:

- 강조

* *single asterisks*
* _single undersores_
* **double asterisks**
* __double undersores__
* ~~cancleline~~

- 이미지

이미지가 어딘가 업로드돼있어야 함

![Alt text](/path/to/img.jpg "Optional title)

github 저장소에서 New issue 클릭
text area에 이미지 업로드(드래그)하면 markdown link가 생성 > 복사
readme 에 붙여넣기

remote에 있는 README파일을 LOCAL로 다운받을 수 있음 = cat README.md = git pull origin master

[2023.12.11] Git - Merge and Conflict

Tue, 12 Dec 2023 05:27:28 GMT

실습환경 만들기

remote repository 생성 : merge_project
local에 clone : git_ws로 이동 = glt clone 주소(이름:토큰)
실습환경 체크 메인 - 서브
파일 추가 후 저장 = cd merge_project = cat > test.txt = my name is noma. = git add test.txt = git commit -m 'create' test.txt
branch 생성 후 ㅍ파일 수정 = git checkout -b dev = cat >> test.txt = are you? = cat test.txt = git commit -m 'modify1' test.txt
git log 확인 = git log

- Merge Tool 설정

git configuration 파일 열기 = git config --global -e
git merge 설정 추가
```
[merge]
  tool = vscode
[mergetool 'vscode']
  cmd = 'code --wait $MERGED'
```
- Merge

- git merge

- 현재 위치한 branch에 다른 branch를 병합
주종관계가 있어서 '~에, ~를' 이 중요함

= git merge  = 다른 브렌치 이름을 넣어줘야함

- main branch로 이동

= git checkout master = git branch

- dev branch merge

= git merge div

- merge 결과 확인

= git log

- Conflict

- merge conflict

- branch를 merge하는 과정에서 충돌이 날 수 있음. 혹은 push, pull하는 과정에서도 충돌이 일어날 수 있음

this is - this is merge test와는 달리 this is merge test - this is conflict test 처럼 같은 선상에 다른 내용이 있을 때

- main branch에서 파일 수정

hello, noma를 만들자 = git branch = cat > test.txt = hello, noma. = git commit -m 'reset' test.txt

- conflich test를 위한 branch생성

hello, noma를 카피함. 이동은 x = git branch dev2

- main branch에서 파일 수정

hello, zero를 만들자 = cat test.txt = git branch = git checkout master = cat > test.txt = hello, zero. = cat test.txt = git commit -m 'modify -zero' test.txt

- dev2 branch에서 파일 수정

hello, base를 만들자 = git checkout dev2 = cat > test.txt = hello, base. = git commit -m 'modify -base' test.txt

- main branch에서 dev2 merge

이때 양쪽이 같은 파일의 같은 부분을 수정했기 때문에 conflict 발생 = git checkout master = git merge dev2 = merge conflict in test.txt

- MergeTool 실행

conflict 발생 후 아래와 같이 MergeTool을 실행하면 conflict난 파일들이 차례로 열림 = git mergetool

VSCode 에서 'hello, base.' 빼고 지운 후 저장
conflict 해제하려면 add, commit 한번 씩 해줘야함

- vscode 에서 conflict 파일 수정

main branch와 dev2 branch의 diff를 <<<<, ====, >>>>로 표시

- conflict 해제

git add + git commit = git add test.txt = git commit

- git log로 확인

= git log

[2023.12.06] Git - Log and Diff

Thu, 07 Dec 2023 07:53:51 GMT

** 참고 cat 파일이름(예 hello.py) = 파일에 있는 내용을 보여줌

cat > 파일이름 = 파일이 존재하면? 내용을 덮어쓰게 해줌 = 존재하지 않으면? 파일을 만들고, 내용을 입력할 수 있게 해줌

cat >> 파일이름 = 파일이 존재하면? 내용 뒤에 붙여넣기를 해줌

실습환경 만들기(vscode)

Remote Repository 생셩
github에서 log_project 생성
주소 복사
local repository에 clone = git_ws폴더에 복제 git clone + 주소 이름:토큰@주소
파일 추가 후 저장 = cd log_project = cat > hello.py = print('hello, world')
- ctrl + d 키로 입력한 내용 저장 = git add hello.py = git commit -m 'create' hello.py
파일 수정 후 저장 = cat > hello.py = print('hello, cat') = git commit -m 'modify1' hello.py
branch 생성 후 이동 = git checkout -b dev = git branch
파일 수정 후 저장 = cat > hello.py = print('hello, dog') = git commit -m 'modify2' hello.py

- Git Log

- branch 별 변경이력을 볼 수 있음

= git log 현재 위치한 branch의 변경 이력을 보여줌

예) git log 실습1 1) main branch로 이동 = git checkout main 2) main branch 로그 확인 = git log 3) dev branch로 이동 = git checkout dev 2) dev branch 로그 확인 = git log == main에서의 로그도 포함해서 보여줌

- Git Editor 설정

--wait 옵션은 command line으로 vscode를 실행시켰을 경우, vscode인스턴스를 닫을 때까지 command를 대기

= git config --global core.editor  --wait

= git config --global core.editor 'core --wait'

= git config --global core.editor 'core'

= git config --global core.editor 'vim'
-> esc 는 명령모드 / i 는 수정모드
-> esc - :q! 눌러서 나올 수 있음

- Git Diff Tool 설정

버전 간의 차이점 조회가능

- Git Configuration 파일 열기

= git config --global -e

= global에 설정된 editor옵션을 수정하겠다

- Git Diff 설정 추가

[diff]
    tool = vscode
[difftool "vscode"]
    cmd = "code --wait --diff $LOCAL $REMOTE"

- Git Diff - local branch 간 비교

= git diff

예) git diff main dev
예) vscode의 기능을 이용하게 됨 git difftool main dev

- Git Diff - commit 간 비교

= git diff

예) commit Hashcode 확인(commit뒤의 문자열) = git log
예) 비교할 버전을 정하고, 해시코드를 복사해옴 = git difftool c5f107068b1e9b42a42e77a5276c09e3e879cdb0 880d19f0f95c4382ac8657a31d075e523a9fbc08

- Git Diff - 마지막 commit과 이전 commit 비교

= git diff HEAD HEAD^ 
        (뜻: 마지막, 마지막 직전)

예) commit Hashcode 확인(commit뒤의 문자열) = git difftool HEAD HEAD^
- Git Diff - 마지막 commit과 현재 '수정사항' 확인
```
= git diff HEAD
```
예) commit Hashcode 확인(commit뒤의 문자열) = cat > hello.py = print('hello, pig') = git difftool HEAD 아직 COMMIT 안했는데도 DIFF를 보여줌

- Git Diff - Local and Remote 간 비교

= git diff  origin/
             local         remote

예) 1) 일단 현재 main branch 상태를 remote repository로 push = git push origin main 2) 아까 수정한 파일을 commit(local repository의 main branch에만 반영됨) 반영 시켜주고(cat version), 수정한 걸 올려줌 = git commit -m 'modify3' hello.py 3) local repository와 remote branch 비교 = git difftool main origin/main

- Git graph 확인

현재 폴더를 vscode 로 열기 위해 아래와 같은 명령어 입력

= log_project % code .

[2023.12.06] Git - remote repository

Wed, 06 Dec 2023 09:09:13 GMT

- Remote Repository 생성

참고 - README File

프로젝트에 대한 설명, 사용방법, 라이센스, 설치방법 등에 대한 내용을 기술하는 파일
나, 직장동료, 프로그램 사용자를 위해 존재

참고 - .gitignore

git버전 관리에서 제외할 파일목록을 지정하는 파일
사용자가 원하지 않는 파일들을 자동으로 commit 대상에서 제외시켜줌

- default branch

디폴드값은 main remote repository 생성할 때마다 이름도 같이 생성가능 (사용자메뉴 - 세팅 -repositories - master로 업데이트 가능)

- remote repository 복제하기

local repository를 생성하지 않은 상태에서 git clone 명령을 사용해 remote repository를 local에 복제가능

- Git Clone

앞서 폴더 만들고 ++ Git Init으로 해당폴더를 초기화하고 ++ remote repository를 등록하고 ++ remote repository의 내용을 pull 하는 모든 과정을 Git Clone으로 할 수 있음 = git clone https://github.com/.git

- Git Clone with username and token

= git clone https://:@github.com/.git

** 참고 : 상위폴더로 이동 = cd ..

- branch

- branch 조회(local branch)

local에서 만들었다 해도 push안하면 local에만 있음 = git branch ==> * main (=현재위치가 main이다)

- branch 조회(remote branch)

= git branch -r

- branch 조회(local + remote branch)

= git branch -a

- branch 생성

= git branch 
= 예) git branch branch01

- branch 이동

= git checkout 
= 예) git checkout branch01

- branch 생성 + 이동

= git checkout -b 
= 예) git checkout -b branch02

- github 에서 branch확인

local repository에서 생성된 branch는 remote repository에서 보이지 않음

- branch 생성 (remote에)


= git push origin 
local과는 다르게 서버는 위치까지는 이동x

- branch 삭제(local)

= git branch -d 
= 예) 
  git checkout main 
  git branch -d branch02
  git branch -a (목록조회)

- branch 삭제(remote에)

= git puch origin --delete

** local, remote 두 공간에서 작업하는 걸 구분짓고, 어느 한 쪽에서 하는 걸 상대방에게 알려줘야한다.

[2023.12.06] Git - local repository

Wed, 06 Dec 2023 08:39:07 GMT

- local repository

- local repository 구성

- local repository는 Git이 관리하는 3단계로 구성돼있음

working directory(작업공간) - 실제 소스파일, 생성한 파일들이 존재 우리가 보는 폴더. git이 관리하지는 않는데 add하면 스테이지로 올라가면서 관리가 시작됨.
index(stage) - standing area(준비영역) 의 역할. git add한 파일들이 존재 수정해서 commit하는 순간 버전이 매겨지고, head에 올라감
HEAD - 최종 확정본, git commit 한 파일들이 존재
- local repository 생성

- workspace 생성
= mkdir git_ws

- workspace directory 생성

= 실습할 repository 생성 workspace로 이동한 뒤 workspace directory 생성 = cd git_ws = mkdir test_project

- Git init

폴더에서 git을 초기화하는 명령어를 사용하면 해당 폴더를 git이 관리하기 시작 = git init

- Git init 실습

생성한 폴더로 이동해 git init을 실행하면 repository가 생성됨 = cd test_project = git init

- .Git 확인

.git 폴더가 생성된 걸 확인 -> .git으로 이동해서 파일을 살펴보면 git관련 파일들이 생성된 것 확인 = ls -all = cd .git = ls -all

- 파일 생성

working directory 에 파일 생성 참고: touch 명령어 = 빈파일을 생성 = touch test.txt = ls = test.txt

- git status

git에 존재하는 파일 확인 = git status

- git add

working directory 에서 변경된 파일을 index(stage)에 추가 = git add

예) git add text.txt git status

- git commit

index(stage)에 추가된 변경사항을 HEAD에 반영(확정) = git commit -m "commit에 대한 설명"

예) git commit -m "first commit" test.txt git status

- Remote Repository 등록

- local repository에 remote repository 등록

= git remote add origin https://github.com/.git

- remote repository 등록 with username and token

= git remote add origin https://:@github.com/.git

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


git remote add origin https://haeun71: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@github.com/haeun71/exam_project.git

https://ish0301.tistory.com/entry/8%EC%A3%BC%EC%B0%A8-%EA%B9%83%ED%97%88%EB%B8%8C-remote-origin-%EC%82%AD%EC%A0%9C

- remote repository 정보 확인

= git remote -v

- Remote Repository에 변경내용 push하기

local repository(HEAD)에 반영된 변경내용을 remote repository에도 반영하기 위해서는 Git Push를 사용

- Git Push

= git push origin = git push origin master(혹은 main)

- Remote Repository 확인

Remote Repository 페이지에서 새로고침하면 push된 파일이 보임

- local repository에 pull하기

Remote Repository의 내용에 맞춰 local repository를 갱신하려면 git pull을 사용

- Read me 파일 생성(홈페이지)

add a readme 버튼 클릭
내용 확인(모두 default 설정으로)
하단의 commit new life 버튼 선택
- git pull
= git pull origin = git pull origin master

- 텍스트 메시지 출력

= cat exam.txt

haeun_71.log

[2024.5.2] SQL_문제풀이1

24.04.19 실습_주유소데이터분석

1. 페이지 접근

2. 서울 고정

3. 구별 선택

csv 파일로 저장

csv 파일 읽기

thousand=',' 로 하면 ,를 지우고 데이터타입을 int타입으로 인식함

3. 주유소 정보 시각화

한글 설정

휘발유를 boxplot으로 그리기(seaborn 이용)

휘발유 브랜드 별 비교

휘발유 구별 비교

4. 지도 시각화

가장 비싼 주유소 10개

가장 싼 주유소 10개

[20240209] GPT_Transformer

Transformer

- transformer

- positional Encoding(Transformer)

- multi-head self-attention(Transformer)

- layer normalization

- final

- Transfer learning

- Few show, zero shot learning

- Bear

- GPT-1,2,3

- Related works of Transformer

- Hugging face 소개 및 실습

[20240208] GPT_자연어처리기초

Motivation & Direction

contents

- 자연어 데이터의 특징

SUMMERY

- 자연어 데이터의 토큰화

- 언어모델

- 자연어 처리 tesk

- metric

자연어 처리 모델 기존연구들

정리

선형대수 기초

내적 -> 행렬

[2024.01.03-4] Machine Learning_Preprocessing(2)

- 와인 맛에 대한 분류 : 이진분류

- Pipeline

- 하이퍼파라미터

-교차검증

과적합: 모델이 학습데이터에만 과도하게 최적화된 현상. 그로인해 일반화된 데이터에서는 예측 성능이 과하게 떨어지는 현상

- 하이퍼파라미터 튜닝

[2024.01.02] Machine Learning_Preprocessing(1)

- label_encoder

- min-max scaling = 정규화

- standard scaler = 표준화

- robust scaler

- 데이터 전처리: min-max scaler, standard scaler

[2023.12.27] Machine Learning workflow(1) - 타이타닉 생존자 예측

- 성별에 따른 생존률

- 경제력 대비 생존률

- 선실등급별 성별

- 나이별 승객현황

- 나이에 따른 등실별 생존률

[2023.12.22] Tableau for Business Analytics(3)

Date 함수

- DATEPART

- DATETRUNC

- DATEDIFF

- 날짜함수

- MTD

LOD(Level Of Detail) 세부수준식

표현식

- INCLUDE

- EXCLUDE

- FIXED

[2023.12.21] Tableau for Business Analytics(2)

- 태블로 내장함수

- PRIMARY 함수: 함수 내에 다른 함수가 포함된 함수

- RUNNING(5가지)

- TOTAL

- LOOKUP