"고객데이터 확보"

많은 기업들이 Digital transformation으로서 전환 -> 자체 홈페이지와 자체 앱으로 결제 ex) * 나이키 2019년 아마존에서 철수.* 외부유통 과정을 줄이고 직접 판매의 비중을 늘림, 고객 행동기반을 세분화하여 고객의 유입, 이탈, 구매패턴 파악 및 효율적 재고관리)

###Data Literacy 데이터를 보고 활용할 수 있는 능력

WHERE adress LIKE '%서울%' 

데이터베이스 이름과 테이블 이름

SQL 기호

DATE 관련 함수

YEAR(column) MONTH(column) *DATEOFMONTH(column) *

SLECT * FROM copang_main.member
    WHERE YEAR(birthday) = '1992'; 1992년생 찾기
    WHERE MONTH(sign_up_day) IN (6,7,8); # 6,7,8월 가입자 구하기
    WHERE DATEOFMONTH(sign_up_day) 

DIFF 날짜간의 차이 구하기

DATEDIFF(날짜 a, 날짜 b) # 날짜a - 날짜b

CURDATE 오늘 날짜

가입 날짜후 오늘 날짜까지의 차이

SELECT email, sign_up_day, CURDATE(), DATEDIFF(sign_up_day, CURDATE()) FROM copang_main.member;

몇살때 가입했는지

return문의 역할

1) 함수 즉시 종료

def print_square(x):
    return x * x
    print ("함수 종료") << dead code

return문 아래의 코드는 실행되지 않음. 2) 함수 실행

파이썬에선 함수의 return문이 따로 없으면 None값 리턴.

Branch

하나의 프로젝트를 나누어서 관리 할 때 branch기능 사용.

git branch abc

main-> abc 브랜치 만듬

Branch 확인

git branch

Branch 이동: git checkout abc

git checkout abc

abc 브랜치로 이동

브랜치 생성후 바로 그 브랜치로 이동

git checkout -b abc

브랜치를 삭제할때

git branch -D abc

merge

git merge master
#현재 위치인 premium branch에 master에 있는 branch를 합치겠다. 

merge conflict 해결방법

1) 컨플릭트가 발생한 파일을 연다. 2) 머지의 결과가 되었으면 하는 모습대로 코드를 수정. 3. 커밋

or 커밋 취소하기(merge를 꼭 하지 않아도 된다면)

git merge --abort

여러개의 파일에 conflict가 났을때

• 파일 하나씩 해결하고, git add abc 로 하나씩 staging area에 올린다.
• 모든 파일을 다 해결하고 git add . 로 올린다.

1. A/B테스트란?

기존안과 새로운 안 중에 어떤 것이 더 나은지 선택하기 위해 두 집단의 사용자의 반응을 비교하는 대조 실험 방식 중의 하나.데이터 기반으로 개선방향 가능(인과관계가 분명하게 나타남)

• 신규기능이 추가되면 유저가 우리 제품에 더 만족할까?

• Push 메세지에 어떤 문구를 넣어야 클릭률이 높을까?

• 어떤 추천 시스템이 유저에게 더 잘 추천했다고 볼 수 있을까?

• 어떤 고객에게 할인 쿠폰을 줘야 효과적일까?

  2. A/B테스트 프로세스

1. 목표 설정 - ex) 노출 대비 구매 전환율을 높이자
2. 가설 설정 - 목표를 달성하기 위해 어떤 가설을 검즈알 건지 설정
3. A/B 그룹 생성- 테스트를 위해 대상을 기존버전(A그룹)과 새로운 버전(B그룹)으로 나눠 실험 진행.
4. 실험 설계 - 측정 지표, 실험 기간, 성공기간, 그룹분배등을 사전에 설계 (구매 전환율을 주요 지표로 설정, 이 지표가 10% 이상 증가하면 성공으로 본다.)
   5. 실험 실행 - 데이터 수집 (2주동안 A와 B그룹에서 각각 구매 전환율 데이터를 수집하고, 실험 중간에 문제가 생기지 않도록 계속 체크한다.)
   6. 데이터 분석 실험의 신뢰도 분석, 샘플 크기와 조건등도 분석
   7. 결과 도출
   8. 반복 - 추가적인 개선을 위해 반복적으로 A/B테스트를 수행

1. 목표 설정

• 명확한 목표 설정, 하나의 실험에서는 하나의 목표만
• 정성적 목표와 (목표를 달성하기 위해 정해놓은 결과나 행동에 대한 설명)
• 정량적 목표를 모두 고려 (구체적인 수치나 측정지표를 정하는 것)

2. 문제 정의 및 가설 설정하기

1) 프로덕트 문제 정의 - 사용자 인터뷰와 데이터 분석등을 통해 원인 분석 2) A/B 테스트에서 변경할 대상 - 비즈니스 로직 or 알고리즘 - 사용자가 보는 화면 디자인 - 마케팅을 위한 텍스트나 이미지 유의사항 변경 대상은 사용자 경험에 큰 영향을 미칠 수 있는 요소로 테스트 (구매 지표를 올리기 위해 A/B 테스트를 하고 싶다면, 쇼핑몰 홈페이지에서 "구매하기" 버튼의 디자인을 변경하는 것이 전체 구매율에 미치는 영향이 크다.) 3) 가설을 문장 형태로 수립 가설의 형태: 원본 A를 대안 B로 바꾸면 지표 X가 Y하게 변할 것이다.

• 귀무가설- 대립가설을 사용: 실험의 목적과 결과 해석을 명확히 하기 위해 귀무가설: 아무런 변화가 일어나지 않았다는 가정 대립가설: 변화가 일어날 것이다 라는 가정

3. 지표 설정 및 로그 정의하기

성공 지표 보조 지표 가드레일 지표 - 테스트가 원하지 않는 방향으로 가지는 않는지

git log

commit history 보기

git log

너무 길다 한줄로 보고싶다

git log --pretty=oneline

git show : 자세하게 하나의 커밋히스토리를 보고 싶을 경우

git show (commit ID 앞에 4자리)

텍스트 에디터로 commit -m 없이 커밋메세지 적기

git commit 후 창에 들어가서 
i 
abc abc(필요한 커밋 메세지)
esc (빠져나오기)
:wq 

하면 자동으로 커밋 됨

git commit --amend

최신 커밋을 수정해서 다시 새로운 커밋으로 만들기

git commit --amend
i
(커밋 메세지 수정, 수정)
esc
:wq

결과: 커밋 id가 바뀜

커밋메세지 작성법

(2) 커밋 메시지의 제목 뒤에 온점(.)을 붙이지 마세요. (3) 커밋 메시지의 제목의 첫 번째 알파벳은 대문자로 작성하세요. (4) 커밋 메시지의 제목은 명령조로 작성하세요.(Fix it) (5) 커밋의 상세 내용에는 이런 걸 적으면 좋습니다.

• 왜 커밋을 했는지
• 어떤 문제가 있었고
• 적용한 해결책이 어떤 효과를 가지는지
  (6) 다른 사람들이 자신의 코드를 바로 이해할 수 있다고 가정하지 말고 최대한 친절하게 작성하세요.

git alias

git config alias.앞으로 칠 코드abc '원래 이렇게 길게 쳐야했음'

git diff : 두 커밋간의 차이점이 보고 싶을 때

git diff abcd(전에 커밋한 id) abcd(후에 커밋한 아이디)

head 의미:

어떤 커밋 하나를 가리킴(head가 가리키는 커밋에 따라 working directory 구성)

git reset: head가 커밋을 가리키게 할 수 있고, working directory의 내용도 과거 커밋의 모습으로 돌아가게 한다.

git reset --hard abc(커밋아이디 4자리)

Head가 해당 commit id 시점으로 돌아감. -> 파일도 그 시점으로 돌아감.

git reset --soft abc

• Head가 과거 특정 커밋을 가리키도록 한다.

git reset --mixed abc

• staging area를 과거의 특정 커밋의 내용과 똑같게 만든다.

git reset --hard abc

• working directory를 과거의 특정커밋의 내용과 똑같게 만든다.

git reset

git reset --abc HEAD^ 
# 현재 Head가 가리키고 있는 커밋의 바로 이전 커밋.
git reset --abc Head~2
# 현재 Head가 가리키는 커밋보다 2단계 전 커밋

git tag

git tag abc 커밋아이디
ex) git tag Version 84ab

git tag: 깃 디렉토리에 있는 태그 조회 git show 태그이름

client(클라이언트 프로그램): 사용자가 server에 접속해서 원하는 데이터베이스 관련 작업을 할 수 있도록, SQL을 입력할 수 있는 화면 등을 제공하는 프로그램 server(서버 프로그램) : client로부터 SQL 문 등을 전달받아 데이터베이스 관련 작업을 직접 처리하는 프로그램

DBMS를 사용한다는 것은, 실행되고 있는 server에 client를 이용해서 접속한 후, 원하는 명령을 내린다는 뜻

primary key

테이블에서 하나의 row를 고유하게 식별할 수 있도록 해주는 column (Not Null 이어야만 한다), (PK)버튼 설정

Primary Key의 종류 2개

1. Natural Key:실제로 어떤 개체가 갖고 있는 속성을 나타내는 컬럼(책의 ISBN)
2. Surrogate Key: 제가 Primary Key로 사용하기 위해 인위적으로 생성한 컬럼. (숫자 1부터 순서대로 상승)

Not Null

Null = 값이 없음 (빈 문자열과 0 은 NULL X) NN = 이 컬럼에는 null이 있으면 안된다. == Primary Key는 NN이어야만 한다.

추상화 - 복잡한 내용은 숨기고 주요기능에만 신경쓰자!

1) 변수 Variable 2) 함수 Function : 명령을 저장하는 것 3) 객체 Object

파라미터: 함수에 넘겨주는 값

1. 레포지토리 == .git directory(숨겨진 디렉토리)

commit이 저장되는 곳

2. 커밋한다

프로젝트 디렉토리의 특정 모습을 하나의 버전으로 남기는 행위 & 결과물 => repository에 남겨짐

commit에 관한 주의사항

1) 처음으로 커밋을 하기전 사용자의 이름과 이메일 주소를 설정

 git config user.name "gina Lee"
 git config user.email "kwon3rd@naver.com"

2) 커밋할 파일을 git add로 지정해주기

git add "파일명.py"
git add . 
# 파일내의 변경사항이 생긴 모든 파일들을 staging area에 추가하라

3) git status로 staging area 확인하기

git status

4) 커밋하기

git commit -m "abcd"

• 처음 커밋하면 root-commit이 생성되었다는 메세지 뜸

깃의 작업 영역

1. working directory : 작업을 하는 프로젝트 디렉토리
2. staging area : git add 한 파일들이 존재하는 영역, (git add 한 파일들 == staging area에 있는 파일들만 커밋에 반영됨)
3. repository : 커밋들이 저장되는 영역

   git add를 선별적으로 한 경우 staging area에 add한 파일만 올라감

git파일의 Status

1) untracked 상태: 파일 생성후 한번도 git add 하지 않으면 나타남. git에 의해서 그 변동사항이 전혀 추적되고 있지 않는 상태.

2) tracked 상태: (1) staged: 새로 생성한 파일에 내용을 쓰고 git add를 하거나, 한번이라도 커밋에 포함됐었던 파일이라도 내용을 수정하고 git add를 한 경우 (2) Unmodified 상태: 커밋을 한 직후 현재 파일의 내용이 최신 커밋의 모습과 비교했을때 전혀 바뀐게 없는 상태. (3) modified 상태: 최신 커밋과 비교해 수정사항이 있을 경우.

git reset

git add에서 삭제하기 커밋 후 수정된 이후 staging area에 올렸던 파일을 내리고 싶을때

git reset "abc.py" 

staging area 에서 내려가고, 가장 최근의 git commit과 같은 상태

git push

로컬레포지토리에서 새로운 커밋을 할때마다 리모트 레포지토리에 그대로 반영하기 위해서 git push 해줘야함

git push

git pull

최신 내용이 리모트 레포지토리에 있을때 로컬로 따라잡기 위함

git pull

git clone

깃허브 프로젝트의 레포지토리를 그대로 복제

git clone https://github.com/abcabc

프로젝트 엉키지 않게 꼭 폴더 이동후 복제,,,,ㅎ;

지표?

1) 데이터를 측정하고 평가하기 위한 정량적인 측정 항목 2) 비즈니스와 프로덕트의 현재 상태를 알려줄 수 있는 항목 -> 데이터를 쉽고 명확하게 요약하여 전달할 수 있게함.

로그 설계란

데이터

1. 서비스 운영용 데이터: 서비스 운영 과정에서 자연스럽게 기록되는 데이터

가격, 수량, 회원가입자 수, 거래액 등등 => SQL등으로 개발자가 따로 DB에 보관 2. 로그데이터: 데이터 분석을 위해 따로 설계, 적재가 필요한 데이터 유저의 행동 => UI를 변경하기 위해서

로그설계 : 로그데이터의 개발을 위한 기획 => 로그의 데이터를 전송하기 위한 개발

로그설계 프로세스:

1) 지표기획

• 일간 방문자수, 상품 클릭률, 구매전환율
  2) 로그설계
• 어떤 특성의 유저가, 어떤 행동을 했는가
  3) 로깅
• 설계대로 개발
  4) 로그 QA
• 데이터가 의도대로 잘 찍히는지

로그 설계 프로세스

Numpy란?

• 파이썬 리스트보다 Numpy array가 더 효율적(넘파이는 내부적으로는 C언어 최적화)

인덱싱

• 한번에 여러 값을 받아올수 있음

2차원 인덱싱

Boolean 인덱싱 or 마스킹

Numpy는 array끼리 직접 연산 가능

• array_1 * array_2

Matplotlib

plt.plot(x축 abc, y축 abc)

산점도 plt.scatter(x축 , y축, c = 'red' , marker = '+' ) plt.title('abc') plt.xlabel('Height (cm)') plt.ylabel('Weight (kg)') plt.show()

Pandas

iloc(숫자로 찾아냄)

loc

Boolean : 특정 조건에 맞는 데이터 필터링

workingday 라는 컬럼 추가.

------코랩 파일 들어가야함

상관관계 시각화

상관계수 = 0 두 값 사이에 상관관계가 없다.

상관계수 > 0 어떤 값이 커질때 다른 값도 함께 커짐

상관계수 < 0 어떤 값이 커질때 다른 값은 작아짐

1, -1에 가까워질수록 연관성이 높아짐

누적값 구하기 cumsum()

종훈이는 일주일 전에 '코드댓'이라는 코딩 교육 서비스를 런칭했습니다. 유저를 모으기 위해 지난 일주일 동안 지인들에게 열심히 홍보도 했고, 이제 유저가 얼마나 모였는지 확인해 보려고 합니다. user_df에는 세 개의 컬럼이 있는데, day는 서비스 오픈 후 경과일, register는 그 날 회원가입한 유저 수, unregister는 그 날 탈퇴한 유저 수입니다. 새로 가입한 유저 수와 탈퇴한 유저 수를 고려해서, 일별 누적 유저 수를 한눈에 확인할 수 있도록 net_user_cumsum이라는 컬럼을 만들어서 아래와 같은 막대 그래프를 그려 보세요!

import pandas as pd
user_df = pd.read_csv('data/user.csv')
user_df['net_user'] = user_df['register'] - user_df['unregister']
user_df['net_user_cumsum'] = user_df['net_user'].cumsum()
user_df.plot(x='day', y='net_user_cumsum', kind='bar')

추론통계 - Inferential Statistics 표본을 기반으로 모집단에 대한 추론을 하는 것

분산(Variance)

데이터의 평균을 구한 후, 각 데이터에서 평균을 빼줌-> 편차 편차를 제곱(양수로 토일, 편차가 큰 값들을 더 부각시키기 위)해서 제곱한 값으로 다시 평균을 냄

표준편차(Standard Deviation)

분산에 루트씌워서 원래 단위로 맞춰줌

분산과 표준편차가 작으면?

표본을 다룰 때에는

편차의 제곱을/ (데이터 갯수 -1)로 나눠준다.

• mode 최빈값
• mean 평균값
• median 중간값 = Q2

박스플롯 그리기

df.plot(kind = 'box')
plt.show()

박스플롯

• IQR의 범위 = 3사분위수 - 1사분위수

1사분위수, 3사분위수, IQR 만드는 방법

• q1 = df[].quantile(0.25)
• q3 = df[].quantile(0.75)
• IQR = q3 - q1

IQR 수치로 보기

• 1분위에는 q1 - iqr * 1.5
• 3분위에는 q3 + iqr * 1.5

정상범위는 38.75 ~ 88.75 나머지값은 이상치

그래프해석

• box plot 의 중간값(초록)이 영<수<과로 높음 상대적으로 쉬움
• 과학은 박스플롯이 상대적으로 높은것으로 보아 학생들의 점수가 잘 나온것을 알 수 있음.
• IQR의 길이와 whisker의 길이가 비교적 긴 수학의 경우 학생들의 점수 분포가 다양함을 알 수 있음.
• 영어의 중간값(초록)은 25% - 50%의 구간이 짧고 50% - 75%의 구간이 길기에(둘의 데이터 수는 같음) Q1에 점수차가 작은 값들이 몰려있음을 알 수 있음.
• 수학의 경우 50% ~ 75% 구간에 데이터가 많이 몰려있음을 알 수 있음.

범주형데이터의 경우 -> 최빈값

범주형이 아닐경우

df. describe(include= 'all')

top = 최빈값 freq = 최빈값이 등장하는 빈도

Backpropagation

스택

후입선출 push, pop

큐

선입선출 enqueue, dequeue

activation function = non-linear function MLP - Multi-layer perception

비트연산자

10진법을 2진법으로 나타나는것

n << t

n * 2의 t제곱

a = 3 (0b0011)
b = 5 (0b0101)


a << 1
(a를 1비트씩 옮김 -> 0b0110)
print(a) #6

a << 2
(a를 2비트씩 옮김 -> 0b1100)
print(a) #8 

a & b (둘 다 1일때만 1 반환)
a = 3 (0b0011)
b = 5 (0b0101)
print(a & b) # 1


a|b 합집합(둘중 하나라도 1이면 1) 
a = 3 (0b0011)
b = 5 (0b0101)
print(a | b) # 7(0b0111)


a ^ b 대칭 차집합
a = 3 (0b0011)
b = 5 (0b0101)
print(a ^ b) # 

And/Or/XOR

And = 교집합

Or = 합집합

a ^ b 대칭 차집합