토스 PO가 말하는 프로덕트 성과를 극대화하는 방법

PO : 제품의 성공을 최종으로 책임지는 사람

1. 제품 방향성이 막연할 때, 중심 잡는 법

다음 스텝 → 나의 백로그, 이게 결국 전부다. (예시 : PON 리스트, Problem/Opportunity/Needs) KPI : 고객 경험 / 매출 / 성장 (내가 속한 회사 레벨의 상위 KPI) Sub metric : NPS / 가입 전환율 / 친구 초대 수 (내가 속한 팀의 KPI, 데이터 모델링을 활용해본다) 소스 : 고객 / 팀 인사이트 / 데이터 분석 (아이디어의 원천, 회고에 유용, 다양한 채널) PON : 구현된 기능의 제약으로 ~정보가 토스앱에서 너무 늦게 조회된다. 토스앱 홈탭에 진입점을 노출한다 / 11월에 개선한 친구초대 스킴으로 viral K가 ~수준으로 올라갔다. (내 제품의 문제와 기회, 요인) Definition of Awesome : ~ API를 활용하여 실시간으로 ~정보를 확인할 수 있다 / ~으로 판단된 고객은 토스앱 메인에서 바로 서비스를 발견한다. / 유저 1명이 평균 ~명의 사용자를 자발적으로 데려온다. (내 제품의 문제와 기회, 요인을 잘 풀어낸 솔루션) Priority : 중간 / 낮음 / 높음 (우선 순위)

*백로그 : 방향, 집중, 상황판 역할, 상시 업데이트

2. 신규 개발할 때 중심 잡는 법 (MVP : Minimum Viable Product, 실행 가능한 최소 크기의 제품) 극 초반에 하기 쉬운 실수들(=하면 안되는 실수들) : 있으면 좋으니까 개발한다 / 런칭하자마자 대규모 푸시 보내기 / 예측에 기반해 스펙 추가하기 / 런칭하고 자랑하고 축하하기

MVP : 개발 공수 크기가 아니라 '최소 가치', 가설이 옳았느느지 검증하기 위해 제공될 가장 작은 가치

▶ PO의 멘탈리티 : 인정받고 싶은 에고 버리기 / 아무도 안 쓸것이라고 기대하기 / 6개월 뒤 없어질 수 있는 제품이라는 생각으로 만들기 / 런칭은 단지 시작일 뿐, 그 자체로 축하할 일이 아니다.

핵심 가치를 검증하는 데 필요하지 않다면 과감히 빼기 소규모 오픈, 고객의 목소리 수집하기 코드 짜기 전에 고객에게 물어보기 ** (예: 주요 화면마다 '문의' 버튼 추가) **PM fit을 찾았을 때 축하하기 survey, NPS:추천 지수(Net Promoter Score) → 추천 고객의 % - 비추천 고객의 %(토스의 경우 80점 이상이면 great) Retention Curve : 리텐션이 잘 나온다면 우리 제품을 잘 쓰는 대부분의 사용자가 하는 특정 행위들을 파악함

각 제품의 스테이지마다 맞는 방법들에 대한 고민

3. 멘탈 중심잡기 PO의 멘탈은 제품의 성공을 좌지우지 하는 요소로서 관리되어야 한다. 추천 책 : 팀장의 탄생

*내가 모르면 남들도 모르더라 *내가 어려우면 남들도 어려워하더라 *내가 나를 못믿는데 고객을 어떻게 설득시킬 것인가 *나는 나여서 내 방식으로 할 때, 나다울 때 가장 성공할 수 있다

중요한 심리 자본으로서의 '자신감'

해결사 병에서 벗어나서 도움을 요청하자 동료의 시간을 오직 나라는 존재의 학습을 위해서만 사용하는 것은 큰 용기가 필요한 일이며, 그런 용기가 있는 사람만이 성장할 수 있다.

토스 PO Skill set -Experience -Mobile gut feeling -Analytic Mindset -Business development -Growth hacker mindset -Grit/Obsession -People management

여기서 나의 장점은 몇 가지인가? 어떤 것인가?

*toss tuba(내부 툴) 이건 진짜 너무 궁금하다...!!!!!!!!!

15년차 구글 PM이 말하는 실리콘밸리 PM의 의사결정법

-Product Manager는 무엇을 하는 사람인가요? 제품에 대한 최종 책임을 지는 사람 '너의 제품은 네가 책임져라'

-여러가지 일 중 가장 중요한 일? Decision

-데이터에 기반한 결정내리기 현재 우리 제품의 상황과 개선점에 대한 공통 이해가 있나? 맞는 지표가 정의 되어 있나? 결정 권한이 잘 분배되어 있나? 우리는 서로를 믿나?

-나의 제품/서비스가 무엇을 하려는 단계인지 이해하자

1) 현재 내 제품, 서비스는 어떤 과제를 수행해야 할까요? → 리스트업 하기 2) 나의 업무 환경이 어떠한지 돌아보자 #가용할 리소스들 체크 인력 리소스 도구 리소스 리뷰 리소스 #분위기 예) 좋은 아이디어는 널리널리 공유하자 빨리 실험해보고 다음으로 가자 느린 완벽한 결정보다 빠른 덜 완벽한 결정이 낫다 사용자가 우선이다

도구 : 양적/질적 데이터 둘 다 필요하다 → 개개인이 (라이브)실험을 할 수 있는 환경, 라이브 트래픽에 실험군을 넣을 수 있는 방법, 타겟 실험군을 선택할 수 있는 방법, 실험군과 대조군의 각 지표를 보여줄 수 있는 대시보드 (Google Optimize, 오픈 서베이)

사람 : 사람이 맞게 배치되어 있어야 한다 "사람이 제일 중요합니다. 필요한 사람들이 모두 머리를 맞댑니다." → 중요한 건 나 혼자 생각해서 나 혼자 본다기보다는 이 일의 목적에 과련된 모든 사람들이 '토론'하여 실험을 다듬어 내놓는 것. → 여럿이 머리를 모으기 때문에 '훌륭함'에 더 다가가고 불필요한 보고 커뮤니케이션을 줄이게 되면 효과적인 만들기가 가능해짐. → 분석된 데이터를 보고 어떤 방향으로 끌고갈지 결정하는 주체도 사람 하지만, 어떤 때에는 감을 믿고 프로덕트 인사이트를 통해 의사결정을 내려야 하기도 한다. 왜냐하면, 데이터라는 것은 '과거'이기 때문에.

무형의 중요한 것들 ; 나는 왜 실험을 돌리는가 → 문제와 가설, 그리고 메트릭 → 나는 어떤 문제를 풀고 싶고 그 문제를 풀기 위해 어떠한 가설을 세웠는가. → 가설들과 매칭되는 메트릭들(아주 드물게 메트릭으로 해석되는 문제가 아닌 경우도 있다) → 계속해서 문제를 해결해가는 것

Product Manager가 되려면 무엇을 해야 할까요? 지금 하는 일에 대해 리더쉽을 가질 것. (리더쉽 ; 내가 가지고 있는 책임과 권한을 극대화하는 것) 새로운 조직에 던져졌다면 프로덕트의 비전, 성공 기준(success metric), 사용자들에게 전달 할 수 있는 방법을 마련할 것. 팀워크. IT 관련 기업이라면 기술적/개발적인 배경을 가지는 것을 추천. 긍정 화법에 익숙해질 것(셀프 세뇌)

내가 사용자가 아닌 제품을 만드는 것은 정말 어렵다. '내가 사용자'여야 한다. 각 파트의 담당자가 정확한 액션을 취할 수 있도록 커뮤니케이션을 한다. 실패를 빨리 경험하는 것. 실패를 디딤돌처럼 다룰 수 있어야 한다. 리소스 낭비를 줄일 수 있도록 한다

• 모수의 차이로 인해 그래프상에서 제대로 된 변화를 보여줄 수 없는 경우, 하나의 항목에 하나의 그래프가 노출되도록 한다.

• 데이터 시각화에 있어, '보기 좋음'의 기준은 데이터와 그래프를 보는 상대방이다.

• 증감의 정도를 보여주는 방법 : 일반 숫자, 퍼센테이지 중 취사 선택에 대해 고민해보기

추세선 그려보는 습관 ; 궁극적으로 추세선으로 알 수 있는 것, 아닌 것을 구별하기

• 추세, 추이, 트렌드 파악하기

• 월별, 분기별로 데이터 시각화하는 연습

• PC와 모바일 상의 클릭수, 검색수, 검색어가 어떤 차이를 보이는지 확인해 보기

경험적으로 '검색어'는 이용자의 직관과 니즈를 이해할 수 있는 굉장히 좋은 데이터이다.

• 시대상을 읽어볼 수 있는 뉴스 체크하기

: 시즌, 시기에 맞는 이슈들 확인해보기

• 노출수에 영향을 미치는 요인들은?

• 클릭 당 비용은 적을수록 좋다

• 꺽은 선, 막대 혼합 그래프 만들어보기

*★데이터 시각화 연습하기 *

• 주요 검색어 리스트업 하기(검색 광고) : 판매 전략 데이터로 활용

-배너를 언제, 누구에게 노출시킬지에 대하여 고민하기

-시간대별 트래킹 파악하기

▼예시

-방문수 대비 이탈수, 회원가입수, 주문수 비교하기 (매체별로 확인하기)

-이벤트 혹은 광고 소재에 따른 '효율성' 재고도 같이 이루어져야 한다. 즉, 세부적인 것은 물론 총체적인 그림이 머리에서 같이 그려져야 한다.

**분산분석 : 서로 다른 변수나 표본이 있을 때, 그것들을 비교하는 분석법 *

*품목별 매출 동향에 어떤 요인이 영향을 미치는가?

*각 품목들의 매대 위치는 동일하다.

*계절의 영향을 받는 품목이 있다. (연령대를 파악한다면 추세를 더 자세하게 이해할 수 있다.)

*고객 데이터를 상세하게 본 후, 각 품목의 하위 상품들이 어떻게 구성되어 있는지 파악해 볼 필요가 있다.

*시계열 데이터(월별, 계절별), 추세 파악하기(세부, 하위)

*분산분석 : 서로 다른 변수나 표본이 있을 때, 그것들을 비교하는 분석법

*동일 기간, 같은 콘텐츠, 각 이벤트(총 3건)의 노출수를 12000회로 고정 후 노출시키고 주요 변수 영향도를 파악한다.

*배너의 위치에 따른 배너 통계

→ 이벤트 효과와 이벤트 안내 배너의 위치에 따라 클릭율이 달라진다.

*분산분석 : 서로 다른 변수나 표본이 있을 때, 그것들을 비교하는 분석법

유입수 : 각 SNS 채널을 통해 (광고하는) 사이트에 유입시킨 수 유입률 : 노출된 컨텐츠를 클릭한 사람이 실제로 얼마나 유입되었는가? 전환수 : 유입된 사람이 설정한 목표(회원 가입, 구매 등)에 도달한 수 전환율 : 유입에서 얼마나 전환이 되었는가?

*광고 집행 비용 / 소재는 모두 동일하다.

*SNS 이용 연령대를 파악함(추정해보기) : SNS를 이용하는 연령대에 따라서 전환수에 영향을 준다.

*광고를 집행할 때 매체별로 효율이 다를 수 있다. 하지만 광고 집행/ 소재가 모두 동일하다고 한다면 각 매체의 효율을 결정짓는 요인으로는 '연령대'로 볼 수 있음

*광고 매체 별 일자별 추이를 분석했을 때 전체 추이와 가장 유사한 추이를 보이는 광고 매체를 분석하고 그 매체를 이용하는 사람들을 분석함으로써 광고를 해야하는 대상(타겟팅)을 훨씬 더 확실하게 알아낼 수 있다.

서로 다른 집단이 세 개 이상일 때 집단 간 평균의 차이를 검정 평균에 대한 비교이지만, 분산의 개념을 활용하여 검정하기 때문에 분산 분석이라고 불린다.

아... 너무 어렵네...

• 상관분석 : 두 변수의 연관성은 어느 정도인가?

       예) 아이스크림 가게의 매출과 기온의 상관성은 어느 정도인가?

  ▶ 두 변수 간의 상관관계 정도를 나타내는 수치, 범위는 (-1, 1)

• T-test : '서로 다른 두 표본의 평균 차이가 통계적으로 유의한가?'를 검정

      예) 홈페이지 A 위치에 배너를 놓았을 때 B 위치의 배너를 놓았을 때 
          매출액 차이가 통계적으로 유의한가?

▶ 귀무가설 : 두 집단의 평균이 서로 같다 vs 대립가설 : 두 집단의 평균이 다르다.

*t-test를 사용하기 위한 가정 : 정규성 *

t-test : 서로 다른 두 집단의 평균이 통계적으로 유의한가? F-testf(등분산 검정) → t-검정(Student's t-test, Welch's t-est))

• Palred t-test : '같은 그룹의 사전/사후 평균 차이가 있는가'를 검정

              예) 캠페인 광고 전후의 고객의 구매금액 차이가 통계적으로 유의한가?

"데이터 편집"

1) 원본 데이터를 받았을 때 폰트 크기를 줄이고 셀 넓이를 조절하여 가독성을 높이는 작업을 한다.

2) 첫 번째 A열은 항상 비워두는 것이 좋다 ; 수식과 함수를 이용해서 '검증'하는 용도로 사용 할 수 있고 데이터의 테두리를 쳐서 보았을 때 가독성을 높이는 방법이 된다.

3) 데이터를 보기 좋게 편집 : 빠르고 정확한 데이터 분석의 첫걸음

4) 데이터 분석은 현황 위에 '해석'이라는 가설을 세우는 작업

"If, Subtotal"

1) 원본 데이터를 받았을 때 분석하기 편리하도록 함수를 이용해서 원하는 텍스트를 입력 ;IF

2) 필터를 걸었을 때 원하는 값 또는 필요한 값만 집계 ; Subtotal

"Vlookup, Datedif"

1) Vlookup(Hlookup) : 참조해서 불러오기 (f4 : 절대 참조)

2) Datedif : 날짜와 날짜 사이의 간격을 구함(iferror 같이 응용하기)

"피벗 테이블"

1) 데이터 테이블을 빠르게 작업 할 수 있음

"데이터 필터링, 필드 추가"

1) 데이터가 입려되어 있는 모든 셀에는 필터가 걸려 있어야 함(확인 必)

2) 간단한 요약 테이블(countif, sumif)

3) 원본 테이블과 요약 테이블의 검증

"차트 만들기, 편집하기"

"다양한 형태의 차트(막대형, 꺽은선형, 원형)

• 확률변수 : 표본 공간 내에 있는 각 원소를 하나의 실수값에 대응시키는 함수,

        이산형과 연속형으로 분류

• 확률분포 : 확률 변수가 취할 수 있는 모든 값들과 이에 대응하는 각각의 확률을 계산할 수 있는 식, 표, 그래프

*확률

확률의 공리 : 몇 가지 조건을 설정하고 이를 만족하는 경우

• 상호 배반 : 동싱에 발생할 수 없는 사상

• 종속 관계 : 두 사상 사이에 밀접한 관계가 있어 한 사상의 발생이 다른 사상의 발생에 영향을 미치는 것

조건부 확률 : 종속 관계의 두 사상 A와 B에서, 첫번째 사상 A가 일어났다는 전제하에, 사상 B가 발생할 확률

독립 관계 : 두 사상 사이에 밀접한 관계가 있어 한 사상의 발생이 다른 사상의 발생에 영향을 미치지 않는 것(<-> 종속 관계)

*기술 통계학 자료를 하나 하나 열거하기 보단 몇 가지 대표적인 통계량으로 파악하는 것이 더욱 효과적(특히 둘 이상의 집단을 비교할 때)

범주형 자료 : 숫자로 표현할 수 없는 자료 측정형(양적) 자료 : 숫자의 크기와 의미를 갖는 자료

자료의 기술 : 위치의 측도(자료들이 어느 위치에 가장 많이 모여 있는가, 또는 전체적으로 어떤 형태로 분포하고 있는가)

최빈값 : 자료 중에서 발생하는 도수가 가장 많은 값이지만 대표값으로는 부적절하다.

크기 순으로 배열한 자료가 있다고 했을 때 그 자료를 4등분 한 수는 사분위수, 100등분 한 수는 백분위수가 됨

산포도 : 자료들이 퍼져 있는 정도

분산 : 자료의 변동의 평균(변동이란, 관찰값과 평균과의 차의 제곱 / 분산은 관찰값들이 평균으로부터 떨어져 있는 정도를 의미)

-통계학이란? 관심의 대상이 되는 집단 즉, 모집단의 특성을 파악하기 위해 모집단으로부터 일부의 자료(표본, 우리가 가지고 있는 자료)를 수집, 정리, 요약, 분석하여 표본의 특성을 파악하고 이를 이용하여 모집단의 특성에 대해 추론하는 원리와 방법을 배우는 학문.

모집단 : (관심의 대상이 되는) 모든 관측값이나 측정값의 전체 집합 예) A마트를 이용하는 모든 고객 집합, B공장 생산라인에서 사용하는 특수 기계 집합 *모수 : 모집단의 특성을 나타내는 수, 모평균, 모표준편차, 모비율

표본 : 모집단 전체의 특성을 파악하기 위하여 모집단으로부터 추출된 일부분 예) A마트를 이용하는 모든 고객을 대표하기 위해 추출된 200명의 고객들, B공장에서 선별된 기계 15대 통계량 : 표번의 특징을 나타내는 함수. 표본평균, 표본표준편차, 표본비율

• 통계학을 통해 실무에서 얻을 수 있는 것? 자료에 근거한 합리적인 의사결정

: 이 과정에서 자료(데이터)를 어떻게 파악할 것인가.

• 기술 통계학? 요약 통계량, 그래프 표 등을 이용하여 데이터를 정리, 요약하여 데이터의 전반적인 특성을 파악 ▶ 수치 요약 : 통계량(statistics) / 시가적 표현: 표, 그래프

• 추론 통계학? 데이터가 모집단으로부터 나왔다는 가정하에 모집단으로부터 추출된 표본을 사용하여 모집단의 특성을 파악하는 방법 ▶ 추정 : 점 추정, 구간 추정 / 가설 검정

실제 자료 분석 단계 : 기술 통계(탐색적 분석, EDA) 후 추론 통계

전체적인 로직과 흐름에 대해 이해를 못하고 있어 엄청 헤매고 있다. 다음 스터디에서 관련 내용에 대해 팀원이 정리해주시기로 했는데 사전에 공부를 해야 정리해주는 내용도 이해가 잘 될 것 같다...

▼여기까지는 어찌어찌해서 이해하고 있다...

# file이름과 그 안에 내용들 매칭해서 데이터프레임 생성

df = pd.DataFrame(columns=['file','text'])

for pdf in os.listdir('Factiva-2020'):

    p = 'C:/Users/skanj/Desktop/스터디/oo님 데이터/Factiva-2020/'
    path = p + pdf

    rsrcmgr = PDFResourceManager()
    retstr = StringIO()
    laparams = LAParams()
    device = TextConverter(rsrcmgr,retstr, laparams = laparams)
    fp = open(path,'rb')
    interpreter = PDFPageInterpreter(rsrcmgr, device)
    pagenos = set()

    for page in PDFPage.get_pages(fp,pagenos, caching = True,check_extractable=True):
        interpreter.process_page(page)

    text = retstr.getvalue()

    fp.close()
    device.close()
    retstr.close()

    df = df.append({'file':pdf,'text':text},ignore_index=True)

(4,)

arr.dtype

dtype('int32')

np.zeros((10,2))

array([[0., 0.], [0., 0.], [0., 0.], [0., 0.], [0., 0.], [0., 0.], [0., 0.], [0., 0.], [0., 0.], [0., 0.]]) ; 10행 2열 짜리 행이 모두 0으로 채워진 행렬

import pandas as pd
import matplotlib.pyplot as plt

a = np.array([5,10,15,20])
b = np.array([15,50,34,50])

result = pd.DataFrame({
    "a":a,
    "b":b

})

result

a    b

0 5 15 1 10 50 2 15 34 3 20 50

plt.plot(a,b,'*')

#선형 회귀 모델 구현

height = np.array([188,150,180,197,160,175])
height = height.reshape(-1,1)

math = np.array([85,45,80,99,45,75])

from sklearn.linear_model import LinearRegression

line_fitter = LinearRegression()

line_fitter.fit(height,math)
#fit() 함수 : line_fitter.coef : 기울기 저장
#           : line_fitter.intercept_ : 절편 저장

LinearRegression(copy_X=True, fit_intercept=True, n_jobs=None, normalize=False)

score_predict = line_fitter.predict(height)

plt.plot(height, math, 'x')
plt.plot(height, score_predict)
plt.show()

line_fitter.coef_

array([1.23232984])

line_fitter.intercept_

-144.157722513089

#성능 평가

from sklearn.metrics import mean_squared_error

print("Mean_Sqaured_Error :", mean_squared_error(score_predict, math))

Mean_Sqaured_Error : 17.837150959860406(MSE)

print("RMSE: ", mean_squared_error(score_predict, math)**0.5)

RMSE: 4.22340513802079

print('score: ', line_fitter.score(height, math))

score: 0.9559122942289754

※인프런의 '머신러닝 처음 시작하기'의 선형 회귀 모델 구현을 참고했습니다. 링크텍스트