print(hannanum.pos('"언제부터 YouTube에서 수익을 창출할 수 있나요?"라는 질문을 받습니다')) print('\n') print(twitter.pos('"언제부터 YouTube에서 수익을 창출할 수 있나요?"라는 질문을 받습니다')) print('\n') print(komoran.pos('"언제부터 YouTube에서 수익을 창출할 수 있나요?"라는 질문을 받습니다'))

결과값

한나눔 [('"', 'S'), ('언제', 'N'), ('부터', 'J'), ('YouTube', 'F'), ('에서', 'J'), ('수익', 'N'), ('을', 'J'), ('창출', 'N'), ('하', 'X'), ('ㄹ', 'E'), ('수', 'N'), ('있', 'P'), ('나', 'E'), ('요', 'J'), ('?"', 'S'), ('라', 'N'), ('는', 'J'), ('질문', 'N'), ('을', 'J'), ('받', 'P'), ('습니다', 'E')]

트위터 [('"', 'Punctuation'), ('언제', 'Noun'), ('부터', 'Josa'), ('YouTube', 'Alpha'), ('에서', 'Josa'), ('수익', 'Noun'), ('을', 'Josa'), ('창', 'Noun'), ('출', 'Verb'), ('할', 'Verb'), ('수', 'Noun'), ('있나요', 'Adjective'), ('?"', 'Punctuation'), ('라는', 'Josa'), ('질문', 'Noun'), ('을', 'Josa'), ('받습니다', 'Verb')]

코모란 [('"', 'SS'), ('언제', 'NP'), ('부터', 'JX'), ('YouTube', 'SL'), ('에서', 'JKB'), ('수익', 'NNG'), ('을', 'JKO'), ('창출', 'NNG'), ('하', 'XSV'), ('ㄹ', 'ETM'), ('수', 'NNB'), ('있', 'VX'), ('나요', 'EF'), ('?', 'SF'), ('"', 'SS'), ('이', 'VCP'), ('라는', 'ETM'), ('질문', 'NNG'), ('을', 'JKO'), ('받', 'VV'), ('습니다', 'EC')]

'할 수 있나요?'의 '수'를 한나눔과 트위터에선 '수익'과 같은 'Noun(체언)'으로 인식해버린다. 반면 코모란은 좀더 세분화하여 'NNB'로 인식한다. ('수익'='NNG')

다른 글을 찾아보니 코모란이 속도면에서도 나쁘지 않다고 한다.

정확성, 시간 모두 중요할 때 : 코모란 https://ratsgo.github.io/from%20frequency%20to%20semantics/2017/05/10/postag/ 자소 분리나 오탈자에 대해서도 어느 정도 분석 품질이 보장되야 한다면 KOMORAN 사용을 고려 https://iostream.tistory.com/144

이에 이전 코드를 한나눔에서 코모란으로 바꿔주었다. 코모란의 품사 태그도 다시 알아봐야하는데 아래에서 확인했다.

https://docs.komoran.kr/firststep/postypes.html

[i] 일반명사 Top 10 키워드 & 횟수

[('수익', 11), ('창출', 11), ('채널', 11), ('프로그램', 8), ('충족', 7), ('가입', 6), ('검토', 6), ('정책', 6), ('기준', 5), ('자격', 5)]

[ii] 일반명사,고유명사 Top 10 키워드 & 횟수

[('채널', 14), ('수익', 11), ('창출', 11), ('프로그램', 8), ('충족', 7), ('가입', 6), ('검토', 6), ('정책', 6), ('동영상', 5), ('파트너', 5)]

위 결과와 달리 '채널'의 반복횟수가 3회 더 상승했다. 아마 띄어쓰기가 안 된 부분에서 가져온 것이 아닌가 싶다

[iii] 일반명사,고유명사,의존명사 Top 10 키워드 & 횟수

Top keyword: [('수', 15), ('채널', 14), ('수익', 11), ('창출', 11), ('프로그램', 8), ('충족', 7), ('가입', 6), ('검토', 6), ('정책', 6), ('동영상', 5)]

_(이전글에서 고문관이었던) '수'가 다시 등장한다. 그 외에 다른 값들의 횟수는 위 [ii]와 변함이 없다.)

**결론

1. 코란도가 속도면 정확도면에서 유리하다.
2. 일반명사~고유명사까지만 포함하여 키워드로 전제하기로 한다.

**

오늘 할 것 1.형태소 분석 후 [명사]/[형용사](이하 키워드) 만 추출하여 리스트 담기 2.최다 반복된 키워드를 10위까지 추출하기 (전체 영상에서) 3.영상 전체를 구간화 시키기 (5분할 or 10분할) 4. 구간 중 최다 반복 키워드 추출하기

이 글에선 2번까지 하다가 '형태소 분석기'를 조금더 공부할 필요가 있어서 다음글로 넘어간다

##1. pytube를 활용하여 CC로 저장된 정보를 리스트에 담았다 -리트스의 요소는 딕셔너리다 -각각의 자막정보를 순서, 시작 타임코드, 종료 타임코드, 자막을 인덱스로 한 딕셔너리에 담았다

##2. 'cc'자막만 하나의 리스트 안에 넣어주었다

3. 특정 형태소만 리스트에 넣기 (체언)

체언, 수식어만 담기

결과값 '드', '수' 등 키워드라 보기 어려운 것만 나옴 따라서 체언만(N)만 추출하기로 함 형태소 분석기를 한나눔 -> 트위터 / 코모란 / 미캡 으로 바꾸는 방법이 나을 수 있음 (이후에 진행하기로)

결과값 해보니 여전히 '수'가 많다. 이것은 키워드로 삼을 수 없기에 다른 방법을 찾아야한다. 또 '확인하세요'도 '확인'을 따로 추출하지 않음을 확인할 수 있다. 다른 형태소 분석기를 사용하기로 하고 일단 다음단계로 넘어간다.

##3. 최다반복어를 탑10까지 보여주기 collection에서 counter라는 라이브러리를 불러와서 하단 코드만 입력하면 잘 추출된다.

from collections import Counter

counts = Counter(noun_adj_list) print(counts.most_common(10))

##4. 최선의 형태소 분석기 찾기 --> 다음글에서

한 것 -CC에서 자막만 추출하여 리스트에 담기 -형태소 분석을 위한 konlpy 모듈 설치 -형태소 분석

오늘 할 것 -형태소 분석 후 [명사]/[형용사](이하 키워드) 만 추출하여 리스트 담기 -최다 반복된 키워드를 10위까지 추출하기 (전체 영상에서) -영상 전체를 구간화 시키기 (5분할 or 10분할) -구간 중 최다 반복 키워드 추출하기

한 것 -새 아이디어를 제안하여 현실적으로 쪼렙 개발자가 개발가능한 안을 선택하였다

안 한 것 -지난 주 해오라고 하셨던 [voice to txt 모듈 사용해보기]

할 것 -CC자막 추출 -> 분석하는 모듈 적용

// 유튜버 말싸미... 등으로 활용 가능

첫 화면은 아래처럼 URL, 파일 업로드하는 칸만 있다

분석 중이다

시간대 별 키워드 결과 노출 -파형 확대-축소할 때마다 해당 구간에서 가장 많이 반복된 어휘 키워드를 띄움 -키워드 클릭하면 해당 구간 플레이 됨

-반복된 단어 횟수&추출로 강조하는 단어를 알려줌 -어휘사용 습관을 보여줄 수 있음

예시 -'피바다' 10회 사용

2020-02-08 18:02 작성됨