요약통계량 확인

컬럼명 바꾸기(rename)

파생변수(컬럼) 만들기

• total 컬럼 생성하기 = 도시와 고속도로의 연비의 평균

• 통합연비 평균 구하기

연비의 기준값을 설정해 기준값을 넘으면 'pass' , 넘지 못하면 'fail'으로 분류

• 기준값 정하기
• *평균연비(total)의 평균과 중앙값 확인

**자동차들의 연비 분포 확인

**요약통계량과 히스토그램을 통해 기준값 설정

• total 연비의 평균과 중앙값이 약 20이다
• total 연비가 20~22.5 사이인 모델이 가장 많다
• total 연비는 대부분 25이하이고, 25넘기는 모델은 많지 않다
• total 변수가 20을 넘으면 합격(pass), 넘지 못하면 불합격(fail)

np.where 패키지 함수 사용

• 평균연비가 20이상이라면 pass,아니라면 fail 값을 출력
• test 라는 새로운 컬럼 생성 후 값 담아주기

합격 판정 자동차 수 확인하기

막대그래프로 빈도 표현하기

• total이 30이상이면 'A', 20-29이면 'B', 20미만이면 'C'등급으로 분류
• 'grade' 컬럼 생성해서 값 담아주기

등급별 빈도 확인하기

알파벳 순으로 정렬

막대 그래프 연비 등급 확인하기

조건을 이용하여 파생변수 만들기

** 여러 조건시, &(and) / |(or) 조건을 ( )묶어주기

** isin메서드 활용(변수의 값이 입력한 목록에 해당하는지 확인)

(실습) 아우디와 도요타 도시 연비 평균 구하기

** mean() 평균

카테고리가 suv,compact의 차종의 도시 연비 평균 비교

쉐보레,포드,혼다 자동차의 고속도로 연비 평균을 구해보기

**in연산자/변수명 in 리스트

groupby 사용

• 데이터를 그룹화하여 연산을 수행하는 메서드

**제조사별 도시연비 평균 구하기

**제조사별 city_mean과 high_mean의 값 확인하기

**제조사별 등급나누기 제조사별로 등급의 개수(A,B,C)

(실습)

• 고속도로 연비가 가장 높은 제조사를 확인하기 위해 고속도로 연비 평균이 높은 회사 3곳 출력

• 어떤 회사에서 compact 차종을 가장 많이 생산했는지 내림차순으로 정렬

산점도(scatter)그래프

**x축, y축 설정 (xlim,ylim)

막대 그래프

• 그래프 정렬하기

구동방식별 빈도표 만들기

• 막대그래프 그리기

• 토큰화, 정제, 정규화, 정수 인코딩의 기본적인 자연어 전처리 과정을 이해한다
• 감성어휘 사전을 활용해 감성분석을 진행해보자

단어 토큰화(Word Tokenization)

• 토큰 : '의미있는 작은 단위'를 뜻함
• 코퍼스(corpus) : 분석에 활용하기 위한 자연어 데이터 / 말뭉치
• 토큰화 : 하나의 코퍼스를 여러개의 토큰으로 나누는 과정

영어 자연어 처리 패키지 설치 : NLTK

단어 토큰화

실습

정제(Cleaning)

• 코퍼스에는 아무 의미도 없거나 목적에 부합하지 않는 단어들도 포함
• 전처리 과정에서 제거하는 작업을 정제
• 등장빈도, 단어길이, 불용어 등을 기준으로 사용

등장빈도가 적은 단어 정제

• 코퍼스에 등장하는 빈도가 너무 적은 단어는 분석에 도움이 되지 않음
• Counter() 함수 활용

**빈도수가 2 이하인 단어 리스트를 추출

**빈도수가 2이하인 단어들만 제거한 결과를 저장

• if 변수 not in

**길이가 2이하인 단어 제거

• len()

정제 함수 만들기

• 등장 빈도 기준 정제 함수

• 함수호출

• 단어 길이 기준 정제 함수

• 함수호출

불용어(Stopwords)

• 코퍼스에서 큰 의미가 없거나, 분석 목적에서 벗어나는 단어들

1. 불용어를 모아 놓은 불용어 세트 준비
2. 코퍼스의 각 단어/토큰들이 불용어 세트에 포함되는지 확인
3. 불용어 세트에 있는 단어 토큰을 분석에서 제외

• 1. 불용어를 모아 놓은 불용어 세트 준비

** 집합 자료형 set (인덱싱, 슬라이싱 불가)

• 2. 코퍼스의 각 단어/토큰들이 불용어 세트에 포함되는지 확인

**불용어 목록에 새로운 단어/토큰 추가,제거

불용어 제거하기

불용어 처리 함수 정의하기

• 함수호출

정규화(normalization)

• 의미가 같은 단어라면 하나의 형태로 통일
• 형태가 다르지만 같은 의미를 나타내는 단어들이 많을수록 분석이 어려워짐
• 남한,Korea,대한민국,한국->통일

정규화방법1 : 대소문자 통합

정규화방법2 : 규칙기반 정규화

감성분석이란

• 자연어에 담긴 어조가 긍정적인지, 부정적인지, 혹은 중립적인지를 확인하는 작업
• 제품개발, 서비스개선, 시장조사 등 다양한 용도로 활용가능

VADER

• 감성 분석을 위한 어휘사전이자 알고리즘
• 축약형과 기호 등을 고려해 감성지수를 추출할 수 있음

**VADER 감성분석

불필요한 문자 제거하기

명사 추출하기

두 글자 이상 단어 남기고, 빈도표 생성하기

단어 빈도 상위 20개 추출

top20을 통해 막대 그래프 만들기

워드클라우드 만들기

• 데이터프레임을 딕셔너리로 변환 dic_word=df_word.set_index('word').to_dict()['word_count']

• wc 만들기

• 워드클라우드 만들기 img_wordcloud=wc.generate_from_frequencies(dic_word)

• 워드클라우드 출력하기