월간 데이콘 소설 작가 분류 AI 경진대회

[NLP 언제까지 미룰래? 일단 들어와!!] #1.자연어 처리란?

NLP란 무엇인가?

자연어의 의미를 분석하여 컴퓨터로 다양한 문제를 해결하는 것

• 텍스트 분류(Text Classification)
• 감성 분석(Sentimental Analysis)
• 내용 요약(Text Summarization)
• 기계 번역(Machine Translation)
• 챗봇(Chat Bot)

자연어 처리 과정

1. Preprocessing

불용어 제거(Stopwords removing), 형태소 분석(Stemming), 표제어 추출(Lemmatization)

2. Vectorization

One-hot Encoding, Count vectorization, Tfidf, Padding

3. Embedding

Word2vec, Doc2vec, Glove, Fasttext

4. Modeling

GRU, LSTM, Attention

3. 적용(Text Classification)

위의 과정을 이번 신문기사 분류 문제에 적용해보면 다음과 같습니다.

우선 데이터를 불러온 후 기사의 각 문장별로 Konlpy의 함수 중 하나를 활용하여 형태소 분석을 진행합니다. 그 후 필요없는 단어들을 불용어로 지정하고 제외합니다. 해당 결과를 sklearn 패키지의 함수 중 하나를 이용하여 정수 인코딩으로 변환해주는 Vectorization을 진행합니다. 각 문장별로 벡터화된 문장들은 서로 다른 길이를 갖게 됩니다. 모델에 입력하기 위해 모든 문장 벡터들은 일정한 길이를 가져야 하므로 길이가 긴 문장을 자르고 길이가 짧은 문장은 0으로 채워넣습니다.(Padding) 앞서 처리된 문장 벡터들을 특정 차원으로 임베딩 시킵니다. 딥러닝 모델을 이용할 시 자동으로 임베딩을 진행해주는 층을 추가하면 간단하게 진행이 됩니다. 성능을 높이기 위해서 pre-trained embedding인 word2vec, glove 등을 이용합니다. 훈련을 시키고 테스트를 진행합니다.

CPU GPU는 아는데 TPU?

TPU는 구글에서 만든 NPU 라고한다.

TPU 는 구글에서 제작한 NPU 의 이름입니다. Tensor Processing Unit 이라고 합니다.

NPU는 쫌 더 특화된 GPU 이다.

NPU는 GPU에 신경망에서 처리해야 하는 곱셈 연산을 나눠서 시키는 불편함과 자원의 낭비를 줄이거나, NPU 제작 업체가 필요한 사양을 추가하는 등의 Neural Network Processing 에 특화된 칩셋을 말합니다.

cpu-gpu-tpu-npu

GPU vs NPU

생활 코딩님의 Machine learning 1 강의를 들을 것이다.

• 기계학습 : Machine learning
  1. 지도학습 : supervosed learning
     • 분류 : classification
     • 회귀 : regression
  2. 비지도학습 : unsupervosed learning
     • 군집화 : clustering
     • 변환 : transform
     • 연관 : association

옵티마이저는 파라미터 업데이트를 담당하고, 학습률 스케줄러는 옵티마이저가 사용하는 학습률을 동적으로 조절합니다. 학습률을 어떻게 조절할지는 모델의 특성 및 학습 데이터에 따라 다를 수 있습니다.

몸상태가 아주 엉망진창입니다.

코테랑 git 은 어느 정도 알지만

건강이 훅가서 그런지 집중력이 박살이 났더라구요.

주변 분들은 모두 열심히 하시는데 쳐지는 느낌이구요.

커리큘럼이 생각보다 빡빡하니 힘드네용 허허.

공부한거도 쓰고 싶긴한데 머리 속에 넣기만 해도 깝깝하네요 ㅠㅠ

오호호 늦었군요. ToDo리스트도 안 지켰네요 호호호호

이런 게을러 빠진 개발자 같으니라구

사실 이번이 몸이 역대급이였습니다. 복통 허리통증 화장실에 살았죠 허허

하지만 이번에 EDA 조가 생겼는데 조원 여러분이 너무 훌륭해서 많은 압박감을 느끼네요.

이번에 제대로 못들은 강의를 보충해야겠습니다. 하지만 그걸 회의에서 말하긴 그래서 여기 씁니다.

하지만 조원에게 블로그를 알려줘 버린 헉 ㄴㅇㄱ

조원들과 학습일지도 공유했는데 분위기가 전혀 다르더군요.

완전 기술 블로그여서 머쓱타드

나만 일기야 창피해

하지만 기술 블로그로 가는길 이제부터 하면 되겠죠 허허 화이팅

4주차는 건강이 문제가 생겨서 아직까지 몸이 안 좋네요.

역시 나는 개복치인 것인가 어린 여러분은 건강이 제일 중요해요. 건강챙겨요. 일찍부터 챙겨야해요...

나이 먹으니 살빼려고 운동하기도 힘든...

역시 앉아있는 시간이 길어져서 그런가봐요.

PT받다가 케틀벨 때문에 허리가 나가버리고 흑흑

이 글 작성중인 어제 겨우 2주만에 PT 간거 같은데 자세 교정만 받은거 같네요.

너무 더워서 방 옮기고 잡 일거리가 많네요.

푸념은 여기 까지 하고

4 주차

파이썬 프로젝트를 하였는데 과제가 기본 + 가능하면 추가 기능 였는데요.

거의 마지막날 몰아쳐서 했습니다. 건강 이슈 ㅠㅠ

이번 강사분이 파이썬에 호기심을 가지게 잘 유도해주시는 것 같아서 좋았습니다.

5 주차

이제 EDA 수업이 시작되었구요. 드디어 잘 모르는 내용이 시작되었습니다. 사실 내용은 알듯말듯 하지만 쫌 더 공부하다 보면 익숙해지겠죠. numpy 랑 pandas를 계속할거 같네요. 목요일에 실리콘벨리에서 일하시는 현직자분의 특강이 있었습니다. 미국에서 일하는 경우에 대한 많은 설명이 있어서 좋았습니다. 다양한 분야와 진출 할 곳을 알려주는 분위기 였습니다. 인강 같은 경우는 거의 쏟아 부어줍니다. 넘치면 넘치지 부족하지는 않네요.

이번에 몸 상태도 식생활도 다 잡아야겠네요.

이번주를 정리 하자면 파이썬을 점점 심화 공부하고 있습니다만 그렇게 어려운건 없었습니다. 하지만 지금까지 중 제일 만족스럽게 들었습니다. 김준태 강사님 강의가 제 기준에서 제일 이해하기도 좋고 탬포도 좋았습니다. 피어 섹션도 매니저님에게 여쭤보니 매니저님이 자세히 설명해주셔서 좋았습니다.

피어 섹션을 통해서 서로 얼굴을 먼저 익히는거라고 설명해주셔서 다음부터 피어 섹션을 통해서 더 얼굴을 익혀야겠습니다. 저희가 중급반이다 보니 대부분 같은 수강생 분들의 수준이 꽤나 높은거 같습니다. 이제 쫌 더 집중해서 정리하면서 들어야 겠습니다.

이번주 집에 피아노도 옮기고(진짜 무거웠습니다.) 친구 만나서 하소연도 해서 너무 바빴네요 ㅠㅠ 출첵도 못 할 뻔 ㅠㅠ

가능하면 매일매일 공부에 대한 리뷰도 하고 싶은데 PT 선생이 케틀밸 스윙을 억지로 시켜서 허리도 나가고 해서 ㅠㅠ 힘들었네요. 수업을 앉아서 듣는데 허리가 아파서 ㅠㅠ 죽는줄

그래도 이제는 많이 좋아진거 같으니 최대한 열심히 학습일지도 리뷰도 해봐야 겠습니다.

그나마 익숙한 파이썬을 배우고 있습니다.

이게 힐링이죠. 개발이 힐링이라니 허허허허

아직 운동과 공부를 병행하는건 힘들군요. 제가 과거에 패캠에서 들었던 강의보다 지금 강의가 더 좋은거 같습니다.

패캠에서는 필요한 강의를 제공해주는 것 같아서 좋습니다.

정보가 과다하면 과다하지 부족하지는 않다랄까요.

특히 매니저님들이 열심히 관리해주셔서 좋습니다.

이번 기간에는 쉬운 개발 이라기라 별로 정리 할 건 없는거 같네요.

특이점이라면 peer session 을 가졌습니다. 랜덤으로 조를 짜서 ZOOM 소회의실에서 5명 정도 모여서 대화를 가졌습니다.

매니저님들이 돌아다니시면서 아이스브레이킹을 열심히 해주셨죠.

수학은 모두 어려웠던거 같습니다. 쫌 안심이었다랄까. 이번에는 주말을 이용해서라고 생체 리듬을 맞춰야겠습니다.

지원하게 된 동기는 제가 꽤 긴 기간 개발공부를 하였지만 개발에 대한 열정도 식고 취직에 대한 열의도 죽고 정말 죽도 밥도 안되는 상황이 었습니다.

그 상황에서 포토폴리오를 만들기 위한 팀을 찾는 것도 개인 프로젝트를 만드는 것도 저에게 힘든 상황이 었습니다. 그러다 국비지원 과정을 알게 됐고 자연스럽게 국비지원 부트캠프를 찾게 되었습니다. 물론 그 중 제 포토폴리오를 풍성하게 꾸며줄 수 있는 곳을 찾다보니 제일 맘에 들었던건 패캠 AI 부트캠프 였습니다.

패캠 AI 부트캠프는 중급 정도 되는 과정이라고 나와있었기에 이미 간단한 프로젝트(AI와는 상관 없는)는 할 수 있는 저에게 딱 맞다고 생각했습니다. 사실 긴 기간 공부 하면서 파이썬, 자바, 코틀린, 자바스크립 건드려봤으며 프론트쪽, 백엔드쪽도 만들어 봤으며 알고리즘도 쫌 한다고 생각 했습니다.

기본적인 개발 지식은 어느정도 있었기 때문에 굉장히 자신감이 차있었죠. (도대체 뭘 믿고...) 사실 기본적인 개발은 구글을 찾으면 다 해결된다는 마인드였습니다.

그러기에

저는 꽤 널널하게 진행되겠지~ 생각했었는데...

OT 다음날 부터 제 제 생각은 와장창 무너졌습니다. 현제 들은 강의는 2가지 방식입니다. 제공되는 동영상 강좌를 듣는 것과 ZOOM을 이용한 실시간 강의 현직에 일하시는 분들이 해주시는 이야기 또는 강습을 들을 수 있었습니다.

제공되는 강의는 만족 하였습니다. 설명을 중요한 부분만 찝어주시는 느낌이랄까요? 통계가 이런 느낌이구나 라고 받아들이고 있었습니다. 하지만 실시간 강의에서 저는 멘탈이 흔들리기 시작했습니다. 제가 유튜브로만 AI를 공부 한 걸까요. 요즘 새로 나오는 눈동자에 반사되는 이미지를 재구성하거나 QR코드를 이미지 형태로 만드는 것은 나아아아중에 있는 것이고 저희는 진짜 통계 값을 분석 하고 논문도 보는 일이었던 것입니다. 데이터 사이언스... 나 잘못들어와버린걸까? 게다가 논문이나 대부분 용어는 영어? 물론 개발할때도 영어는 필요했지만 번역기를 통하면서 했는걸...

그 동안 공부를 놓았던 머리 다시 돌려면 멀었습니다. 수업중에도 제 뇌는 삐걱소리를 내면서 죽여줘 달라고 아우성 쳤습니다. 그 다음 날은 수학 강의가 시작 되었는데 집합 이라 계속 멘붕의 연속이었습니다.

요즘 열심히 사는 분들 과 달리 저는 진짜 침대와 한 몸이라고 해도 과언이 아닐정도의 굼벵이 같은 기간을 지났습니다. 공부가 머리속으로 잘 들어 올리 만무했죠.

저는 그래서 진도를 따라가긴 벅참을 느끼면서 다 듣고 나서 뻗어 버렸습니다. 금요일까지 내내 뻗었습니다. 한 동안 살뺀다고 하던 운동도 못 나가고 있습니다.

하지만 여기서 뻗어서 떨어져 나간다면 제가 할 수 있는 게 얼마나 있을까요? 이번 부트캠프는 저에게 굉장히 중요합니다.

이번 남은 주말을 이용해서라도 이해 못한 부분을 머리 속에 집어 넣을 겁니다. 이 글을 밤에 작성하는 이유도 지금까지 과제 1번 풀고 있었습니다. 나머지 최대한 하고 잘려구요.

강의에 대한 자세한 이야기도 하고 싶지만 그건 나중으로 미루죠. 솔직히 강의 퀄리티는 굉장히 만족하고 있습니다.

강의 미리 맛보기 같은거 있으면 참 좋은 텐데 말이죠. 다른 부트 캠프와 차이가 어떤게 있는지 궁금하긴 하거든요.