데이터가 너무 적을 때는 회귀가 도움이 될 수 있음.

필요없는 특성들의 영향을 확 줄여줄 수 있음. 실전에서 많이 사용 됨. +엘라스틱 넷 차이점 릿지=중요하지 않은 특성들을 0에 가깝게 라쏘=아예 0으로 만들어 버림 1하고 0만 가지도록, 레이블의 가지수가 많아지면 특성도 많아지는데, 성능이 떨어질 수 있음.

언제 홀드아웃을 사용하는지 언제 교차검즘을 하는지 잘 정리하기

머신러닝의 여러 모델들은 Over fitting 방지하고자함

평가지표들이 어떻게 쓰이는지, 분류 회귀 문제에서 확인 언제 어떻게 쓰이는지

overfitting 확인하기 위해서 많이 쓰임

처음에는 손으로 직접 조절해보는게 공부하기에는 더 좋음.

타겟 정보의 누수 데이터의 히스토리를 모를 때

데이터 누수를 찾는 가장 빠른 방법은: 최대한 빠르게 테스트해보는 것

튜닝도 하지 않았는데 성능이 너무 높으면 : 누수 의심해보기

클래스가 불균형할 때는 평가지표도 유의해서 사용해야한다.

-위는 R에서의 랭글링임

-특성 공학에 포함 된다고 볼 수 있음. 가장 좋은 성능을 기대할 수 있음. 잔차를 점점 줄여나가는 게 배깅이랑 다른 점.

되돌아 생각해보면 완전히 초심자인 나에게, 데이터 분석 1달, 그리고 프젝 머신 러닝 1달, 그리고 프젝, 이제 곧 딥러닝 1달 그리고 프젝..ㅎㅎ^^ 은 정말 말도 안되는 진도다. (누구에게나^^) 대학생들이 한학기 동안 배우는 선형 대수를 나는 일주일만에 끝내야했다. (사실상 이틀^^) 기초부터 차근 차근 쌓는건 몰라도 뭐라도 쌓아가지는 느낌이 있어야 하는데, 아무것도 쌓아진게 없는 것 같다. 그 과정에서 (나는 멍청이야 흑흑흑 ㅠㅠㅠ) 만 하고 있었다..

그래서 지금 프젝 기간인 김에 빠르게 앤드류 응 교수님 강의를 코세라로 훑으면서 프젝의 인사이트도 같이 얻으려고 한다. (과정중에 다 듣긴 했으나 매우 새로운 느낌)

그리고 쓰면서 곱씹으지 않으면 학습이 제대로 되지 않는 나이기에.. 이 시리즈에 꾸준히 업로드할 것임!

연구

경기대 성범죄 연구

의사 결정 나무

예측/

예측 모델 예측 모델

스트레스

DASS 점수 도메인

제출 마감시간

내 건강이 나아지고 있는 걸 시각화해서 볼 수 있다면..?

DASS X 머신러닝 연구 원어

예측 가능성

데헷

https://boostcamp.connect.or.kr/about.html

https://velog.io/@prayme/%EB%8C%80%ED%95%99%EC%83%9D-IT-%EC%97%B0%ED%95%A9-%EB%8F%99%EC%95%84%EB%A6%AC-%EC%A0%95%EB%B3%B4-%EB%AA%A8%EC%9D%8C-feat.-RUFree-%EC%A3%BC%EB%8B%88%EC%96%B4

데이터 분석 참고 블로깅 (이해가 쏙쏙)

주관적인 우울도 --> 객관적 우울도 특히 한국 사람들: 마음이 아픈 문제로 병원을 가는 것을 극도로 꺼려함. 심리 검사,mbti 같은 라이트한 느낌이면서도 머신러닝 툴을 통해 정확도를 높여서 의학 전문가에게 진단 받는 것과 유사한 accuracy를 제공하고자 함. 예측 모델,//

스트레스--> 가까운 병원에서 상담하세요..! ?? 뻔한말만 반복

머신러닝 모델 절차 참고 블로그

Q:더 많이 배워서 올걸..이라는 생각이 든다. 학습 수준이 너무 높다. 하지만 어차피 어디 일하러 가도 처음부터 다시 배워야한다. 할 만한 걸 하는 데에서 있는 것 보다 따라가기 힘들더라도 난이도가 있는 곳에서 하는 게 더 많은걸 배울 수 있다. 3D로 보기

주니어한테 사실 기술을 바라기 보다 (어차피 다시 배워야하기 때문에) 어떤 문제를 다뤄왔는지, 어떤 문제를 꾸준히 관심가져오고 프젝을 하고 활동들을 했는지를 중요하게 본다.

어떤 포폴이 좋나요? '사장의 눈으로 보기'

그래서 어떤 문제를 왜 해결하고 싶어요? 데이터 분석이 아니라 다른 방법으로 해결 될 수 있는 문제면 그 리소스를 투자 안하고 싶어할 수 있다. 척도를 가늠해보기.

포폴에서 성공과 실패보다, 어떤 태도를 가졌는지, 실패에 굴하지 않는 태도가 더 중요

수료후에 오면 뭐가 많다. 수료후에 하는 활동들이 많다.

숫자로 설명할 수 있는 걸 많이해라! 프젝을 많이하다 보면 숫자로 설명할 수 있다.

아...부끄럽다 항상 담날에 후회_ 하지만 인간의 욕심은 끝이 없고 항상 실수를 반복하지 예🎶

*섹션 2가 제일 어렵다. '밑바닥부터 시작하는 딥러닝 1,2' 읽고 오는 것 추천 머신러닝: 지금듣고 있는 응 교수님 강의 *

머신이 나보다 체스를 잘 둔다..! 최근 정의

Q: Decision Tree model 장단점 장점: 결과를 해석하고 이해하기 쉽다. 단점: 과적합 되기 쉽다.

Q:랜덤 포레스트랑 결정 트리 차이 랜덤 포레스트는 과적합 방지가 잘됨.

Q:배깅이란 무엇이냐 부트스트랩을 병렬, 복원추출(sampling)로 집계하는것

OOB sample은 항상 생김 , 근데 쓸수도 있고 안쓸수도 있음

Q:Ordinal encoding을 하면 왜 트리모델에서 성능이 좋았을까? 원핫인코딩 vs 오디널인코딩 오디널:특성 개수가 늘어나지 않음 , 트리가 너무 복잡해지지 않음 원핫 인코딩에 비해서(원핫은 늘어남) 범주가 많을 때 더 유용.

Q:트리 앙상블이 결정 트리보다 상대적으로 과적합 피할 수 있는 이유는? 랜덤성, 트리 자체를 랜덤하게 셀렉해서 만드니까.

Q:랜덤포레스트 안의 작은 트리들은 과적합이 되면 안될까요? 그래도 괜찮다. 다른 랜덤 트리들이 보정해준다.

Confusion Matrix

F1 Score

precision과 recall의 차이 꼭 알아야함. (추가 정리 필) 시나리오에 따라 적용이 달라지기 때문에 중요한것

임계값 (추가 정리 필)

하이퍼파라미터 튜닝은 코랩 xx지...

동기님 스코어 대기 추천 노래ㅋㅋㅋㅋ

송길영님 다시 ㅋㅋㅋ 방향성만 맞다면..내가 좋아하고 관심있는 것. 어려우니까 내가 여기 있는 거다.

+ㄱㅎ님의 블로그 코드와 ㅁㅈ님의 노션 개념 ㅋㅋㅋㅋ ^^

일단 용어 이해에도 맨날 고생을 하는 나... 완벽하게 이해하고자 하는 마음이라고 생각하며 시작!

[전체 데이터를 써서 baseline accuracy score를 계산하세요.]

What does "baseline" mean in the context of machine learning?

baseline은 매우 기초적인 모델/솔루션의 결과이다. 너는 기초적인 baseline을 만들고 그다음 복잡한 solution을 만들려고 노력해. 만약 니가 그 baseline 보다 더 나은 score를 이룬다면, 이건 좋은거야. 출처

What is baseline accuracy score? A baseline prediction algorithm provides a set of predictions that you can evaluate as you would any predictions for your problem, such as classification accuracy or RMSE. The scores from these algorithms provide the required point of comparison when evaluating all other machine learning algorithms on your problem.

출처& 참고 강의: 한경훈님

Parameter vs Hyperparameter

Parameter: 머신이 학습하는 값 from data (인간이 개입 x) if 데이터 many, 신경망 모델 good, 머신 두 for self -데이터 찾기 쉽지 않지만 찾아 놓으면 머신이 알아서 하니까 쉬움

Hyperparameter : 인간이 결정하는 값
ex) learning rate, 훈련 회수, 가중치 초기값 등등 -손이 많이 감 (여러 값 직접 시도 해야 함) but 몇개는 추천 or고정 되어있긴 함.

ex) 최적의 learning rate 찾기 위해 이 하이퍼파라미터 튜닝을 반복 그러니까 train 에서는 파라미터 사용. validation 에는 하이퍼파라미터 썼으니까. v데이터도 믿을 수 x. 그래서 이제 한번도 쓰지 않은 test 데이터로 성능을 써야지 믿을만한 지표가 되는 것.

하지만 데이터가 충분하지 않으면 어떻게 하냐..? train/val/test/ 로 3분할 하기엔 너무 적다..! . 차선책 is . K-fold validation train 데이터를 K-등분

Hyperparameter 탐색

랜덤 >>그리드(초창기에 많이 씀) 이라고 밝혀짐

Why? : 하이퍼파라미터는 각각 중요도 차이가 크다. 결정해야 할 hyperparameter 많은데, 그중에서 learning rate(굉장히 중요💎) 그런데, 그리드에서는 쩌리랑 같이 위 그림 처럼 5개씩 동일하게 찾아짐. 하지만 랜덤을 쓰면 오른쪽 처럼 중요도 높은 러닝 레이트를 많이 찾음.

그래서 이런식으로 줌인하면서 train/val 반복.>> 그다음 test Like 범죄 용의자 찾기, 용의자 풀을 계속 좁혀 나감.

K-means,K-fold,, K개..등등

그런데 왜 K를 쓰나요..?

K--?? Korea..?

동기님께서 답변 해주심 ❤

수학에서 보통 임의의 정수를 k로 표현하는데.
k가 정수를 뜻하는 constant의 첫 글자의 발음처럼 들려서 쓴다고 합니다. c는 쓰이는 데가 이미 많아서 k를 쓰는 거 같네요. (아하..!)

오전 개념 정리

최적화란 (머신러닝 링고) : 훈련 데이터로 학습 시키는 것 (하이퍼파라미터 튜닝해서) 일반화 : 새로운 데이터에도 잘 예측하게 하는 것

AI /머신러닝/딥러닝 의 벤다이어 그램을 그리면? :AI > 머신러닝 > 딥러닝

Grid: 범위 내 조합을 다~ 검증 Random: 범위 내 조합 무작위로 검증

장단점 (면접에 자주 나오는 질문)

우리는 항상 제한된 리소스를 가지고 있음. 그리드: 리소스가 많이 듬/하이퍼파라미터 지정이 애매할때 랜덤: 빠름/어떤 하이퍼파라미터가 영향력있는지 아직 애매할때 이걸 쓰는 게 좋음.

츄라이를 많이 하는게 실력 향상에 도움이 된다..!

MY BEST

이해가 안되더라도 좌절하지말고 , 영어 단어 단어장으로 공부하듯이 💛 물결식 학습으로 Stat Quest 영상 누적 복습하기! 재미와 현웃은 덤💖

1. 무슨 말인지 모르겠다. YES : ML 플레이리스트에서 전 영상으로 돌아가기

2. 이해가 되면서 재밌다. (80%) YES : 다음 영상 공부하기

💛 코세라 미시건 교수님 파이썬 선택적으로 공부하기

💛 깃헙: 에 대해 차근 차근 더 공부하기

💛 허민규님 ML

Want

🤍 생활코딩 ML

+추가 예정

너무 힘들 때

1. 코딩 재밌어서 들어오게 된 계기 생각하기
2. ADSP 공부하기
3. 운동하기

무엇보다 건강이 최우선! 체력 안배!

캐글 다시 회고

.

예를 들어 오늘 렉쳐에서 A,B,C,D,E 에 대해서 배워야한다고 하자. 그럼 웜업을 한 다음 세션: A is about B,C and also D. So, use E! 그러면 일단 한번 들어서는 이해가 안되는게 정상이니 ABCDED 키워드에 대해서 공부하는 게 당연한거겠지? . But 시간: 안돼, 너는 최대 2시간 안에 그걸 이해한 다음 과제를 해야지. 아니.. 나 이해를 못했는데 코드를 어떻게 짜... . 과제는 해야할 거 아니야 . 알겠어....(어떻게든 제출함)

그래서.. 랜덤 포레스트가 뭐였더라...?

"....." 그건 나중에 알아서 공부해! . 긁적 . "이렇게 하다간 우리 다 죽어!" . . .

온라인임에도 불구하고 눈물날만큼 챙겨주시고 알려주시려고 하는 동기분들이 많다...정말......ㅠㅠㅠㅠㅠㅠㅠ따뜻한 세상... 나도 열심히 공부해서 알려줄거야! 너무 감사한 마음 이렇게라도 표현 . . 💖🧡💛💛💚💙💜 . . 느리더라도 과속하지 말고 천천히, 꾸준하게 , 내 속도 대로

팩트 체크 ✔나는 분명히 이 기수 (60명)에서 하위권임에 틀림없다. ✔그리고 나는 열심히 하는 분야에서 상위권이 아니었던 적이 거의 없었다. ✔그래서 처음 겪는 상황에 자존심이 상하기는 한다. ✔그런데 자존심 부리고 아는척 하다 보면 아무것도 못된다.

🎈아마 앞으로 계속 그럴 것이다. because 매일 새로운 분야의 진도를 스포츠카 처럼 나가기 때문에 And 동기분들은 1-2년은 하다 오신 분들이 많기 때문에

🎈 하지만 내가 제일 얻어가는 것이 많을 것이다. because 아무것도 모르기 때문에 And 모든 분들이 나한테 가르쳐 주실 수 있고, 도와주시려고 하기 때문에.

🎈그리고 그게 레벨이 쉬운 것 보다는 낫다. 어제 회고를 통해서 이미 교육 내용이 너무 쉬우신 분들이 꽤 있다는 것이 알게 되었다. 나한텐 학습 수준이 우주로 승천했을 만큼 높아서 비효율 적인데...😉

_그래도 하루만에 할 수 있다는 생각을 버리고 조금씩 배워나가겠다고 생각하면, 괜찮은 스텝이다. 교육학적인 시각을 여기에다가 들이미는건 나중에 하자.. _

🎈이미 정말 많은게 늘었다. 그러니까 조급해하지 말고 꾸준히 열심히 하자.

각자 하고 싶은거 하고 삽시다

🧠그럼에도 불구하고, 마음이 복잡한것은 사실이다.🧠

갈수록 임용도 어려워지고, 취업도 어려워지는데, 임용 안본다고 설문조사를 냈다가 아는 교수님께서 전화를 주셨다.

지금 시작해서 뭐라도 될까. 사실 3년 전에, (그당시 22살)에 발을 들이려고 했는데 너무 늦었다고 생각했다.^^

한 3년이 지나서, 25살일 때 아예 새로운 걸 시작하기엔 늦었다고 생각했던 나를 뒤돌아보면 얼마나 웃길까.

사실 주말이 되고 막학기인데 마음도 답답하고 복잡해서 포스팅을 쓰는 거다.

괜찮은 (다시 보려고 적는) 포스팅 글 모음

-도전을 망설이고 있는 비전공자들에게 https://okky.kr/article/1069879

-네카라쿠배 가고싶은 취준생들에게 조언

https://okky.kr/article/1074655

-코세라 1년 구독 결제해주신, 나를 응원해주신, 이게 맞나 싶을 때 연락하라고 해주셨던 분을 떠올리면서 힘을 빠샤해야지.

그리고 나도 나중에 많이 도와줘야지.

나는_사자

동기님들이 discord에 공유해주신 자료들 https://zzsza.github.io/data/2018/02/17/datascience-interivew-questions/

https://angeloyeo.github.io/2019/07/27/PCA.html

-100% 이해하는 것이 애초에 불가능이기 때문에 다 이해하고 넘어 가려고 안하는 것이 좋다.

-교육 구성 자체가 통계학과에서 한학기, 1년은 하는 개념들이 많다. 그래서 어려운 것이 당연한 것이다.

-잠은 제대로 자기

-오늘이 제일 쉽다..?

-한번 어렵지만 배워두면 모델 사용하는 법은 다 비슷하다.

지도학습과 비지도 학습의 차이는 라벨

목표 지도학습: 예측
비지도학습: 인사이트

*이걸 질문해도 되는건가? 라는 것도 질문해야한다. * 그냥 무대뽀로 가자 정말 부끄러워할 것 없어 람쨩...

*help desk에 써야하는 기본 요건들이 많아서 디스코드 제너럴에 여쭤보게 되어요 *

즉답이 어려운 고급 요건들은 헬프데스크가 좋다. 강의 개념이 이해가 안된다>> 디스코드 제너럴이 좋다. ![] (https://images.velog.io/images/dot_trigger/post/4b33f94b-d38b-4444-ac81-cd3ad121aae9/image.png)

https://app.sli.do/event/y4mut4je 슬라이도에 익명으로 질문할 수 있음 (오늘자 큐앤에이)

나의 question

1. scatterplot에 가장 잘 맞는(best fit) 직선은 어떻게 나오는 것인가,

위에서 예측값을 평균으로 사용하는데에 한계가 있어서 회귀모형을 사용한다고 했는데 그럼 이 rss에서의 예측값은 어떤 값인가

기준 모델은 왜 확인하는 걸까 왜 필요하는 건가

예측모델이 기준 모델보다는 나아야하니까 대충 일단 놓고 보는 것임.

확실히 섹션 과제들을 하나씩 다하고 나니 세션 2 과제가 그나마 할 만하게 느껴진다.. 나...성장하고 있는건가??(ㅋㅋㅋㅋㅋㅋㅋㅋㅋ).....

절대 전력 질주하지 말기. 하고 싶어도 참기. 겨울철을 대비해 도토리를 볼 한가득 저장한 다람쥐 처럼 에너지를 볼에 20%는 남겨두기.

저번주처럼 링겔 맞고 공부하고 싶지 않자나... 잘하고 있어!! 내가 최고다!! 이번 섹션 2 머신러닝도 화이팅!!

💖Today's lesson

💎 하다가 막히면 어이없는 걸로 끙끙앓고 있을 경우 있으니까 주저하지 말고 (쪼오금 쪽팔린건 사실임...) Q&A 시간 때나 Discord general에 물어보기 [이상한걸로 헤메지 말라귯]😊😜😉😎🎶💋🐱‍🚀🐱‍🐉 __쵸큼 쪽팔린게 낫지...

💎 너무 졸리면 과제고 뭐고 조금 더 늦게 하면 되니까 _아니어도 할 시간 많으니까 _

나 만의 시에스타를 갖자! 직장인 아니니까 쌉가능이잖아 >< (자랑임)

그리고 너의 생활 패턴을 보았을 때 더 일찍 자자 그럼 더 좋을듯.

Insight 😁👀❤😁🎉😁😁 🎉🎉🎉

그래프가 너무 아름다워 보인다..오늘따라... 진짜 미친것 같다 예술 작품 같아...

+첨부

너무 예뽀...❤

++오늘 과제 다했당 처음으로 당일..! 헤헤헤헿

난 이이사 사오 이십 하고있는데...미분을 시키시면... 일단 잠...잠시만요 제가 구글링을 통해서 구구단 먼저 할게요... 아아 잠시만요 구글링 통해서 방정식 배울게요... 아아 이제 캘큘러스 해볼게요...

"안돼요!! 이제 고유 벡터하셔야 해요.."

"네..? 벡터가 뭐죠?"

💖일기

일단 찐문과인 나...벡터가 뭔지도 모르는데 바로 선형대수를 들어가서 많이 당황했다. 이 많은 분량의 개념들을 1주일 안에 다 이해하려는 것 자체가 불가능인데... 그래도 어느 정도는 이해하고 코드를 써야한다는 생각에 벡터부터 파기 시작하는데... '벡터'를 이해하기 위해 온갖 유튜브를 보며 그림을 그려대었던 나...

✌세션이 다 끝나 갈 때쯤이 되어야 깨달은 교훈...

• 왜 문제집 풀 때 어떤 개념을 다 이해하지 못해도 연습 문제 풀면서 이해하잖아..그게 더 효과 적이고! 일단 코드로 풀면서 이해하자!
• 미x님 말처럼 개념3:코딩7! 코테도 하되 면접도 봐야한다는 생각으로..!
• 파이썬 기초 흔들 흔들할때 코세라 부분적으로 듣기!

사람 자체: 고유 벡터 살, 근육 등: 고유값

차원은 축소하고 싶은데 고유한 거(사람)은 두고 살을 줄이고 싶은것이다. 다른 사람과 비교는 노노해

사진가가 사진을 찍을 때 어디에 위치를 잡아야 할까 -왜곡이 덜하게

직각이 되게

스탠다드 스케일링: 정규화 같은것. 이걸 안하면
pca가 엉망이 되어버린다. : 머신러닝 모델의 한계이다, 인공지능이 아니라 계산기

분산: 데이터와 평균의 차이

Q: 정리를 하면 한 피쳐 내의 분산이 큰 것은 의미가 없지만, x,y의 관계(예측하고자하는 관계)에서는 분산이 크면, 분산이 정보를 추출함에 유의미하다 이렇게 생각하면 되나요?!

A:넵

• 크기 비교를 하고 싶은 것이냐, 같냐 아니냐/ -> 문맥 따라 researcher의 소관
• 투사이디드를 통과하면 원사이드는 안해도 통과지만 역은 성립x

동전을 10번 던진 행위가 size 100

동전을 3번 던진 행위가 size 100 -> 액션으로 생각하면 쉽다.

->정규 분포를 따르지 않을 때 (특히 아웃라이어가 있을 때 등등) 사용하는 검정 방법

->이럴 때 카이 검정등을 사용 : 하나 하나에 적용 t-test와 다르게 분포를 사용하는게 불가능하니까

중요한건 분산! (얼마나 리스키한지,평균으로만은 알수 없음.) 데이터 분석이 하는 일은 결국 분산.

-체대 가는 애들은 164 정도 아닐까? (prior) -이제 다 키를 검사 -posterior

❤😁❤weekly 회고

진도가 매우 빨라서 어려운게 당연한 것이나 이게 효과적..! 데이터 분석은 논리력이다..!

. . [나의 장단점]

👍장점: 이해가 안되면 글로 쓰거나 찾아보면서 노력하고 또 안되면 다음에 복습해야지 하고 넘어간다...완벽하게 할 수 없으니 일단 눈에라도 익히자 하고 비교하지 않으려 노력한다..

😁단점: 한번 이해하는데에 시간이 오래 걸리고 사소한것도 다 의문이기 때문에 쓸데 없는 거에도 초점을 맞추게 된다.. 체력이 부족하다..모르겠는데 어떻게 질문을 해야할지 아직 눈치가 보이고 잘 모르겠다.

🤷‍♀️🤷‍♂️🤦‍♀️🤦‍♀️🤦‍♂️🤦‍♀️👀🌟👀 고통을 즐기는 변태가 ...!

추석 연휴 : 열심히 지난 스프린트와 개념들을 메꾸려고 거북이 처럼 달렸다. 문제 하나를 풀려고 (join data) 꼬박 이틀을 보냈다.

🌟체력이 너무 부족하다.

부트캠프의 진도는 정말 빠르기 때문에, 과제를 모두 풀지 못하는 것, 개념을 제대로 이해하지 못하는 것은 입문자인 나에게 어쩌면 당연한 것이다.

사실 나는 난이도와 진도도 잘 구별하지 못할 정도로 배경지식이 없기 때문에, 그냥 맨땅에 헤딩을 하면서 아프다..를 느낀다. 옆에서 그짓을 보던 전공자들이 어..이걸 이렇게 빨리한다고..?를 말해주면 그때서야 나의 이 흉터 자국에 '호'라도 해주곤 한다.

👍부트캠프 1주차 부터 내가 제일 잘한 것: 마음 비우기

나의 루틴 1.warm up, 섹션 강의를 듣는다 : Ummm...모르겠지만 일단 들어보자. 2. 어싸: Ummmm....끄적...와!!...흠...힝...음....(더이상 못하겠어!!) 3. 음...지금 이해 못해도 다음에 다시 공부하면 가능할....거야! ('자 이제 시작이야!'니까, 멀리 보자구. ) 4. 이제 자야징 히히

난 어제의 나 보다 더 많이 아니까, 걱정할 것 없어. 주어진 조건에서 최선을 다하고 있잖아? 80%만 써야한다는 말. 이제는 진짜 알 것 같아. 120,150을 쓰다가 많이 고장났으니까!

👀chi square test, 신뢰 구간 등등 낯선 통계 개념을 빠르게 나가면서 멘탈이 와장창 무너지기도 하고, 너무 이해가 안되어서 욕까지 나왔다. (기초 유튜브 영상들을 보는데도!) 그럴때마다 이렇게 생각한다. 음...지금은 머리속에 때려 박지만 몇달 뒤면 이해할거야 미래의 내가^^hehe

앞으로도 적절히 이 멘탈을 유지하면서 포기하지 않고 꾸준히 나가기를!

이걸 지금 시작해서 무엇을 하나..이런 현타가 찾아오긴 해도, 사회의 필요와 내가 할 수 잇는 것의 접점을 더 넓혀가는 거니까, 나의 템포와 신념으로, 그러면 쓰임은 어디엔가 있을 거야. 취업이 너의 목표는 아니니까! (아디오스)

• 동기님들의 공유 자료 킵 💖

https://support.minitab.com/en-us/minitab/19/help-and-how-to/statistical-modeling/anova/how-to/one-way-anova/interpret-the-results/all-statistics-and-graphs/means-table/

https://www.notion.so/AI-92b8c8eca0294fc7a9a2538bca205bdf

🔔 EDA

-일단 데이터를 깨끗하게 한다. :첫단계

• pandas

  데이터 프레임에는 항상 인덱스가 있어야 한다. 💛공부할 때 공식 documentation 확인하기 Tip: Toy data를 문서에서 가져와서 따라 쓰면서 공부하기

  튜플

  행x렬 / df.shape #[4,25]-> 리스트 (4,25)-> 튜플 형태

  

  🚀튜플과 리스트의 차이점은?

  튜플: 변경 불가 :장점- 안정성, 고정되어있다.

  ?(난 잘모르겠다.)

  인덱스가 없으면 인덱스를 숨긴거다.

Q-Q Plot

우리가 가지고 있는 데이터의 분포가 어떻게 생겼는지 알 수 있다. (다양한 시각화 중 하나)

Feature Engineering

object: str int:정수 float:실수 / (floating point,부동소수점이라고 배워서 헷갈렸다.)

replace(',','') : ,를 없애라

Q:저도 시각화 질문있습니다! 시각화 document 예제를 보던 중 fig와 ax를 나눠서 쓰는데 그 이유가 있을까요

🚀난 이게 뭔지 모르겠다...(별)

axis=1 과 axis=0 옆으로 합치냐 밑으로 합치냐

🚀Q:오늘 스프린트 하면서 느꼈는데 공식 문서에서는 직접 데이터프레임을 타입한거라서 url을 불러와서 데이터를 입력한거랑 차이가 있어서 그대로 따라하는데 에러가 있었다. 이부분 해결하기.

Thanks to 동기님 👏

Gradient descent

Cost function은 오차를 최소화하기위해서 사용, 그걸 미분으로 함. 그게 gradient descent. cost function은 그랜드캐니은의 산이라고 생각하면 좋음. 우리는 gm을 찾기 위해 미분.

Q:경사하강법에서 0가 되는 지점이 아래로 볼록한 최소점이랑 위로 볼록한 최대점이 되는 0지점이 있는데 이것도 구분이 가능한가요?

+1주 회고

사실 과정 안에서 같이 프로젝트도 해야하고, 약 50명의 모르는 사람들 앞에서 나의 조그맣고 소중한 지식과 방대한 무지를 드러내는건 많이 부끄러웠다. 그래서 아무리 구글링해도 나오지 않는 EX) 오타나 사소한 문제 등을 3시간 동안 들고 혼자 끙끙 앓고만 있었다.

나는 이제 시작이고, 모르는게 많다는 것은 그만큼 성장할 폭이 남보다 크다는 건데, 왜 이렇게 부끄러운지 모르겠다.

'넘어지는 건 부끄럽지만 도움이 된다.' (바스키아의 일화에서 따온 한 교보문고 전시 이름)

子曰, 由, 誨汝知之乎. 知之爲知之 不知爲不知 是知也. 공자 왈, "자로야, 네게 안다는 것이 무엇인지 가르쳐주마. 아는 것을 안다고 하고 모르는 것을 모른다고 하는 것이 진정 아는 것이다."

너무 기초적인 것 같아 몰라도 안다고 하고 싶은 순간들이 정말 많다. 하지만 모르는 건 팩트니까, 그럼 다음에 그 아는체가 튀어나와서 네 발목을 붙잡을 거라는 걸 잊지말고 모르면 모른다고 하고 배우자!

사실 이 부트캠프에 나를 뽐내러 온 것이 아니라, 어떻게든 배우려고 온 것이니까. 어떻게든 악착같이 찾아보고 물어보고 해서 나의 역량을 증진 시키도록 해야겠다. 나는 전에 해온 다른 베이스가 있으니까, 시너지가 있을거야. 🌟

경사하강법을 배우는 이유

오차 (error):

용어(차이를 작게) 에러를 최소화 시키고 싶다 -> gradient descent(경사하강법)를 사용하는 이유

에러-cost function error=cost=distance 같은 언어

cost function>최소화>최적화(optimization)

방법: gradient descent 사용

local minimun: 시야의 한계

자신은 global 찾았다고 생각해도 local인 경우가 많아서 최적화가 어렵다.

Q(동기분 질문):처음부터 global minimum을 찾을 수 없는 이유는?

A: 과정을 봐야한다. 시작점이 랜덤하다. 기울기를 따라서 내가 갈 수 있는 대로 간다. 산을 내려간다고 생각하면 가장 이지 웨이로 가게 된다. 계속 방향을 틀어서 간다. 이게 경사 하강법이다.

• learning rate=속도 가는 속도가 너무 빠르면 튕겨나가고 너무 느리면 한없이 가는 것. 그래서 최적화된 minimum으로 간다고 생각하야함.

비행기에서 눈을 감고 그랜드 캐니언에 뛰어 내리는데 최대한 밑으로 내려가는게 목표다. 기울기=0이다를 찾는 것이다.

경사 하강법 : 경사가 되게 다양한데 거기서 내가 어떻게 경사를 찾아서 가느냐..

random initialization

비행기에 내려서 산으로 하강을 하는데 시작점이 랜덤하다고 아까 설명한 것.

-> 똑같은 모델인데도 할 때 마다 시작점이 다르니까 결과값이 달라짐. -> 결과값을 같이하고 싶으면 시작점을 같게 함. ex) seed(시작점) 가 4다 이런식으로.

미분

Q: 무엇이 맞냐

A: 4x +2y (x로 편미분) 2y는 상수 처리

seed

ex) 나는 시드를 42로 심었다.

(질문)

Q: 오늘 과제에 주어진 machine learning model의 error function ( ε )이 다음과 같을 때 error function을 최소화 하는 최적의 parameter들을 구하세요 라는 문제가 있던데, 문제가 이해가 안갑니다. 파라미터를 구하라는게 어떤걸 말하는지 모르겠습니다.

(서로 general 디스코드에서 답은 알려주지 말되, 서로 도와가면서 해야 성장한다.!!)