귀여운 사진도 투척!!

🔍 KT 관계사들과의 만남 다양한 KT 관계사들이 참여한 만큼, 각 기업의 사업 방향과 채용 정보를 생생하게 들을 수 있었어요.

각 관계사별 핵심 사업과 인재상에 대해 더 깊이 이해할 수 있었고, 현재 필요한 역량과 기술이 무엇인지에 대한 인사이트도 얻을 수 있었어요. 특히, 데이터 분석과 AI 관련 직무에 대한 관심이 높은 만큼, 관련 직무에서 어떤 실무 역량이 필요한지를 직접 질문할 수 있어 의미 있는 시간이었어요!

👥 에이블러 선배님들과의 대화 에이블스쿨을 거쳐 현재 KT 및 관계사에서 활약 중인 선배님들도 만나볼 수 있었어요!

실제 현업에서의 경험과 커리어 성장 과정을 공유해 주셔서, 직무에 대한 현실적인 조언을 얻을 수 있었어요. 에이블스쿨에서 배운 것들이 실무에서 어떻게 활용되는지도 들을 수 있었고, 무엇보다도 "에이블러로서 어떤 점을 강점으로 어필하면 좋을지"에 대한 구체적인 팁을 얻을 수 있었어요! 선배님들의 조언 덕분에 앞으로의 진로 방향과 목표 설정에 대한 고민이 한층 더 정리된 느낌이었어요. 😊

14조 파이팅!!!

✨ 잡페어를 다녀오고 나서… 이번 잡페어는 단순한 채용 박람회가 아니라, ✅ 실무에서 요구되는 역량을 다시 한번 점검할 수 있는 기회였고, ✅ 에이블러 선배님들의 경험과 조언을 들으며 나만의 커리어 로드맵을 설계하는 데 큰 도움이 되었어요.

앞으로 더 주도적으로 배우고 성장하며, 내가 원하는 커리어를 만들어가야겠다고 다짐하게 된 시간이었어요! 💪🔥

잡페어는 소피텔에서 진행해서 이후 석촌호수에서 런베뮤까지 chill하게 잡수거왔숩네다 ㅎㄹ

📸 사진 촬영: 부천 호감스튜디오에서! 우리 팀은 부천 호감스튜디오에서 단체 사진 촬영을 했어요. 프로젝트를 함께 달려온 조원들과 한 컷 한 컷 찍을 때마다 그동안의 노력과 추억이 떠올랐어요.

자연스러운 분위기에서 촬영이 진행되어 부담 없이 즐길 수 있었어요! 서로 아이디어를 내며 다양한 포즈를 시도해보기도 했죠. 😆 이렇게 완성된 사진들을 보니, 단순한 기록이 아니라 우리 팀의 성장 과정이 담긴 소중한 순간들이었음을 느낄 수 있었어요. 🎥 영상 촬영: 상동도서관에서! 최종 발표 영상 촬영은 상동도서관에서 진행했어요. 발표자 에이블러님께서 마치 아나운서처럼 깔끔하고 정확한 발표를 해주셔서 촬영이 한층 수월했어요. 덕분에 발표 내용이 더욱 돋보일 수 있었죠!

촬영을 하면서,

그동안 준비한 자료들이 한 편의 이야기로 완성되는 기분이었어요. 조원들 모두 각자의 역할에 최선을 다하며 한마음으로 임했어요. 영상이 편집되어 완성될 순간이 벌써부터 기대되네요! 😊

🎤 최종 발표: 뜨거운 호평 속에서! 그렇게 준비한 최종 발표에서도 정말 많은 호평을 받았어요!

기획력과 문제 해결력이 돋보였다는 피드백 발표 구성과 전달력이 좋았다는 평가 무엇보다도 우리 팀의 팀워크가 인상적이었다는 칭찬까지! 발표를 준비하며 밤을 새운 순간들도 많았지만, 이렇게 좋은 반응을 얻으니 정말 뿌듯했어요.

✨ 마무리하며… 이번 촬영과 발표를 통해 단순한 프로젝트를 넘어, 함께 성장한 경험을 남길 수 있어 더욱 의미 있었어요. 앞으로도 이 기억을 바탕으로 더 많은 도전을 해보고 싶어요! 🎉

응원해!! 고마워!! 소중해!!!

이건 에이블러님들께 받은 상..🤭

( 나름.. 추억이 될 밤샘 인증 ㅠㅠㅠ!!!)

1. 피그마로 프로토타입 제작: 아이디어를 현실로

데이터 분석과 전략 수립을 통해 도출한 해결책을 실제 사용자 경험(UX) 관점에서 구현하는 과정이 필요했어요. 그래서 피그마(Figma)를 활용해 프로토타입을 만들었죠. _처음 해보았는데... 빅프하면서 피그마라는 기술스택이 하나 추가되었답니다.. 하하 ㅎㅎㅎ _

핵심 기능 정의: 우리가 해결하려는 문제에 맞춰 필수 기능을 정리했어요. 와이어프레임 제작: 서비스의 흐름을 설계하며 사용자 관점에서 직관적인 UI를 고민했어요. 디자인 및 인터랙션 추가: 단순한 화면 구성에서 벗어나, 실제 사용할 수 있는 형태로 만들었어요. 이 과정에서 "어떻게 하면 사용자에게 더 쉽게 전달될까?"를 고민하며 여러 번 수정과 피드백을 반복했어요. 피그마 덕분에 팀원들과 실시간 협업이 가능해 더 효율적으로 작업할 수 있었어요.

2. 미리캔버스로 PPT 제작: 설득력 있는 스토리 구성

완성된 솔루션을 효과적으로 전달하기 위해 미리캔버스(Miricanvas)를 사용해 발표 자료를 만들었어요.

스토리라인 기획: 문제 → 분석 → 해결책 → 기대 효과의 흐름을 구성 비주얼 강조: 이해하기 쉽게 다이어그램과 차트 활용 설득력 강화: 데이터 기반 근거를 포함해 신뢰도를 높임

좋은 기획도 전달력이 없으면 반쪽짜리 결과물이 되기 때문에, 명확한 스토리텔링과 깔끔한 디자인에 특히 신경 썼어요. 하지만 쉽지 않았어요. 밤을 새우며 내용을 다듬고 디자인을 보완하는 작업이 반복되었죠....엉엉 그렇게 빅프 발표자료를 완성했답니다 ㅎㅎㅎ

1. 데이터 분석 및 시각화: 문제를 숫자로 해석하다 실제 고객사의 문제를 해결하기 위해서는 감이 아닌 데이터를 기반으로 의사결정을 내려야 했어요. 먼저 수집한 데이터를 정제하고, 주요 변수를 분석하며 패턴을 파악하는 작업을 진행했어요.

데이터 전처리: 결측값을 처리하고, 이상치를 확인해 분석의 신뢰도를 높였어요. 탐색적 데이터 분석(EDA): 주요 지표들을 살펴보며, 의미 있는 상관관계를 찾았어요. 시각화: 히스토그램, 박스플롯, 바차트 등을 활용해 데이터를 쉽게 이해할 수 있도록 정리했어요. 이 과정에서 예상과 다른 인사이트가 발견되기도 했고, 고객사의 문제를 보다 명확히 이해하는 데 큰 도움이 되었어요.

2. 제안 분석 전략 수립: 데이터 기반 해결책을 찾다 데이터 분석을 바탕으로, 실제 적용 가능한 해결책을 도출하는 전략 수립 단계에 돌입했어요.

핵심 문제 재정의: 데이터를 통해 확인된 인사이트를 바탕으로, 고객사의 주요 문제를 재정의했어요. 솔루션 방향 설정: 분석 결과를 반영해 보다 효과적인 해결책을 구체화했어요. 가설 검증: 초기 제안 내용을 데이터와 비교하며 실현 가능성을 점검했어요. 이 과정에서 팀원들 간의 토론이 활발하게 이루어졌고, 여러 시나리오를 고려하며 최적의 전략을 마련했어요.

3. 앞으로의 방향 이후 남은 기간 동안 분석 결과를 바탕으로 실제 솔루션을 개발하고, 고객사에 제안할 준비를 했어요!! 데이터를 활용한 전략적 접근이 우리의 제안을 더욱 탄탄하게 만들어 줄 거라..ㅎ 기대되는 과정이었답니다!!

다음 블로그에서는 솔루션 프로토타입 제작 과정을 공유할게요! 😊

1. 과제 선정: 현실적인 문제를 찾다

다양한 주제를 탐색하며 해결할 문제를 찾는 과정이었어요. 단순히 흥미로운 아이디어가 아니라, 실제 고객사에 도움이 될 수 있는 과제를 선정하는 것이 중요했죠. 데이터를 활용할 수 있는지, 비즈니스적 가치가 있는지 등을 고민하며 논의했습니다.

이 과정에서 문제 정의의 중요성을 다시 한번 깨달았어요... 명확한 문제 정의 없이 솔루션을 만들어도 실질적인 가치를 제공하기 어렵다는 점을 실감했습니다ㅜㅜ!!

(화,목마다 부천 그라운드21에 만나서 과제 선정.. 맛있는 것도 많이 먹음... )

또 먹고싶은 등갈비..

후식도 항상 기깔나게..ㅎㅎ

2. 고객사 인터뷰: 실제 문제를 듣다

과제 선정 후 가장 중요한 과정 중 하나는 고객사 인터뷰였습니다. 직접 이야기를 나누면서 예상과 다른 현실적인 이슈들이 많다는 걸 알게 되었어요.

인터뷰를 통해 고객의 어려움을 깊이 이해하고, 솔루션이 현실적으로 적용 가능한지 점검할 수 있었어요. 효과적인 질문을 구성하기 위해 많은 고민을 했고, 사전 준비를 철저히 했습니다. (생각보다 다들 바쁘시고 1월이기에 부서이동이나 직무변경이슈가 있어서.... 인터뷰 엄청 힘들었어요 ㅠㅠㅠ )

3. 사업 제안 구체화: 실질적인 솔루션을 설계하다

고객사 인터뷰 후 문제를 명확히 정의하고 실질적인 솔루션을 설계하는 단계로 넘어갔어요. 우리 팀은 다음과 같은 방식으로 제안을 구체화했습니다.

문제 정의: 고객사 인터뷰를 바탕으로 핵심 포인트 도출

솔루션 기획: 데이터 활용, 기술적 구현 가능성, 비용 대비 효과 분석

비즈니스 모델 수립: 지속 가능성과 수익 모델 고민

고객 피드백 반영: 추가 피드백을 반영하며 제안 수정

4. 배운 점

가장 크게 배운 점은 "고객사의 입장에서 생각하는 것"이 문제 해결의 핵심이라는 점이었어요. 계속 고객의 고객을 생각하게 되는데 B2B제안에서는 고객사를 생각하는게 !! 정말 중요 !!

하아, 말로만 듣던 빅프가 시작되었습니다…

드디어, 빅프 프로젝트가 시작되었어요. 시작부터 너무 벅찼고, 1~2주차는 주제 선정과 고객사 선정에 많은 시간을 할애했죠.

1주차는 과제 선정 및 심의를 하게 되는데, 생각보다 시간이 많이 걸렸습니다. 👥 : “1주일이나 과제를 선정해? 매일 8시간을?”

-> 네네 ㅎㅎ 그렇습니다; 🤦‍♀️ 1주일도 모자랄 정도였어요. ㅎㅎㅎㅎ;;;

과제를 선정하는 과정은 개인적으로 아이디어를 내고, 지속적으로 팀 내 피드백과 튜터님의 피드백을 받으며 아이디어를 디벨롭하는 과정입니다. 정말 많은 토의 과정이 이어지기 때문에 하루가 정말 금방 지나가더라고요. 매일 고민하고 논의하면서 점점 더 명확해지는 과제가 너무 흥미롭기도 하고, 동시에 부담도 크게 다가왔습니다.

7기 여러분들도 어려워하지 않으실 거예요. 저도 해냈으니까요…(물론 아직 끝나지 않았지만, 끝날 때까지는 끝난 게 아니겠죠?) 😅

이 과정에서 중요한 건 우리가 바르고 고운 말을 사용하고, 예민해지지 않기입니다. 타인의 의견을 존중하고 잘 들어주려고 노력하는 게 중요해요. 그리고 구글 독스 공동 작업이나 노션 활용을 적극 추천합니다. 저는 단톡방에 의견을 정리해서 자주 올리기도 했어요. 여러분도 말만 하지 말고 꼬옥!!!!!기록으로 남겨두세요. 작은 아이디어도 그냥 기록해두면, 나중에 커다란 아이디어로 발전할 수 있답니다!

또, 이전 기수의 프로젝트도 참고할 수 있으니, 너무 겁먹지 말고 차근차근 해보세요. 다 잘할 수 있을 거예요! 😊

• 이건 분식집 가자고 뭐 먹을지 전날 다 정해놓고 오 중국집? 이 한마디에 즁국집간 우리조 ..

J있냐고..;; 네 저예요..ㅎㅋㅋㅋㅋㅋ

맛도리였던 탕수육 사진 투척합니당 ☺️☃️🎀💭💫

더불어 실제 우리가 제안사가 되어 고객사에게 제안하듯 사업 현황을 분석하고 경쟁 열위/동등/우위를 분석해 핵심적인 제안 전략을 도출했습니다 !

6차와 마찬가지로 처음에는 너무 막막했는데

저희 조는 뉴진스의 노래에서 감명을 받아 .. 컨셉이 정해진 이후로 술술 풀린 것 같아요 !!

우수 발표조까지 선정되었다는 사실... 소중해!!!💌

저는 디자인을 맡아서 PPT를 담당했는데

정말 공들여서 제작했답니다..

다 보여쥴 슈는 없지만 ㅋ 아주 mz스럽게 기획안을 만들어보앗쥬 ㅎㅎ!!

성공적으로 7차 미프를 마치고 끝나고 회식듀 했답니다 :)

(7차 미프 끝나고 소소한 회식 강추..🙌7차 미프가 빅프 전 마지막 미표여요….미프때가 행복했다… 빅프는 매일 지쳐요….. 머리가 터질 것 같앙 ㅠ)

예쁜 말과, 맛난 피자,,그리고 볼링까지 ✨

7차 미프의 느낀점은 !!!

7차 미프, 빅프를 맛보는 경험!이었답니다 🫶🏻☺️☺️

7차 미프 프로젝트는 마치 빅프로젝트를 미리 경험하는 듯한 느낌이었어요. 짧은 시간 안에 고객 요구사항 분석부터 제안 PPT 작성까지 많은 과정을 소화하면서, 팀원들과 더욱 친밀해지고 돈독해지는 경험을 했습니다. 이 프로젝트에서 제가 가장 많이 성장한 것 같아요!

이번 프로젝트에서는 고객사의 관점에서 생각하는 법을 배우고, 고객의 고객까지 고려하는 시각을 키우기 위해 많은 노력을 기울였습니다. 하지만 중요한 점은 우리의 사업은 고객사에게 제공되는 것임을 항상 인지하는 것이었어요. 고객의 고객에게 제공할 솔루션을 기획하는 것이 아니라, 우리의 대상은 고객사라는 점을 잊지 말아야 했죠. 이를 통해 고객사에 최적화된 솔루션을 제시하는 법을 더욱 깊이 이해하게 되었습니다.

개인적으로 컨설턴트가 제 꿈이었기에, 이번 프로젝트는 저에게 매우 뜻깊은 경험이었습니다. 고객사의 니즈를 파악하고 그에 맞는 해결책을 제시하는 과정에서 많은 것을 배웠고, 앞으로도 이런 경험을 바탕으로 계속 성장하고 싶습니다.💭🫶🏻

와우, 벌써 에이블스쿨 7기 모집이 시작됐다고?웅성 웅성 😲 시간 정말 빠르죠? 6기 시작이 엊그제 같은데 벌써 막바지입니다 ㅠ이제 에이블스쿨 7기의 새로운 주인공들을 찾고 있어요!

에이블스쿨 7기!!!!!! 디지털 트랜스포메이션(DX)의 핵심을 배우고, 최신 IT 기술과 함께 실전 경험까지! 현업에서 바로 쓸 수 있는 스킬을 완벽하게 습득할 수 있는 기회, 놓치지 마세요!

1. 실전형 교육!

에이블스쿨 7기에서는 이론만 듣고 끝! 아니죠! 실전 프로젝트를 통해 배우는 것이 핵심입니다. 실제 기업들과 협업하며 디지털 혁신을 경험하고, 문제를 해결하는 능력을 키울 수 있어요. 말로만 듣는 DX가 아닌, 직접 체험하고 배우는 기회!

2. 최고의 멘토들, 바로 옆에!

에이블스쿨에는 디지털 전문가들이 대기하고 있어요! 마치 코치가 옆에서 하나하나 가르쳐 주는 듯한 경험을 하게 될 거예요. 최신 기술을 배우고, 실전에서 어떻게 활용할 수 있는지에 대한 깊이 있는 통찰을 얻을 수 있어요!

3. 다양한 커리큘럼과 맞춤형 학습!

에이블스쿨은 맞춤형 학습이 가능합니다. 각자의 배경과 관심사에 맞춰 커리큘럼을 선택하고, 본인이 원하는 분야에서 전문가로 성장할 수 있어요. IT, AI, 데이터 분석 등 다양한 분야를 아우르는 교육을 통해 다양한 선택의 기회를 얻을 수 있습니다!

4. 성공적인 취업과 커리어 전환!

에이블스쿨을 졸업하면 취업은 물론, 커리어 전환도 가능합니다. 에이블스쿨 졸업생들은 스타트업부터 대기업까지 다양한 분야에서 활발히 활동 중이에요. 여러분도 그런 멋진 이야기를 만들어 볼 준비 되셨죠?

5. 에이블스쿨 7기, 나만의 특별한 경험!

에이블스쿨은 단순한 교육 프로그램이 아닙니다. 인사이트가 풍부한 사람들과의 네트워킹이 중요한 자산이죠. 다양한 배경을 가진 사람들과 협업하고, 서로의 생각을 공유하는 과정을 통해 진정한 성장을 경험할 수 있어요!

자, 그렇다면 이 기회 놓치지 않으시겠죠? 😎

#에이블스쿨7기 #디지털트랜스포메이션 #최고의교육 #실전경험 #디지털전문가 #에이블스쿨

6차는 시각장애인을 위한 디지털 전환 솔루션을 제안하는 주제로 서비스 구성도와 인프라 구성도를 작성해보는 실습이 주를 이루었습니다.

특히 !! 교육 당시 비전공자인지라.. 인프라 구성이 너 ~무 어려웠는데 미니프로젝트로 실습과정을 거치니 훨씬 탄탄하게 기본기를 갖출 수 있었어요 !! (미니프로젝트는 빠지면 안되겠다고 또 다짐..)

인프라는 cacoo를 활용하여 그렸습니다.

저희 조는 모두가 비전공자인지라 ㅠ 막막했는데 보안을 전공한 조장님 덕분에 어찌저찌 해낼 수 있었습니다,, ㅎㅎ 발표까지 했어요 ㅎㅎ 비전공자들의 반란.. (어쩌면 우리 꽤 괜찮을지도,,?)

그 외 서비스 구성도는 구글 슬라이드를 활용해 공동작업으로 진행했습니다 ㅎ

구글 공동작업은 미프에서 강추합니다 !!!!

중간에 공동작업을 하면 복붙이 어려우니 꼭 ! 처음부터 공동작업 적극 활용하시길 !!

• 저희 조는 대면을 좋아합니다 (조장이 좋아함)

아무튼 그리하여 부평 유유기지라는 청년 공유공간에서 만나서 미프를 진행했답니다 ㅎㅎ

맛있는 점심은 덤이야 !!!

가격도 저렴하고 든든한 한 끼로 딱이었습니다 ㅎㅎ!

6차 미프 덕분에 실제 솔루션 구축 및 제안에 있어 서비스 구성도와 인프라 구성도가 얼마나 중요한지 알게되었어요!!

미리 서비스와 인프라를 구상해보고 7차 미프를 진행해보니 훨~씬 쉬웠습니다 !!

앞으로 빅프가 남아있는데 굉장히 유용한 미프였습니다!!

이상 뿅!!

♥️5차 미니프로젝트 (4~7일차) 후기

미프 중에서 가장 흥미로웠던 DAY1 ... !!!!!!

왜냐면요....

보이시나요 ?ㅋ

완전 AI 개발자 ㅋ

YOLO CLS 모델을 사용하여 제 얼굴을 판단해보았는데요 !!!!

정확도가 미쳤죠 !??!?ㅎ

Other face와 굉장히 잘 분류되는 .. ㅎㅎㅎ!

YOLO CLS 모델은요 ! YOLO 아키텍처를 기반으로 분류(Classification) 작업에 초점을 맞춘 변형모델입니다 ! 이는 다른 모델과 달리 이미지 내 객체의 존재 여부나 객체의 클래스를 판단하는 데 초점을 둡니다.

뿐만 아니라 !!!!!

웹캠을 활용해서도 이렇게나 ... 미친 정확도 ...

너무 재밌어서 사진 왕~창 찍었어요 !!!!

하지만 이후 수업부터 고난 시작...

수집만 한 것이 아니라 라벨링 작업까지...

데이터 수집은 정말.. 힘든 작업입니다.. 라벨링은 그냥.. 레전드고..

저는 제 꼬질한 얼굴 사진을 2500장 수집했어요 !!!!

수집한 제 사진을 기반을 YOLO11N 모델을 사용해 제 사진을 예측해보았습니다..

YOLO11N은 YOLO 시리즈 중에서 경량화된 모델로, 주로 실시간 감지 및 제한된 하드웨어 환경에서의 성능 최적화를 위해 설계된 모델입니다 !

앞서 사용한 CLS와는 다른 모델이기에 폴더 구조에 신경을 썼어야 했어요 !

CLS 폴더 구조 ├── dataset/ ├── train/ ├── class1/ ├── class2/ ├── ... ├── val/ ├── class1/ ├── class2/ ├── ...

YOLO11N 폴더구조 ├── data/ ├── images/ │ ├── train/ │ │ ├── img1.jpg │ │ ├── img2.jpg │ ├── val/ │ ├── img3.jpg │ ├── img4.jpg ├── labels/ ├── train/ │ ├── img1.txt │ ├── img2.txt ├── val/ ├── img3.txt ├── img4.txt

🌟 프로젝트 느낀 점: 데이터 수집이 이렇게 중요했구나!

이번 프로젝트에서 YOLO CLS와 YOLO11N 모델을 사용해 내 얼굴을 분류하고 예측하는 작업을 진행하면서, 데이터 수집이 정말 얼마나 중요한지 깨닫게 됐어요.

특히 YOLO11N 모델을 사용할 때, 내 얼굴을 제대로 예측하지 못하는 일이 많았어요. 왜 그랬을까 생각해보니, 제가 수집한 데이터에 문제가 있었더라고요. 제가 모은 사진들은 대부분 얼굴만 크게 나온 사진들이었고, 상반신까지 나온 사진이나 다양한 각도, 배경에서 찍힌 사진은 거의 없었어요. 그래서 모델이 특정 상황에서만 내 얼굴을 인식하도록 학습됐고, 상반신이 나온 사진에서는 잘 예측하지 못했던 거죠.

이 경험을 통해 크게 느낀 건, 모델의 성능은 데이터가 좌우한다는 거였어요. 특히 다음과 같은 점을 배웠답니다

• 다양한 데이터가 중요하다! 모델이 다양한 상황을 잘 처리하려면, 사진도 여러 각도, 조명, 배경, 포즈 등 다양하게 준비해야 한다는 걸 알게 됐어요.

• 실제로 쓸 환경을 생각해야 한다! 실생활에서 내가 사용할 데이터를 미리 잘 고려해서 학습시켜야, 나중에 실제로도 제대로 쓸 수 있겠구나 싶었어요.

• 처음부터 제대로 준비하자! 프로젝트를 시작할 때 모델의 목적과 필요한 데이터를 더 꼼꼼히 생각하고, 데이터 수집 계획을 잘 세우는 게 진짜 중요하다는 걸 배웠어요.

이번 프로젝트는 YOLO 모델을 배우고 사용하는 것뿐만 아니라, 좋은 데이터가 얼마나 중요한지 직접 느낄 수 있는 기회였어요. 앞으로는 데이터 준비 단계부터 신경 써서, 더 좋은 결과를 얻을 수 있도록 해봐야겠다고 다짐했답니다! 😊

1일차부터 3일차까지의 미니프로젝트입니다 🤗

*3일간 데이터 전처리부터 딥러닝 모델링까지! 실무에서의 과정을 축소해서 경험한 미니프로젝트 같아서 제겐 굉장히 유의미한 시간들이었습니다. *

이번 미니프로젝트는 !!!

📍시계열 데이터 기반 상품 판매량 예측

다음과 같은 비즈니스 상황을 가정하였습니다.

유통 매장에서 상품별 재고문제 해결 필요

• 마트 매장에는 과재고와 재고 부족 문제 존재 • 수요가 많거나 급증하는 상품: 재고부족 • 수요가 적거나 급감하는 상품: 과재고

위 문제를 해결하기 위한 _새로운 해결책: AI 기반 수요량 예측시스템을 구축_해야합니다 !

저희는 미프 기간 중 하루를 대면으로 프로젝트를 진행하였고 발표까지 하였답니다 ㅎㅎ

• 미프 대면하러 가는 길.. 예쁘죠?! (다음날 sqld 시험인데.. 사실 엉엉 울며 갔어요 ㅠㅠ)

• 점심으로 먹은 가성비 미친 고척돈까스..( 이게 8천원대였나..? 믿기시나요..? 여기 서울 맞죠 ?!?)

재밌고 알찼던 대면 미프 ! (다들 잘 이끌어주셔서 감사했습니다 🍀👍👍)

++

시험보기 전 알차게 먹은 파스타.. 여기도 미친 맛집이었다… 미프 후기글 맞아요..맛집블로거 아닙네다.. 에이블기자단으로서 공익위해 올려요. 맛있는 건 모두가 알아야하니까... 근본있는 기자.. 나야나

🌟 3일간의 5차 미프 느낀점 !

3일간 유통 데이터를 기반으로 전처리부터 분석, 모델링을 해보았는데 솔직히 쉽지는 않았습니다... 특히 전처리 과정이 모두 비슷했을텐데 개개인이 전처리한 데이터를 기반으로 분석 내용이 비슷한 것도 많았고 상이한 점도 있었어요.. ! 그런데 이는 분명 실무에서도 충분히 ! 겪을 수 있는 일이라고 생각합니다.

저는.. 그저 데이터를 보고 유의미한 인사이트를 도출하면 되는거니 대게 생각하는게 비슷하겠지라고 생각했었어요 ! 그러나 !!! 조원들끼리도 데이터를 보고 분석하고 판단한 것이 조금씩 다른 것을 보며 실무자의 경험과 역량에 따라 분석에 대한 결과는 크게 달라질 수 있겠다는 점을 느낀 미니 프로젝트였습니다. 때문에 저도 더욱 많은 경험을 해야 신뢰할 수 있는 분석가가 될 수 있겠다고 생각했습니다 ! 앞으로 남은 기간도 열심히 수업들어야지 ..!!!🍀

📍4차 미니프로젝트는 ASSO 대비를 하였습니다.

ASSO가 뭐나고요 !?!??!?!?!?

ASSO는 AICE 자격증의 ASSOCIATE 레벨을 말합니다 !

AICE 자격증은 KT가 개발하고 한국경제와 함께 주관하는 AI 자격증입니다 :)

AICE는 인공지능 기술을 제대로 다룰 수 있는지를 검증하는 자격증입니다 !

다양한 레벨들이 있지만 ASSOCIATE 레벨은 비전공자부터 분석 및 기획자를 희망하시는 분을 대상으로 하는 시험으로 취업준비생들이 준비하기에 좋은 레벨이라고 소개드릴 수 있습니다 ! ㅎㅎ

온라인 오픈북 !!! 보이시나요 !?!?!

오픈북 시험이기에 그리 부담갖지 않아도 된다는 거 !! 그렇다고 GPT에 물어봐서 복사 붙여넣기 해야지 ~ 는 안된다는 거 ...

코드에 대한 간단한 검색이 가능한 것입니다 ! 복붙도 안됩니다 !!! 더불어 듀얼모니터도 사용 불가하니 이 점도 유의해주세요 !

📌꼭 부정행위 기준을 참고해주세요 !!

시험 공부를 할 때는 AICE공식 홈페이지 적극 활용하기 !

샘플문항도 있으니 이것도 꼭 활용하여 시험 대비를 하시는 것을 추천드립니다 ㅎㅎ

AICE자격증

위의 링크를 통해 공홈 들어가서 더욱 자세한 내용을 알아보세요 ! ㅎㅎ

다른 부트캠프와 달리 AICE 자격증을 취득할 수 있도록 도와주는 에이블스쿨,,

이거 외 않해,,??

게다가 KT주관 AI 자격증이라니 ! 취업에도 많은 도움이 될 것 같아서 저는 꼭! 응시 예정입니다 ㅎㅎ

다른 취업 준비생분들도 AI관련 자격증을 알아보고 게시다면 AICE자격증 적극 추천해요 !!!

IT 인프라란?

네트워크, 서버, 데이터베이스, 정보보안, 시스템 소프트웨어 및 기반시설 등 IT서비스의 기반이 되는 시스템 및 구조

네트워크, 서버, 스토리지

하드웨어 : 눈에 보이는 물리적 장비

소프트웨어 : 눈에 보이지 않는 프로그램

네트워크 : 컴퓨터 같은 장비들이 그물망처럼 연결된 형태 또는 장비

기업 IT 인프라 - 데이터센터

서버, 네트워크, 스토리지와 같은 기업의 IT인프라 구성 요소들이 모여있는 시설 -> 이러한 데이터센터가 구축되어있다면 IT서비스를 제공하는 기업일 가능성 높음 !

IT인프라의 구분 (크게 온프레미스와 클라우드로 구분!)

- 온프레미스 -서버, 스토리지, 네트워크 등을 기업 자체적으로 보유하여 운영 -클라우드 컴퓨팅 발전 이전 전통적 인프라 유형 -기업이 데이터센터를 직접 만들어 운영 - 클라우드(4가지가 있음) 1)퍼블릭 클라우드 : 클라우드 컴퓨팅 서비스를 제공해주는 업체에게 인프라에 필요한 자원들을 대여하여 사용하는 방식 ex)aws, Azure, GCP, KT 클라우드, 네이버 클라우드 2)프라이빗 클라우드 : 기업이 직접 클라우드 환경 구축하여 이를 기업 내부에서 활용, 특정 기업 및 사용자만 사용, 서비스자원과 데이터는 기업 데이터센터에 저장 3)하이브리드 유형 : 온프레미스에 구성되어 있는 인프라와 퍼블릿 클라우드를 혼용하여 함께 사용 4)멀티클라우드 : 두 개의 서로 다른 클라우드를 함께 사용하는 방식 ex)aws + KT -> 하나의 CSP에 종속되지 않기 위해 사용

IT인프라 구성도 • IT 인프라 구성 등을 한 눈에 알아볼 수 있는 다이어그램 또는 구성도 • 시스템의 배치 연결관계를 아이콘, 선으로 구조화

네트워크의 이해 net+work의 합성어 : 컴퓨터 같은 노드들이 통신기술을 이용해 그물망처럼 연결된 통신형태

네트워크 종류 • PAN (Personal Area Network) : 가장 작은 규모 • LAN (Local Area Network) : 근거리 영역 • MAN (Metropolitan Area Network) : 대도시 영역 • WAN (Wide Area Network) : 광대역

네트워크 구성요소 • 전송 단말기 (노드) – 정보를 주고 받는 장치 – PC, 휴대폰, 노트북, 서버 등

• 전송 매체 – 정보를 전달할 수 있는 수단 – 유선케이블 : 동축케이블, 광케이블, LAN 케이블 등 – 무선기술: Wifi, 5G, LTE, 블루투스 등

• 전송 프로토콜 – 전송 단말기간 정보를 주고받기 위한 일종의 규칙, 약속, 규약

• 네트워크 장비– 정보를 전달하기 위해 목적지를 찾고 길을 결정하는 장비 (허브, 스위치, 라우터 등)

무선 통신 기술 • 5G, LTE 등(전화망) • Wi-Fi (인터넷망)

OSI 7계층 모델 • ISO(국제표준화기구)가 네트워크 프로토콜이 통 신하는 구조를 7개의 계층으로 분리하여 각 계층간 상호 작동하는 방식을 정한 모델

• 통신이 일어나는 과정을 7단계로 크게 구분하여 한 눈에 들어올 수 있도록 정의

데이터를 보낼때는 1계층부터 시작 !

물 데 네 전 세 표 응

7계층 (응용) 어플리케이션 : 사용자와 가장 가까운 층, 사용자에게 다양한 Network 서비스 제공 (email - SMTP, FTP, 가상터미널…)

6계층 (표현) 프레젠테이션 : 데이터의 포맷을 결정 - 가장 쉽게 이해 할 수 있는 것은 확장자 변환 ! • App, Layer에 대한 Data 전송, Syntax 협의 • Data Format 결정, 구성 • Code 변환 • 구축변환 • 압축 • 암호화

5계층 (세션) : 통신을 하기 위한 대문, 대화를 하기 위한 카톡방 같은 개념

4계층 (전송) 트랜스포트 : 전송 목적지를 구성하거나, 통로를 제공 • End to End Connection • Application 사이의 논리적인 통로 제공 • 전송 문제 관리 • 신뢰성 있는 전송 보장

3계층 (네트워크) 네트워크 • 논리적인 주소를 사용 • 경로 관리, 최적 경로 선정 • 사용자 Data (Packet) 전송

2계층 (데이터링크) 데이터 링크 • Data 전송을 위한 Format 결정 • Data 전송을 위하여 Media 에 접근하는 방법 제공 • 물리적인 주소(MAC) 사용 • Error Detection 기능 제공

1계층 (물리) 피지컬 • 물리적인 연결 • 전기적, 기계적, 기능적 절차적인 수단 제공

OSI 7계층 모델을 기반으로 실제 업무에 이용될 수 있도록 단순화한 모형 => TCP/IP 4계층 모델

TCP/IP 4계층 모델

OSI 7계층 모델을 기반으로 실제 업무에서 이용될 수 있도록 단순화 된 모형

• 4계층 응용(Application)
• 3계층 전송(Transport)
• 2계층 네트워크(Network)
• 1계층 네트워크액세스(Network Access)

1계층 네트워크액세스(Network Access) • OSI 7계층의 데이터링크,물리계층 • MAC주소를통해장비간데이터전송 • 프레임(Frame)단위의데이터구성 • 데이터단위:Frame • 프로토콜: Ethernet, Token Ring 등

2계층 네트워크(Network) • OSI 7계층의 네트워크 계층 • 네트워크상 목적지까지 연결 • IP 할당, 경로(Route) 설정 • 패킷(Packet) 단위의 데이터 구성 • 데이터 단위 : Packet • 프로토콜 : IP, ARP, ICMP, RARP, OSPF 등

3계층 전송(Transport) • OSI 7계층의 전송 계층 • 통신 노드 간 연결 • Port 기반 데이터 전송 • 세그먼트(Segment)단위의 데이터 구성 • 데이터 단위 : Segment • 프로토콜 : TCP, UDP 등

4계층 응용(Application) • OSI 7계층의 세션, 표현, 응용 계층 • 사용자와 가장 가까운 계층으로 사용자가 Application 과 소통할 수 있게 지원 • 데이터 단위 : Message • 프로토콜 : FTP, HTTP(80), SSH, Telnet, DNS, SMTP 등

헤더란? • 데이터 전송이 이루어질 때, 계층 이동별로 필요한 정보 • 목적지 정보, 출발지 정보, 에러 체크 등 • 예시 – HTTP 헤더, TCP 헤더, IP 헤더, 이더넷 헤더 • 헤더 하나하나 붙이는 것 : 캡슐화 • 헤더 하나하나 제거하는 것 : 역캡슐화

1계층 - 물리계층 • 전기, 기계적 특성을 이용한 통신 케이블로 데이터를 전송 • 0,1 비트로 데이터 구성 • On, Off 의 전기적 신호 상태로 구성

2계층 - 데이터링크 계층 • MAC 주소를 통해 통신 • 대표적인 프로토콜: Ethernet • 대표적인 네트워크 장비 : 스위치 예: 택배 상자에 "우리 집 주소"를 쓰는 것처럼 데이터를 특정 컴퓨터로 보냄. 👉 스위치라는 장치가 "주소"를 찾아줌.

3계층 - 네트워크 계층 • IP 주소를 통해 통신 • 대표적인 프로토콜: IP • 대표적인 네트워크 장비 : 라우터 예: "서울 123번지" 같은 주소를 찾아 길을 알려주는 역할. 👉 라우터라는 장비가 어디로 가야 할지 길을 정해줘.

4계층 - 전송계층 • 포트를 통해 통신 • 대표적인 프로토콜: TCP, UDP • 대표적인 네트워크 장비 : L4 스위치 예: 게임, 유튜브, 채팅이 다 각자 "우표"를 붙여 정확히 전달되게 하는 것. 👉 L4 스위치는 이런 우표를 읽어서 정확히 보내줌.

7계층 - 응용프로그램 계층 • 브라우저나 메일 같은 응용프로그램을 통해 통신 • 대표적인 프로토콜: FTP, SMTP, HTTP • 대표적인 네트워크 장비 : L7 스위치 예: 유튜브 영상, 이메일 등등. 👉 L7 스위치는 유튜브 같은 앱에 딱 맞는 데이터를 전해줘.

• Mac Address • 네트워크 상의 장비 구분을 위하여 각 장비의 인터페이스마다 할당된 주소 • MAC 주소형식 (48 비트) : D0-3C-1F-9C-FA-F9 • MAC 주소는 일반적으로 네트워크 인터페이스 카드(NIC)의 제조사가 할당하여 하드웨어 저장

• Ethernet • 통신하기위한 일련의 기술 및 약속 중 하나로 MAC 기반으로 통신 하는 방법에 관한 2계층 프로토콜

IP 네트워크 이해

서로를 식별하기 위한 방법, 주소 체계 -IP 주소체계

IP 주소 구성

• IP 주소는 32bit의 2진수로 구성 10101100000100001000000000010001

• 이를 아래와 같은 단계를 거쳐 익숙한 10진수로 바꾸어 표현

1. 32bit를 4개의 octet으로 나눈 후 10101100 00010000 10000000 00010001
2. 각 octet(1 byte)을 이루는 이진수를 십진수로 변환 172 16 128 17
3. 각 십진수를 점을 통해 구분(Dotted-decimal notation) 172.16.128.17

• IP 주소는 Network 주소와 Host 주소로 구성 • Network 주소- 인터넷의 수많은 네트워크에서 네트워크를 식별해 주는 역할 • Host 주소- 같은 네트워크의 수많은 호스트들 중에서 해당 호스트를 식별해 주는 역할

1. 네트워크 크기란? 네트워크 크기는 마치 학교의 반(클래스) 크기 같아! 너희 반에 몇 명의 친구가 있는지 생각해 봐. 친구가 많으면 큰 반이고, 친구가 적으면 작은 반이지. 네트워크도 마찬가지로, 컴퓨터가 많이 연결된 큰 네트워크가 있고, 적게 연결된 작은 네트워크가 있어. 예:

큰 네트워크: 100대 이상의 컴퓨터가 연결된 회사 네트워크 작은 네트워크: 5~10대 정도 연결된 집 네트워크 2. 네트워크 클래스란? 클래스는 네트워크의 크기를 나눠놓은 그룹이야. 네트워크도 규모에 따라 이름을 붙였는데, 이렇게 나뉘어 있어: 클래스 A: 아주 큰 네트워크 (학교 전체) 클래스 B: 중간 크기 네트워크 (학년) 클래스 C: 작은 네트워크 (반) 예를 들어:

클래스 A 네트워크는 많은 컴퓨터를 연결할 수 있고, 클래스 C 네트워크는 적은 컴퓨터만 연결할 수 있어. 3. 서브넷마스크란? 네트워크를 나누는 가위! 서브넷마스크는 큰 네트워크를 작은 네트워크로 나누는 도구야. 예를 들어, 학년 전체를 나누어 각 반으로 만드는 것처럼 말이야! 큰 네트워크를 잘게 쪼개서 관리하기 쉽게 만들어 줘. 쉽게 비유하자면:

큰 케이크를 서브넷마스크라는 칼로 나눠서 여러 조각으로 나누는 것과 같아. 나뉜 네트워크 조각마다 각각 다른 컴퓨터들이 연결돼. 한 줄 요약! 네트워크 크기: 네트워크의 친구 수(크기). 네트워크 클래스: 네트워크 크기를 A, B, C로 나눈 이름. 서브넷마스크: 큰 네트워크를 작은 조각으로 나누는 가위.

• 공인(Public) IP

• IP주소를 관리하는 기관에 사용권을 요청하여 할당 받아 사용하는 IP
• IANA(internet Assigned Names Authority)에서 관리하며 한국의 경우 한국인터넷 진흥원(KISA)에서 IP를 할당 받아 관리 • 사설(Private) IP
• IP주소 중 특수 목적으로 예약된 IP주소로 같은 네트워크 내에서만 통신 가능
• 인터넷상의 누군가와 통신하려면 공인 IP 필요

NAT (Network Address Translation) • 사설IP를 공인 IP로 변환 해주는 서비스 • 공인 IP주소 하나를 여러 장비가 나누어 쓰는 것이 가능 • NAT는 IPv4의 주소 부족 문제를 해결하기 위한 방법으로서 고려 • 사설네트워크 주소를 사용하는 망에서 외부의 인터넷 환경과의 통신 시 네트워크 주소를 변환 해 주기 위해 구성 • 무선 공유기도 일반적으로 NAT 서비스 제공

ARP(Address Resolution Protocol) • IP 만 알고 있을 때 Mac 주소를 확인 할 수 있도록 해주는 프로토콜 – 2계층 환경에서 사용하는 주소 = MAC address – 3계층 환경에서 사용하는 주소 = IP address

DX트랙은 그저 데이터 분석만 하는 거 아니었어!?

• **DX트랙이더라도 딥러닝까지 꼼꼼하게 배웁니다 ! ㅎㅎ 훌륭한 강사진분들이 아~주 쉽고 친숙해지도록 도와주세요 ㅎㅎ 딥러닝까지 배우는 에이블스쿨 이거 외않해;? 에이블스쿨하면 나도 데이터분석가가 되. 문송하지 않아도 되.
• *

제가 가고싶은 분야에 있어  딥러닝이 어떻게 활용될지도 생각을 해보았는데요 !

딥러닝이 필요하지 않은 곳을 찾는게 어렵더라구요 ㅜㅜ!

저는 경영학과인지라금융분야에서의 딥러닝 활용을 생각했는데

주식 시장의 변동 예측, 고객 신용 평가, 사기 거래 탐지 등에 활용이 될 것 같네요 ㅎㅎ!!!

배워두면 어디든 써먹을 알아두면 쓸데 많은 지식입니다 !!ㅎㅎ

딥러닝 기초 이론

퍼셉트론을 구성하는 노드는 인공신경망에서 정보를 처리하는 기본 단위

*단층 퍼셉트론 *: 노드 단위로 입력값에 가중치를 곱하고 이들 합이 특정 임계치를 넘으면 출력값으로 1을, 넘지않으면 0을 출력하는 형태로 0 또는 1의 출력을 생성 => 간단한 패턴의 데이터 처리에 유효

다층 퍼셉트론 : 입력데이터에 가중치를 곱하고 이 결과를 합해 여러 은닉층을 통해 전파하는 순전파 과정을 거침, 그리고 이때 주로 시그모이드 함수(비선형활성화함수)를 사용 신경망에서 비선형 활성화 함수는 각 뉴런의 출력에 적용되어 네트워크가 비선형적인 복잡한 패턴을 학습할 수 있도록 합니다.

딥러닝 모델이 잘 학습된 것은 예측 결괏값이 실제 값에 가까워지며 오차가 최소화된 상태

• 역전파 : 출력에서 발생한 오차를 신경망을 거슬러 올라가며 각 층의 가중치가 오차에 얼마나 기여했는지 계산하고 정보를 사용해 가중치 업데이트

딥러닝은 최적화가 어려움

• 모델의 비선형성
• 고차원성과 과적함
• 그래디언트 소실 문제
• 하이퍼 파라미터의 민감성

딥러닝 모델링 시 고려사항

• 하이퍼 파라미터 : 사용자가 사전에 설정해야하는 값

• 배치크기 : 한번의 학습 단계에 사용되는 데이터 샘플 수, 메모리 사용량과 학습속도에 큰 영향 / 배치 크기가 크면 한 번에 많은 정보를 배우지만 속도가 느려지고, 작으면 빨리 배우지만 한 번에 적은 정보만 학습

• 학습률(Learning Rate) : 모델의 가중치를 어느정도로 업데이트할지 결정, 역전파 과정에서 계산된 그래디언트에 학습률을 곱해 가중치를 업데이트

• 에폭 수 (Epoch) : 학습 데이터를 몇 번 전체로 학습할지, 너무 많으면 학습시간이 길어지고, 과적합 초래

• 옵티마이저 : 손실함수를 최소화하기 위해 모델의 가중치를 어떻게 업데이트할지 결정

✓ 딥러닝 학습절차

▪ 가중치 초기값을 할당한다. (초기모델을만든다.) ▪ (초기)모델로 예측한다. ▪ 오차를 계산한다. (lossfunction) ▪ 가중치 조절: 오차를 줄이는 방향으로 가중치를 적절히 조절한다.(optimizer) • 적절히 조절→ 얼마만큼 조절할지 결정하는 하이퍼 파라미터 : learning rate (lr) ▪ 다시 처음으로 가서 반복한다. • 전체 데이터를 적절히 나눠서(mini batch) 반복: batch_size • 전체 데이터를 몇 번 반복 학습할 지 결정: epoch

스케일링

딥러닝은 스케일링이 필수

▪ 방법1 : Normalization(정규화) • 모든값의 범위를 0 ~ 1로 변환

방법2 : Standardization(표준화) • 모든값을, 평균= 0, 표준편차= 1 로변환

 # 스케일러 선언
scaler = MinMaxScaler()
 # train 셋으로 fitting & 적용
x_train = scaler.fit_transform(x_train)
 # validation 셋은 적용만!
 x_val = scaler.transform(x_val)

#fit은 훈련 데이터에만 적용하고, 검증 데이터에는 훈련 데이터의 기준으로 transform만 하여 일관된 스케일링을 유지

x_train.shape[0]은 행 개수(데이터 샘플의 수)를 의미 x_train.shape[1]은 열 개수(특성 수)를 의미

#x_train 데이터의 특성(feature) 수를 변수 nfeatures에 저장
nfeatures = x_train.shape[1] #num of columns
nfeatures

# 메모리 정리
clear_session()

 # Sequential 타입
model = Sequential([Input(shape = (nfeatures,)),
 Dense(1) ])
 #output = dense
 # 모델요약
model.summary()

컴파일(Compile)

모델이 학습할 준비를 하는 단계로, 손실 함수, 옵티마이저, 그리고 평가 지표를 설정하는 과정( 모델이 무엇을 목표로 학습할지 설정 )

  model.compile( optimizer = Adam(learning_rate = 0.1)
 , loss='mse')

손실 함수 (Loss Function): 모델이 얼마나 잘못 예측했는지 측정하는 기준입니다. 손실 함수는 모델이 예측과 실제 값 사이의 차이를 줄이기 위해 필요한 정보를 제공. 예를 들어, 이진 분류 문제에서는 binary_crossentropy가 많이 사용. ** • 회귀모델: mse • 분류모델: cross entropy**

옵티마이저 (Optimizer): 모델이 손실을 줄이기 위해 가중치를 어떻게 업데이트할지 결정하는 알고리즘. Adam, SGD 등 다양한 옵티마이저가 있으며, 학습 속도와 정확도에 영향을 줌.

▪Adam •최근 딥러닝에서 가장 성능이 좋은 Optimizer로 평가됨.

▪learning_rate •업데이트 할 비율 •기울기(gradient)에 곱해지는 조정 비율 (걸음걸이의‘보폭’을 조정한다고 표현)

평가지표 (Metrics): 모델의 성능을 평가할 때 사용하는 지표. 예를 들어, accuracy는 분류 문제에서 예측이 얼마나 정확한지 나타냄. 학습 과정에서 평가 지표를 통해 모델의 성능을 확인 가능

학습

history = model.fit(x_train, y_train,
 epochs = 20,
 validation_split=0.2).history

✓Epoch 반복횟수 ▪ 주어진 train set을 몇 번 반복 학습할 지 결정.

✓만약 Epoch = 10 ▪ Train set을 10번 반복해서 학습하면서 최적의 가중치를 찾는다.

✓적정 Epoch의 수 찾기 ▪ 최적의 값은 케이스마다 다름 ▪ 하이퍼파라미터

✓validation_split = 0.2 ▪ train 데이터에서 20%를 검증셋으로 분리

.history ▪ 학습을 수행하는 과정 중에 가중치가 업데이트되면서 학습 시 계산된 오차 기록

학습곡선

✓ 학습곡선이란 모델학습이 잘 되었는지 파악하기 위한 그래프 • 정답은 아니지만, 학습 경향을 파악하는데 유용. ▪ 각Epoch 마다 train error와 val error가 어떻게 줄어들고 있는지 확인 • Epoch = 10 : train data를 10번 반복 학습

• Train error: 훈련 데이터(x_train)에 대해 모델이 예측한 값과 실제 값의 차이를 나타내는 오차, 모델이 훈련 데이터를 얼마나 잘 학습했는지 보여줍니다.

• Val error: 검증 데이터(x_val)에 대해 모델이 예측한 값과 실제 값의 차이를 나타내는 오차, 이 값은 모델이 새로운 데이터에 대해 얼마나 일반화되었는지를 보여주는 지표입니다.

▪ 바람직한 학습 곡선 • ①초기 epoch에서는 오차가 크게줄고 • ②오차하락이 꺾이면서 • ③점차 완만해짐 그러나 학습곡선의 모양새는 다양함

✓바람직하지 않은 학습 곡선 ▪ Case ① : 학습이 덜 됨 • 오차가 줄어들다가 학습이 끝남 • 조치: 학습을더! ▪ epoch수를늘리거나 ▪ learning rate을 크게 한다.

✓바람직하지 않은 학습 곡선 ▪ Case ② : train_err가 들쑥날쑥 • 가중치 조정이 세밀하지 않음 • 조치: 조금씩 업데이트 ▪ learning rate을 작게

✓바람직하지 않은 학습 곡선 ▪ Case ③ : 과적합 • Train_error는 계속줄어드는데, val_error는 어느순간부터커지기시작 • 너무과도하게학습이된경우 • 조치 ▪ Epoch수줄이기

은닉층O 모델링의 경우 ! (다층 퍼셉트론)

Hidden Layer

 # Sequential 타입 모델 선언(입력은 리스트로!)
 model3 = Sequential([Input(shape = (nfeatures,)),
 Dense(2, activation = 'relu'),
 Dense(1)])

활성화함수

전 단계 레이어에서 각 노드로 들어온 값을 다음 레이어의 노드로 전달할 때 사용된다. ReLU 다층퍼셉트론의 은닉층에서 선형 모델에 비선형성을 추가 할 때 사용됨. 활성화 함수를 사용하지 않으면 모델이 비선형성을 추가할 수 없게 됨. 여러 개의 Dense층이 있는데 단순히 가중치와 더하기만 하면 결과적으로 선형 함수를 이룸. => 결론적으로 활성화 함수 없이 모델을 구성하면 모델이 학습할 수 있는 표현의 다양성이 크게 줄어들어, 결국 비선형 문제를 해결할 수 없게 되는 것. ReLU는 회귀 및 분류 모델 은닉층에서 비선형성을 추가하는 국룰 함수 !!!!!!!

+ 활성화함수에 대한 깊은 이해

은닉층 사용 함수

1. ReLU (Rectified Linear Unit): 특징: 입력이 0 이하일 때는 0을 반환하고, 0보다 클 때는 그대로 반환합니다. 비선형성을 제공하여 딥러닝 모델의 성능을 향상시킵니다. 학습 속도가 빠르고, 기울기 소실 문제를 완화할 수 있습니다. 단점: 입력이 0 이하일 때 기울기가 0이 되기 때문에, 이로 인해 뉴런이 "죽어버리는" 현상(Dead Neuron)이 발생할 수 있습니다.

2. tanh (Hyperbolic Tangent): 특징: 출력 값이 -1과 1 사이로 정규화됩니다. 평균이 0에 가까워, 학습이 더 빨라질 수 있습니다. 단점: 여전히 기울기 소실 문제가 발생할 수 있습니다.

3. Leaky ReLU: 특징: ReLU의 변형으로, 입력이 0 이하일 때도 작은 기울기를 제공합니다. 죽은 뉴런 문제를 완화하는 데 도움을 줄 수 있습니다.

출력층 사용 함수 (분류모델에서 사용됨, 회귀모델에서는 출력층 활성화함수 필요하지 않아 !)

1. Sigmoid: 특징: 출력 값이 0과 1 사이로 변환됩니다. 주로 이진 분류 문제의 출력층에서 사용됩니다. 은닉층에서 사용: Sigmoid는 은닉층에서도 사용될 수 있지만, 깊은 네트워크에서는 기울기 소실 문제로 인해 덜 선호.

2. Softmax: 특징: 다중 클래스 분류에서 사용됩니다. 출력 값이 0과 1 사이로 변환되고, 모든 클래스의 확률 합이 1이 되도록 정규화됩니다.

이진분류 모델 모델링

은닉층에서 선형모델에 비선형성을 추가하기 위해 ReLU 활성화 함수 사용 출력증에서 결과를 0, 1로 변환하기 위해 Sigmoid 활성화 함수 사용

이진분류 손실함수 : binary_crossentropy

# 메모리 정리
clear_session()

# Sequential 모델 만들기
model = Sequential( [Input(shape = (nfeatures,)),
                     Dense( 1, activation= 'sigmoid')])

# 모델요약
model.summary()



model.compile(optimizer = Adam(learning_rate=0.01), loss ='binary_crossentropy')

history = model.fit(x_train, y_train,
                    epochs = 50, validation_split=0.2).history



dl_history_plot(history)

이진분류 모델의 예측 및 검증 (예측값 후속처리)

#예측
pred = model.predict(x_val)
print(pred[:5])

#검증
# activation이 sigmoid --> 0 ~ 1 사이의 확률값.
# 그러므로 cut-off value(보통 0.5)를 기준으로 잘라서 0과 1로 만들어 준다.
pred = np.where(pred >= .5, 1, 0)
print(pred[:5])

0.5보다 크거나 같으면 1 반환, 작으면 0 반환

다중분류 모델 모델링

은닉층에서 선형모델에 비선형성을 추가하기 위해 ReLU 활성화 함수 사용 출력증에서 결과를 0, 1로 변환, 모든 클래스의 확률 합이 1이 되도록 정규화 Softmax 활성화 함수 사용

다중분류 손실함수 : crossentropy

다중분류는 전처리가 중요 ! 다중분류는 y가 범주이고, 범주가 3개 이상인 경우 범주에 대한 인코딩 필요 정수로 인코딩하는 다중분류의 손실함수 => sparse_categorical_crossentropy ex) setosa(0), versicolor(1), virginica(2)

# 메모리 정리
clear_session()

# Sequential
model = Sequential( [Input(shape = (nfeatures,)),
                     Dense( 3, activation = 'softmax')] )

# 모델요약
model.summary()

model.compile(optimizer=Adam(learning_rate=0.1), loss= 'sparse_categorical_crossentropy')

history = model.fit(x_train, y_train, epochs = 50,
                    validation_split=0.2).history

dl_history_plot(history)

다중분류 모델의 예측 및 검증 (예측값 후속처리)

pred = model.predict(x_val) pred[:5]

✓예측결과에대한후속처리 ▪ ①예측결과: 각클래스별확률값 ▪ ②그중가장큰값의인덱스로변환 • np.argmax()

pred_1 = pred.argmax(axis=1) pred_1

이상탐지(anomaly detection)는 일반적인 값과 다른 특이한 값(outlier)이나 드문 사건을 탐지하는 기법

▪ 지도학습, Classification [분류모델] •모델을만들고, 정상(normal)과 비정상(abnormal)을 평가할 수 있어야함 • y(label)이 필요

▪ 비지도학습(에가까움) [이상탐지 모델] •비정상(Abnormal) 데이터가 너무 부족. •그나마 있는 데이터도 Class를 대표하기 어려움 •정상(Normal)데이터를 가지고 어디까지가 정상인지 추정

이상탐지의 몇가지 Challenge ①Label을 어떻게 확보할 것인가? ②낮은 성능 문제

이상탐지 알고리즘

Isolation Forest

숲에서 나무를 찾아내듯이, 데이터에서 이상한 점을 찾아내는 것 Normal과 Abnormal 구분하기 데이터 샘플링: 먼저, 많은 데이터 중에서 일부를 뽑아내. 마치 여러 개의 과자 중에서 몇 개를 골라서 맛보는 것처럼, 데이터를 조금씩 샘플로 선택하는 거야.

Isolation Tree 만들기: 그 다음, 샘플링한 데이터로 나무(트리)를 만들어. 이 나무는 데이터를 잘라내는 역할을 해. 마치 나무를 자르듯이, 데이터를 여러 번 나누면서 이상한 점을 찾아내는 방법이야.

점수 매기기(Scoring): 마지막으로, 만들어진 나무를 사용해서 각 데이터 포인트에 점수를 매겨. 점수가 낮은 데이터는 정상(Normal)이고, 점수가 높은 데이터는 이상(Abnormal)으로 판단해. 이렇게 해서 어떤 데이터가 보통과 다르게 이상한지를 구분하는 거야.

지도학습 : target이 있는 데이터로 학습 비지도학습 : taget이 없음, 유사한 것들끼리 묶어보자 !

비지도학습의 특징 학습 시 x(독립변수)만 사용 -> x 안에서 패턴 인식

비지도 학습은 후속 작업 필요

• 차원축소 : 고차원 데이터를 축소하여 새로운 feature를 생성 ➔ 시각화,지도학습연계
• 클러스터링 : 고객별 군집 생성➔ 고객집단의 공통 특성 도출을 위한 추가분석
• 이상탐지 : 정상 데이터 범위 지정➔ 범위 밖 데이터를 이상치로 판정

차원축소

차원의 수 = 변수의 수 변수가 많을 수록 모델 성능 향상 ? -> X!!!

• 변수가 많아지면 오히려 방해가 될 수 있음.
• 불필요하게 모델이 복잡해짐.

• 데이터가 희박해짐, 조건에 맞는 데이터가 희박해짐 -> 학습이 적절하게 되지 않을 가능성이 높아짐.(차원의 저주)

희박한 데이터 문제의 해결방안

▪ ①행을 늘리기 ➔ 데이터늘리기 (열이 아닌 행을 늘려야해 !) ▪ ②열을 줄이기 ➔ 차원축소

차원축소

다수의 고차원 -> 새로운 소수의 저차원으로 축소 기존 특성을 최대한 유지해야함.

주성분분석(PCA Principal Component Analysis)

▪ 변수(차원)의 수 보다 적은 저차원의 평면으로 투영 Projection

주성분 분석(PCA)은 데이터를 더 간단하게 만들기 위해 사용하는 기법. 많은 변수가 있을 때, 이 변수를 몇 개의 핵심적인 축(주성분)으로 줄여서 데이터를 분석.

주성분분석은 스케일링이 필요 2차원에서 1차원으로 줄임

PCA를 통해 훈련 데이터와 검증 데이터를 주성분으로 변환하여, 차원 축소된 형태로 만드는 과정

pca = PCA(n_components=n) #PCA 모델을 생성

x_train_pc = pca.fit_transform(x_train) # 훈련 데이터 x_train에 PCA를 적용

x_val_pc = pca.transform(x_val)
#검증 데이터 x_val에 같은 PCA 모델을 적용. 이렇게 하면 검증 데이터도 동일한 주성분으로 변환

Elbow Method ✓팔꿈치 지점 근방에서 적절한값을 찾는 것 처음에는 관성이 급격히 줄어들다가 어느 순간부터는 줄어드는 속도가 느려져. 이 지점을 엘보우(팔꿈치)라고 해. 엘보우가 나타나는 곳이 최적의 클러스터 수라는 뜻이야. 이 숫자가 데이터가 잘 나누어지는 지점을 나타내!

Clustering(군집화)

클러스터링(clustering)은 데이터를 비슷한 그룹으로 나누는 과정 -클러스터링 알고리즘은 각 데이터 포인트 간의 거리를 계산하고, 비슷한 데이터 포인트를 찾아서 그룹화

K-평균(K-means)

클러스터링의 한 방법으로, 데이터를 K개의 그룹으로 나누는 알고리즘

K-평균의 기본 과정 1)K 선택: 먼저, 데이터를 몇 개의 그룹(K)으로 나눌지 결정해요. 예를 들어, 과일을 사과, 바나나, 오렌지의 세 그룹으로 나누고 싶다면 K를 3으로 설정합니다.

2)초기 중심 선택: K개의 그룹에 대한 중심점을 임의로 선택해요. 이 중심점들은 각 그룹의 대표 역할을 합니다.

3)데이터 포인트 할당:

• 각 데이터 포인트(예: 과일)를 가장 가까운 중심점에 할당합니다. 이렇게 해서 각 그룹에 데이터가 모이게 되죠. 중심점 업데이트: 각 그룹에 할당된 데이터 포인트의 평균 위치를 계산해서 새로운 중심점을 업데이트해요.

4)반복: 3번과 4번 과정을 더 이상 중심점이 변하지 않을 때까지 반복합니다. 즉, 더 이상 데이터 포인트의 그룹이 바뀌지 않을 때까지요.

*단점: 덩어리형태로묶을수있어야함. K값은사람이정해줘야함

# k means 학습
model = KMeans(n_clusters= 2, n_init = 'auto') #자동으로 최적 방법 선택
model.fit(x)

# 예측
pred = model.predict(x)
print(pred)

적정 k값 찾기

*Inertia value * 각 중심점에서 군집의 데이터간의 거리를 합산한값. 그룹 안의 물건들이 얼마나 가까이 모여 있는지를 나타내는 숫자로, 값이 작을수록 더 잘 나눴다는 뜻!

✓클러스터의 개수(k)를 증가시키면서 ✓Inertia value를 뽑고 ✓적정 k값 찾기

model.inertia_

# k의 갯수에 따라 각 점과의 거리를 계산하여 적정한 k를 찾아 봅시다.
kvalues = range(1, 10)
inertias = []

for k in kvalues:
    model = KMeans(n_clusters=k, n_init = 'auto')
    model.fit(x)
    inertias.append(model.inertia_)

실루엣 점수(Silhouette Score) 클러스터링의 품질을 평가하는 지표로, 데이터 포인트가 얼마나 잘 클러스터에 할당되었는지를 나타냄.

//실루엣 점수에 대한 쉬운 이해

• 그룹의 친구들: 사과와 바나나를 두 그룹 나눔, 사과는 사과끼리, 바나나는 바나나끼리 모여야 함.

• 잘 어울리는지 확인: 실루엣 점수는 각 과일이 자신이 속한 그룹의 다른 과일들과 얼마나 잘 어울리는지를 평가해요. 사과는 사과들과 잘 어울려야 하고, 바나나는 바나나들과 잘 어울려야 함.

• 다른 그룹과의 거리: 실루엣 점수는 또 다른 그룹의 과일들과는 얼마나 멀리 떨어져 있는지를 확인해요. 사과가 바나나와 가까우면 x

• 점수 해석하기 1)높은 점수 (1에 근접): 사과들이 서로 잘 어울리고(클러스터 내부 거리 가까움), 바나나와는 멀리 떨어져 있음(클러스터 간의 거리는 멀다.)

• 클러스터링 good!*

2)중간 점수 (0에 근접): 사과와 바나나가 헷갈리는 경우! 사과가 바나나와 가까운지, 아니면 사과들끼리 가까운지 애매함. (클러스터 간 거리와 클러스터 내부거리가 비슷,중첩)

3)낮은 점수 (-1에 근접): 사과가 바나나보다 더 가까운 경우. 잘못 그룹화된 것!

주의사항: 실루엣점수를 계산하려면 최소한 k가 2개 이상이어야함.

from sklearn.metrics import silhouette_score

# 클러스터 개수에 따른 실루엣 점수를 저장할 리스트
kvalues = range(2, 10) # 최소 2개 이상이어야 함.
sil_score = []

for k in kvalues:
    # KMeans 모델 생성
    model = KMeans(n_clusters=k, n_init = 'auto')

    # 모델을 학습하고 예측
    pred = model.fit_predict(x)

    # 실루엣 점수 계산
    sil_score.append(silhouette_score(x, pred))

DBSCAN

(밀도 기반 클러스터링) 데이터의 밀도를 기반으로 클러스터를 찾음.

① 임의의 한점으로부터 시작 ② 반경범위내에 최소 포인트 수가 존재하는지 확인 ③ 존재한다면 각 포인트들을 중심으로 다시 원을 그어 최소 포인트수 확인 ④ ②③반복수행 ⑤ 존재하지 않으면, 군집에 포함되지 않은 점으로 이동하여①④ 반복 수행 ⑥ 어느군집에도 포함되지 않는 점은 이상치로 간주함.

요약

✓K-means ▪ K개의 평균으로부터 가까운 데이터를 묶음 ▪ 평균을 조절하면서 최적의 평균값 위치를 찾아간다. ▪ 단점: 덩어리 형태로 묶을 수 있어야함. K값은 사람이 정해줘야 함. ✓DBSCAN ▪ 연쇄적으로 근처의 데이터들을 클러스터 안에 포함시킴. ▪ 덩어리형태가 아니어도 해결 가능. ▪ 단점: 연쇄적으로 묶을 반경을 사람이 정해줘야 함.

일잘러가 되기 위한 첫 걸음 !

업무 활용도 높은 생성형 AI

여러 개 모델 결합, 개별 모델의 약점 보완

병렬 앙상블

• 여러 모델이 독립적 학습. 보팅과 배깅
• 순차 앙상블*
• 모델이 순차적으로 학습. 이전 모델 오류를 보완하는 방식으로 부스팅이 대표적
• 스태킹*
• 개별 모델 예측 결과를 다시 최종모델에 입력으로 제공하여 최종 예측을 내리는 방법

보팅

개별 모델 예측 결과를 집계해 최종 예측 결과 결정 다양한 예측 방식 결합가능 하드보팅 : 각 분류 모델의 최종 예측 결과의 다수결로 최종 예측 결정 소프트 보팅 : 각 분류 모델의 예측 확률 값을 평균 내에 가장 높은 확률을 가진 클래스로 최종 예측을 결정

배깅

부트스트랩한 데이터로 모델을 학습, 모델 예측결과를 집계 같은 유형의 알고리즘 기반 모델 사용 데이터 분할 시 중복 허용 범주형 데이터는 투표방식 연속형 데이터는 평균으로 결과집계 대표 알고리즘 : random forest

부스트스트랩? 원본 데이터셋에서 중복을 허용해 무작위 샘플링 수행 -> 크기 같은 새로운 데이터셋을 여러 개 만듦 -> 배깅에서 새로운 서로 다른 데이터셋 학습 -> 개별 모델의 과적합 된 부분을 상쇄 -> 결국 더 일반화된 성능 보일 수 있음

회귀모델

 # 불러오기
from sklearn.ensemble import RandomForestRegressor
 from sklearn.metrics import mean_absolute_error, r2_score
 # 선언하기
model = RandomForestRegressor(max_depth=5, n_estimators=100, random_state=1)
 # 학습하기
model.fit(x_train, y_train)
 # 예측하기
y_pred = model.predict(x_test)
 # 평가하기
print(mean_absolute_error(y_test, y_pred))
 print(r2_score(y_test, y_pred)

분류모델

 # 불러오기
from sklearn.ensemble import RandomForestClassifier
 from sklearn.metrics import confusion_matrix, classification_report
 # 선언하기
model = RandomForestClassifier(max_depth=5, n_estimators=100, random_state=1)
 # 학습하기
model.fit(x_train, y_train)
 # 예측하기
y_pred = model.predict(x_test)
 # 평가하기
print(confusion_matrix(y_test, y_pred))
 print(classification_report(y_test, y_pred))

부스팅

대표 알고리즘 : XGbBoost, LightGBM 같은 유형 알고리즘 기반 모델 여러 개에 대해 순차적으로 학습 수행 이전 모델이 제대로 예측 못한 데이터에 가중치를 부여해 다음모델이 학습 및 예측 진행 배깅에 비해 성능 GOOD,속도는 느림, 과적합 발생 가능성이 있음. 회귀모델

 # 불러오기
from xgboost import XGBRegressor
 from sklearn.metrics import mean_absolute_error, r2_score
 # 선언하기
model = XGBRegressor(max_depth=5, n_estimators=100, random_state=1)
 # 학습하기
model.fit(x_train, y_train)
 # 예측하기
y_pred = model.predict(x_test)
 # 평가하기
print(mean_absolute_error(y_test, y_pred))
 print(r2_score(y_test, y_pred))

분류모델

 # 불러오기
from xgboost import XGBClassifier
 from sklearn.metrics import confusion_matrix, classification_report
 # 선언하기
model = XGBClassifier(max_depth=5, n_estimators=100, random_state=1)
 # 학습하기
model.fit(x_train, y_train)
 # 예측하기
y_pred = model.predict(x_test)
 # 평가하기
print(confusion_matrix(y_test, y_pred))
 print(classification_report(y_test, y_pred))

알고리즘 공부 전 기본 상식 이해하기

- 회귀계수 (Regression Coefficient)
정의: 회귀계수는 각 독립변수(입력값)가 종속변수(결과값)에 미치는 영향을 나타내는 숫자
예시: 예를 들어, 키와 몸무게의 관계를 분석할 때, 키의 회귀계수가 0.5라면, 키가 1cm 증가할 때 몸무게가 평균적으로 0.5kg 증가한다는 의미야.
- 가중치 (Weight)
정의: 가중치는 회귀계수와 비슷하지만, 머신러닝에서는 좀 더 일반적인 용어로 사용돼. 독립변수에 곱해져서 그 변수가 종속변수에 미치는 영향을 조정
관계: 즉, 회귀계수는 특정 상황에서의 가중치라고 볼 수 있어.
- 편향 (Bias)
정의: 편향은 모델이 예측할 때 항상 더해지는 기본값이야. 모델이 항상 특정 값을 기준으로 시작하게 만드는 역할을 해.
예시: 만약 편향이 2라면, 모든 예측에 2를 더하는 것과 같아.

최선의 가중치와 편향을 찾는 이유

• 정확한 예측: 독립변수의 최선의 가중치와 편향을 찾으면 모델이 훈련 데이터에 대해 더 정확한 예측을 할 수 있어.
• 일반화: 좋은 가중치와 편향을 찾으면 새로운 데이터에도 잘 작동하게 돼, 즉 모델이 과대적합되지 않도록 도와줘.
• 패턴 이해: 각 독립변수가 종속변수에 미치는 영향을 파악함으로써, 데이터의 숨은 패턴을 이해할 수 있어.

linear Regression

최선 회귀모델은 오차합이 최소가 되는 모델 의미

단순회귀 독립변수가 하나. _ -> x값 하나만으로 y값 설명_ • 𝑦=𝑤0+𝑤1𝑥1

 # 회귀계수 확인
print(model.coef_) #회귀계수(가중치), 독립변수에 곱해지는 값
 print(model.intercept_) # 편향

 ex)  𝑦 =−15.81+3.92∙𝑥   #편항 - 15.81, 가중치 3.92

다중회귀 독립변수 여러 개 -> y값 설명을 위해 여러 x필요

• 𝑦=w0+w1𝑥1+w2𝑥2+w3𝑥3+⋯+w𝑛𝑥n • 각 독립변수의 최선의 가중치와 편향(w0)을 찾음.

# 회귀계수 확인
print(list(x_train)) #회귀계수가 여럿이므로 독립변수 이름 확인
 print(model.coef_) #가중치
 print(model.intercept_) 평균

 ex) 𝑂𝑧𝑜𝑛𝑒 = −53.37+1.52∙𝑇𝑒𝑚𝑝−3.57∙𝑊𝑖𝑛𝑑 +0.07∙𝑆𝑜𝑙𝑎𝑟.R

linear Regression알고리즘은 회귀모델에만 사용가능

 # 불러오기
from sklearn.linear_model import LinearRegression
 from sklearn.metrics import mean_absolute_error, r2_score
 # 선언하기
model = LinearRegression()
 # 학습하기
model.fit(x_train, y_train)
 # 예측하기
y_pred = model.predict(x_test)
 # 평가하기
print(mean_absolute_error(y_test, y_pred))
 print(r2_score(y_test, y_pred))

K-Nearest Neighbor (knn)

학습용 데이터에서 k개의 최근접 이웃을 찾아 그 값들로 새로운 값 예측 알고리즘. 회귀 & 분류 모두 사용됨, 간단함. (연산속도는 느림)

• k개의 값의 평균을 계산해 값 예측
• 가장 많이 포함된 유형으로 분류

k값의 중요성 k값에 따라 예측값이 달라짐, 적절 k값 찾기 중요(기본값 = 5) 일반적으로 • k를 1로 설정 안함! → 이웃 하나로 현재 데이터를 판단하기엔 너무 편향된 정보 • k 홀수로 설정 ! → 짝수일 경우 과반수 이상의 이웃이 나오지 않을 수 있음.

스케일링 방법

스케일링 여부에 따라 knn모델 성능이 달라질 수 있음. knn에 꼭 필요한 스케일링!!!

정규화 : 각 변수 값이 0과 1사이

표준화 : 각 변수 평균이 0, 표준펴차가 1

 # 함수 불러오기
from sklearn.preprocessing import MinMaxScaler
 # 정규화
scaler = MinMaxScaler()
 scaler.fit(x_train)
 x_train = scaler.transform(x_train)
 x_test = scaler.transform(x_test)

# 평가용 데이터에도 학습용 데이터 기준으로 스케일링 수행함.

회귀모델 구현

  # 불러오기
from sklearn.neighbors import KNeighborsRegressor
 from sklearn.metrics import mean_absolute_error, r2_score
 # 선언하기
model = KNeighborsRegressor(n_neighbors=5)
 # 학습하기
model.fit(x_train, y_train)
 # 예측하기
y_pred = model.predict(x_test)
 # 평가하기
print(mean_absolute_error(y_test, y_pred))
 print(r2_score(y_test, y_pred))

분류모델 구현

# 불러오기
from sklearn.neighbors import KNeighborsClassifier
 from sklearn.metrics import confusion_matrix, classification_report
 # 선언하기
model = KNeighborsClassifier(n_neighbors=5)
 # 학습하기
model.fit(x_train, y_train)
 # 예측하기
y_pred = model.predict(x_test)
 # 평가하기
print(confusion_matrix(y_test, y_pred))
 print(classification_report(y_test, y_pred))

Decision Tree(의사결정 나무)

특정 변수에 대한 의사결정 규칙을 나무가지가 뻗는 형태로 분류 분류 & 회귀 모두 사용 분석 과정이 직관적 분석과정을 실제 눈으로 확인 가능 -> 화이트 박스 모델 *트리 깊이를 제한하는 튜닝 필요

분류모델의 경우 마지막 노드에 있는 샘플들의 최빈값을 예측값을 반환(불순도) 회귀모델의 경우 마지막 노드에 있는 샘플들의 평균을 예측값을 반환(mse)

불순도 ? 순도의 반대말 순도가 높을 수록 분류가 잘된 것

수치화 지표

• 지니불순도
• 엔트로피

Logisitic Regression

분류모델에서만 사용가능

# 불러오기
from sklearn.linear_model import LogisticRegression
 from sklearn.metrics import confusion_matrix, classification_report
 # 선언하기
model = LogisticRegression()
 # 학습하기
model.fit(x_train, y_train)
 # 예측하기
y_pred = model.predict(x_test)
 # 평가하기
print(confusion_matrix(y_test, y_pred))
 print(classification_report(y_test, y_pred))

svm

support vector machine

데이터 분류를 위한 기준선, 결정 경계선을 찾는 알고리즘. 분류 및 회귀 문제 모두 사용가능

• 분류 문제를 위한 관점에서 학습 요약해볼게요 !

결정 경계? decision boundary -서로 다른 분류값 결정하는 경계

벡터? -2차원 공간 상에 나타난 데이터 포인트 서포트 벡터 -결정 경계선과 가장 가까운 데이터 포인트

마진 maximum margin -결정경계와 서포트 벡터 사이의 거리 -마진이 클수록 새로운 데이터에 대해 안정적 분류 가능성 높음 -분류가 잘 되었다는 뜻 *혹, 학습시 분류가 잘못되었더라도 마진이 크다면 실제 테스트 및 운영시 새로운 데이터에 대한 분류가 안정적일 것 !

+학습시 에러 적은 모델보다 운영시 에러 적은 모델이 good(당연한 말) svc는 약간의 오류 허용을 위해 비용(c)변수를 사용함. c를 낮게 잡으면? -마진을 높이고 에러를 증가시키는 경계선을 만듦 -> 과소적합

c를 높게 잡으면? -마진을 낮추고 에러를 감소시키는 경계선을 만듦 -> 과대적합

=> 적절한 비용값 C를 찾는 것이 매우 중요

• SVM은 직선 OR 초평면으로 분류하는 방식, 즉 선형 분류기 선형으로 분류할 수 없는 데이터 셋이 더 많음. 때문에 직선으로 분류하면 오차가 커지기도 함.

커널 트릭

매핑함수

• 저차원 데이터를 고차원으로 옮겨주는 함수
• 대량 데이터를 저차원에서 고차원으로 옮기려면 계산량 많아 사용 어려움

커널트릭

• 데이터를 실제로 고차원으로 옮기지 X, 옮긴 것 같은 효과를 주어 결정 경계선을 빠르게 찾는 방법

데이터 분류를 위한 결정 경계선을 찾는 알고리즘 SVM 회귀모델 구현

# 불러오기
from sklearn.svm import SVR
 from sklearn.metrics import mean_absolute_error, r2_score
 # 선언하기
model = SVR(kernel='linear', C=1)
 # 학습하기
model.fit(x_train, y_train)
 # 예측하기
y_pred = model.predict(x_test)
 # 평가하기
print(mean_absolute_error(y_test, y_pred))
 print(r2_score(y_test, y_pred)

분류모델 구현

 # 불러오기
from sklearn.svm import SVC
 from sklearn.metrics import confusion_matrix, classification_report
 # 선언하기
model = SVC(kernel='linear', C=1)
 # 학습하기
model.fit(x_train, y_train)
 # 예측하기
y_pred = model.predict(x_test)
 # 평가하기
print(confusion_matrix(y_test, y_pred))
 print(classification_report(y_test, y_pred))

K-Fold Cross Validation

k 분할 교차 검증 k-분할 교차 검증은 데이터를 k개의 부분으로 나눈 후, 각 부분을 한 번씩 테스트 데이터로 사용하고 나머지를 훈련 데이터로 사용하는 방법

단계별 설명 데이터 나누기: 전체 데이터를 k개의 같은 크기의 그룹으로 나눠. 예를 들어, 데이터가 100개라면, k를 5로 설정하면 20개의 데이터로 구성된 5개의 그룹이 만들어져. 모델 훈련과 테스트:

1번째 단계: 첫 번째 그룹(20개)을 테스트 데이터로 사용하고, 나머지 80개로 모델을 훈련해. 2번째 단계: 두 번째 그룹을 테스트 데이터로 사용하고, 나머지 80개로 모델을 훈련해. 이 과정을 k번 반복해. 즉, 각 그룹이 한 번씩 테스트 데이터로 사용돼. 성능 평가:

각 반복에서 모델의 성능(예: 정확도, F1 점수 등)을 기록해. k번의 성능 평가 결과를 평균내서 최종 성능 점수를 얻어.

단, k는 2 이상 되어야함.

 # 1단계: 불러오기
from sklearn.tree import DecisionTreeClassifier
 from sklearn.model_selection import cross_val_score
 # 2단계: 선언하기
model = DecisionTreeClassifier(max_depth=3)
 # 3단계: 검증하기, cv = 기본 분할 개수 값
cv_score = cross_val_score(model, x_train, y_train, cv=10)
 # 확인
print(cv_score)
 print(cv_score.mean())

하이퍼파라미터(hyperparameter) 튜닝

머신러닝 모델의 성능을 조정하는 설정값

grid search, random search

KKN 알고리즘 경우 K 값, 즉 n_neighbors 옵션 값을 어떻게 설정하냐에 따라 모델 성능이 달라짐.

최선의 n_neighbors 옵션 값 설정이 요구됨.

생각 할 수 있는 방법 1 [grid search]

1~n까지의 정수를 n_neighbors 옵션 값으로 해서 수집 수집 정보에서 성능 좋은 n_neighbors 옵션 값 찾음 n_neighbors 옵션 값을 갖는 KKN모델을 선언해 학습, 예측, 평가

-> n값이 크면 소요 시간 多

생각 할 수 있는 방법 2 [random search] 1~n까지의 정수를 무작위 m개 골라 n_neighbors 옵션 값으로 해서 수집 수집 정보에서 성능 좋은 n_neighbors 옵션 값 찾음 n_neighbors 옵션 값을 갖는 KKN모델을 선언해 학습, 예측, 평가

-> 임의 m개만 골라 수행하여 소요 시간 少 but, 선택되지 못한 값에 좋은 성능의 값이 있을까봐 걱정이 됨.

 # 파라미터 하나의 경우
param = {'n_neighbors': range(1, 101)}

n_neighbors값이 1부터 100까지 설정되면서 성능을 확인 grid search의 경우 100번 수행되면서 모든 경우의 성능 확인 random search의 경우 지정한 개수 임의 값에 대해서 성능 확인

 # 파라미터 두 개 경우
param = {'n_neighbors': range(1, 101), 
'metric': ['euclidean', 'manhattan']}

#유클리드 거리 (euclidean): 두 점 간의 직선 거리를 측정해.
#맨해튼 거리 (manhattan): 두 점 사이의 수평과 수직 거리의 합을 측정해.

n_neighbors값이 100, metic이 2개 -> 200개 조합 생성 grid search의 경우 200번 수행되면서 모든 경우의 성능 확인 random search의 경우 지정한 개수 임의의 조합에 대해서 성능 확인

grid search

 # 함수 불러오기
from sklearn.neighbors import KNeighborsClassifier
 from sklearn.model_selection import GridSearchCV
 # 파라미터 선언
param = {'n_neighbors': range(1, 500, 10), 'metric': ['euclidean', 'manhattan']}
 # 기본모델 선언
knn_model = KNeighborsClassifier()
 # Grid Search 선언
model = GridSearchCV(knn_model, param, cv=3)

지정 값에 대해 최적의 하이퍼파라미터 값을 찾아줌, 넓은 범위와 큰 step으로 설정 후 범위 좁혀나가며 시간 단축

random search

# 함수 불러오기
from sklearn.neighbors import KNeighborsClassifier
 from sklearn.model_selection import RandomizedSearchCV

 # 파라미터 선언
param = {'n_neighbors': range(1, 500, 10), 
'metric': ['euclidean', 'manhattan']}
 # 기본모델 선언
knn_model = KNeighborsClassifier()
 # Random Search 선언
model = RandomizedSearchCV(knn_model,
 param,
 cv=3,               
n_iter=20

 # 학습하기
model.fit(x_train, y_train)

 # 수행 정보
model.cv_results_
 # 최적 파라미터
model.best_params_
 # 최고 성능
model.best_score_

회귀 모델의 성능평가 vs 분류 모델의 성능평가

분류모델평가(정확도)

• 분류모델은 0 or 1을 예측
• 예측값과 실제값이 같아야 좋은 모델

• 정확히 예측한 비율로 모델 성능 평가

회귀모델평가(오차 줄이기)

• 회귀모델은 정확한 값 예측이 어려움
• 예측값과 실제값 사이 차이(오차) 존재할 것이라고 예상
• 예측값이 실제값에 가까울 수록 좋은 모델

• 예측값과 실제값의 차이 (오차)로 성능 평가

*키워드 설명

실제값(target) : 목표값

평균값 : 최소한 평균값 보다는 실제값에 가까운 예측값을 원함, 최소한 예측값이 평균값 보다 실제값에 가까워야함, 예측값이 평균값 보다 오차를 얼마나 줄였는지 궁금.

예측값 : 모델이 새로 예측한 값, 최소한 평균값보다 좋아야하며 모델이 평균보다 얼마나 잘 예측했을지 궁금.

회귀모델

회귀모델 성능은 실제와 예측값의 차이, 즉 오차 크기로 평가. 실제값 - 예측값 오차의 평균으로 표현 할 수 있어야함.

오차 평균으로 표현하려면 우선적으로 오차 합이 필요.

방법 1 : 오차 제곱의 합 (SSE) 오차 제곱 합의 평균 -> MSE MSE를 루트를 사용해 일반적 값으로 표현 -> RMSE

방법 2 : 오차 절대값의 합(MAE) 오차 비율을 표시하고 싶은 경우 -> MAPE

=> 값은 모두 작아야 모델 성능 GOOD!

오차를 보는 관점

** 1) SST : 실제값 - 평균값 ** (전체오차 : 우리에게 허용된 오차, 최소한 평균보다 성능이 좋아야해!) ** 2) SSR : 예측값 - 평균값 ** (우리가 해결할 영역(회귀식이 잡은 오차), 클수록 좋음, 실제값과 가까워지니까 !) ** 3) SSE : 예측값 - 실제값** (전체 오차 중 회귀식이 잡지 못한 오차)

결정계수 R2

오차 제곱 합의 평균 -> MSE으로 여전히 설명이 부족 모델 성능을 잘 해석하기 위해 만든 MSE표준화 버전이 R2 결정계수

전체 오차 SST 중 회귀식이 잡아낸 오차 SSR의 비율 R2 =1이면, MSE =0

R2 = SST/SSR =우리에게 허용된 오차 / 회귀식이 잡은 오차 =1 - (전체오차 / 회귀식이 잡지 못한 오차)

SST = SSR + SSE

회귀모델 성능평가 함수 (from sklearn.metrics import ...) -mean_squared_error -mean_absolute_error -mean_absolute_percentage_erorr -r2_score : 클수록 좋음

: 실제값 (y_test)과 예측값(y_pred)을 매개변수로 전달해 평가

 # 평가하기
# mean_absolute_error(실젯값, 예측값)
 print(mean_absolute_error(y_test, y_pred))

분류모델

혼동행렬 confusin matrix (오분류표)

정확도 정밀도 재현율