데이터 사이언스 정의

데이터 과학(Data Science)

• 데이터 마이닝과 유사하게 정형, 비정형 형태를 포함한 다양한 데이터로부터 지식과 인사이트를 추출하는데 과학적 방법론, 프로세스, 알고리즘, 시스템을 동원하는 융합분야

• 데이터 과학은 데이터를 통해 실제 현상을 이해하고 분석하는데 통계학, 데이터 분석, 기계학습과 연관된 방법론을 통합하는 개념으로 정의

• 데이터의 구체적인 내용이 아닌 서로 다른 성질의 내용이나 형식의 데이터에 공통으로 존재하는 성질, 또는 그것들을 다루기 위한 기술의 개발에 착안점을 둔다

• 사용 기술: 수학, 통계학, 계산기과학, 정보공학, 패턴인식, 기계학습, 데이터마이닝, 데이터베이스

데이터 사이언스 https://ko.wikipedia.org/wiki/%EB%8D%B0%EC%9D%B4%ED%84%B0_%EC%82%AC%EC%9D%B4%EC%96%B8%EC%8A%A4

데이터 사이언스 프로세스

데이터 분석

• 유용한 정보를 발굴하고 결론 내용을 알리며 의사결정을 지원하는 것을 목표로 데이터를 정리, 변환, 모델링하는 과정
• 여러 면과 접근 방식이 있으며 다양한 이름의 다양한 기술을 아우르며 각기 다른 비즈니스, 과학, 사회과학 분야에 사용됨
• 오늘 날 비즈니스 부문에서 데이터 분석은 의사 결정을 더 과학적으로 만들어주고 비즈니스를 더 효율적으로 운영할 수 있도록 도와주는 역할

탐색적 데이터 분석(EDA)

데이터 시각화

정보 디자인

• 정보를 구성해서 효율적으로 구성할 수 있도록하는 디자인)

  데이터 사이언스와 통계학

  통계학

  산술적 방법을 기초로하여 주로 다량의 데이터를 관찰하고 정리 및 분석하는 방법을 연구하는 수학의 한 분야 근대 과학으로서의 통계학은 19세기 중반 벨기에의 케틀레가 독일의 "국상학"과 영국의 "정치 산술"을 자연과학의 "확률이론"과 결합하여 수립한 학무에서 발전하였음

통계학 https://ko.wikipedia.org/wiki/%ED%86%B5%EA%B3%84%ED%95%99

데이터 사이언스 벤 다이어그램

출처 http://drewconway.com/zia/2013/3/26/the-data-science-venn-diagram

• Hacking Skills : 프로그래밍적 지식
• Math & Statisitics Knowledge: 수학적 통계적 지식
• Substantive Expertise: 도메인 지식

데이터와 인공지능의 관계

머신러닝과 딥러닝

커리큘럼

모두를 위한 데이터 사이언스

01 처음 시작하는 데이터 사이언스 02 데이터 과학 첫걸음(w.엔트리) 03 데이터 분석 환경 구성하기 04 데이터 사이언스를 위한 파이썬 05 파이썬 EDA 06 데이터 예측(w.텐서플로우)

7차 미니프로젝트가 끝나고 빅프로젝트를 들어가기 전에 에이블데이를 했어요

7차 미프가 진행되는 동안 1차 에이블데이와 동일하게 에이블러들에게 선물이 왔습니다!

여행용 세트와 귀여운 핸드크림까지 왔어요! 이번에도 대만족 입니다 ~

또 에이블데이에 맛있는 음식이랑 먹어라고

배민 쿠폰까지 보내주셨어요! 무려 3만원이나요

이건 에이블데이 진행 순서에요!

제목부터 궁금하죠?

1. 종이찢는 에이블러

종이를 찢어서 나온 그림 그대로 만드는거에요!

저는 다른 반 에이블러들이 매니저님을 어째 만들었을지 궁금합니다 ㅎ

2. 방 탈출 게임

방탈출 게임도 했어요!

3. 우리만의 조별 포스터 만들기

이건 우리 빅프로젝트 조의 포스터에요!

어때요 센스있게 잘만들었쬬? ㅋㅋㅋㅋ

조계명은 숙지하고 빅프 열심히 참여 하겠슴다!!

이렇게 에이블데이가 끝이나고 빅프로젝트만 앞두게 되었는데요

빅프 진행이 잘 될지 걱정도 되고 얼마나 좋은 결과물을 만들지 기대도 됩니다..ㅎ

10반 빅프 화이팅!

4주간 집에서 수업을 듣다가 드디어 강의장에 왔어요 ~

7차 미니프로젝트 주제는 'QA Chatbot 서비스 구축하기'로 7일 동안 진행했습니다.

첫 3일은 개별 과제가 많았어서 강의장에 우리 조원들만 신청을 했어요!

사람이 없어서 강의장 라운지에서 수업을 다 같이 들었어요! (이 사진은 옷 색깔이 포인트입니다 ㅎㅎ)

1~2일차에는 QA 모델을 LangChain을 사용해서 Vector DB에 저장하는 걸 배웠어요.

3~4일차에는 Web 서비스를 AWS를 통해서 진행하여 개인별 서버를 만들었습니다.

마지막 5~7일차에는 조 별로 'KT 에이블스쿨 QnA chatbot 서비스'를 구축하여 시스템을 구현했어요.

최종 메인화면은 이런식으로 ChatGPT와 AivleChat을 만들어서 에이블스쿨에 관한 정보를 물어볼 수 있는 기능을 만들었어요!

7차 미니프로젝트는 django를 사용하여 시스템을 구현하는게 조금 어려웠지만, 팀원들과 함께 진행하다보니 어려워도 잘 진행이 되었던 것 같아요.

프론트앤드, 백앤드까지 모든 부분을 서비스 해볼 수 있는 기회여서 빅프로젝트에 도움이 많이되는 7차 미니프로젝트 시간인 것 같습니다!

맛집

먼저 맛집 소개 전에 오늘도 삼인방은 미니프로젝트에 오기 전에 운동을 하러 갔습니다 ~

혹시 운동 좋아하시면 교육장 근처 헬스장 추천 가능합니다 연락주세요 ~~!

운동하고 먹어줘야 겠죠?

아침부터 편의점에서 호다닥 먹고 강의장으로 출근했습니당

목촌돼지국밥 왕갈비탕

저는 왕갈비탕을 먹었는데요! 국밥도 있고 메뉴가 다양해서 좋았어요!

여기 직원분들도 친절해서 간단하게 먹고 가기 좋은 장소인 것 같습니다~

락천각

여기는 부산역 주변에만 살아온 에이블러가 추천해준 중국집인데요!

가지튀김과 잡채밥입니다! 진심으로 맛있어요

안에 직원 분들도 전부 찐 중국 분들이 하시는 것 같아요.

잡채밥도 평소에 먹던 거랑 다르게 나와서 맛있었던 것 같습니다. 추천해용~

내용은 아래와 같습니다!

에이블스쿨 모집

지원 자격 및 선발 프로세스

트랙별 커리큘럼

친구추천 이벤트

자세한 사항은 에이블스쿨 홈페이지에서 확인 가능하니 아래 링크로 들어가보시길 바랍니다!!

KT 에이블스쿨 홈페이지: https://aivle.kt.co.kr/home/main/indexMain

• CPU 계산 연산

  • CPUUtilization
  • CPUCreditBalance
  • CPUCreditUsage

• Data 저장

  • DiskReadBytes
  • DiskWriteBytes
  • DiskWriteOps

• 통신

  • NetworkOut
  • NetworkIn

• 상태

  • StatusCheckFailed-Instance
  • StatusCheckFailed-System

모니터링 메트릭

(1) 사용자 지정 메트릭

• 기본 메트릭 이외에 사용자 지정 메트릭 수집 가능
• ex) 메모리 생성 기능

(2) EC2 모니터링 주요 메트릭

• CPUUtilization: 현재 인스턴스에 사용하고 있는 컴퓨팅 파워
• CPUCreditUsage: 특정 기간 동안 사용된 CPU 크레딧 갯수 (소진시 비용 발생함)
• DiskReadOps: 인스턴스에 연결된 로컬디스크에서 읽어 들인 오퍼레이션의 수
• Network Out Traffic: 인스턴스의 네트워크 인터페이스를 통해 나간 바이트 양
• Status Check
  • System status check (재배포를 통한 개입 가능)
    • 네트워크 연결이 잘되는지
    • 시스템 파워 구동이 잘되는지
    • 물리 서비 이슈가 있는지
  • Instance status check
    • 잘못된 네트워킹 또는 시작 구성이 잘되었는지
    • 메모리 부족한지
    • 파일 시스템 손상이 있는지

(3) EBS 모니터링 주요 메트릭

• VOLUMEIDELTIME: 지정된 기간 에서 읽기 또는 쓰기 작업이 없는 총 시간 => 즉, 볼륨이 놀고 있는 시간으로 비용 최적화를 위한 볼륨 제거에 참고함

• VOLUMEQUEUELENGTH: 디바이스에서 보류 중인 I/O 요청의 수 => 많은 양을 받아서 초과 시 대기열에 대기하는 방식임

• BURSTABALANCE: 볼륨에 대한 버스트 버킷의 크레딧의 백분율

• EBS volumes 모니터링 옵션

  • 기본 5분 주기 수집
  • 상세 1분 주기 수집

• Status Check

  • OK (정상)
  • Warning (성능저하)
  • Impaired (중단됨, I/O 비활성화)
  • Insufficient-data

(4) ELB 모니터링 주요 메트릭

• Backend Connection Error

  • ELB와 인스턴스 간에 커넥션이 맺어지지 않은 숫자

• Latency

  • 외부 요청을 받아 타겟 그룹을 전달한 ELBrk EC2 인스턴스로부터 응답을 받을 때 까지의 지연시간

• Surge Queue Length

  • 로드밸러서에서 라우팅이 지연되고 있는 총 요청의 수 대기열의 개념

• Spill Over Count

  • 거부된 요청 값으로 0 초과 되는 경우 조치를 권장함

• Request Count

  • ElB에서 수신한 요청 수

• Healthy Host Count

  • 정상 서버 수

• HTTP Responses

  • 5xx: 서버 오류나 예외적인 동작 발생시
  • 4xx: 잘못된 요청 또는 파일 찾을 수 없을시
  • 2xx: 정상

(5) ECS 모니터링 주요 메트릭

• ECS 시작 유형 별 메트릭: Fargate 시작 유형(CPU, 메모리 사용률 제공), Amazon EC2 시작 유형
• 컨테이너에 가능한 healthStatus
  • HEALTHY: 상태 확인 통과
  • UNHEALTHY: 상태확인 실패
  • UNKNOWN: 상태 확인이 평가 중이거나 정의되지 않은 상태

(6) EKS 모니터링

• 로깅 및 모니터링을 위한 기본 제공 도구를 제공함
• CloudWatch Container Insights 기반: 클러스터, 노드, 포드, 서비스 수준에서 Amazon EKS에 대한 포괄적인 메트릭 제공
• Amazon Devops Grur 기반: 노드 수준의 운영 성능 및 가용성 감지
• Prometheus 기반

비용

(1) Billing and Cost Management

• 잘못 사용시 막대한 비용 발생 가능
• 매달 PDF invoice 메일 전송 가능
• 비용 관련 경보 설정 가능
• 비용 보고서를 S3 Bucket에 저장 가능

(2) 비용 이상 탐지

• 'Cost Anomaly Detection 활성시 기계 학습 알고리즘 적용
  • 이상 탐지를 위한 모니터링
  • 이상 지출이 탐지 되면 알림 수신
  • 비용 및 사용 급증의 근본 원인 식별함

AWS Cost Explorer

• 시간에 따른 AWS 비용과 사용량을 시각화하는 인터페이스 제공
• 비용 및 사용량 데이터를 분석하는 사용자 지정 보고서 작성
• 계정에 연결된 요금과 사용량을 검토

AWS Budgets

• 비용 및 사용량 모니터링
• 예약 보고서 생성
• 임계값 도달 시 작업 실행

AWS Cost Explorer / AWS Budgets 비교

• Cost Explorer
  • 비용 사용 관련 사용자 지정 보고서
  • 비용 시각화, 분석 중점
  • 사용 패턴 파악
• AWS Budgets
  • 제한 임계값 초과 비용 발생 방지
  • 비용 계획, 예측 집행 중점
  • 예산과 지출 비교

쿠버네티스 개요 및 주요 아키텍쳐

컨테이너

• 애플리케이션과 그 실행 환경을 패키징하여 어디서나 일관되게 실행할 수 있게 해주느 가벼운 가상화 기술
• 쿠버네티스는 이 컨테이너들을 자동으로 배포, 확장, 관리하는 오픈소스 플랫폼임

가상머신 vs 컨테이너

Monolithic vs MicroService

• Monolithic 아키텍처 (MA)

  • 고용량 단일 서버로 구성
  • 모든 기능이 하나의 애플리케이션으로 결합
  • 각 부분이 강하게 결합되어 있어, 하나의 부분에 문제가 생기면 전체 애플리케이션에 영향을 미칠 수 있음

• MicroService 아키텍처 (MSA)

  • 작은 서버들의 집합체로 구성
  • 각 기능이 독립적인 서비스로 나누어짐
  • 서비스의 문제가 다른 서비스에 영향이 적음 => 쿠버네티스가 주로 이루어진 형태

Docker

• 컨에티너 기술을 만들고 발표한 회사
• 컨테이너 엔진으로 컨테이너를 실행하고 관리하는 도구
• 컨테이너 기반 오픈소스 가상화 플랫폼

Dockerfile

• 컨테이너 이미지를 생성하기 위한 레시피 파일
• 파일에 이미지 생성과정을 문법에 따라 작성하여 저장함
• 명령어: FROM, WORKDIR, RUN, CMD

Docker Image

• 서비스 운영에 필요한 프로그램, 소스코드, 라이브러리 등을 묶는 형태
• Build: 도커 이미지는 Dockerfile을 사용하여 커스텀 생성
• Run: 도커 이미지를 사용하여 다수의 Container 실행

docker build -t <Namespace>/<ImageName>:<tag>
ex)
- 모두 같은 명령임
>
docker.io/library/nginx:latest
>
<                >nginx:latest =>  DH(도커허브) 주소 생략 가능
>
<                >nginx(     ) =>  버전 생략가능

• Docker Private Image: Private 이미지저장소를 구축, 이미지 관리시 Namespace 안에 서버주소 및 포트번호를 사용함

• Docker HUB: 컨테이너 이미지들을 서버에 저장하고 관리, 공개 이미지를 무료로 관리

Docker 명령 구조

컨테이너 오케스트레이션

• 다수의 컨테이너를 다수의 시스템에서 각각의 목적에 따라 배포, 복제, 장애복구 등 활동을 총괄적으로 관리함

일반적기능

• 스케줄링
• 자동확장 및 축소로 리소스 효율적 사용 관리
• 장애복구로 서버 정상 운영
• 로깅 및 모니터링으로 장애복구 등 수행
• 검색 및 통신으로 요청을 통해 전달함
• 업데이트 및 롤백으로 기능 추가 디버깅 등 수행

컨테이너 오케스트레이터

컨테이너 오케스트레이션을 해주는 도구 ex)

• Kubernetes (표준처럼 사용함)
• Docker Swarm
• AWS ECS
• Azure Container Instance
• Azure Service Fabric

Kubernetes

• k8s

• 컨테이너형 애플리케이션의 배포, 확장, 관리를 자동화하는 오픈소스시스템

• 높은 확장성과 원활한 이동성

• 여러 환경에 구축 가능

• 오픈 소스 도구

• 플러그가 가능한 모듈 형식

쿠버네티스 아키텍쳐

Master Node

• API: User에서 명령을 수용할지 요청을 검증하고 필요한 컴포넌트들에게 전달하는 중간다리 역할을 함

• sched: 명령을 어디에 배포할지 어떤 Node에 설지할지 결정만 함 ex) 1번 Node - 3개, 2번 Node - 1개, 3번 Node - 1개

• Controller Manager: 클러스터의 상태를 원하는 상태로 유지하기 위해 다양한 컨트롤러들을 실행하는 역할

• etcd: 쿠버네티스에서 중요한 데이터를 저장하는 고가용성 키-값 저장소로 쿠버네티스 클러스터의 두뇌 역할을 함

Worker Node

• Container Runtime: 컨테이너를 실행하고 노드에서 컨테이너 이미지를 관리함

• Kubelet: 컨테이너의 실행 상태를 모니터링하며 상태 정보를 마스터 노드에 보고하는 에이전트 (팀장 역할임)

• Kube-proxy: 네트워킹을 담당하는 컴포넌트로 주 역할은 네트워크 규칙을 관리하여 클러스터 내의 서비스 간 통신을 가능하게 함

Addons

• 쿠버네티스에서 추가적으로 설치하여 기능을 확장 시킬 수 있는 도구

쿠버네티스 클러스터 배포

쿠버네티스 배포 유형

All-in-One Single-Node Installation

• 모든 쿠버네티스 컴포넌트가 하나의 노드에서 실행된다.
• 설치와 관리가 간편하며 테스트 환경에 적합함
• 단일 장애 지점으로 인해 신뢰성이 낮음

Single-Node etcd, Single-Master and Multi-Worker Installation

• 하나의 노드에 etcd와 마스터 컴포넌트를 설치하고 여러 워커노드를 둔다.
• 간단한 설정으로 더 나은 성능과 확장성을 제공함
• etcd와 마스터 노드의 단일 장애 지점이 존재

Single-Node etcd, Multi-Master and Multi-Worker Installation

• 하나의 노드에 etcd를 설치하고, 여러 마스터와 워커 노드를 둔다.
• 마스터 노드의 고가용성을 제공하여 신뢰성을 높임
• etcd의 단일 장애 지점이 존재

Multi-Node etcd, Multi-Master and Multi-Worker Installation

• 여러 노드에 걸쳐 etcd, 마스터, 워커 컴포넌트를 분산하여 설치한다.
• 최고 수준의 고가용성과 신뢰성을 제공함
• 설치와 관리가 가장 복잡함

가용성

• 서비스 가용성
• 워크로드를 사용할 수 있는 시간의 비율

고가용성

• 높은 가용성
• 지속적으로 구현한 시스템이 정상적으로 운영되는 성질
• 고장이 나더라도 복구를 해서 서비스를 지속할 수 있는 능력

(1) Region / Availability Zone

• AWS는 Region과 Availability Zone 으로 이루어짐

Region

• 전 세계에서 데이터 센터를 클러스터링(그룹화) 하는 물리적 위치
• 어떤 지역으로 서비스 하느냐에 따라 지리적으로 가까운 Region 선택

Region code

• Region Code로 구분 가능
• AWS는 Region 단위로 서비스 된다
• Resource는 Region 내 AZ 단위로 배포 됨

Availability Zone

• Region 내 물리적을 분리된 전력 네트워킹 장치가 분리된 영역
• 보통 AZ 별 데이터센터가 분리된 구조

AZ간 구성

• Region은 보통 2~3개 AZ로 구성
• 동일 Region 내 AZ는 전용 광 네트워크로 구성되어 매우 낮은 지연속도와 높은 처리량 보장
• Az 간 모든 데이터 트래픽은 기본 암호화

AZ 분산 배치

• 동일 AZ 내 모든 인스턴스를 배치하는 경우 AZ 장애 발생시, 본인이 구축한 서비스도 장애로 이어질 수 있음
• 동일 역할을 수행하는 인스턴스의 경우, AZ를 분산 배치하여 서비스 가요성을 높이는 것이 좋음

(2) AZ / VPC

• Region - VPC 와 맵핑
• AZ - Subnet 맵핑

VPC 구성

• Public Subnet: 외부 통신용
• Private Subnet: Public과 Private간 연동용

AZ별 Subnet 구성

• 각각의 Subnet을 AZ 수 만큼 생성
• Total Subnet 수 = AZ Count x 용도별 Subnet
• 인스턴스 생성시 각각에 맞는 Subnet 선택 후, AZ별로 분산 구성

AZ 장애 발생 시

• 동일 용도의 인스턴스 및 서비스 set가 다른 AZ에 구성되어 있으므로 가용성을 높일 수 있음

(3) Load Balancer

• 인입되는 트래픽을 특정 알고리즘 기반으로 다수의 서버로 분산 시켜주는 장비

(4) ELB

• Region 내 인스턴스 및 다양한 서비스로 트래픽 분배 서비스
• 다수의 AZ으로 트래픽 분배
• HTTP/S 웹 기반 트래픽, TCP/S 프로토콜 기반
• 고가용성 기반 L4 / L7 서비스
• AZ 분산 및 트래픽 증가 => 자동 Scale-out 기능 지원

Scale-out

• 트래픽 증가시 서비스에 투입되는 서버를 증설하여 각 서버가 처리하는 부하를 낮추는 방식
• Web based 서비스의 경우 많이 사용하는 구성으로 세션이나 Data 처리 영역 없이 Stateless(무상태) 한 서버에서 주로 사용

Scale-in

• 트래픽 감소시, 배포된 서버를 제거하는 방식
• 낭비되는 리소스를 줄임으로 비용 최적화가 목적임

ELB 알고리즘

• Roud Robin
• Hashing
• Weighted RR
• Least Connection
• Weighted LC

NLB, ALB

• Load Balancer : 인입되는 트래픽을 특정 알고리즘 기반으로 다수의 서버로 분산 시켜주는 장비
• NLB : L4 Load Balancer, TCP/UDP
• ALB : L7 Load Balancer, HTTP/HTTPS

ELB 헬스체크 기능

• 주기적으로 서버가 정상 상태인 확인함
• 서버가 정상 상태가 아니면 트래픽을 전달하지 않게 하는 기능
  • NLB: TCP/UDP Port Alive Check
  • ALB: URL 기반 응답체크

ELB AZ 분산배치

• 활성화된 AZ 에는 Load Balancer 노드가 자동으로 생성되어 배치
• 기본적으로 해당 AZ에 배치된 인스턴스는 해당 AZ의 Load Balancer 노드가 트래픽을 처리

Cross-Zone Load Balancing

• 교차 영역 로드 밸런싱이 활성화 되면, Load Balancer가 위치한 AZ와 상관없이 타겟 AZ에 있는 모든 인스턴스에 트래픽 라우팅 가능함
  • ALB는 Cross-Zone LB가 기본 활성화 상태
  • NLB는 기본 비활성 상태

Cross-Zone Load Balancing 비활성화

• 교차영역 로드 밸런싱이 비활성화 상태이면, 로드밸런서 노드가 위치한 AZ에 상주하는 타겟 인스턴에게만 라우팅 가능
• AZ에 위치한 인스턴스 마다 균일한 부하 분산이 어려움

(5) Auto Scaling Group

• 인스턴스 증가 작업을 자동으로 수행함
• Scaling을 자동으로

Lauch Template

• 인스턴스를 배포하기 위한 정보들의 묶음
• 기본정보를 보여줌
• 추가 정보를 미리 Template으로 정의 가능
• 사용자는 Template을 그대로 인스턴스로 배포하는데 사용
• Launch Template, ELB, Auto Scaling Group으로 구성

AWS 모니터링

모니터링

• 데이터를 수집, 분석, 사용하는 행위

• 모니터링 목적

  • IT 리소스 및 시스템에 대한 여러가지 질문의 답 산출 및 의사 결정
    • 매일 몇 명 사이트 방문?
    • 시간 경과에 따른 방문자 수 추적
    • 웹 사이트 성능, 가용성 문제가 있는지?
    • 인스턴스 용량이 부족한지?
    • 사이트가 정상 동작 하는지? => 리소스 과다 사용, 애플리케이션 결함, 리소스 구성 오류, 보안 이벤트로 운영 문제 감시 가능함

모니터링의 이점

1) 최종 사용자가 운영 문제를 인식하기 전에 사전에 대응할 수 있음

• 빠른 인식

2) 리소스의 성능 및 안정성을 개선할 수 있음

• 병목현상, 비효율적 아키텍처 확인 가능

3) 보안 위협 및 이벤트 인식

• 모니터링시 시간이 지남에 따라 기준선이 생겨 이상현상을 발견을 할 수 있음

4) 비즈니스를 위해 데이터 중심의 의사결정을 수립할 수 있음

5) 비용 효율적인 솔루션을 구축

• 사용량이 부족한 리소스 확인, 사용량에 맞게 조정하여 비용 최적화할 수 있음

메트릭(Metric)

• 리소스가 생성하는 다양한 형태의 데이터 중 모니터링을 통해 수집된 데이터 (지표) ex) 시간 경과에 따라 EC2 인스턴스에서 수집, 분석 되는 메트릭
  • 평균 CPU 사용률
  • 네트워크 사용률
  • 디스크 성능
  • 메모리 사용률
  • 각종 로그

메트릭의 다양성

• AWS 리소스 마다 다른 유형의 메트릭을 가짐
• 리소스, 목표, 상황에 따라 다양한 메트릭이 존재함
  • Amazon S3 버킷
    • CPU 사용률은 없음
    • 버킷에 저장된 객체와 관련된 메트릭 (버킷 내 객체 수, 용량)
    • 버킷에 대한 요쳥과 관련된 메트릭 (버킷을 읽기, 수정)
  • Amazon RDS
    • 데이터베이스 연결
    • CPU 사용률
    • 디스크 공간 소비

Trobleshooting Process

• Detect => Identify => Fix => Verify

  MTTI: 문제를 인식하여 원인을 파악하기 까지의 시간 (Detect ~ Identify)

모니터링 솔루션

• 리소스의 운영상태 및 사용량에 대한 데이터를 수집하고 분석하는 방법이 필요

• 중앙 집중식 모니터링 필요

• 데이터 가시성 확보 필요

• ex) AWS CloudWatch 등

AWS CloudWatch

• AWS 리소스 및 애플리케이션을 관측하고 모니터링 하는 도구
• 수행 작업
  • 환경에서 이상 동작 감지
  • 알림를 설정
  • 로그 및 메트릭을 시각화
  • 크기 조정같은 자동화 작업
  • 정상으로 유지하기 위한 인사이트

CloudWatch 구조

• CloudWatch Dashboard

  • 메트릭 정보를 그래프로 시각화

• CloudWatch 메트릭

  • 리소스 성능 확인

• CloudWatch Insight

  • 가시성 확보

• CloudWatch Log

  • 서비스 로그들을 수집, 저장, 탐색, 분석

• CloudWatch Alarm

  • 이벤트를 사용자에게 알림

• CloudWatch Event

  • 변경사항에 관한 기록

• CloudWatch Service Lens

• CloudWatch Synthetics

CloudWatch Dashboard

• 리소스와 애플리케이션의 메트릭 및 경보 시각화
• 원하는 메트릭 정보만 모아 대시보드를 생성할 수 있음
• AWS 계정에 공유되고 있는 애플리케이션을 모니터링하고 문제를 해결 가능
• 애니메이션 대시보드를 통해 메트릭 데이터를 재생하여 가시성 확보
• AWS 계정이 없어도 대시보드 공유 가능

CloudWatch Alarm

• 이벤트 및 메트릭 변경에 대한 경보 제공

• 3가지 알람 상태 (OK / ALARM / INSUFFICIENT_DATA)

• 경보 생성 가능 유형

  • 메트릭 경보: 정해진 기간 동안의 값을 계산하여 트리거 ex) CPU 사용량이 5분 60% 초과시 경고 발생

  • 복합 경보: 다른경보 상태 확인 후 모든 조건 충족 시 트리거 ex) CPU, 메모리, 스토리지 경보가 동시에 경고이면 경고 발생함 => 경고 노이즈 감소 효과, EC2 작업이나 Auto Scaling 작업 트리거 불가함

CloudWatch Metric

• 리소스 성능 관련 메트릭 확인 가능
• 기본 5분 주기 메트릭 제공 (1분 주기는 유료)
• 메트릭 보존
  • 1분(15일), 5분(63일), 1시간(455일)
• 맞춤형 메트릭 수집 가능
• 운영상태, 메트릭 필터링, 수집, 시각화를 지원함
• 메트릭 값
  • CloudWatch에서의 통계 값 ex) Minnimun, Maximun, Sum, Average, SampleCount

CloudWatch Log

• AWS 로그 파일을 중앙 집중화 하여 저장 및 접근함
• 보관은 무기한함 (1일 ~ 10년 변경 가능)
• 이벤트 내 특정 메시지, 오류 검색 가능함

CloudWatch Insight

• 가시성으 확보해주는 서비스
  • Container Insights: 컨테이너 앱 모니터링
  • Lambda Insights: 서버리스 앱 모니터링
  • Contributor Insights: 영향을 미치는 사람이나 대상을 모니터링
  • Application Insights: 앱 모니터링 및 대시보드 제공

CloudWatch 기본 관리구조 용어

CloudWatch 에이전트

• AWS 내외 시스템의 정보를 수집하여 메트릭으로 보내기 위한 구성요소
• CloudWatch 에이전트를 사용하면 사용할 수 없는 추가 메트릭을 수집 가능함
  • Windosw 서버: 카운터와 연결된 메트릭을 수집 가능
  • Linux 서버: 메모리, CPU, 디스크 공간 등 메트릭을 수집 가능

CloudWatch Metric 네임스페이스

• CloudWatch 메트릭들의 묶음
• AWS 서비스 관련 네임 스페이스
• CloudWatch 에이전트가 수집한 데이터
  • 기본 네임스페이스는 "CWAgent"를 사용
• 사용자 지정 메트릭
  • 기본 네임스페이스가 없음

Metric Deimension(차원)

• 메트릭을 고유하게 식별할 수 있도록 하는 이름과 값의 페어
  • 메트릭들에 속한 여러 특성 중 일부
  • 메트릭에 최대 30개 차원 할당
  • 이름, 네임스페이스 및 여러 차원 등을 활용하여 식별 가능함

로그 이벤트

• 모니터링 중인 응용 프로그램 또는 리소스에 의해 기록되는 일부 활동의 기록
• 타임스탬프와 이벤트 메시지

로그 스트림

• 특정 소스의 로그 이벤트
• 인스턴스 또는 리소스와 관련한 이벤트

로그 그룹

• 동일한 보존, 모니터링 및 에세스 제어 설정을 공유하는 로그 스트림 그룹
• 로그 스트림은 로그 그룹에 속해야 함

가상화

(1) 가상화 이전 환경의 문제점

• 복잡성, 빈약한 인프라에 의존
• 70% 이상의 IT 예산이 현상 유지에 사용
• 30% 이하의 IT 예산만이 개선과 경쟁력 강화를 위해 사용

(2) 해결방법

• 가상화
• 가상화 플랫폼을 이용하여 동적이고 유연하 업무 인프라 구축
• 데이터 센터의 모든 리소스를 가상화
• 서버 가상화, 네트워크 가상화, 스토리지 가상화, 데스크톱 가상화

(3) 가상화 도입 효과

• 서버통합 (30대의 서버를 3대로)
• 그린 IT (탄소 배출량이 대폭 하락)
• 유지보수 비용 절감
• 상면 공간 절감

(4) 가상화 정의

• 운영 체제에서 물리적 하드웨어를 분리하여 가상으로 만들어 주는 기술

• 클라이언트 하이퍼바이저 > 서버 하이퍼바이저 > 가상 인프라 > 클라우드

• 하이퍼바이저: 시스템에서 다수의 운영체제를 동시에 실행할 수 있게 해주는 논리적 플랫폼

• 리소스 공유

  • 물리적 리소스 공유
  • CPU 리소스 공유
  • 메모리 리소스 공유
  • 가상 네트워킹)

클라우드

• 인터넷을 중앙 PC 또는 서버에 저장하는 공간
• 클라우드 컴퓨팅: 인터넷을 통해 IT 리소스를 원할 때 언제든 사용하고 사용한 만큼 비용을 지불하는 서비스

(1) 클라우드 유형

퍼블릭 클라우드

• 클라우드 컴퓨팅 서비스를 제공해주는 업체에게 인프라에 필요한 자원들을 대여하여 사용하는 방식
• AWS, Azure, GCP, KT 클라우드, 네이버 클라우드

프라이빗 클라우드

• 기업이 직접 클라우드 구축
• 기업 내부에서 활용하거나 계열사에 공개

하이브리드 유형

• 온프레미스(프라이빗 클라우드) + 퍼블릭 클라우드 합친 형태

멀티 클라우드

• 2개 이상의 서로 다른 클라우드를 함께 사용하는 방식
• ex) AWS + Azure, AWS + KT

(2) 클라우드 장점

초기 선 투자 불필요

• 클라우드 업체에서 빌려 사용하여 반납하면 된다

  저렴한 종량제 가격

• 사용한 만큼 지불하여 지속적인 비용 절감이 가능

  탄력적인 운영 및 확장가능

• 용량을 예측할 필요 없이 트래픽 만큼만사용하거나 쉽게 확장 가능

  속도와 민첩성

• 빠르게 대응할 수 있음

  비즈니스에만 집중 가능

• 많은 실험 시도 가능

  손 쉬운 글로벌 진출

• 글로벌 고객 유치 가능

AWS 기본 서비스

(1) EC2

• 가상 서버 서비스
• 재구성이 가능한 컴퓨팅 리소스
• 쉽게 확장/ 축소되는 컴퓨팅 용량
• 다양한 인스턴스 타입 제공
• 사용한 만큼 과금

컴퓨팅 인스턴스 타입

• 범용
• 컴퓨팅 최적화
• 스토리지 / IO 최적화
• GPU 사용
• 메모리 최적화

EC2 구매 옵션

On Demand 인스턴스

• 컴퓨팅을 사용한 만큼 지불
• 단기간 사용시 사용
• app 개발 및 테스팅에 사용

Reserved 인스턴스

• 1년 ~ 3년 단위 계약금 지불
• 꾸준한 사용시 사용
• 비용 절감이 목적

Spot 인스턴스

• 사용되지 않는 EC2 용량 경매
• 유연한 시작, 종료 시간을 가진 app

EC2 보안그룹

• Name, Description, Protocol, Port range, IP address, IP range, Security Group name

EC2 접속 암호

표쥰 SSH RSA key pair

• public / Private Keys

EC2 key pairs

• Linux: 최초 로그인시 키페어 생성
• Windows: 관리자 암호 불러오기

(2) VPC

• AWS 네트워크 서비스
• 사용자가 정의한 가상의 네트워크 환경
• 통신을 위한 기본 네트워크
  • => 보안 강화, 부족한 IP 자원의 효율적 관리 목적

Region, IP 대역 결정

IP address group: IP 범위 CIDR: 클래스 없는 도메인 간 IP 할당 기법

• IP CLASS

Subnet 생성

• Subnet: VPC의 Ip 대역을 적절한 단위로 분할 사용
• CIDR을 이용해 IP 범위 지정
• VPC의 대역안에 Subnet 대역 존재 (중복 불가) ex)
  • 172.16.0.0 ~ 172.16.0.255 (A)
  • 172.16.1.0 ~ 172.16.1.255 (B)
  • 172.16.2.0 ~ 172.16.2.255 (C)

Subnet의 역할

• Broadcasting 영역 분리에 사용된다.
• 원하는 트래픽만 Subnet 별로 받을 수 있도록 네트워크 레벨에서 격리 시키는 것이 목적임

Routing 설정

• Subnet의 트래픽 경로 설정
• Route 설정을 통해 Subnet의 통신 방향을 결정할 수 있음
• VPC 생성시 자동으로 Main Routing Table 생성 된다.

Storage Type

Block Storage

• 사용자의 데이터가 Local Disk 또는 SAN Storage 상의 Volume에 Block 단위로 저장 및 접근 하는 스토리지 유형

File Storage

• 파일 시스템으로 구성된 저장소를 Network 기반 Protocol을 사용하여 파일 단위로 접근하는 스토리지 유형

Object Storage

• 데이터, 속성, 메타데이터, 오브젝트 ID를 저장하는 가상의 컨테이너

(3) EBS

• AWS에서 제공하는 Block Storage 서비스
• 사용이 쉽고 확장 가능한 고성능 블록 스토리지 서비스 (EC2 용으로 설계)

  EBS 특징

• Ec2 인스턴스를 위한 비휘발성 블록 스토리지
• 가상 디스크 = EBS Volume
• 다양한 타입을 지원
• 인스턴스간 연결 및 해제가 자유로움
• EBS 볼륨과인스턴스 같은 Availability Zone에 있는 경우 연결 가능
• 인스턴스와 볼륨 연결 시 데이터 전송 속도가 중요
• 동일 네트워크 상 Availability Zone에 있어야 데이터 처리 속도 보장
• EBS 볼륨을 다른 AZ으로 이동 가능 (Snapshot Copy)
• EBS 볼륨을 다른 Region으로 이동 가능 (Snapshot Copy)

Volume

• SSD / HDD
  • 크기, 성능, 비용은 Volumne의 중요 고려 요소이다

Snapshot

• EBS 볼륨을 특정 시점 기준으로 복사하여 백업함
• 그대로 복사하여 속도가 빠름
• 마지막 스냅샷 이후 변경된 부분만 저장되는 증분식 백업방식

(4) S3

• AWS에서 제공하는 object Storage 서비스
• 언제 어디서든 데이터를 저장, 검색할 수 있는 객체 기반 스토리지 서비스

S3 특징

• object 스토리지 서비스
• 무제한 용량 제공 (비용발생)
• 초기 저장 용량 확보 불필요

S3 Bucket

• Object를 저장하는 컨테이너 (저장소)
• Object는 하나의 Bucket에 속함
• Bucket 하나에 Object 무제한
• AWS 계정에 Bucket은 최대 100개

S3 Object

• Object S3에 저장되는 기본 객체
• Object 최대 5TB
• Object 데이터와 메타데이터로 구성 (이름 - 값 페어)

Region

• Bucket 생성시 해당 Bucket을 저장할 Region 선택 가능
• 지연시간 최소, 비용, 규정 요구사항 준수 등에 따라 Region ㅅ너택
• Bucket에 생성된 object는 Bucket의 Region에 따라 저장됨

S3 스토리지 클래스

• S3 Standard

  • 자주 액세스 하는 데이터를 위한 높은 내구성, 가용성, 성능을 갖춘스토리지 클래스
  • 여러 Availability Zone 에 분산 중복 저장, 99.9(x11) % 의 내구성, 99.99% 의 가용성 보장
  • 클라우드 웹 어플리케이션, 컨텐츠 배포, 빅데이터 분석 등 다양한 케이스 적합

• S3 Standard-Infrequent Access (Standard-IA)

  • 자주 액세스하지 않는 데이터이지만, 필요할때 빠르게 액세스해야 하는 데이터에 적합한 클래스
  • 데이터 내구성과 고가용성은 Standard 와 동일하나, 데이터 액세스에소요되는 지연속도가 Standard에 비해느림
  • GB 당 검색 요금 추가 적용. 장기 스토리지, 백업 및 재해 복구 파일 저장에 적합

• S3 One Zone Infrequent Access (S3 One Zone-IA)
  • 단일 Availability Zone 에 데이터를 중복 저장하도록 설계된스토리지 클래스. (Standard-IA 대비 20% 낮은 비용)
  • 온프레미스 데이터 또는 쉽게 다시 생성 가능한 데이터의 보조 백업 복사본 용도로적합

• S3 Intelligent-Tiering

  • 데이터 액세스 패턴을 지속적으로 확인 및 분석하여 자동으로 가장 효율적인 스토리지 클래스로 이동하여 주는 클래스
  • 약간의 월별객체 모니터링 및 자동화 요금 지불

• S3 Glacier Instant Retrieval

• S3 Glacier Flexible Retrieval

• S3 Glacier Deep Archive

• S3 on Outposts

실습

VPC 생성

• AWS 에서 Region 선택 후

• vpc 검색하여 vpc 선택

• vpc 생성 클릭
• 생성된 모습

• 서브넷 두 개 생성
• 생성된 모습

• 인터넷게이트웨이 생성
• 나의 vpc와 연결

EC2

EBs

S3

• Structured Query Language
• 데이터베이스에서 데이터를 조회하거나 처리(입력, 수정, 삭제)할 때 사용하는 구문
• SQL 86 > 92 > 1999 > 2003 > 2008 > 2011 > 2016

1. 데이터 기본 조회

(1) MySQL Workbench 구성

(2) 쿼리문 작성 방법

• 주석: 쿼리문에 대한 주석을 남기는 습관 필요 ``` SQL /* 제목: 탄단지원 이름: 정지원 날짜: 2024-05-21
• / ```
• 실행: ctrl + enter

(3) 단순 조회

• SELECT
• 대부분의 SELECT 문은 FROM 절을 사용해 테이블에서 데이터를 조회함
• FROM 절이 꼭 필요한 것은 아님
• 특정 값, 계산식, 함수 결과를 조회할 수 있음
• AS를 사용해 표시되는 열의 별칭을 지정할 수 있음

• 문자열 출력

SELECT 'Hello SQL World';

• 별칭 사용(AS)

SELECT 'Hello SQL World' AS Start;

• 숫자 연산 출력

SELECT 10 + 20 AS Result;

• 함수 결과 출력

SELECT CURDATE() AS Today;

• 변수 값 출력

SET @Today = CURDATE();
SELECT @Today;

(4) 기본적인 데이터 조회

SELECT 열2, 열2
    FROM 테이블
    WHERE 조건;

• SELECT 절에 조회할 열 이름이나 수식을 순서대로 나열
• 모든 열: *
• FROM 절: 조회 대상 테이블, 뷰, 테이블을 반환하는 함수, 쿼리문
• WHERE: 행 추출을 위한 조건을 입력, 조건을 생략하면 모든 행이 조회 됨

• 직원의 모든 열 조회

SELECT * FROM employee;

• 일부 열 모든 행 조회 (원하는 열 순서대로)

SELECT emp_name, gender, marital_yn, emp_id, dept_id
    FROM employee;

(6) 비교연산자,논리연산자

비교연산자

• WHERE 절 사용 (비교연산자)
• 숫자의 크기, 문자, 날짜도 크기를 비교할 수 있음
• 같지 않다 = 다르다 = <> = != 사용

• id가 S0002인 휴가 정보 조회

SELECT *
    FROM vacation
    WHERE emp_id = 'S0002';

• 연봉이 7,000을 초과하는 직원 정보 조회

SELECT emp_name, emp_id, dept_id, gender, hire_date, salary
    FROM employee
    WHERE salary > 7000;

논리연산자

• WHERE 절에서 여러 개의 조건을 연결하는 연산자
• AND 연산자는 조건을 만족할 수록 행이 줄어듦 => 성능면에서 긍정
• OR 연산자는 조건을 만족할 수록 결과 행이 늘어남 => 성능면에서 부정적
• NOT 연산자는 조건에 대한 부정을 의미 ()

(7) 범위 조건과 리스트 조건

(8) NULL값 비교, IFNULL 함수

(9) 자동 형변환

(10) 데이터 결합, 데이터 정렬

(11) CASE문, IF 함수

2. 데이터 집계

3. 순위 함수

4. 데이터 변경

5. 다중 테이블 조회

6. 뷰 (views)

에이블데이가 시작하기 전에 기념으로 에이블러들에게 스탠리 텀블러를 택배로 발송해주셨어요!

코딩마스터스 마스터와 그랜드마스터 분들은 키보드와 마우스까지 받았다고 하네요.

다음번엔 저도 코마 잘 해보겠습니다 !

이렇게 문구와 텀블러 까지 !

에이블데이 때에는 수업은 없었고 특강을 들었어요 !

특강으로 이미지, 영상, 음성을 생성하는 AI 특강을 들었어요

특강을 듣고 실제로 생성형 TOOL을 사용하여 '에이블스쿨'을 주제로 숏츠를 제작하기도 했답니다 !

랜선 회식 시간엔 KT에서 치킨을 시켜먹을 수 있게 기프티쇼를 주셨어요~

에이블데이 진행하는 도중에 숏츠만들기, 퀴즈, 변신하기, 이키가이 발표를 통해서 스타벅스 키프티콘을 주셨어요!

이렇게 다 주시면 남는게 있나요..?

그래도 주시면 받겠습니다 (넙죽)

마무리는 우리반 하트로 마무리 했습니다 ~~

에이블데이는 하루 정도 쉬면서 리프레쉬할 수 있는 기회를 가진 것 같아요!

준비한다고 고생하신 매니저님 감사합니다 ~ 👍😄

6차 미니프로젝트는 총 6일로 3일씩 나누어서 진행했습니다.

1일차 부터 3일차 까지는 '유통 판매량 예측 및 재고 최적화'를 주제로 진행했어요.

1. 데이터 탐색 및 가설을 도출
2. 데이터 전처리
3. 모델링

• 유통 판매량에 예측을 하는 대상 상품을 3번(Beverage), 12번(Milk), 42번(Agricultural products) 모델을 대상으로 수행했습니다.

• 그외 사용할 변수들

주어진 데이터를 기반으로 시계열 모델링을 진행했습니다.

LSTM, CNN 모델을 사용하여 유통 판매량 예측 및 재고 최적화를 위한 규칙적인 패턴, 이상치, 도메인 지식을 찾아보며 모델링 진행을 했어요

그리고 LSTM, CNN 모델에서 최적의 레이어층을 찾는 과정을 수행했습니다.

• 데이터 수가 적어서 좋은 성능의 결과를 얻을 수 없었지만, 최적의 모델을 찾으려고 했어요

6차 미니프로젝트 (2)

4일차 부터 6일차까지는 'LLM을 활용한 QA 챗봇'을 만들어 보았습니다.

6차미니프로젝트 이지만, 강사님의 강의와 함께 진행되었어요.

강의 내용은 LLM에 대해 설명해주시고 데이터 소개와 수행절차와 조건에 대해 설명해 주셨습니다.

프로젝트에서는

• SLLM RAG: 질문과 근거 문서를 함께 입력하고 질문에 맞는 답변을 근거 문서로 부터 하도록 하는 언어모델

• SLLM no RAG: RAG를 사용하지 않고 입력한 질문만을 이용해서 SLLM의 답변 능력을 확인하는 언어모델

• SLLM RAG with BM25: BM25의 검색 기능과 SLLM의 추론 기능을 합쳐 RAG를 구성하는 언어 모델

• SLLM RAG with SentenceTransformers: SentenceTransformers의 검색 기능과 SLLM의 추론 기능을 합쳐 RAG를 구성하는 언어모델

위 네가지를 만들어 보며 챗봇이 어떻게 구성되는지 어떤 방식으로 사용을 할 수 있는지 알 수 있는 시간을 가졌습니다.

미프 맛집

1. 초량밀면

날씨가 더워져서 밀면을 먹으러 왔어요

맛집이라 줄도 많이 선다고 했는데 우리가 들어가고 나서 부터 줄을 서더라구요 ㅎㅎ

음식은 말해뭐해 맛있구요 육수가 미쳤습니다!

2. 현풍 닭칼국수

대구에서 유명한 닭칼국수 집인데 부산역에도 있더라구요!

직접가서 먹었더니 시원하이 한끼먹기 좋습니다~

대신 교육장에서 조금 멀리 떨어져있으니 참고하세요

3. 정다운 밥상

제가 찾던 그런 밥 집을 드디어 찾았어요

여긴 다음 미니프로젝트 때에도 꼭 올거 같아요

메뉴는 두 개로 보리밥이랑 정식이 있는데 전 정식을 먹었어요!

반찬 개수를 보세요~ 저것만 봐도 증명 되죠?

4. 소담

부산역에 육회가 맛있는 곳이 있다고 해서 왔어요

여긴 점심 때 온게 아닌 미프가 끝나고 들렸어요!

미프가 끝나고 소소하게 먹기 좋은 집인 것 같아요

git bash 환경

nginx 사용

IP 서버 접속

ssh -i kt.pem ubuntu@00.00.000.00

nginx 설치

ubuntu $ sudo apt-get install nginx

nginx 실행 확인

ubuntu $ sudo systemctl status nginx

tree 설치 방법

sudo apt install tree

nginx 설정

ubuntu $ sudo vi /etc/nginx/sites-available/default

• 이러한 화면이 뜸
• G 입력으로 가장 밑으로 감
• 아래 정적파일 설정 입력

  정적파일 설정

server {
    listen 8080;
    location / {
        root /home/ubuntu/web;
    }
}

• :wq

nginx 설정에서 오류가 있는지 확인

sudo systemct1 restart nginx

ubuntu 디렉토리 실행권한 추가

chmod +x /home/ubuntu

설정 적용을 위한 재시작

ubuntu $ sudo systemctl restart nginx

tmux 환경에서 주피터 노트북 사용

tmux new -s ai

jupyter notebook

Decorator 함수

• 함수에서 코드를 변경하지 않고 기능을 추가, 수정하는 문법
• 함수 안에 중복 코드를 데코레이터 함수로 작성

  # 함수 생성
  def func1():
    print('code1')
    print('code2')
    print('code3')
  

def func2(): print('code4') print('code5') print('code6') func1 func2

code1 code2 code3 code4 code5 code6

```python
# decorator 함수 생성
def deco(func):
    def wrapper(*args, **kwargs):
        print('code1')
        func(*args, **kwargs)
        print('code3')
    return wrapper

# decorator 함수 사용
@deco
def func1():
    print('code2')
@deco
def func2():
    print('code4')
func1
func2
>
code1
code2
code3
code1
code4
code3

decorator 함수 응용

import time

# 코드가 출력되는데 걸리는 시간
start = time.time()
print('code')
end = time.time()
print(end - start)
>
code
0.0015552043914794922

# decorator 함수 생성
def show_time(func):
    def wrapper():
           start = time.time()
        func()
        end= time.time()
        print(end - start)
    return wrapper


# decorator 함수 사용
@show_time
def func1():
    print('code2')

fuc1 = show_time(func1)

@show_time
def func2():
    print('code4')

func1()
func2()
>
code2
0.002538442611694336
code4

decorator 예제2

# decorator 함수 생성
def login(func):
    def wrapper():
        pw = input('pw: ')
        if kwargs['pw'] == '1234':
            func()
        else:
            print('wrong password')
    return wrapper

# decorator 함수 사용
@login
def fuc1()
    print('code2')

func1()
>
pw 입력창에 1234 입력시
code2가 출력 된다.

args, *kwargs

• parameter: 여러개의 argument를 하나의 parameter(tuple, dict)로 받는 방법
• argument: 하나의 parameter(list, tuple, dict)를 여러개의 argument로 사용 방법

컬렉션 데이터 타입

• 식별자 1개, 데이터n개

  def (n1, n2, n3):
    print(n1 + n2 + n3)
  plus(1, 2, 3)
  >
  6

# args
def (*args):        # parameter 1개
    print(type(args), args)
    print(sum(args))

plus(1, 2, 3)        # args 3개
>
<class 'tuple'> (1, 2, 3)
6

kwargs

# kwargs
def (*args, **kwargs):        # parameter 1개
    print(type(args), args)
    print(type(kwargs), kwargs)
    print(sum(args) + kwargs.values())

plus(1, 2, 3, n4=10, n5=20)                # args 3개
>
<class 'tuple'> (1, 2, 3)
<class 'dict'> {'n4': 10, 'n5': 20}
36

예제

def echo(*args, **kwargs):
    print(type(args), args)
    print(type(kwargs), kwargs)

# args
data1 = [1, 2, 3]
echo(data1)        # echo([1, 2, 3])
echo(*data1)    # echo(1, 2, 3)
>
<class 'tuple'> ([1, 2, 3],)
<class 'dict'> {}
<class 'tuple'> (1, 2, 3)
<class 'dict'> {}

# kwargs
data2 = {'n4': 10, 'n5': 20}
echo(data2)        # echo({'n4': 10, 'n5': 20})
echo(**data2)    # echo(n4=10, n5=20)

Flask

• 속도가 빠른 파이썬 경량 웹 어플리케이션 프레임워크
• 빠르고 간편하게 WAS 개발 가능

1. 프로젝트 생성

• static: 정적 파일 저장
• templates: html 코드 저장
• hello.py: 라우팅 코드 작성

# 디렉토리 생성
!mkdir -p hello/staic
!mkdir -p hello/templates

# 파일 생성
!touch hello/hello.py
!touch hello/templates/index.html
!tree hello

2. 라우팅 코드 작성

%%writefile helle/hello.py
from flask import *

app = Flask(__name__)

# 라우팅 코드
@app.route('/')
def hello():
    return 'Hello Flask'

# 라우팅 코드를 요청했을때, index.html을 불러옴
@app.route('/user')
def user():
    return render_template('index.html') # 랜더링을 통해 연결함

app.run(debug=True)

# 실행 되는지 확인
!cat hello/hello.py

라우팅 서버 nginx 설정

• 라우팅에서 만든 걸 nginx에서 설정하여 서버를 생성
• tmux로 만든 서버에서 새로운 창을 생성하고
• sudo vi /etc/nginx/sites-available/default 로 ngnix 설정 활성화

  server {
    listen 8081;
    location / {
        proxy_pass http://localhost:5000;
    }
  }

• 작성 후 :wq 저장 후 나오기
• sudo systemctl restart nginx 으로 오류 확인
• 8081 서버로 접속 시 라우팅 코드에서 만든 Hello Flask 출력
• user를 요청시 index.html을 불러 옴

3. 템플릿 코드 작성

%%writefile hello/templates/index.html
<!DOCTYPE>
<html>
    <head>
        <title>Flask</title>
    </head>
    <body>
        <p>Hello Flask!!!</p><hr>
    </body>
</html>

파일 사용

• 파일을 불러와야 사용할 수 있음 ![](https://velog.velcdn.com/images/nowij_/post/1e6fcedc-ddfb-452e-bfe6-03c96b038e2d/image.png

강사님께서 AWS에서 ec2인스턴스에서 미리 server를 만들어서 우리에게 IP, ID, PW를 배포하였다.

kt.pem 파일은 pw를 사용하는 파일이다. 내가 원하는 경로에 나두고 경로를 꼭 기억해 두자

AWS

인스턴스 생성

• 로그인 후 인스턴스 시작을 누른다

• 내가 사용할 애플리케이션, 버전, 인스턴스 유형을 선택함 (강의에선 Ubuntu 사용)

• 키페어 생성

• 네트워크 설정

  • 보안 그룹을 사용하여 보안을 높일 수 있음

• 요약

• 최종 요약을 보고 내가 원하는 걸로 만들었는지 확인 후 생성함

• 여기서 server를 생성할 수 있음

git bash

Setting Server

IP 서버 접속

local $ ssh -i <[pem file path> <user name>@<server public ip>

ex)
ssh -i ~/Desktop/kt.pem ubuntu@00.000.00.000

환경설정 파일 전송

• 로컬pc에 있는 파일을 서버에 전송함
• AWS에서 만든 kt.pem 파일을 Desktop 경로에 있어야 한다.

  local $ scp -ri <pem file path><source file path><user name>@<public ip>:<destination file path>
  

ex) local $ scp -ri /Desktop/kt.pem ~/Desktop/env ubuntu@00.000.000.000:/

### 파이썬 설치

파이썬 설치 ubuntu $ source ~/env/pyenv.sh

파이썬 기본 버전을 3.8.5로 설정 ubuntu $ pyenv global 3.8.5

requirements.txt에 정의된 파이썬 패키지 설치 ubuntu $ pip install -r ~/env/requirements.txt

### 주피터 노트북 서버 설치

주피터 노트북 설정 파일 생성 ubuntu $ jupyter notebook —generate-config

#### 주피터 노트북에 필요한 설정
- 패스워드 설정
- browser = False로 나둬야 함
- private ip 설정을 추가해야 함


#### 암호화된 패스워드 생성

ubuntu $ ipython

In [1]: from jupyter_server.auth import passwd In [2]: passwd() Enter password: ktpw Verify password: ktpw Out[3]: ~ In [4]: quit

>![](https://velog.velcdn.com/images/nowij_/post/f1add39b-9167-492e-a6e9-2f65bc2afba7/image.png)


#### 주피터 노트북 서버 설정

Vim Editor 접속 ubuntu $ sudo vi /home/ubuntu/.jupyter/jupyter_notebook_config.py

>![](https://velog.velcdn.com/images/nowij_/post/e9fc0feb-2816-43b1-a54d-14dcc7c3f88d/image.png)

- 가장 아래줄로 가려면 G 입력
- 입력모드 i

c.NotebookApp.ip = '000.00.0.000' # private ip address c.NotebookApp.open_browser = False # 자동 브라우져 실행 설정 c.NotebookApp.password = 'argon2: ~ 위에서 생성된 패스워드'

>![](https://velog.velcdn.com/images/nowij_/post/fef1a714-e0cf-4dce-bd42-f1a96a4399f5/image.png)
- 저장 후 나가기: esc(입력모드 나가기) + : + w(저장) + q(나가기) + enter(입력)

- IP 환경으로 들어가짐
- jupyter notebook을 입력 후 기존의 나의 인터넷 창에 IP:8888 입력시 jupyter notebook 접속 가능

### 주피터 노트북 서버에서 자바스크립트 커널 설정

#### nodejs 설치

javascript 실행을 위한 패키지 설치 ubuntu $ sudo apt-get install nodejs npm jupyter

ipython에서 실행 가능한 javascript를 npm으로 설치 및 설정 ubuntu $ sudo npm install -g --unsafe-perm ijavascript ubuntu $ sudo ijsinstall --install=global

>![](https://velog.velcdn.com/images/nowij_/post/54a93a12-d33e-412b-a422-5b8c17c857f8/image.png)

>- 서버 실행 확인
ps -e | grep jup
>- 서버 종료
kill -9 29497
![](https://velog.velcdn.com/images/nowij_/post/9c447ffe-89bf-4fbf-9d2f-c8766170b085/image.png)



### MongoDB 설치

#### 설치 명령

ubuntu $ sudo apt install software-properties-common gnupg apt-transport-https ca- certificates -y

ubuntu $ curl -fsSL https://pgp.mongodb.com/server-7.0.asc | sudo gpg -o /usr/share/ keyrings/mongodb-server-7.0.gpg --dearmor

ubuntu $ echo "deb [ arch=amd64,arm64 signed-by=/usr/share/keyrings/mongodb- server-7.0.gpg ] https://repo.mongodb.org/apt/ubuntu jammy/mongodb-org/7.0 multiverse" | sudo tee /etc/apt/sources.list.d/mongodb-org-7.0.list

#### 최신 버전으로 업데이트

ubuntu $ sudo apt update

#### MongoDB 설치

ubuntu $ sudo apt install mongodb-org -y

#### MongoDB 서버 실행 및 실행확인

ubuntu $ sudo systemctl start mongod ubuntu $ sudo systemctl status mongod

>![](https://velog.velcdn.com/images/nowij_/post/96fc38cd-c61e-4a40-b2fc-d93d75479701/image.png)
>- 창 나가려면 q 입력

#### mongo shell 실행

ubuntu $ mongosh

>![](https://velog.velcdn.com/images/nowij_/post/ef32239e-235e-4d78-9f87-5b2ec1556e6d/image.png)


#### mongo shell 관리자 계정 생성

test>use admin

admin> db.createUser({ user: "kt", pwd: "ktpw", roles: [ "root" ] })

admin>quit

>![](https://velog.velcdn.com/images/nowij_/post/987b7de6-0208-493d-a3e9-ff4be241fd15/image.png)


#### 외부접속 허용 및 패스워드 사용설정

ubuntu $ sudo vi /etc/mongod.conf

>![](https://velog.velcdn.com/images/nowij_/post/e1a095b6-63ec-46cf-ad01-53bef30a8864/image.png)


>- bindIp: 0.0.0.0
>- security:
  authorization: enabled
>![](https://velog.velcdn.com/images/nowij_/post/cb437d8f-6e99-4c00-80df-2a4f16793713/image.png)
>- 저장 후 나가기: :wq 

#### 설정 적용을 위한 MongoDB 서버 재시작

ubuntu $ sudo systemctl restart mongod

### jupyter notebook 환경
- jupyter notebook 실행 후
#### 서버 접속 URL
- pymong 설치
```python
!pip install pymongo

• 라이브러리 불러오기

  import pymongo
  import pandas as pd
  import numpy as np

서버 접속

# uri = 'mongodb://<user>:<password>@<public ip>:<port>/?authSource=admin'
uri = 'mongodb://kt:ktpw@00.000.0.00:00000/?authSource=admin'
client = pymongo.MongoClient(uri)
list(client.list_databases())

CRUD

# make data
df = pd.DataFrame({
    'name': list('ABCDE'),
    'age': np.random.randint(20, 40, 5),
    'addr': list('SPIDS'),
    })
df

• create

  json_data = df.to_dict('records')
  json_data

  

# DBS(client) > DB(mongo) > Collection(users)
result = client.mongo.users.insert_many(json_data)
result

• read

  collection = client.mongo.users
  documents = collection.find({})
  data = list(documents)
  len(data), data[0]

  

• update

  collection = client.mongo.users
  documents = collection.find({})
  data = list(documents)
  pd.DataFrame(data)

  

collection.update_many({'age': {'$lt':30}}, {'$set': {'age':20}})

documents = collection.find({})
data = list(documents)
pd.DataFrame(data)

• delete

  collection = client.mongo.users
  collection.delete_many({'addr':'5'})
  

documents = collection.find({}) data = list(documents) pd.DataFrame(data)

![](https://velog.velcdn.com/images/nowij_/post/c13aa4f5-84a2-4e4f-ba25-ee888ea65d41/image.png)


## bash command
- ubuntu 환경에서 사용함
- ubuntu 환경에서 나가서 로컬 환경으로 가려면 `exit` 커멘드 사용
#### pyenv versions
- 내가 사용하는 버전을 확인할 수 있음
ex) pyenv versions

#### python
- 파이썬 명령어를 사용할 수 있음
ex) python

#### quit()
- 파이썬 실행을 나옴
ex) quit()

#### clear
- 화면 초기화
ex) clear

#### ls
- 디렉토리의 파일 리스트를 출력함
>ex) 
>- ls (현재 디렉토리의 리스트 출력)
>- ls env (env 안에 있는 리스트 출력)
>- ls -al env (모두 출력)
![](https://velog.velcdn.com/images/nowij_/post/56d16545-501c-4361-98bb-a54991421086/image.png)


#### echo
- 문자열 출력
ex) echo "hello world!"

#### touch
- 파일 생성함

>ex) 
>- touch test.txt
![](https://velog.velcdn.com/images/nowij_/post/5b4876a6-1370-412d-95f8-4209f56d4490/image.png)

#### mkdir
- 디렉토리 생성
>ex) 
>- mkdir notenooks
![](https://velog.velcdn.com/images/nowij_/post/38144c20-5405-48e1-b21e-e530d756f686/image.png)



#### pwd
- 현재 디렉토리 위치를 출력함
>ex) 
>- pwd
![](https://velog.velcdn.com/images/nowij_/post/9205679e-0894-4975-990a-55e2c550d011/image.png)


#### cd
- 디렉토리 이동
>ex) 
>- cd .. : 상위으로 이동
>- cd test : test 디렉토리로 이동
>![](https://velog.velcdn.com/images/nowij_/post/1174a242-790d-4854-a61b-967d00792f31/image.png)


#### cat
- 파일 안에 있는 텍스트 모두 출력
>ex) 
>- cat requirements.txt : requirements.txt안에 있는 텍스트 출력
![](https://velog.velcdn.com/images/nowij_/post/f19ddcfc-89cc-4002-b163-e580ad677e7e/image.png)


#### head
- 파일 안에 있는 텍스트 상단부터 출력
>ex) 
>- head -n 10 test.txt
![](https://velog.velcdn.com/images/nowij_/post/272371a4-552e-4b52-b424-45e60e470075/image.png)


#### tail
- 파일의 마지막 문자열 출력
>ex) 
>- tail -n test.txt
![](https://velog.velcdn.com/images/nowij_/post/5f5d723e-e011-43ff-953f-d119e611d7c0/image.png)


#### chmod
- 파일 권한 수정
ex) chowd 400 test.txt

#### chown
- 파일 소유자 수정
ex) chown -R ubuntu:ubuntu test.txt

#### history
- 이전에 입력한 commands들의 히스토리 출력
>ex) 
>- history
![](https://velog.velcdn.com/images/nowij_/post/1162304d-0840-41be-8871-42faeef6b722/image.png)
- 내가 실행한 커멘드를 순서대로 출력하고 원하는 커멘드의 번호를 !75 하면 75번의 커멘드가 출력 된다

#### cp
- 파일 복사
>ex) 
>- notebookes 디렉토리에 test.txt 파일 복사
>- cp test.txt ./notebooks/  (상대경로)
>- cp test.txt notebooks/ (상대경로)
>- cp test.txt /home/ubuntu/notebooks (절대경로)
>- cp test.txt ~/notebooks/ (절대경로)
>- 위 네 개는 모두 같음
![](https://velog.velcdn.com/images/nowij_/post/0a357bf2-361a-42fa-8e79-ca4bdd8f4472/image.png)


#### mv
- 파일 이동. 파일이름 바꾸기
>ex)
>- mv test.txt env : notebooks 디렉토리에 test.txt로 파일을 env로 이동
![](https://velog.velcdn.com/images/nowij_/post/268ae8f1-e7ee-45cd-b330-e9364e00c110/image.png)


#### ps
- 프로세스 출력
ex) ps -e|grep note

#### kill
- 프로세스 종료
ex) kill -9 1234

#### df
- 하드 디스크의 남은 용량 확인
>ex) 
>- df -h
![](https://velog.velcdn.com/images/nowij_/post/e34ecece-2286-418d-8070-8bb535c98fc0/image.png)

#### free
- 현재 메모리 사용량 출력
>ex) 
>- free -h
![](https://velog.velcdn.com/images/nowij_/post/b0fb38f3-3eb3-4c9c-9f2b-36e7c05b18a6/image.png)

#### tree
- 트리 형태로 디렉토리의 구조를 출력
ex) tree

#### rm
- 파일을 삭제할때 사용
>ex) 
>- rm test.txt
![](https://velog.velcdn.com/images/nowij_/post/57642831-8203-4460-925e-c6a94851e8a5/image.png)


### 특수 기호들
#### | (파이프라인)
- 명령을 실행한 출력 결과에서 특정 조건으로 필터링하여 데이터를 출력
>ex)
>- history | grep cd
>- cd가 들어간 히스토리 리스트를 보여줌
![](https://velog.velcdn.com/images/nowij_/post/9d7501a5-1d37-4f8e-b818-1b4de484a843/image.png)

#### >
- 출력결과를 over write
>ex)
>- echo "hello world" > test.txt
![](https://velog.velcdn.com/images/nowij_/post/3d69aa19-183e-425a-87c2-ba0cc52a125b/image.png)

#### >>
- 출력 결과를 append
ex) echo "hello world" >> test.txt

#### &&
- 연결해서 실행
>ex) 
>- kt 디렉토리를 생성하고 kt 디렉토리로 이동
>- mkdir kt && cd kt
![](https://velog.velcdn.com/images/nowij_/post/bb973207-05d9-4421-a545-982ac2ce5b61/image.png)

# Vim Editor
- Linux, Unix 시스템에서 사용할 수 있는 편집기
- 마우스 없이 키보드 입력으로 모든 기능 사용 가능
- CLI 환경이나 터미널 환경에서 사용 가능

### vi .bashrc
- vim editor 환경으로 접속
- `alias server = ssh -i ~/Desktop/kt.pem ubuntu@00.000.00.000` 를 입력하면
- 로컬 환경에서 `server`만 입력해도 IP 환경 접속 가능

## Mode
### 일반모드
- 문서의 특정 기능이나 위치로 이동할 수 있는 모드
- `esc`: 일반모드로 변경
- `w`, `forword`: 단어 뒤로 이동
- `b`, `backword`: 단어 앞으로 이동
- `^`: 행의 가장 앞으로 이동
- `$`: 행의 가장 뒤로 이동
- `x`: 현재 커서 위치 문자 삭제
- `dw`: 현재 커서 위치 단어 삭제
- `D`: 현재 위치에서 라인 끝까지 삭제
- `dd`: 행 삭제
- `gg`: 문서 시작으로 이동
- `G`: 문서의 끝으로 이동
- `숫자 + G`: 숫자 라인으로 이동
- `{`: 이전 페이지로 이동
- `}`: 다음 페이지로 이동
- `yw`: 단어 복사
- `yy`: 한줄 복사
- `p`: 붙여 넣기
- `u`: 되돌리기


### 편집모드
- 문서 내용을 편집할 수 있는 모드
- `a`: 커서 위치의 다음 칸부터 입력
- `i`: 커서 위치 부터 입력
- `o`: 커서 위치의 다음 줄부터 입력

### 명령모드
- 일반모드에서 `:` 입력하면 에디어 가장 마지막 줄에 `:` 문자 뒤에 명령실행가능 
ex) `:wp` : 파일 저장 후 나가기
- `/`: 정방향 검색, `n`: 다음 검색 단어로 이동함
- `?`: 역방향 검색
- `w`: 파일 저장
- `q`: 나가기
- `!`: 강제실행
- `set number`: 줄번호 표시

# TMUX
- Terminal Multiplexer
- Linux 접속 환경의 세션관리
### 세션
- 접속 정보를 저장하는 연결
- 세션 생성: $ tmux new -s s1(세션이름)
- 세션 종료: $ tmux kill-session -t kt(세션이름)
- 세션 목록 보기: $ tmux ls
- 세션 접속: $ tmux a -t kt(세션이름)
>- s1 s2 세션을 생성함
>- s1 한 쪽에만 입력해도 다른 s1 세션에 생성 됨
![](https://velog.velcdn.com/images/nowij_/post/977072d3-d294-4cc1-91ed-a8ee570a6d79/image.png)

### 윈도우
- 세션이 가지고 있는 여러 개의 명령어 입력 환경
- 윈도우 생성 $ ctrl + b, c
- 윈도우 종료 $ ctrl + b, &
- 윈도우 이동 $ ctrl + b, 0-9
>- ctrl + b, c 
>- 0번만 있던 창이 1번도 생성 됨
>- ctrl + b, 창번호
>- 자유롭게 창 이동 가능
![](https://velog.velcdn.com/images/nowij_/post/524ed788-0a45-4612-b625-72464e5b1363/image.png)


### 팬
- 윈도우가 가지고 있는 여러 개의 분할된 화면
- 팬 생성(종): ctrl + b, %
- 팬 생성(횡): ctrl + b, "
- 팬 이동: $ ctrl + b, 화살표: $ ctrl + b, q(번호)
- 팬 종료: $ ctrl + b, x
> ![](https://velog.velcdn.com/images/nowij_/post/de10f0cf-e55a-4e47-a735-225c898799d7/image.png)

1. 구글 검색창에 ngrok 검색

2. 다운로드 후 지정한 경로에 설치

3. 회원가입하고 연결 코드 복사

4. vscode 터미널창이나 anconda powershell에서 연결

• ngrok.exe가 있는 경로에서 ngrok홈페이지에서 복사했던 코드 실행

• ngrok http file:///내 경로

• 아래와 같이 뜨면 연결 완료 (이 환경에서 나가려면 ctrl+c)

Plugin

beautyify css

• 코드의 가독성을 높여주고 정렬해주는 역할을 함
• shift + alt + F

python intelliSense

• 파이썬을 vscode에서 사용할 수 있게 함

live preview

• 실시간으로 CSS를 미리보기 할 수 있는 확장 프로그램

nodejs

• 구글창에 node.js 검색 후 설치
• Chrome V8 JavaScript 엔진으로 빌드된 JavaScript 런타임 환경으로, 서버 측 JavaScript 개발을 가능하게 해주는 플랫폼

javascript debugger

• 코드 실행 중 발생하는 버그를 식별하고 수정하는 도구

code runner

• 코드 실행을 가능하게 하는 확장 프로그램

html prettier

• html 코드를 포멧팅하는 프로그램

autopep8

• 파이썬 코드를 포멧팅하는 프로그램

단축키

• ctrl + b : 왼쪽 바 숨김
• ctrl + alt + n : 실행
• ctrl + x : 한쪽 라인 삭제
• ctrl + alt : 여러 라인 선택
• ctrl + j : 여러 라인 합치기
• shift + alt + f : 포멧팅함

개인적으로 원하는 단축키를 사용하려면 ctrl + k, ctrl + s 를 작성시 이런 화면에서 수정이 가능하다.

HTML

• 웹문서를 작성하는 마크업 언어

HTML의 기본 구조

• <!DOCTYPE html> : document 타입이 html 문서

• <html lang="en"></html> :웹문서의 시작과 끝을 나타내는 태그

• <head></head> : 웹문서의 정보에 대한 코드 작성

• <body></body> : 웹문서에서 화면에 출력되는 코드 작성

• meta : 페이지 데이터 정보를 출력

• viewport : 렌더링 영역의 크기 설정 (반응형 웹)

• title : 브라우져에 출력되는 제목

HTML 페이지 구조

시멘틱 태그 : 태그 이름으로 의미를 알 수 있는 태그

• 시멘틱 태그로 웹페이지의 전체적인 구조를 구성
• 시멘틱 태그를 반드시 사용해야 하는 것은 아님

• <header> : 헤더 영역 표현
• <nav> : 네이게이션 바 영역 표현
• <main> : 전체 컨텐츠 영역 표현
• <article> : 독립적인 컨텐츠 영역 표현
• <section> : 컨텐츠 영역 표현, article 태그 안에 여러 개의 section 태그 작성함
• <aside> : 본문 오른쪽이나 왼쪽 영역 표현
• <footer> : 웹문서 아래 영역 표현

문자열 태그

• <h1>~<h6>: 제목 태그 (크기별)
• <p>: 한줄 문자열 태그
• <br>: 줄바꿈
• <span> : 한블럭 문자열 태그
• <pre> : 줄바꿈 띄어쓰기 적용 태그
• <code> : 코드 태그
• <strong>, <b> : 굵은 글씨 태그
• <small> : 작은 글씨 태그
• <em>, <i> : 이탤릭체 태그
• <sup> : 윗첨자 태그
• <sub> : 아래첨자 태그
• <u> : 밑줄 태그
• <del> : 삭제선 태그
• <a href="" target="_blank">: 링크 태그
  • href: 이동할 페이지 링크
  • target="_blank": 페이지 이동시 브라우져에 새로운 탭 생성

HTML 테이블 태그

<table> : 테이블 태그 <caption> : 테이블 제목 <thead> : 테이블 컬럼 <tbody> : 테이블 내용 <tr> : 테이블 로우(row) <th>, <td> : 테이블 데이터

HTML 이미지 태그

• <img src="", alt="" width="" height=""> : 이미지 태그
  • scr: 이미지 경로
  • alt: 대체 텍스트
  • width: 넓이
  • height: 높이

HTML 입력 태그

• <form method="" name="", action="" target="_blank"> : 로그인 페이지와 같이 여러개의 데이터를 서버로 전달할때 사용하는 태그

  • method: 데이터 전달 방법 정의 (get, post 방식)
  • name: form 태그 이름 정의
  • action: 데이터를 전달할 URL

• <input type="" placeholder="" maxlength="" name="" value="" readonly required autofocus> : 문자열을 입력 받는 태그

  • type: 다양한 형태의 입력 태그 (text, password, email, checkbox, radio, datetime, submit, reset, file)
  • placeholder: 입력 전에 입력태그에 출력되는 문자열 속성
  • maxlength: 최대 입력 문자열 길이 설정 속성
  • name: input 태그를 묶어주는 문자열 속성
  • value: 선택했을때, 서버로 전송할 데이터를 입력하는 속성
  • readonly: 데이터를 입력할 수 없고 읽을 수만 있는 속성
  • required: 필수 입력 속성
  • autofocus: 자동으로 입력창의 포커스 설정

• <label> : input 태그에 이름을 붙일 수 있는 태그

• <textarea cols="" rows=""> : 여러 줄의 문자열을 입력할 수 있는 태그

  • cols: 컬럼 수 태그의 너비 설정
  • rows: 행수 태그의 높이 설정

Emmit 코드

• html 코드를 간단하게 만들어주는 문법

<!-- html 코드를 간단하게 만들어주는 문법 -->

<!-- '>' : 하위 레벨 태그 생성-->
<!-- sp>pan -->
<p><span></span></p>


<!-- '+' : 같은 레벨 태그 생성 -->
<!-- p+span -->
<p></p>
<span></span>

<!-- '()' : 태그 묶음 -->
<!-- (p+span)(p+span) -->
<p></p>
<span></span>
<p></p>
<span></span>

<!-- '^' : 상위 엘리먼트로 이동 -->
<!-- p>span^div -->
<p><span></span></p>
<div></div>

<!-- ':' : type 속성 -->
<!-- input:text -->
<input type="text" name="" id="">


<!-- #: 아이디, . : 클래스 -->
<!-- p#no.no1>span.no2 -->
<p id="no" class="no1"><span class="no2"></span></p>

<!-- '*' : 반복해서 태그 생성 -->
<!-- ul>li.data*3 -->
<ul>
    <li class="data"></li>
    <li class="data"></li>
    <li class="data"></li>
</ul>

<!-- '$' : 순번 사용 -->
<!-- ul>li.data$*3 -->
<ul>
    <li class="data1"></li>
    <li class="data2"></li>
    <li class="data3"></li>
</ul>

<!-- '@' : 순번 시작 번호 설정 -->
<!-- ul>li.data$@6*3 -->
<ul>
    <li class="data6"></li>
    <li class="data7"></li>
    <li class="data8"></li>
</ul>

<!-- '{}' : 문자열 입력 -->
<!-- ul>li.data$@6{no$}*3 -->
<ul>
    <li class="data6">no1</li>
    <li class="data7">no2</li>
    <li class="data8">no3</li>
</ul>

<!-- '[]': 속성값 입력 -->
<!-- a[href=https://kt.com{kt 페이지 이동}] -->
<a href="https://kt.com{kt 페이지 이동}"></a>

CSS

• CSS(Cascading Style Sheets): 웹 페이지의 스타일과 레이아웃을 지정하는 데 사용되는 언어
• HTML과 함께 사용되어 웹 페이지의 외관을 꾸미는 역할을 함
• CSS를 사용하면 텍스트의 색상, 글꼴, 크기, 배경, 여백 등 다양한 스타일 속성을 지정할 수 있다.

css 사용 방법

css-html 연결

• CSS는 html에서 style 태그안에 넣어서 사용할 수 있다.

  <style></style>

• 그 이외에 .css파일을 만들어서 연결해 주는 방법이 있다. 위 처럼 head안에 아래와 같이 작성하여 연결해주면 된다.

  <link rel="stylesheet" href="경로/이름.css" />

• 이와 같이 사용함

글꼴 설정

• font-family : 글꼴 설정
• color : 글자색상 설정 (rgb, rgba)
• font-size : 글자크기 설정 (주로 px단위 사용)
• font-style : 글자 스타일 설정 (normal, italic)
• font-weight : 글자 스타일 설정 (normal, bold, lighter, 100 ~ 900)
• line-height : 글자 세로 간격 설정
• letter-pacing : 글자 가로 간격 설정
• text-align : 글자 정렬 (left, right, center 등)
• text-decoration : 텍스트의 밑줄이나 취소선 설정

레이아웃 영역설정

• margin: border 바깥 영역의 여백 설정

  • ex) 5px(모든 margin 5px)
  • 5px 10px(위 아래 5px, 좌우 10px)
  • 5px 10px 15px 20px(top에서 시계방향으로 5 10 15 20) margin: 0 auto; --> 가운데 정렬임

• border: 영역의 테두리 설정

  • border-style: solid, dotted, dashed 등

• border-radius: 둥근 모서리 설정

• padding: border 안쪽 영역의 여백 설정

• width: 컨텐츠의 가로길이 설정 (px % auto)

• height 컨텐츠의 세로길이 설정

레이아웃 정렬

• float: 레이아웃 정렬 설정 (left, right) 높이 값은 0으로 설정됨
• display: 레이아웃 출력 속성 설정 (block, inline-block)
• position: 레이아웃 위치 설정 (relative, absolute, fixed)

배경 설정

• background-color: 배경색 설정
• background-image: 이미지 파일을 배경으로 설정
• background-position: 이미지 파일의 배경 위치 설정 (left, right, center, top, bottom)

JavaScript

• 웹브라우저에서 이벤트를 처리하는 문법

1. 변수선언: RAM을 사용하는 문법
2. 데이터타입: RAM을 효율적으로 사용하는 문법 (동적 타이핑)
3. 연산자: CPU 사용하는 문법 (산술, 비교, 논리)
4. 조건문: 조건에 따라서 다른 코드를 실행
5. 반복문: 특정 코드를 반복적으로 실행
6. 함수: 중복 코드를 묶어서 코드 작성 실행
7. 객체: 식별자 1개에 데이터 여러 개를 저장하는 문법 (클래스)

특징

• 인터프리터언어
• 동적 타이핑
• 객체 지향

1. 변수 선언

• 식별자: 저장공간을 구별하는 문자열
• 식별자 규칙: 대소문자, 숫자, _, $, 가장앞에 숫자 x, 예약어 사용x
• 식별자 컨벤션: camelCase(변수, 함수), PascalCase(모듈)

식별자 1개, 데이터 1개

var data1 = 10;

식별자 n개, 데이터 n개

var data2 = 20, data3 = 30;
var data2 = 20,
    data3 = 30;

식별자 n개, 데이터 1개

var data4 = data5 = 40;
console.log(data1, data2, data3, data4, data5);
>
10 20 30 40 40

• 식별자 1개 데이터 n개인 경우 array이다.

2. 데이터 타입

• number, string, boolean, function, object
• 동적타이핑: 데이터아팁 선언 없이 자동으로 데이터타입 정의

  var data1 = 1;
  var data2 = 'js';
  var data3 = true;
  var data4 = function(){console.log('js')};
  var data5 = {key: 'js'};
  

console.log(typeof data1, typeof data2, typeof data3); console.log(typeof data4, typeof data5);

number string boolean function object

#### 데이터가 없음
- undefined: 선언은 되었으나 데이터가 할당 되지 않음
- null: 선언은 되었으나 데이터 없음이 할당
- NaN: Number 데이터 타입에서 undefined
```javascript
var data1 = undefined;
var data2 = null;
var data3 = NaN;
console.log(typeof data1, data1);
console.log(typeof data2, data2);
console.log(typeof data3, data3);
console.log(NaN == NaN, NaN > NaN);
>
undefined undefined
object null
number NaN
false false

데이터 타입의 형 변환

• Number(), String(), Boolean()

  var data1 = '1';
  var data2 = 2;
  console.log(typeof data1, typeof Number(data1));
  console.log(data1+data2);
  console.log(Number(data1)+data2);
  console.log(data1 + String(data2));
  >
  string number
  12
  3
  12

  묵시적 형변환

• 서로 다른 데이터 타입을 연산할때 데이터 타입을 변경

  var data1 = '1';
  var data2 = 2;
  console.log(typeof data1, typeof (data1 - 0));
  console.log(typeof data2, typeof (''+data2));
  >
  string number
  number string

3. 연산자

산술

• 데이터 + 데이터 = 데이터
• (+, -, , /, %, *, ++, --)

var data1 = 11, data2 = 4;
console.log(data1 / data2, data1 % data2, data2 **3);
>
2.75 3 64

// ++data1 : +1하고 데이터 대입
var data1 = 5, data2 = 7;
data1 = ++data2;
console.log(data1, data2);
>
8 8  

// data1++ : 데이터 대입하고 +1
var data1 = 5, data2 = 7;
data1 = data2++;
console.log(data1, data2);
>
7 8  

비교

• 데이터 + 데이터 = 논리값 (조건 1개)
• (==, !=, >, <, >=, <=, ===, !==)
• ==(데이터만 비교), ===(데이터, 데이터 타입 비교)

  var data1 = 1, data2 = '1';
  console.log(data1, data2);
  console.log(data1 == data2, data1 === data2);
  >
  1 1
  true false

  논리

• 논리값(조건1개) + 논리값(조건2개) = 논리값 (조건 2개 이상)
• (!, &&, ||)

  console.log(true && false, true || false);
  >
  false true

할당

• 변수 <산술> 데이터 누적해서 연산

  var data1 = 10;
  data1 += 20;
  console.log(data1);
  >
  30  

삼항

• (python): true if condition else false
• (javascript): condition ? true : false
• 조건 ? 참 : 거짓

  var balance = 10000, amount = 6000;
  var msg = balance >= amount ? '인출가능' : '인출불가';
  console.log(msg);
  >
  인출가능  

실수하기 쉬운 코드 (부동 소수점 에러)

var data1 = 0.1, data2 = 0.2;
console.log(data1 + data2 === 0.3);
console.log(data1 + data2);
>
false
0.30000000000000004
console.log(Math.round((data1 + data2) * 10) / 10);
console.log(Math.round((data1 + data2) * 10) / 10 === 0.3);
>
0.3
true

4. 조건문

• if, else if, else

  var balance = 3000, amount = 4000;
  if(balance < amount){
    console.log('인출불가');
  } else if (amount > 5000){
    console.log('인출불가: 최대인출금액초과');
  } else {
    console.log('인출가능');
  }

5. 반복문

• while, for, break, continue

  while

• 횟수를 특정할 수 없는 경우

var count = 3;
while(count > 0){
    count -= 1;
    console.log('js');
}
>
js
js
js

for

• 횟수를 특정할 수 있는 경우

  for(var i=0; i<3; i++){
    console.log('js');
  }
  >
  js
  js
  js

continue

• 실행되면 반복문을 정의하는 코드로 올라가서 코드 실행

  for(var i=0; i<5; i++){
    if (i === 2){
        continue;
    }
    console.log('js', i);
  }
  >
  js 0
  js 1
  js 3
  js 4

break

• 반복을 중단

  for(var i=0; i<5; i++){
    if (i === 2){
        continue;
    }
    console.log('js', i);
    if (i >= 3) {
        break;
    }
  }
  >
  js 0
  js 1
  js 3

예제 문제

• 로또 번호 출력 1 ~ 45 랜덤한 숫자 6개 출력
• 중복 허용 출력

var count = 6, lotto = '';
console.log(Math.random());
console.log(Math.ceil(4.2));
for (var i=0; i<count; i++){
    var rnum = Math.ceil(Math.random() * 44) +1;
    lotto = lotto + rnum + ' ';
}
console.log(lotto);
>
0.3842289032751265
5
22 10 45 14 37 30 

6. 함수

• 중복되는 코드를 묶어서 코드 작성 실행 문법 -> 코드 유지 보수 향상
• 사용법: 함수 선언(코드 작성) -> 함수 호출(코드 실행)

  // 함수 선언: 코드 작성
  function showLotto(){
    var count = 6, lotto = '';
    for (var i=0; i<count; i++){
        var rnum = Math.ceil(Math.random() * 44) +1;
        lotto = lotto + rnum + ' ';
    }
    console.log(lotto);
  }
  // 로또 번호 출력: 함수 호출: 코드실행
  showLotto();
  // javascript 출력
  console.log('javascript');
  // 로또 번호 출력
  showLotto();

7. 객체

• push() 데이터 추가

  var data = [1, 2, 3, 'A', 'B'];
  console.log(typeof data, data);
  

data.push('C'); console.log(data); console.log(data[3]);

for(var i=0; i<data.length; i++){ console.log(i, data[i]) }

object [ 1, 2, 3, 'A', 'B' ] [ 1, 2, 3, 'A', 'B', 'C' ] A 0 1 1 2 2 3 3 A 4 B 5 C

- 객체 생성 1
```javascript
var data = { name: 'andy', plus: function(n1, n2){return n1+n2}};
console.log(typeof data, data);
console.log(data.name, datap['name']);
>
object { name: 'andy', plus: [Function: plus] }
andy andy

• 객체 생성 2

  function Person(name){
    this.name = name;
  }
  var person = new Person('andy');
  console.log(typeof person, person);
  >
  object Person { name: 'andy' }

• 변수 추가 삭제

  var data = {};
  data.name = 'alice';
  data['age'] = 23;
  console.log(data);
  

delete data.age console.log(data);

{ name: 'alice', age: 23 } { name: 'alice' } ```

1. 서버와 클라이언트

• 서버: 클라이언트에게 네트워크를 통해 정보나 서비스를 제공하는 장치
  • 서버컴퓨터: 응용프로그램을 가지고 있다가 클라이언트 컴퓨터에서 요청하면 보냄

• 클라이언트: 네트워크를 통하여 서버에 접속해 정보를 확인하거나 서비스를 이용하는 장치
  • 클라이언트 컴퓨터: 서버 컴퓨터에 응용프로그램을 요청한 뒤 서버에서 보내주면 실행

서버의 역할 및 종류

• Client : 서버에 요청하는 주체
• Request : 콘텐츠 요청
• Server : 웹 서버, 웹 애플리케이션 서버, 캐시 서버, 리버스 프록시 서버, DB 서버에서 찾아서 응답을 함
• Response : HTML, Css, JS, 텍스트, 이미지, 동영상 형태로 응답

웹 서버(정적 콘텐츠) 전달 과정

1. 클라이언트가 콘텐츠 요청
2. 웹 서버에서 콘텐츠 탐색
3. HTML, Css, JS, 텍스트, 이미지, 동영상 형태로 전달 및 응답
4. 클라이언트에서 응답 받은 콘텐츠 조회
5. 웹서버에서 요청 내용 및 응답 내용을 기록 (Log)

애플리케이션 서버(동적 콘텐츠) 전달 과정

1. 클라이언트가 동적 콘텐츠 요청
2. 웹 서버에서 콘텐츠 탐색
3. 웹 서버에서 애플리케이션 서버에 콘텐츠 요청
4. 애플리케이션 서버에서 요청내용 확인
5. 애플리케이션 서베에서 웹서버에 콘텐츠 전달
6. 애플리케이션 서버에서 요청 내용, 응답내용 기록 (Log)
7. 애플리케이션 서버에서 전달받은 동적 콘텐츠를 클라이언트에 응답
8. 웹 서버에서 요청 내용, 응답내용 기록 (Log)

데이터베이스 서버 전달 과정

• DB 서버: 애플리에키션의 정보를 저장해서 운영 관리할 수 있는 데이터 베이스를 구동하는 서버

1. 클라이언트가 웹 서버에 콘텐츠 요청
2. 웹 서버에서 콘텐츠 탐색
3. 웹 서버에서 애플리케이션 서버에 콘텐츠 요청
4. 애플리케이션 서버에서 클라이언트 요청 내용 확인
5. 애플리케이션 서버에서 DB 서버에 데이터 조회 요청
6. DB 서버에서 애플리케이션 서버에 데이터 조회 결과 전달
7. 애플리케이션 서버에서 웹 서버에 콘텐츠 전달
8. 웹 서버에서 클라이언트로 응답
9. 클라이언트에서 콘텐츠 조회

리버스 프록시 서버 전달 과정

• 리버스 프록시 서버: 클라이언트 요청을 처리할 수 있는 애플리케이션 서버 선택 후 전달
• 뒤에 있는 서버가 클라이언트에게 요청을 할 수 있는 상태인지 확인 후, 요청을 함

1. 클라이언트에서 리버스 프록시 서버에 요청
2. 리버스 프록시 서버는 웹 서버A를 선택함
3. 웹 서버 A는 애플리케이션 서버C에 요청
4. 애플리케이션 서버C는 DB서버에 요청
5. DB서버는 애플리케이션 서버C에 응답
6. 애플리케이션 서버C는 웹 서버A에 응답
7. 웹 서버 A는 리버서 프록시 서버에 응답
8. 리버스 프록시 서버는 클라이언트에 응답
9. 클라이언트에서 응답받은 콘텐츠 조회

포워드 프록시 서버 (캐시서버) 전달 과정

• 포워드 프록시 서버: 미리 데이터를 저장해 뒀다가 요청이 오면 데이터 전달
• 보통 기업에서는 한 서버가 아닌 다양한 서버로 관리하게 된다
• 역할 별로 서버를 나눠 놓음

1. 클라이언트에서 리버스 프록시 서버로 요청
2. 리버스 프록시 서버는 웹 서버A를 선택
3. 웹 서버 A는 애플리케이션 서버C에 요청
4. 애플리케이션 서버C는 DB서버에 요청
5. DB 서버는 애플리케이션 서버C에 응답
6. 애플리케이션 서버C는 캐시 서버에 응답
7. 캐시 서버에서 저장
8. 캐시 서버는 웹 서버 A에 응답
9. 웹 서버A는 리버스 프록시 서버에 응답
10. 리버스 프록시 서버에서 클라이언트로 응답
11. 클라이언트에서 콘텐츠 조회

2. 서버 하드웨어와 소프트웨어

• 서버 하드웨어: MainFrame, UNIX, x86,
• 서버 하드웨어 제조사: HPE, Dell Tech, Lenovo

• 서버 소프트웨어: (오픈소스, 상용 소프트웨어)
  • 필요 조건: OS: UNIX, LINUX, Windows Server

서버 하드웨어 폼팩터

• 랙마운트형 서버 (랙서버)
  • 1U 서버
    • 가장 작은 형태의 랙 서버
    • 공간을 효율적으로 활용하고 더 많은 서버를 한 랙에 설치할 수 있음
  • 2U 서버:
    • 1U에 비해 높이가 두배로 큼
    • 더 많은 하드웨어 구성요소를 수용할 수 있도록 하고 확장성을 제공
  • 4U 서버:
    • 더 큰 용량과 확장성 제공
    • 더 많은 하드웨어를 수용하고 높은 처리능력과 저장공간을 제공한다.

• 블래이드형 서버: 랙마운트형 서버를 더 얇고 케이스가 없는 형태의 서버
• 타워형 서버: 일반 데스크탑PC와 유사한 형태의 서버로 워크스테이션이라 부름

3. 네트워크

네트워크 개념

• 회선 교환 방식: 데이터를 교환하기 위해 1:1로 연결된 데이터 통로를 만들고 데이터 교환이 완료될 때까지 회선으 계속 사용하는 방식

• 패킷 교환 방식: 데이터를 패킷이라는 작은 단위로 나누고 헤더라는 정보를 붙여서 데이터를 교환하는 방식

• 패킷은 손상될 경우, 전체가 아닌 손상된 것만 다시 보냄

  • 헤더: 송수신 포트번호, 패킷 순서 번호, 데이터 시작 위치, 한번에 전송할 수 있는 데이터 양
  • 패킷: 소포, 택배 물품에 헤더라는 송장을 붙여 보내는 개념

네트워크 프로토콜과 계층

• 프로토콜: 패킷을 전송하기 위한 규칙, 정해진 규칙을 따르기 때문에 통신이 가능해짐
• HTTP: 웹서버와 웹브라우저가 패킷을 교환할 때 사용하는 프로토콜 이 외에도 DNS, FTP, SSL/TLS, UDP, SNMP, IEEE, ARP 등 매우 많은 프로토콜 존재

• 계층: 송신기기와 수신기기 사이에 주고 받는 데이터는 각 계층 별로 처리됨
• 계층별로 처리: 한 계층에서 처리가 완료되면 임무를 다음 계층으로 전달

• 대표적인 2가지 계층 (OSI, TCP/IP

• 주로 사용하는 계층 5단계

네트워크 기기, 형태

네트워크 기기: L1

• NIC: PC나 서버를 네트워크에 연결해주는 하드웨어 (유선 / 무선) PC나 서버의 슬롯에 장착형, USB 포트형, 메인보드의 슬롯에 장착하거나 온보드로 부착된 형태가 있음
• 허브: 전달받은 패킷의 복사본을 포트에 연결된 다른 모든 기기로 전송
• AP: 패킷을 전파로 바꿔서 송출하느 기기, 무선과 유선 사이의 다리 역할을 수행함

네트워크 기기: L2

• MAC adrress: 컴퓨터들이 서로 데이터를 전송하기 위해 사용하는 물리적 주소로 NIC에 내장 기기만의 고유번호, 식별번호 등 기기를 구분하기 위한 주소로 사용됨

• 이터넷: 네트환경에서 데이터를 주고받기 위한 가장 대표적인 기술 규격 UTP 케이블로 단말기와 네트워크 기기를 연결함 (랜선)

• L2스위치: 단말기가 보낸 패킷의 헤더에 있는 MAC Address를 보고 같은 네트워크의 다른 단말기로 패킷을 전송하고 이더넷 규격을 사용하기에 이더넷 스위치라고도 부름

네트워크 기기: L3

• IP Address

  • 서로 다른 네트워크에 연결되어 있는 컴퓨터들이 데이터를전송하기 위해 사용하는 논리적 주소로 OS상에서 설정한 주소

• Public IP Address

  • 공인 IP 주소
  • 네트워크와 외부의 네트워크가 통신하기 위해 사용

• Private IP Address

  • 사설 IP 주소
  • 같은 네트워크 안에서 통신하기 위해 사용

• 라우터: 단말기가 보낸 패킷의 헤더에 있는 IP Address를 보고 다른 네트워크의 다른 단말기로 패킷을 전송 (포트도 적음)

네트워크 기기: L4

L4 스위치: IP 주소와 포트 번호를 참조하여 트래힉을 분산해서 서버에 전송하는 로드 밸런싱 기기

• 로드 밸런싱: 들어오는 트래픽을 둘 이상의 서버로 분산해서 전송하여 부하를 분산하는 것

• 트래픽: 서버와 네트워크 장치에서 인정 시간 내에 흐르는 데이터 양

• 방화벽: IP주소와 포트번호를 참조하여 통신을 허가하거나 차단하는 기기

네트워크 기기: L7

• L7 스위치: IP 주소와 포트 번호 + 애플리케이션 콘텐츠 정보를 참조해서 로드 밸런싱하는 기기 (URL, 파일명, 콘텐츠 문자열)

• 웹방화벽: 웹 어플리케이션 서버를 안정하게 보호하는 기기

  • 클라이언트와 서버 사이에 교환되는 데이터를 어플리케이션 레벨에서 상세히 검사하고 조치함
  • 블랙리스트, 화이트리스트, 웹 트래픽 분석 등 다양한 보안 기능 제공
    • 블랙리스트: 리스트에 있는 IP를 제외하고 모두 허용
    • 화이트리스트: 리스트에 있는 IP만 통신 허용

네트워크 형태

LAN

• 근거리 통신망
• 가정이나 기업 내부 등 한정도니 범위의 네트워크
• 클라이언트 기기와 L2 스위치로 구성함

WAN

• 원거리 통신망
• 물리적으로 거리가 매우 떨어진 곳의 네트워크를 연결
• LAN 환경에 L3 스위치를 추가해서 구성함
  • 인터넷, 월드와이드웹(WWW)

VPN

• 인터넷 상에서 가상의 전용선을 만들어 통신할 수 있게 하는 기술
  • 한국에서 아르헨티나의 서비스로 접속할 수 있음
  • 집이나 카페에서 기업 내부의 어플리케이션에 접속 가능

DMZ

• 비무장지대
• 외부 네트워크와 내부 네트워크의 중간 지점
• 내부망에는 존재하나 외부망에서 접근할 수 없는 영역으로 외부망에 있는 해커의 공격으로부터 기업의 중요한 서버와 클라이언트를 보호하기 위해 사용

4. 스토리지

스토리지 개념 및 종류

스토리지

• 저장장치를 다수 장착한 대용량 고속 저장 장비
• 서버 및 클라이언트와 네트워크로 연결해서 사용
• 데이터 저장 뿐 아니라 데이터 공유 목적으로 사용됨
• 서버에 장착된 디스크 용량이 부족할 경우, 다수의 사람들과 데이터를 공유할 필요가 있을 경우, 스토리지 활용
• 데이터 관리 및 보호를 위한 별도의 소프트웨어 탑재

스토리지 저장 방식

• RAID
• 여러 개의 디스크 중 일부에 데이터를 중복 저장하는 기술
  • RAID 0
    • 데이터를 여러 디스크에 분산 저장
    • 같은 용량의 디스크로 구성
    • 빠른 성능 / 장애시 데이터 모두 손실됨
  • RAID 1
    • 데이터를 다른 디스크에 동일하게 중복 저장
    • 최소 2개 디스크 필요, 필요한 용량의 2배 준비
    • 장애 대비에 유리하나 비용이 비쌈
  • RAID 5
    • 디스크마다 패러티를 토대로 복구할 수 있음
    • 일정 수준의 성능과 안정성 확보
  • RAID 6
    • RAID 5 방식에 패러티를 하나 더 추가하여 안정성을 더욱 향상시킨 방법
    • 성능은 5보다 조금 떨어짐
    • 디스크 최소 4개 필요
  • RAID 1+0
    • RAID 0의 높은 성능과 RAID 1의 뛰어난 안정성을 합침
    • 최소 4개 디스크 필요

스토리지 종류

• DAS: 직접 연결한 스토리지

  • 서버와 클라이언트가 전용 케이블로 연결한 스토리지
  • 전송 속도가 빠름

• NAS

  • 데이터 공유를 위한 파일 서버 용도로 주로 사용
  • 독립적 다기능 스토리지
  • 클라이언트가 데이터에 접근하기 위해 네트워크 스위치를 거쳐 NAS에 접근 => DAS보다 전송 속도가 느림

• SAN

  • 대용량의 데이터를 네트워크를 통해 빠른 속도로 전송할 수 있는 고성능 스토리지

스토리지 유형

• 파일 스토리지

  • 데이터를 파일과 폴더로 이루어진 계층 구조에 저장
  • 전통적 방식
  • 양이 많을 수록 성능이떨어짐

• 블록 스토리지

  • 데이터를 일정한 크기의 블록으로 나눠서 분산 저장
  • 비용이 많이 들고 메타데이터 처리에 한계가 있어 비정형 데이터 처리에 불리함

• 오브젝트 스토리지

  • 오브젝트라는 개별 데이터 단위로 분산 저장
  • 오브젝트에 메타데이터가 포함되어 있어 신속한 검색 가능
  • 비정형 데이터 저장에 맞음
  • 오브젝트 수정이 불가능해 정형 데이터는 맞지 않음

저장장치

• 컴퓨터의 데이터를 저장하기 위한 비 휘발성 기억장치
• Tape, HDD, SDD

백업 개념 및 종류

백업

• 데이터를 임시로 다른 장치에 저장하여 문제가 있을 때 복구할 수 있도록 준비해 두는 것
  • Full Backup: 백업 주기 마다 데이터 전체를 백업
  • Incremental Backup: 첫째 날에 데이터 전체 백업, 그 다음 부터 증가된 데이터만 백업

스냅샷

• 마치 사진 찍듯이 특정 시점에 스토리지의 파일시스템을 포착해 보관하는 기술
• copy-on-write 스냅샷: 쓰기 작업 발생시 복제 후 해당 복제본을 새로운 공간에 덮어씀
• Redirect-on-write 스냅샷: 쓰기 작업 발생시 새로운 공간으로 쓰기 위치를 재지정

5. 데이터베이스

데이터베이스 개념 및 주요 용어

개념

• 데이터베이스
  • 여러 사람이 공유하여 사용할 목적으로 체계화해 통합, 관리하는 데이터의 집합
  • 응용 시스템의 통합된 정보들을 저장하여 운영할 수 있는 공용데이터들의 묶음
• DBMS: 사용자들이 DB안에 있는 데이터를 접근할 수 있도록 해주는 소프트웨어
• RDBMS: 테이블이라는 최소 단위로 구성하며 이 테이블은 열과 행으로 이루어짐
  • 조회하기 위한 용어: SQL (질의 언어)

오픈소스 DB vs 상용 DB, DB Engine Ranking

데이터베이스 유형

• 오픈소스 DB
• 상용 DB
• NoSQL
  • 대용량 데이터를 분산 처리하기 위한 SQL이 아닌 또 다른 기술을 채택한 오픈소스 데이터베이스

DB IDE

• IDE
  • DB엔지니어, DBA, 개발자가 사용하는 DB 개발 도구
• 상용 IDE
  • GUI 지원, 다중 DB 지원, Query 자동완성, 관리자를 위한 기본 모니터링 도구 제공

6. 온프레미스

온프레미스 개념과 3Tier 아키텍처

온프레미스

• 기업이 자체 시설에서 보유하고 직접 유지 관리하는 프라이빗 데이터 센터

  3 Tier 아키텍처

• 애플리케이션 운영 환경이 컴퓨팅, 네트워크, 스토리지로 구성된 아키텍처

가상화 기술: 서버, 데스크탑, 네트워크, 스토리지

가상화

• 물리적인 하드웨어가 보유한 자원 효율성을 향상시키기 위해 사용하는 기술
• (서버 가상화, 데스크탑 가상화, 네트워크 가상화, 스토리지 가상화)
  • 서버 가상화: 하이퍼바이저를 통해 가상머신을 생성, 여러개의 OS를 운영하는 기술
  • 데스크탑 가상화: 데이터는 서버에 저장하고, 서버에서 클라이언트에 업무 환경만 제공해 주는 기술
  • 네트워크 가상화: 물리적 네트워크를 하나의 가상 네트워크로 구성해 사용하는 기술
  • 스토리지 가상화: 물리 서버의 디스크와 스토리지를 하나의 가상 스토리지 풀로 묶어 사용하는 기술

HCI, SDDC

HCI

• 컴퓨팅, 스토리지, 네트워크를 가상화시켜 단일 시스템으로 운영
• 기존 3-Tier 대비 병목 구간을 제거하여 자원 확장 시 성능이 선형적으로 늘어남
• 병목현상이 발생하여 => 2-Tier로 데이터 분산 처리로 병목 구간 제거

SDDC

• 데이터 센터 구성요소의 모든 것을 소프트웨어로 통합 관리
• SCD + SDS + SDN + Management Platform 모두 포함되어야 진정항 SDDC임

7. 클라우드

클라우드 개념 및 종류

클라우드의 개념

• IT 인프라 자원을 직접 보유해서 사용하는 것이 아닌, 다른 기업의 IT인프라 자원을 빌려서 쓰는 것
• 자원을 빌려 쓴 것 만큼 사용료 지불 => 클라우드 비용

• 호스팅
  • 웹 호스팅
    • IDC의 특정 서버 자원을 빌려씀 (남들과 공유)
  • 서버 호스팅
    • IDC의 특정 서버 자체를 빌려씀 (나만 쓰는 것, 장기렌트 개념)

• 코로케이션
  • 내가 가진 서버를 IDC의 랙에 설치하고 IDC가 제공하는 네트워크 및 관리 서비스를 받는 것 -> IDC의 공간과 네트워크 자원을 빌리는 개념임

클라우드의 종류

• IaaS: IT인프라 자원 전체를 빌려다 씀, OS 및 각종 소프트웨어 설치 필요
  • AWS, Azure, GCP, NCP, KT Cloud, NHN Cloud
• PaaS: 이미 설치된 OS(플랫폼)을 빌려다 씀, 어플리케이션 설치 필요
  • AWS Elastic Beanstalk, Azure SQL DB, Google BigQuery
• SaaS: 소프트웨어 빌려다 씀
  • Microsoft 365, Google Workspace, Adobe CC, Zoom, Groupware

클라우드 형태

• 온프레미스: 기업이 직접 IT인프라를 운영
• 퍼블릭 클라우드: 다른 기업의 IT인프라를 빌려다 씀
• 프라이빗 클라우드: 기업이 보유한IT 인프라를 클라우드 서비스처럼 기업 내에서만 활용
• 하이브리드 클라우드: 프라이빗 + 퍼블릭
• 멀티 클라우드: 퍼블릭 + 퍼블릭

클라우드 기술 및 용어

• 컨테이너: 리눅스 기반 애플리케이션 운영을 위한 프로세스 격리 기술
• 컨테이너 런타임: 컨테이너를 다루는 도구
• 도커: 컨테이너 기술을 누구나 쉽게 사용할 수 있도록 만든 컨테이너 런타임 중 가장 유명한 오픈소스 프로젝트
• 쿠버네티스
  • 다수의 컨테이너를 효율적으로 운영, 관리하기 위한 도구
  • 구글이 오픈소스로 공개
  • 현재 기업 환경에 맞는 유료 쿠버네티스 서비스가 다수 존재
• 파드: 컨테이너들의 모음
• 노드: 파드가 운영되는 물리 서버 또는 가상머신, 워커 노드라고 부름
• 클러스터: 노드의 집합
• 마스터: 다수의 워커 노드들 및 그 하위의 파드와 컨테이너를 관리하는 노드

LLM 모델

1. 데이터 탐색 및 가설 도출
2. 데이터 전처리 및 base_line_modeling

이 단계를 3일에 걸쳐서 진행합니다.

유통 판매량 예측 및 재고 최적화를수행하는 핵심 대상 상품

• 대상 상품(핵심 상품)

44번 매장의 상품번호 3, 12, 42 세가지 항목을 정하여 진행하였습니다.

변수 소개

• oil_price 상위 5개 항목

• orders 상위 5개 항목

• sales 상위 5개 항목

• products 상위 5개 항목

• stores 상위 5개 항목

1. 데이터 탐색 및 가설 도출

• 매장(44번)의 대상 상품의 판매량 추이

PRODUCT_ID - 3

시계열 패턴 1

• 3번 상품의 동일 카테고리의 상품별 판매량 추이

• 휘발유 가격과 상품 판매량 추이 비교

시계열 패턴 2

• 시계열 데이터 분해 (30일 주기)

• 시계열 데이터 분해 (365일 주기)

PRODUCT_ID - 12

시계열 패턴 1

• 12번 상품의 동일 카테고리의 상품별 판매량 추이

• 휘발유 가격과 상품 판매량 추이 비교

시계열 패턴 2

• 시계열 데이터 분해 (30일 주기)

• 시계열 데이터 분해 (365일 주기)

PRODUCT_ID - 42

시계열 패턴 1

• 42번 상품의 상품별 판매량 추이

• 휘발유 가격과 상품 판매량 추이 비교

시계열 패턴 2

• 시계열 데이터 분해 (30일 주기)

• 시계열 데이터 분해 (365일 주기)

최종 정리

1) 대상 매장(44), 대상 상품의 판매량 추이

• 1월에 구매량이 적고, 7월에 구매량이 가장 많음
• 7월에 구매량이 가장 많은 이유는 5월 ~ 7월에 수확이 이루어지기 때문에 구매가 많을 것으로 예상함
• 12월에 구매고객수가 제일 많음 => 크리스마스로 인해 가장 많아진 것으로 예상
• 년도별로 판매량이 증가함

2) 대상 상품의 동일 카테고리의 상품별 판매량 추이

• 카테고리로 봤을 때, grocery 카테고리는 44번 매장이 가장 많이 팔림
• 서브카테고리로 봤을 때, 농산물을 파는 곳은 44번 매장 밖에 없었음
• 44번 매장의 구매고객수는 1주일 주기로 많아짐 => 주로 어떤 것들이 팔리나확인
• 44번 매장에는 3, 12번 제품이 제일 많이 팔리고, 42번은 그렇게 많이 팔리지 않음

3) 휘발류 가격과 상품 판매량 추이 비교

• 유가가 비쌀수록 판매량도 감소, 구매고객수는 적게 감소하는 모습을 보임 => 1인당 구매량을 확인해봐야함
• 판매량 / 구매고객수 = 1인당 구매량을 계산 => 유가가 비쌀수록 1인당 구매량이 적어지는 모습이 보임

4) 입고 시간과 위치, 판매량 추이 비교

• 입고시간이 길어지면 판매량이 줄 것이다 => 관계는 없었음
• 입고시간, 도시나 주의 위치와의 관계가 있을까? => 관계 없었음
• 44번 스토어의 입고 시간이 다른 매장보다 더 길다 => 왜 그렇지??

Product_ID (12)

• 12번 항목과 휘발류 가격에는 연관성이 없다.
• 12번 항목의 판매량과 방문 고객 수는 비례한다.
• 12번 항목은 판매 변화량이 균일하게 유지된다.
• 수요일, 금요일, 토요일에 판매량이 증가하는 경향이 있고, 화요일, 목요일, 일요일에는 판매량이 감소하는 경향이 있다.
• 365일 기준으로 봤을때 연도가 지날수록 판매량이 증가하는 추세를 보인다.
• 미국은 12월 기준으로 유제품 판매량이 급증한다. => 에그노그를 먹는 풍습이 있음
• 미국의 2014년 01월 ~ 2017년 02월 까지 스타벅스의 주가상승이 있었음 => 그 만큼 유통업체의 판매량이 증가했음 그 이유는 스타벅스에서 판매하는 메뉴는 유제품 사용이 많기 때문이다.

2. 데이터 전처리 및 base_line_modeling

3번의 모델링 및 비즈니스 평가를 위해 기본 레이어층만 쌓아서 수행할 모델을 생성

PRODUCT_ID - 3

DecisionTreeRegressor

MSE : 3549.151657936104 MAE : 2528.9166666666665 MAPE : 0.221088798045424 R2 Score : 0.09131166924273626

딥러닝

MSE : 3549.151657936104 MAE : 2528.9166666666665 MAPE : 0.221088798045424 R2 Score : 0.09131166924273626

LSTM

• LSTM 모델은 return_sequence=True 을 사용 => 시계열 모델에서 양방향으로 확인을 하는 것임

clear_session()

model_LSTM = Sequential()

model_LSTM.add(LSTM(128, input_shape = (timesteps, n_features),
                    return_sequences = True))
model_LSTM.add(LSTM(64, return_sequences = True))
model_LSTM.add(LSTM(32, return_sequences = True))
model_LSTM.add(LSTM(16))

model_LSTM.add(Dense(8, activation = 'selu'))
model_LSTM.add(Dense(4, activation = 'selu'))
model_LSTM.add(Dense(1))

model_LSTM.compile(optimizer = Adam(learning_rate = 0.001), loss='mse')
model_LSTM.summary()

PRODUCT_ID - 12

딥러닝

학습 RMSE: 0.06607926449502957 검증 RMSE: 0.05921918568987373 학습 MAE: 0.03685247268320722 검증 MAE: 0.04013581683132576 학습 MAPE: inf 검증 MAPE: inf 학습 R2 점수: 0.5092537047409504 검증 R2 점수: 0.6654690033907339

LSTM

• x, y를 분할

  x = df_product12_final.drop('target', axis=1)
  y = df_product12_final.loc[:, 'target']

• 2차원에서 3차원으로 변환함

  # 하루를 한 단위로 묶겠다
  timesteps = 24
  x2, y2 = temporalize(x, y, timesteps)

• 3차원 스케일링

  def scale(X, scaler):
    for i in range(X.shape[0]):
        X[i, :, :] = scaler.fit_transform(X[i, :, :])
    return X
  

3차원 스케일링

from sklearn.preprocessing import MinMaxScaler scaler = MinMaxScaler()

X_train

X_train_s = scale(X_train, scaler)

X_val

X_val_s = scale(X_val, scaler)

- y 스케일링
```python
# y 스케일링
scaler = MinMaxScaler()

y_train_s = scaler.fit_transform(y_train.reshape(-1,1))
y_val_s = scaler.transform(y_val.reshape(-1,1))

• LSTM 적용

  from keras.models import Sequential
  from keras.layers import LSTM, Dense
  

model_lstm = Sequential() model_lstm.add(LSTM(50, input_shape=(X_train_s.shape[1], X_train_s.shape[2]))) model_lstm.add(Dense(1)) model_lstm.compile(optimizer='adam', loss='mse')

print("LSTM 모델 구조") print(model_lstm.summary())

history = model_lstm.fit(X_train_s, y_train_s, epochs=50, validation_split=.2).history

- LSTM 시각화
```python
plt.plot(history['loss'], label = 'train_err', marker = '.')
plt.plot(history['val_loss'], label = 'val_err', marker = '.')
plt.grid()
plt.legend()
plt.show()

CNN

from keras.models import Sequential
from keras.layers import Conv1D, MaxPooling1D, Flatten, Dense

model_cnn = Sequential()
model_cnn.add(Conv1D(filters=64, kernel_size=3, activation='relu', input_shape=(X_train_s.shape[1], X_train_s.shape[2]), padding = 'same'))
model_cnn.add(MaxPooling1D(pool_size=2))
model_cnn.add(Flatten())
model_cnn.add(Dense(50, activation='relu'))
model_cnn.add(Dense(1))
model_cnn.compile(optimizer='adam', loss='mse')

print("CNN 모델 구조")
print(model_cnn.summary())

history = model_cnn.fit(X_train_s, y_train_s, epochs=50, validation_split=.2).history

• 시각화

  plt.plot(history['loss'], label = 'train_err', marker = '.')
  plt.plot(history['val_loss'], label = 'val_err', marker = '.')
  plt.grid()
  plt.legend()
  plt.show()

  

PRODUCT_ID - 42

머신러닝

• DecisionTreeRegressor
  • RMSE 24.635519509689512
  • MAE 19.186147186147185

• RandomForestRegressor
  • RMSE 18.32681937726738
  • MAE 14.461006258846675

• XGBRegressor
  • RMSE 19.054946252551975
  • MAE 14.925340971019674

• LGBMRegressor
  • RMSE 18.8105078934692
  • MAE 14.729264357818643

• LinearRegression
  • RMSE 35.299717336187015
  • MAE 29.73039955720623

LSTM

• 전처리

  def flatten(X):
    flattened_X = np.empty((X.shape[0], X.shape[2]))
    for i in range(X.shape[0]):
        flattened_X[i] = X[i, (X.shape[1]-1), :]
    return flattened_X
  

def scale(X, scaler): for i in range(X.shape[0]): X[i, :, :] = scaler.transform(X[i, :, :]) return X

- 2차원 -> 3차원
```python
# 2차원으로 변환하여 스케일러 생성
scaler = MinMaxScaler().fit(flatten(x_train))

• 스케일링

  # y에 대한 스케일링(최적화를 위해)
  scaler_y = MinMaxScaler()
  y_train_s3 = scaler_y.fit_transform(y_train.reshape(-1,1))
  y_val_s3 = scaler_y.transform(y_val.reshape(-1,1))

• LSTM

  clear_session()
  

model = Sequential([LSTM(32, input_shape=(timesteps, n_features), return_sequences=True), LSTM(16,return_sequences=False), Dense(1)]) model.summary()

- 시각화
```python
plt.plot(hist['loss'], label = 'train_err', marker = '.')
plt.plot(hist['val_loss'], label = 'val_err', marker = '.')
plt.grid()
plt.legend()
plt.show()

CNN

n_features = x_train.shape[2]

clear_session()

model3 = Sequential([Conv1D(32, 5, input_shape = (timesteps, n_features), activation='relu', padding = 'same'),
                    Flatten(),
                    Dense(1)])

model3.compile(optimizer= Adam(learning_rate = 0.01) ,loss='mse')

• 시각화

  plt.plot(hist['loss'], label = 'train_err', marker = '.')
  plt.plot(hist['val_loss'], label = 'val_err', marker = '.')
  plt.grid()
  plt.legend()
  plt.show()

  

소개

• AICE는 인공지능 능력시험입니다. (AI 자격증) 영어 능력을 평가하는 토익처럼, AICE는 인공지능 활용능력을 평가합니다. KT가 개발했고, 한국경제와 함께 주관합니다.

• 실무에서 가장 많이 쓰는 Tabular 데이터에 대해 파이썬 기반으로 데이터 분석 / 처리 / 모델링을 수행합니다.

• AICE 출제범위
  • 탐색적 데이터 분석 필요한 라이브러리 설치 / Tabular 데이터 로딩 / 데이터의 구성 확인, 상관분석 / 데이터 시각화
  • 데이터 전처리 데이터 결측치 처리 / 라벨 인코딩, 원핫 인코딩 / x,y 데이터 분리 / 데이터 정규분포화, 표준화
  • 머신러닝 / 딥러닝 모델링 scikit-learn, TensorFlow 등을 활용하여 문제에 제시된 예측, 분류를 위해 머신러닝, 딥러닝 모델링
  • 모델 성능평가 모델 성능평가 및 그래프 출력

진행 과정

AICE ASSOCIATE 시험 대비하여 5차 미니 프로젝트를 2일동안 진행했습니다.

총 3개의 데이터를 개별적으로 과제를 수행한 후, 조별로 토론을 해보는 시간을 가졌습니다.

주제는

1. VOC를 제기한 고객의 해지 여부 예측 문제
2. 통신 서비스 이용 고객의 이탈여부 예측 문제
3. 네비게이션 주행데이터를 이용한 도착시각 예측 문제 (추가 자료)
4. 악성사이트 탐지 머신러닝 모델 개발

이 주제로 각각 데이터 전처리 부터 머신러닝, 딥러닝, 모델 성능평가를 진행했습니다.

이때까지 배운 내용을 수행하면서 나의 실력을 측정해볼 수 있는 좋은 기회라 생각했습니다.

5차 미니프로젝트 덕분에 부족한 점을 찾아서 AICE 자격증 시험을 합격하도록 하겠습니다.

헷갈린 코드

# df1의 데이터프레임에 '변수1'에 '_' 값이 몇 개가 있는지 확인
(df1['변수1'] == '_').count()

# 강사 코드
count = (df1['변수1'] == '_').sum()
print(count)

# df1의 '_'의 값을 null 값으로 변경하고 df2에 저장
df2 = df1.replace('_', None)

# 강사 코드
df2 = df1.replace('_', np.nan)

# 1. df2에 '변수2' 컬럼의 최빈값을 확인하는 코드로 확인
# 2. '변수2' null 값을 최빈값으로 변경하고 df3에 저장
df3 = df2.copy()
df3['변수2'] = df3['변수2'].fillna(df3['변수2'].mode()[0])


## 강사코드
# 1. df2에 '변수2' 컬럼의 최빈값을 확인하는 코드로 확인
df2['변수2'].mode()

# 2. '변수2' null 값을 최빈값으로 변경하고 df3에 저장
df2['변수2'].fillna('L', inplace = True)

# 3. df3에 저장
df3 = df2

# df3에 대해 '변수3'의 null 값을 중앙값으로 변경
# 데이터 타입을 정수로 변경 후 df4에 저장
df4 = df3.copy()
df4['변수3'] = df4['변수3'].fillna(df4['변수3'].median().astype(int))
df4['변수3'].median()

# 강사 코드
df3['변수3'].fillna(df3['변수3'].median(), inplace = True)
df4 = df3.astype({'변수3': 'int'})

```python
# 모델의 성능 평가
from sklearn.metrics import confusion_matrix
from sklearn.metrics import classification_report

# y값을 예측하고
y_pred = LR.predict(X_test)

# confusion matrix구하고 heatmap 그래프로 시각화
cm = confusion_matrix(y_test, y_pred)
sns.heatmap(cm, annot = True)

# classification_report 활용
print(classification_report(y_test, y_pred))

# 모델 성능을 평가해서 그래프로 표현
plt.figure(figsize=(10,5))

# 학습 정확도와 검증정확도를 그래프로 표시
plt.plot(history.history['acc'])
plt.plot(history.history['val_acc'])
plt.title('Model Accuracy')

# xlabel에는 epochs, ylabel에는 accuracy
plt.xlabel('Epochs')
plt.ylabel('Accuracy')

# 범례에는 train, validation으로 표시
plt.legend(['Train','Validation'], loc='lower right')

# 학습 손실과 검증 손실을 그래프로 표시
# xlabel에는 Epochs, ylabel에는 Loss 
plt.figure(figsize=(10,5))
plt.plot(history.history['loss'], 'b', label='Train Loss')
plt.plot(history.history['val_loss'], 'y', label='validaton Loss')

# 범례에는 Train Loss와 Validation Loss로 표시
plt.xlabel('Epochs')
plt.ylabel('Loss')
plt.legend()

# y값을 예측하여 y_test_pred에 저장하고 정확도를 출력
y_test_pred = model.predict(X_test, batch_size=10, verbose=1)

y_test = np.argmax(y_test_ohe, axis=1)
y_test_pred = np.argmax(y_test_pred, axis=1)

from sklearn.metrics import accuracy_score
accuracy_score(y_test, y_test_pred)

차량 공유 업체의 차량 사용 전 후에 촬영하는 차량의 정상/ 파손 이미지 무작위 수집을하여 분류하는 모델을 만들었다.

1. 데이터 전처리
2. CNN 모델링
3. Transfer learning
   • Inception V3

세가지 과제를 중점으로 수행하였다.

미니프로젝트 3일차

두번째 주제는 '쿨루프 시공 여부 분류'로 roboflow를 사용하여 YOLOv8을 사용하여 이미지를 분류하는 모델을 생성하였습니다.

강사님들이 제공하는 사진을 사용하여 쿨루프 시공 여부를 분류하는 모델을 생성하였습니다.

미니프로젝트 4일차

4일차에는 3일차와 유사한 방법으로 진행했지만, 인공위성사진을 직접 수집하여 모든 사진에 bounding box를 그려 결과를 도출하는 시간을 가졌습니다.

roboflow 사용

• 바운딩 박스 생성

• 전처리 설정 및 Augmentation 설정

• 생성한 train, valid 데이터를 YOLOv8모델로 가져옴

YOLO 모델을 사용하기 위해서는 yaml 파일을 생성하여야 하는데, 처음에 파일 형식을 좀 어려워서 헷갈리는 부분도 있었습니다.

그리고 특히 경로 설정하는 부분에서 에러가 발생하여 시간을 많이 사용했어서 힘들었어요..ㅠ

약 30장 정도 모아서 YOLO v8 모델에 적용했지만, 더 많은 데이터로 학습시켜 이미지를 분류하는 시간을 가졌으면 좋았겠다는 생각을 했습니다.

미프 맛집

1. 이재모피자

이재모피자는 누구나 아는 그 맛집이죠?

전 여기 한번도 안가봐서 너무너무 가고싶었다고 말했는데, 1차때 조원들이 잊지않고 같이 가줬네요 ㅎㅎ

정말 맛있었습니다~ 이재모피자 강추!

대신 웨이팅있으니 참고하세용

피자 먹고 거울샷 맛집이라 한컷 했어요 어때요? 사이 좋아보이나요? ㅎㅎ

2. 시먼띵

여긴 우육탕면, 탄탄면 파는 시먼띵! 개인적으로 면이 납작해서 먹는 맛이 있었어요~

만두는 다같이 갔을때 꼭 시켜야하죠? 다 맛있고 좋았습니다!

3. 코카모메

코카모메는 전에도 소개 드렸는데요~!

이번엔 기본 메뉴 말고 스페셜텐동을 주문했는데 저기 보이는 꼬리긴 붕장어 보이나요? 😋

느끼한 음식이라 보리차같은 맥주랑 한입 ㅎ

그리고 가게가 맛집으로 유명한 이유가 있더라구요 진짜 사장님이 맛있고 음식이 친절해요!