1. 지도학습

1) 분류모델 평가 지표

분석 모형의 답과 실제 답과의 관계 오차행렬을 통해 모델을 평가함.

1. 오차행렬 (Confusion Matrix)

훈련을 통한 예측 성능을 측정하기 위해 예측 값과 실제 값을 비교하기 위한 표

• True Positive (TP): 실제 True인 답을 True라고 예측 (정답)
• False Positive (FP): 실제 False 답을 True라고 예측 (오답)
• False Negative (FN): 실제 True인 답을 False라고 예측 (오답)
• True Negative (TN): 실제 False 답을 False 예측 (정답)

시계열 데이터의 전력 스펙트럼 밀도(PSD)

시계열 데이터의 전력 스펙트럼 밀도(PSD)는 주파수 대역에 따른 신호의 전력 분포로 인한 뇌의 진동 활동을 조사하기 위해 계산되었습니다. 이 중 다양한 대역의 에너지(δ, θ , α , β, 감마)는 우울증 진단에 필수적인 신경 패턴을 찾는 확률론자들에게 매우 유용한 기사입니다.

요르스 매개변수(활동성, 이동성, 복잡도)

요르스 매개변수(활동성, 이동성, 복잡도)는 신호의 시간적 특성을 기술하기 위해 계산되며, 이를 통해 신호의 동적 특성을 측정할 수 있습니다.

• 요르스 활동(A) 요르스 활동(A)은 다음과 같이 정의됩니다. A =(신호의 분산)/(신호의 평균)
• 이동성?유동성?(M) 이동성은 속도, 즉 사물이 얼마나 빨리 변화하는지를 나타내는 척도
• 복잡도(C) 복잡도(C)는 신호에 잡음이 많거나 물결 모양이 있는 정도를 나타내는 척도입니다.

  다양성

  다양성은 이 시리즈에서 가장 일반적인 척도인 섀넌 엔트로피를 통해 정량적으로 표현되는데, 이는 EEG 신호가 얼마나 예측 불가능하고 복잡한지를 정량화합니다. 여기서 분류기마다 추출된 특징에 대한 반응이 상당히 다르며, 특히 우울 상태와 비우울 상태에 대해 그 차이가 큽니다.

기존 논문과의 차별성

• 클래스 가중치로 불균형 보정 및 Stratified k-Fold를 통한 일반화 성능 신뢰성 확보

• 같은 주제이더라도 자기만의 차별성으로 다를 수 있음.

기여 부분

-> 차별화 포인트로 인해 어떤 기여를 할 수 있는 지, 차별성에 따라 기여 부분이 달라짐.

데이터 누수

• Data Leakage(데이터 누수, 정보 누설)란 미래에 대한 전혀 알 수 없는 대한 정보가 모델 학습에서 사용된 경우를 말함.
• 즉, test 데이터가 모델의 학습에 이용된 경우를 말함.

출처: DACON 톡보드 〈Data Leakage 규칙 관련 상세 설명〉, DACON.GM, 2023-02-01.
링크: https://dacon.io/competitions/official/236055/talkboard/407731

(train, test 데이터 분리 후) 전처리 후 k-fold, k-fold 후 전처리

전처리 후 k-fold하면 안되나?

전처리 후 k-fold

• 교차검증 CV 점수에 누수가 생김. 데이터 분리(train, test) 분리 후 전처리를 하게 되면 전처리된 train 데이터에서 한 번 더 train, validation으로 나눠야 하기 때문에 validation 데이터에 영향을 줌.

k-fold 후 전처리

• 따라서 데이터 분리 후, train 데이터에 대해 train과 validation으로 나눈 후에 전처리를 해야 교차검증 데이터가 영향을 받지 않으므로 누수가 발생하지 않음!

CV 점수

변동 계수 (Coeffcient of Variation, CV)

정의

• CV 값은 데이터의 표준 편차를 평균으로 나눈 값으로, 데이터의 분산 정도를 나타내는 통계 지표

  특징

• 일발적으로 백분율로 표현되며, 데이터 세트의 상대적인 변동성을 측정함.
• CV 값이 낮을수록 데이터가 평균에 더 가깝게 분포되어 안정적이라고 간주됨.
• CV 값이 높을수록 데이터가 널리 퍼져 있어 불안정하다고 해석됨.

Numpy - hstack

• H는 Horizontal으로, 가로로 행렬 결합

MINDCHRONO: A COMPARATIVE STUDY OF DEEP LEARNING MODELS FOR EEG-BASED DEPRESSION DETECTION

용어

Clinical depression(임상우울증)

일시적인 기분 저하부터 중증의 정신질환까지 모두 포함하는 넓은 개념 참고: APA Dictionary of Psychology - Depression

depression(우울증)차이

정신건강 전문가에 의해 진단된, **정신질환으로서의 주요우울장애(Major Depressive Disorder, MDD) 참고:

• American Psychiatric Association. (2013). DSM-5
• WHO ICD-11: https://icd.who.int/

• 구글에서 제공하는 멀티플랫폼 실시간 머신러닝 파이프라인 프레임워크(AI Framework)
• 비디오형식 데이터를 이용한 다양한 비전 AI 기능을 파이프라인 형태로 손쉽게 사용할 수 있도록 제공되는 프레임워크 인체를 대상으로 하는 detect(인식)에 대해서 얼굴인식, 포즈, 객체감지, 모션트레킹 등 다양한 형태의 기능과 모델을 제공하는 프레임워크
• 저스펙으로 사용가능한 가벼운 모델을 제공함. -> '수어 번역 시스템'프로젝트의 웹에 넣기에 적합
• android, iOS, DESKTOP, CLOUD, WEB 및 IoT 환경 전반에서 사용이 가능

[주요 기능]

• Hand Landmarks: 손의 21개 관절 위치 추적
• 빠르고 가벼움: 실시간 웹캠 처리 가능 (YOLO보다 훨씬 빠름)
• Pytorch와 연동 쉬움: 손 좌표를 기반으로 손만 잘라내서 CNN에 전달 가능

출처: https://kwonkai.tistory.com/124 [주홍색 코딩:티스토리]

사용 모델 - LSTM, 패키지 - MediaPipe

순환 신경망(Recurrent Neural Network)모델

• 오디오, 비디오 또는 텍스트와 같은 시계열 데이터를 학습 및 처리하기 위해 만들어진 모델

LSTM

• 장단기 기억 모델로, 순환 신경망 모델의 장기 의존성을 개선한 모델
• 수어를 번역하는 애플리케이션 연구에서 사용됨.
• 본 논문에서는 LSTM을 활용하여 시계열 데이터인 비디오로부터 동적 데이터인 수어 동작을 인식하는 방법을 제안함.

cf) UNet-LSTM

• 음성에서 수어 번역 모델

미디어파이프(MediaPipe)

• 파이프라인 구축을 통해 비디오 및 오디오와 같은 인지 데이터를 처리 오픈 소스 플랫폼 프레임워크
• Google에서 개발한 MediaPipe는 멀티모달(예: 비디오, 오디오, 시각적) 데이터를 처리하기 위한 프레임워크
• 손가락 추적, 얼굴 랜드마크 탐지, 포즈 추정 등과 같은 특정 컴퓨터 비전 작업을 위한 사전 구축된 솔루션을 제공 cf) OpenCV와 차이점
• penCV는 기본적인 이미지 처리부터 고급 비전 알고리즘에 이르기까지 광범위한 기능을 제공하는 범용 라이브러리입니다. 반면, MediaPipe는 특정 고급 비전 작업(예: 손가락 추적, 포즈 추정)을 위한 고성능 솔루션을 제공하는 것에 더 특화되어 있음.
• MediaPipe는 사전 구축된 솔루션을 제공하여 사용자가 쉽게 복잡한 비전 작업을 수행할 수 있게 해주는 반면, OpenCV는 사용자가 보다 많은 사용자 정의와 구현을 요구할 수 있음. 출처: https://kwakscoding.tistory.com/43

분석 과정

활용 데이터 : 105개 문장 및 419개 단어, 한국 수어 동영상 및 각 프레임의 3D 관절 좌표 포함데이터를 미디어 파이프를 통해 동영상 관련 관절 좌표 추출

영상 데이터 1 초당 10개의 프레임 추출 | v [3D 아바타를 통한 수어 표현] Maya 프로그램을 사용한 관절 좌표 추출 ( 각 프레임에 대한 48개의 관절 좌표 추출 (약 50개 프레임) | v LSTM을 활용한 학습 (활성화 함수는 softmax, 완전연결층의 출력 개수 10)

[1] 이재현, 박지수, 성민기, 정세연, 유철중. “딥러닝 기반 양방향 수어 번역 시스템,” 2023 한국정보기술학회 하계 종합학술대회 논문집, pp.801-805, 2023.

사용 모델 - YOLOv5, 패키지 - MediaPipe

YOLOv5

• Backbone 으로는 CSPNet 기반의 CSP-Darknet을 사용하여 이미지에서 특성 맵을 추출하고, head 에서는 추출된 특성 맵을 바탕으로 객체의 위치를 찾음.

3D CNN+LSTM

[2] 김윤기, 지영채, 하정우. "청각장애인을 위한 UNet-LSTM 기반의 자동 음성-수어 번역 모델", 2019 한국정보과학회 2019 한국컴퓨터종합학술대회 논문집, pp709 - 711, 2019

7.1 문자열 데이터 처리

char

• 고정 길이 문자열 자료형
• 지정한 크기보다 문자열이 작으면 나머지 공간을 공백으로 채움
• MySQL: 255글자

  varchar

• 가변 길이 문자열 자료형
• 크기만큼 데이터가 들어오지 않으면 그 크기에 맞춰 공간 할당
• 헤더에 길이 정보가 포함
• MySQL 최대 65,536 글자 허용

  text

• 매우 큰 가변 길이 문자열 저장
• MySQL: 최대 4 기가바이트 크기 문서 저장
• clob: 오라클 데이터베이스

테이블 생성

문자열 데이터를 테이블에 추가

• 문자열의 길이가 해당 열의 최대 크기를 초과하면 예외 발생

  varchar 문자열 처리

• update문으로 vchar_fld열 (varchar(30))에 설정 길이보다 더 긴 문자열 저장
• MySQL 6.0 이전 버전: 문자열을 최대 크기로 자르고 경고 발생
• MySQL 6.0 이후 기본 모드는 strict 모드로 예외 발생됨

작은 따옴표 포함

• 문자열 내부에 작은 따옴표를 포함하는 경우 (I’m, doesn’t 등 )
• escape 문자 추가 방법 • 작은 따옴표를 하나 더 추가
  • 백슬래시(‘\’) 문자 추가

  작은 따옴표 포함

• quote() 내장 함수
• 전체 문자열을 따옴표로 묶고, 문자열 내부의 작은 따옴표에 escape문자를 추가

7.1.2 문자열 조작

length() 함수: 문자열의 개수를 반환

• char열의 길이: 빈 공간을 공백으로 채우지만, 조회할 때 char데이터에서 공백 제거

position() 함수

locate(‘문자열’, 열이름, 시작위치) 함수

• 시작 위치부터 문자열 검색: 처음 발견되는 인덱스 리턴

strcmp(‘문자열1’, ‘문자열2’) 함수: 문자열 비교

• 대소문자 구분 안함
  • if 문자열1 < 문자열2, -1 반환: 정렬 순서에서 문자열1이 문자열2의 앞에 오는 경우 • if 문자열1 == 문자열2, 0 반환: 문자열이 동일 • if 문자열1 > 문자열2, 1 반환: 문자열1이 문자열2의 뒤에 오는 경우
• string_tbl 삭제 후 새로운 데이터 추가

strcmp() 예제

• 5개의 서로 다른 문자열 비교

SELECT 절에 LIKE 연산자나 REGEXP 연산자를 사용

• 0 또는 1의 값을 반환 -'y$' : name 칼럼의 값이 'y'로 끝나면 1을 반환

string_tbl 리셋

concat(): 문자열 추가 함수

• concat() 함수를 사용하여 string_tbl의 text_fld열에 저장된 문자열 수정 • 기존 text_fld의 문자열에 ', but now it is longer’ 문자열 추가

concat() 함수 활용

• 각 데이터 조각을 합쳐서 하나의 문자열 생성 • concat() 함수 내부에서 date(create_date)를 문자열로 변환

insert() 함수

• 4개의 인수로 구성
• insert(문자열, 시작위치, 길이, 새로운 문자열) • 세 번째 인수값(길이)=0: 새로운 문자열이 삽입 • 세 번째 인수값 > 0: 해당 문자열로 교체

replace() 함수

• replace(문자열, 기존문자열, 새로운 문자열)
• 기존 문자열을 찾아서 새로운 문자열로 교체

substr() 또는 substring() 함수

• substr(문자열, 시작위치, 개수)
• 문자열에서 시작 위치에서 개수만큼 추출

7.2 숫자 데이터 처리

산술 함수

숫자 자릿수 관리

• ceil() 함수: 가장 가까운 정수로 올림 • ceil(72.445) = 73

• floor() 함수: 가장 가까운 정수로 내림 • floor(72.445) = 72

• round() 함수: 반올림 • 소수점 자리를 정할 수 있음 • round(72.0909, 1) = 72.1
  • round(72.0909, 2) = 72.09

• truncate(숫자, 자릿수) 함수: 자릿수 아래를 버림 • truncate(72.0956, 1) = 72.0 • truncate(72.0956, 2) = 72.09 • truncate(72.0956, 3) = 72.095

sign()함수

• 값이 음수이면 -1, 0이면 0, 양수이면 1을 반환

7.3 시간 데이터 처리

시간대(time zone)처리

• 24개의 가상 영역으로 분할
• 협정 세계표준시(UTC: Universal Time Coordinated) 사용
• utc_timestamp() 함수 제공

  시간 데이터 생성 방법

• 기존 date, datetime 또는 time 열에서 데이터 복사
• date, datetime 또는 time을 반환하는 내장 함수 실행
• 서버에서 확인된 시간 데이터를 문자열로 표현

시간 데이터의 문자열 표시

• datetime 기본 형식: YYYY-MM-DD HH:MI:SS
• datetime 열을 2022년 8월 1일 오전 09:30 으로 표현 • ‘2022-08-01 09:30:00’ 의 문자열로 구성
• MySQL 서버의 시간 데이터 처리 • datetime 형식으로 표현된 문자열에서 6개의 구성요소를 분리해서 문자열을 변환
• cast() 함수
  • 지정한 값을 다른 데이터 타입으로 변환
  • cast() 함수를 이용해서 datetime값을 반환하는 쿼리 생성

cast() 함수

• date 값과 time 값을 생성

  MySQL의 문자열을 이용한 datetime 처리

• MySQL은 날짜 구분 기호에 관대
  • 2019년 9월 17일 오후 3시 30분에 대한 유효한 표현 방식

  날짜 생성 함수

• str_to_date(str, format) • 형식 문자열의 내용에 따라 datetime, date 또는 time값을 반환 • cast() 함수를 사용하기에 적절한 형식이 아닌 경우 사용 • ‘September 17, 2019’ 문자열을 date 형식으로 변환- str(문자열)의 형식에 맞춰 format을 설정
• %M: 월 이름 (January ~ December)
• %d: 숫자로 나타낸 월(01 ~ 12)
• %Y: 연도, 4자리 숫자

날짜 형식의 구성 요소: format

str_to_date(str, format) 예제

• 날짜 정보가 슬래쉬(‘/’)로 구분되어 있음

• 일, 월, 연도로 표시된 문자열을 날짜로 변환

• 시간 문자열을 time값으로 변환

현재 날짜/시간 생성

• 내장 함수가 시스템 시계를 확인해서 현재 날짜 및 시간을 문자열로 반환
• CURRENT_DATE(), CURRENT_TIME(), CURRENT_TIMESTAMP()

  날짜를 반환하는 시간 함수

• date_add() • 지정한 날짜에 일정 기간(일, 월, 년 등)을 더해서 다른 날짜를 생성

기간 자료형

날짜를 반환하는 시간 함수

• last_day(date) • 해당월의 마지막 날짜 반환

문자열을 반환하는 시간 함수

• dayname(date) 함수 • 해당 날짜의 영어 요일 이름을 반환

문자열을 반환하는 시간 함수

• extract() 함수 • date의 구성 요소 중 일부를 추출
  • 기간 자료형으로 원하는 날짜 요소를 정의

  숫자를 반환하는 시간 함수

• datediff(date1, date2) 함수 • 두 날짜 사이의 기간(년, 주, 일)을 계산 • 시간 정보는 무시

변환 함수

• cast() 함수
  • 데이터를 한 유형에서 다른 유형으로 변환할 때 사용 • cast(데이터 as 타입)

7.1

7.1

6.1 집합 이론

6.2 집합 이론 실습

집합 연산 규칙

• 두 데이터셋 모두 같은 수의 열(column)을 가져야 됨

6.3 집합 연산자

union 연산자

• union 연산자 • 결합된 집합을 정렬하고 중복을 제거
• union all 연산자
  • 최종 데이터셋의 행의 수는 결합되는 집합의 행의 수의 총합과 같음 • 중복되는 모든 값을 보여줌

  union: 중복 데이터 제거

  INTERSECT 연산자

• MySQL 8.0.31 버전에서 지원
• customer 테이블과 actor 테이블에서 first_name이 ‘D’로 시작하고, last_name이 ‘T’로 시작하는 명단
  검색
• inner join 연산자를 이용하여 공통 항목 검색

EXCEPT 연산자

• MySQL 8.0.31 버전에서 지원 • A EXCEPT B: A의 결과에 포함된 B의 내용 제거
  

복합 쿼리의 결과 정렬

• order by 절을 쿼리 마지막에 추가 • 열 이름 정의는 복합 쿼리의 첫 번째 쿼리에 있는 열의 이름을 사용해야 됨.

집합 연산의 순서

• 복합 쿼리는 위에서 아래의 순서대로 실행
• 예외: intersect 연산자가 다른 집합 연산자보다 우선 순위가 높음

5장. 다중 테이블 쿼리

5.1 JOIN

다중 테이블 쿼리

• 대부분의 쿼리는 여러 테이블을 필요로 함
• 외래 키(foreign key): 여러 테이블을 연결할 연결 수단
• 조인(JOIN) • 두 개 이상의 테이블을 서로 묶어서(연결) 하나의 결과 집합으로 만들어 내는 것

  5.1 JOIN: JOIN의 종류별 그림

  JOIN의 종류

  

5.1 JOIN: 교차 조인

데카르트 곱 (Cartesian Product): 교차 조인

• 두 개의 테이블에서 한 테이블의 모든 행들과 다른 테이블의 모든 행을 결합
• 교차 조인(CROSS JOIN): JOIN의 조건이 없이 모든 행을 결합

교차 조인

• customer 및 address 테이블을 교차 조인 • 결합(JOIN)의 조건 없이 모든 행을 결합

    - 조인의 조건(ON)이 없음

  

내부 조인 (INNER JOIN): 가장 일반적인 JOIN 유형

• 두 개 이상의 테이블을 묶어서 하나의 결과 집합을 만들어 내는 것 •일반적으로 JOIN은 INNER JOIN을 지칭 •두 테이블에서 공통으로 존재하지 않는 데이터는 연결(JOIN)하지 않음

5.1 JOIN: 외부 조인

외부 조인(Outer JOIN)

• 외부 조인 •한쪽 테이블에만 존재하는 데이터들을 다른 테이블에 결합하는 방식

5.1.3 ANSI JOIN 문법

교재의 테이블 조인 표기법

• ANSI SQL 표준의 SQL92 버전 사용

  이전 문법 표기

• 조인 조건 및 필터 조건: WHERE절에 표기

• 조인 조건과 필터 조건을 구분하기 어려움

• SQL92 문법 표기 • JOIN 조건: ON 절 • 필터 조건(검색 조건): WHERE 절-

5.2 세 개 이상 테이블 조인

세 개 이상 테이블 조인

• Key 컬럼의 MUL: 다른 테이블의 기본 키를 참조하는 외래 키인 경우 • MUL(Multiple Occurrences Column): 여러 행이 동일한 값을 가질 수 있음을 의미

• JOIN 과정에서 FROM절의 테이블 순서는 중요하지 없음: 데이터베이스 내부에서 결정

서브 쿼리 사용

• 서브 쿼리(addr) 결과를 customer 테이블과 INNER JOIN • 쿼리 결과

• California에 거주하는 모든 고객들의 이름, 성, 주소, 도시, 지역을 검색

테이블 재사용

• 여러 테이블을 JOIN할 경우, 같은 테이블을 두 번 이상 JOIN 할 수 있음
• 두 명의 특정 배우가 출연한 영화 제목 검색 • 조인 테이블: film, film_actor, actor 테이블

5.3 셀프 조인

셀프 조인(self-JOIN)

• 자기 자신에게 JOIN • customer_id 1(John)과 2(Mary)는 서로 배우자 • customer_id 3(Lisa)과 5(Tim)는 서로 배우자 • 고객의 이름과 배우자의 ID는 알 수 있지만, 배우자의 성과 이름은 바로 알 수 없음 • self-join을 이용하여 customer 테이블에 배우자의 성과 이름을 붙여줄 수 있음.

4.1 조건 평가

WHERE 절

• AND 또는 OR 연산자로 하나 이상의 조건을 포함 • AND: 모든 조건이 true

  WHERE first_name =    'STEVE' AND create_date >    '2006-01-01'

  • OR: 조건 중 하나만 true이면, 해당 조건은 true

  WHERE first_name =    'STEVE' OR create_date > '2006-01-01'

• 괄호 사용 • 여러 개의 조건을 포함하는 경우, 괄호를 써서 의도를 명확히 표현

  WHERE (first_name =    'STEVE' OR last_name = 'YOUNG')
  AND create_date >    '2006-01-01

• not 연산자

  WHERE not (first_name =    'STEVE' OR last_name =    'YOUNG')
  AND create_date >    '2006-01-01'

  »2006년 1월 1일 이후에 기록이 생성된 사람 중에
  »이름이 STEVE이거나 성이 YOUNG이 아닌 행만 검색

• not 연산자로 <> 사용

  WHERE first_name <> 'STEVE' AND last_name <> 'YOUNG'
  AND create_date >    '2006-01-01

4.2 조건 작성

조건 작성

• 하나 이상의 연산자와 결합된 표현식으로 구성
• 표현식 • 숫자 • 테이블 또는 뷰의 열 • 문자열
  • concat()과 같은 내장 함수 • 서브 쿼리 • (‘Boston’, ’New YORk‘, ‘Chicago’)와 같은 표현식 목록
• 조건 연산자 • 비교 연산자: =, !=, <, >, <>, like, in, BETWEEN • 산술 연산자: +, -, *, /

4.3 조건 유형

동등 조건(equality condition): ‘열 = 표현/값’

부등 조건(inequality condition): 두 표현이 동일하지 않음

• <> 또는 != 사용

  범위 조건

• 해당 식이 특정 범위 내에 있는지 확인 • 해당 날짜만 검색: date(rental_date) = ‘2005-05-25’

  범위 조건

• 2005년 6월 14일부터 6월 16일까지의 데이터를 출력하기 위해 • date(rental_date)를 사용: 정확한 날짜만 추출

  BETWEEN 연산자

• BETWEEN [범위의 하한값] AND [범위의 상한값] »하한값, 상한값의 위치가 바뀌면 결과 출력 없음
• 숫자 범위 사용 • 하한값과 상한값이 범위에 포함됨

  문자열 범위

  §last_name이 ‘FA’와 ‘FRB’로 시작하는 데이터 리턴

4.3.3 멤버십 조건

OR 또는 IN() 연산

• 유한한 값의 집합으로 제한

IN() 연산

• 컬럼명 IN (값1, 값2, ...) • 지정한 컬럼의 값이 특정 값에 해당되는 조건을 만들 때 사용 (OR 대신 사용)

서브 쿼리 사용

• 값의 집합을 생성할 수 있음

  SELECT title,    rating
  FROM film
  WHERE rating    in (SELECT rating    FROM film    WHERE title    like '%PET%');

  

• 서브 쿼리 내용 - ‘PET’을 포함하는 영화 제목을 찾고, 그 영화 제목의 rating을 반환 (‘P’, ‘PG’)

»‘PET%’: PET로 시작하는 어 »‘%PET’: PET로 끝나는 단어 »‘%PET%’: PET를 포함하는 단어

SELECT title,    rating    FROM film    WHERE title    like '%PET%';

• WHERE 절 내용

• WHERE rating in ('G', 'PG');

NOT IN 사용

• 표현식 집합 내에 존재하지 않음 • NOT IN(‘PG-13’, ‘R’, ‘NC-17’)- 영화 등급이 ‘PG-13’, ‘R’, ‘NC-17’이 아닌 모든 영화를 찾음 • NOT IN(‘PG-13’, ‘R’, ‘NC-17’)- 영화 등급이 ‘PG-13’, ‘R’, ‘NC-17’이 아닌 모든 영화를 찾음

4.3.4 일치 조건

문자열 부분 가져오기

• left(문자열, n) • 문자열의 가장 왼쪽부터 n개 가져옴

• mid(문자열, 시작 위치, n),
  • substr(문자, 시작 위치, n)도 동일한 기능 수행: 시작 위치는 1부터 시작

• right(문자열, n) • 문자열의 가장 오른쪽부터 n개 가져옴

  와일드 카드

• ‘_’: 정확히 한 문자

• ‘%’: 개수에 상관없이 모든 문자 포함

일치 조건(matching condition)

• 와일드 카드 사용시 LIKE 연산자를 사용
• ‘AT%S’:

정규 표현식 사용

• ‘^[QY]’: Q 또는 Y로 시작하는 단어 검색

Null값의 다양한 경우

• 해당 사항 없음
• 아직 알려지지 않은 값
• 정의되지 않은 값

  Null 확인 방법

• is null 사용 (= null)

  is not null

• 열에 값이 할당되어 있는 경우 (null이 아닌 경우)

  Null과 조건 조합

• 2005년 5월에서 8월 사이에 반납되지 않은 대여 정보 검색
  • 반납이 되지 않은 경우, 반납 날짜의 값이 NULL • 또는 반납 날짜가 2005년 5월~ 2005년 8월 사이가 아닌 경우
  

3.2. 쿼리(query) 절

select문

3.3. Select 절

select 절

• • (asterisk): 모든 열을 지정

    Select절에 추가할 수 있는 항목

• 숫자 또는 문자열
• 표현식
• 내장 함수 호출 및 사용자 정의 함수 호출

  SELECT    language_id,
  'COMMON'    language_usage,
  language_id    *    3.14    lang_pi_value,
  upper(name)    language_name
  FROM    language;

• 원래 language 테이블에는 없는 컬럼 (가상 컬럼)

열의 별칭(column alias)

• 열의 레이블을 지정할 수 있음
• 출력을 이해하기 쉽게 함
• AS(as) 키워드 사용: 가독성 향상

중복 제거

• 동일한 배우가 여러 영화에 출연: 중복된 actor_id 발생
  • all 키워드: 기본값, 명시적으로 지정할 필요가 없음
• DISTINCT(또는 distinct) 키워드 사용: 중복 제거

  SELECT    DISTINCT    actor_id    FROM    film_actor    ORDER    BY    actor_id;

3.4 From 절

From 절 역할

• 쿼리에 사용되는 테이블을 명시
• 테이블을 연결하는 수단

테이블 유형: from 절에 포함

• 영구 테이블(permanent table)
  • CREATE TABLE 문으로 생성된 테이블
  • 실제 데이터베이스에 존재하는 테이블
• 파생 테이블(derived table)
  • 하위 쿼리(subquery)에서 반환하고 메모리에 보관된 행
• 임시 테이블(temporary table)
  • 메모리에 저장된 휘발성 데이터
• 가상 테이블(virtual table)
  • CREATE VIEW 문으로 생성

파생 테이블

• subquery(서브 쿼리): 9장 참조 • FROM 절에 위치한 SELECT문(서브 쿼리)은 실행 결과로 테이블을 생성: 파생 테이블 • 즉, 다른 테이블과의 상호작용을 할 수 있는 파생 테이블을 생성
• ** concat(문자열1, 문자열2, ...): 둘 이상의 문자열을 순서대로 합쳐서 반환**

임시 테이블

• 휘발성의 테이블: 데이터베이스 세션이 닫힐 때 사라짐
  

가상 테이블(View)

• SQL 쿼리의 결과 셋을 기반으로 만들어진 가상 테이블
• 실제 데이터가 저장되는 것이 아닌, view를 통해 데이터를 관리
• 복잡한 쿼리문을 매번 사용하지 않고 가상 테이블로 만들어서 쉽게 접근함!

3.5. Where 절

테이블 연결

• JOIN(INNER JOIN) • 두 개 이상의 테이블을 묶어서 하나의 결과 집합을 만들어 내는 것 • 연결(결합) 조건: on

    - customer 테이블의 customer_id와 rental 테이블의 customer_id의 값이 일치하는 경우에만 데이터를 가져옴.

테이블 연결

• customer 테이블과 rental 테이블 확인
  • 두 테이블은 customer_id로 연결되어 있음

DATETIME 데이터

• date() 함수 • datetime 데이터에서 date 정보(YYYY-MM-DD)만 추출

• time() 함수 • time 정보(HH:MI:SS) 정보만 추출

테이블 연결(inner join) 결과

 SELECT    customer.first_name,    customer.last_name,
 time(rental.rental_date)    rental_date
 FROM    customer    inner    join    rental
 ON    customer.customer_id    =    rental.customer_id
 WHERE    date(rental.rental_date)    =    '2005-06-14';

테이블 별칭 정의

• 여러 테이블을 join할 경우, 테이블 및 열 참조 방법 • 테이블 이름 및 열 이름 사용 • 각 테이블의 별칭을 할당하고 쿼리 전체에서 해당 별칭을 사용

    - AS    키워드 사용
    ![](https://velog.velcdn.com/images/ha_/post/5567e4a3-4b2a-4727-ae7f-1153edeb6ead/image.png)

where 절

• 필터 조건: 조건에 맞는 행의 데이터만 가져옴 • AND, OR, NOT 연산자 사용

Where절 검색 조건

• and, or 사용 • (G등급이면서 7일 이상 대여할 수 있거나), (PG-13 등급이면서 3일 이내로 대여)할 수 있는 영화 목록

3.6 Group by절과 having절

GROUP BY

• 열(column)의 데이터를 그룹화

  SELECT    컬럼 FROM    테이블 GROUP    BY    그룹화할 컬럼;

  HAVING (필터링 조건)

• 특정 열을 그룹화한 결과에 필터링 조건을 설정: group by 이후에 having 위치 • WHERE: 모든 필드에 대한 필터링 수행, from 다음에 위치
  • count(*): 그룹화 한 전체 행의 수

3.7 Order by 절

order by 절

ORDER    BY [컬럼명 |    컬럼번호] [ASC    |    DESC]

• 지정된 컬럼(열)을 기준으로 결과를 정렬 (다중 컬럼인 경우, 왼쪽부터 정렬)
• 오름차순(ASC): 기본 정렬 값, 내림차순(DESC) • 영화 대여 고객의 last_name을 기준으로 정렬- 오름 차순 정렬 (asc는 생략 가능) • 고객 중 last_name이 동일한 경우,- first_name 으로 다시 정렬

내림 차순 정렬: DESC

컬럼의 순서(컬럼의 인덱스)를 통한 정렬

• order by 다음에 정렬 기준이 되는 컬럼의 순서(index)를 사용

데이터베이스

• ‘데이터의 집합’
• 여러 사용자나 응용 프로그램이 공유하고 동시에 접근 가능한 데이터
• ‘데이터의 저장 공간’ 자체를 의미하기도 함

DBMS(Database Management System)

• 데이터베이스를 관리·운영하는 소프트웨어
• 사용자나 응용 프로그램은 DBMS가 관리하는 데이터에 동시에 접속하여 데이터를 공유함.

데이터베이스의정의와특징

데이터베이스의 특징

• 데이터의 무결성
  • 데이터베이스 안의 데이터는 어떤 경로를 통해 들어왔든 오류가 없어야 함
• 데이터의 독립성
  • 데이터베이스와 응용 프로그램은 서로 의존적인 관계가 아니라 독립적인 관계임
• 보안
  • 데이터베이스 안의 데이터는 데이터를 소유한 사람이나 데이터에 접근이 허가된 사람만 접근할 수 있음
• 데이터 중복 최소화
  • 데이터베이스에서는 동일한 데이터가 여러 군데 중복 저장되는 것을 방지함
• 응용 프로그램 제작 및 수정 용이
  • 통일된 방식으로 응용 프로그램을 작성할 수 있고 유지·보수 또한 쉬움
• 데이터의 안전성 향상
  • 데이터가 손상되는 문제가 발생하더라도 원래의 상태로 복원 또는 복구할 수 있음

데이터베이스 발전

오프라인 관리

• 종이에 기록해 장부로 관리

  파일시스템사용

• 컴퓨터파일에기록/저장:엑셀등활용
• 데이터의양이많아지면데이터의관리가어려움
• 데이터중복발생가능

데이터베이스발전

데이터베이스 관리시스템

• 파일시스템의 단점 보완
• 대용량의 데이터를 보다 효율적으로 관리하고 운영하기 위해 사용
• 데이터의 집합인 데이터베이스를 잘 관리하고 운영하기 위한 시스템 또는 소프트웨어

  SQL(Structured Query Language)

• DBMS에 데이터 구축/관리/활용을 위해 사용되는 언어
• DBMS를 통해 중요한 정보들을 입력, 관리, 추출

관계형모델

관계형 DBMS

- 모든 데이터는 테이블에 저장
- 테이블 간의 관계는 기본키(PK)와 외래키(FK)를 사용하여 맺음(부모-자식 관계)

장점

• 다른 DBMS에 비해 업무 변화에 따라 바로 순응
• 유지·보수 측면에서 편리
• 대용량 데이터를 체계적으로 관리할 수 있음
• 데이터의 무결성(integrity)이 잘 보장됨 • 정확한 데이터가 유지됨을 보장

  단점

• 시스템 자원을 많이 차지
• 시스템이 전반적으로 느려지는 단점이 있음 (하드웨어 발전으로 해결)

주요용어

테이블의 구조와 관련 용어

SQL의 개요

SQL(Structed Query Language, Sequel)

• 데이터베이스를 조작하는 언어
• 구조화된 질의 언어

  SQL의 특징

• DBMS 제작 회사와 독립적임
• 다른 시스템으로의 이식성이 좋음
• 표준이 계속 발전함
• 대화식 언어임
• 클라이언트/서버 구조 지원함

  표준 SQL과 각 회사의 SQL

• 많은 회사가 되도록 표준 SQL을 준수하려고 노력
• 각 회사의 DBMS마다 특징이 있기때문에 현실적으로 완전히 통일되기는 어려움
• 각 회사의 제품은 모두 표준 SQL을 공통으로 사용하면서 자기 제품의 특성에 맞춘 호환되지 않는 SQL문 사용

SQL 스키마

SQL 스키마(SQL Schema)

• 데이터베이스의 구조와 제약조건에 관해 전반적인 명세를 기술한 것
• 속성,개체,관계에 대한 정의

- 과제 풀이

get 메서드

.get() 메서드는 딕셔너리에서 주어진 키(key)에 해댕하는 값을 반환하는 메서드

3. 공공 데이터 - 지하철 데이터

- lambda

람다식(무명 함수)

• 람다식이란 이름은 없고 몸체만 있는 함수를 의미
• 1회용으로 간단한 기능의 함수를 만드는 것
• lambda() 키워드로 생성
• 콜론(:)을 기준으로 매개변수 와 수식(함수 몸체)으로 나뉨.
• 여러 개의 매개 변수를 가질 수 있지만, 반환값은 하나만 허용
• 람다식은 결과를 자동으로 return lambda 매개변수1, 매개변수2 : 함수 몸체(매개변수를 이용한 표현식)

- key 매개변수

.get() 23

- cf) .items()

• 강의자료 p30
• *.items()** : 딕셔너리에서 key, value 쌍을 다 뽑아옴.

파이(Pie) 그래프

데이터표준화

• 시각화
• wedgeprops 매개변수 : 쐐기 생성
• width : 쐐기 너비, 바깥쪽너비            바깥쪽반지름–안쪽반지름

wedgeprops={'width': 0.7,                     'edgecolor': 'w',                     'linewidth': 8}

Chapter 08. 데이터 사전처리

PANDAS 데이터 사전처리

데이터표준화

• 자료형 변환

  • 기본 자료형 ↑                                              ↓
  • 데이터 자료형 => 범주형, 연속형

• 함수 객체.astype(‘자료형’)              => 자료형으로 변환 객체.dtypes(                        => 자료형 확인

범주형 데이터 처리

• 구간 분할(Binning) 연속형 데이터를 일정 구간으로 나누어 범주형 데이터로 변환

• *pandas.cut((x=df[컬럼명],                              # 데이터배열

                               right=True,                            # 오른쪽 같 포함

                       bins=n,                                 # 경계값리스트                       labels=bin_names,                  # bin 이름                       include_lowest=True)              # 첫경계값포함 ) A < ~ <= B**

• 더미변수(Dummy Variable)
  • 컴퓨터가인식가능한입력값0, 1로변환
    특징(Feature)이 있으면 1, 없으면 0 → One-Hot-Encoding

pandas.get_dummies( 구간분할 데이터 )

• 정규화(Normalization)란? • 각열에 속하는 숫자 데이터의 상대적 크기 차이 해결 • 동일한 크기 기준으로 나눈 비율로 나타내는 것 • 데이터범위: 0 ~ 1 또는 -1 ~ 1

• 방법 • 열의 최대값의 절대값으로 데이터 나누기 • 열의 최대값 - 최소값 결과값으로 데이터 나누기

Chapter 09. 데이터 응용

PANDAS 데이터 응용

함수 매핑

object.apply( 함수명,                   args=( ),              # 객체 이외에 함수에 전달되는 인자                   **kwargs,             # 객체 이외에 함수에 전달되는 가변인자                   axix=0,                # 0 or ‘index’: apply function to each column.
                                           # 1 or ‘columns’: apply function to each row.                  result_type=         # expand - 열에 리스트와 유사한 결과반환                                           # reduce - 시리즈 반환,                                            # broadcast - 데이터프레임                  ) 반환: 단일값, 시리즈, 데이터프레임

object.applymap( func,                   na_action,               # NaN 데이터 처리                   **kwargs,             # 객체 이외에 함수에 전달되는 가변인자                  )
반환: DataFrame

object.pipe( func,                   args=( ),              # 객체 이외에 함수에 전달되는 인자                   **kwargs,             # 객체 이외에 함수에 전달되는 가변인자                   axis=0                  )
반환: 단일값, 시리즈, 데이터프레임

열재구성-열순서변경

열재구성-열분리

필터링(Filtering)

bbox_to_anchor=(1,1)

• 범례 위치를 그래프 밖으로 뺄 수 있음

데이터 분석이란?

• 유용한 정보를 발굴하고 결론 내용을 알리며 의사결정을 지원하는 것을 목표로 데이터를 정리, 변환, 모델링하는 과정
• 과거의 데이터를 토대로 미래 분석

CSV 파일로 저장

- 절대경로 : C:~ , D:/ Window경우 드라이브부터 전체 경로

- 상대경로 : 현재 파일 기준 경로 설정

. 의미 - 현재 위치 (예) ./파일명 -> 현재 위치와 같은 위치인 파일 .. 의미 - 현재 바로 위 (예) ../파일명, ../폴더명/파일명 -> 현재 위치보다 한 단계 위인 위치

• 상대 경로

  FILE_CSV_R = './data1.csv'     # 상대경로(현재위치)    ..->(현재위치 바깥)
  FILE_CSV_R2 = '../data1.csv'

• 절대 경로

  FILE_CSV_A = r'C:\Users\KDP-519\OneDrive\바탕 화면\KDT7\02_PANDAS\D0121\data2.csv'

DataFrame => CSV 저장

- 행 인덱스 라벨 설정 => index_label 매개변수

• index_label='No' 인덱스 젤 위에 'No' 표시됨

  dataDF.to_csv(FILE_CSV_R, index_label='No')

  - 데이터 구분자 변경 => sep 매개변수 [기본] 쉼표(,)

  dataDF.to_csv(FILE_CSV_A, sep=':')

  - DataFrame의 인덱스 저장하지 않기 설정 => index 매개변수 = False

  - DataFrame의 칼럼명 저장하지 않기 설정 => header 매개변수 = False

  - DataFrame의 파일 쓰기 모두 설정

• mode 매개변수 'w' : 파일 존재 시 내용 지우고 쓰기
• mode 매개변수 'a' : 파일 존재 시 내용 끝에 추가해서 쓰기

  dataDF.to_csv(FILE_CSV_R2, index=False, header=False, mode='a')

  - Series => CSV 파일로 저장

  dataSR1.to_csv(FILE_CSV_R, index_label='NO')
  dataSR1.to_csv(FILE_CSV_R2, index=False)

  - DataFrame => JSON 저장

  FILE_JSON = './data1.json'
  

dataDF.to_json(FILE_JSON)

#### - JSON => DataFrame 로딩

jsonDF = pd.read_json(FILE_JSON) jsonDF

---
>## DataFrame => EXCEL 저장

%pip install openpyxl FILE_EXCEL = './data1.xlsx' dataDF.to_excel(FILE_EXCEL, index_label=False, header=False)

#### - 파일의 첫번째 줄 => [기본] 칼럼으로 설정
#### - 파일의 첫번째 줄 => 칼럼명이 아닌 경우 => heaader 매개변수 None

excelDF = pd.read_excel(FILE_EXCEL, header=None) # 헤더가 없는 경우 읽을 때도 head=None으로 설정해야 함! 첫줄을 칼럼명으로 잡기 때문에 데이터가 칼럼명으로 들어가게 됨!! excelDF ```

• 메서드는 무조건 첫 번째 매개변수가 self

  self를 쓰는 이유?

  재사용된 변수?를 다시 쓰기 위해 찾기 위함??

cf) 용어

속성 = attribute = property = field row = 엔트리 = 인스턴스 기능 = 함수 = 메서드
✏️(cf. 내용이 함수면 메서드 / 내용이 데이터면 속성이라고 부름) | 구분 | 메서드 | 기능 | 속성 | |---------------|----------------------------------|--------------------------------|-------------------------------| | 정의 | 객체와 관련된 함수 | 시스템이 수행하는 작업 | 객체가 보유한 데이터 | | 역할 | 객체의 행동을 정의하고 수행 | 특정 문제 해결을 위한 작업 | 객체의 상태 또는 특성 | | 호출 방식 | 객체.메서드() 형태로 호출 | 메서드나 함수 내부에서 실행됨 | 객체.속성 형태로 접근 | | 예제 | my_car.start_engine() | "파일 저장 기능" 같은 논리적 작업 | my_car.color |

iloc - 정수형 인덱스

Chapter03. PANDAS 기본 프로그래밍 (2)

구조화 데이터

데이터프레임(DataFrame)

행 선택 ( Entry, Record, Row )

열 선택

DataFrame객체 ["열 이름"] DataFrame객체.열 이름

원소 선택

DataFrame객체.loc[행이름, 열이름] DataFrame객체.loc[행번호, 열번호]

DataFrame객체.loc[행인덱스이름][열이름] DataFrame객체.loc[행번호][열번호]

행/열 추가

DataFrame객체.loc[‘추가할 열 이름’] = 데이터 값

구조화 데이터

데이터프레임(DataFrame)

• 행과 열(Series)로 만들어진 2차원 배열 구조
• 통계 패키지 R의 데이터프레임에서 유래
• 여러 개의 시리즈(Series) 묶음
• 형식 : 행 인덱스 + 열 벡터