버전관리 시스템(형상관리)

• Configuration Management Systems
• Versino Control Systems

버전관리를 하는 이유

• Source Data + History
• 협업, 작업추적, 복구 등이 가능

Git 등장 배경

기존 방식

• Source Folder + 실행파일을 버전별로 카피하여 관리
  • '진짜마지막파일', '진짜진짜마지막파일', ...

Local Version Control Systems

• 내 컴퓨터에서 버전 관리 가능 -> 내 컴퓨터 하드가 날아가면 전체 코드 사라짐
• 버전은 관리되지만, 협업은 여전히 어려움
• 그래서 중앙에서 관리해보자!

Centralized Version Control Systems

• 협업이 가능해짐
• Commit 하는 순간 배포되어 다수에게 버그 유발 가능(서버로 바로 commit)
• 인터넷이 안되면 작업이 불가능
• 자신만의 version history를 가질 수 없음
• 그래서 개발된..

Distributed Version Control Systems

• commit 하더라도 개인저장소 내에 적용됨(다른 개발자에게 영향 없음)
• 원하는 순간에 배포(Push) 가능
• 오프라인에서도 작업 가능
• 자신만의 version history를 가짐

버전관리 시스템의 종류

종류

• CVCS: CVS, SVN, etc
• DVCS: Mercurial, Git, etc

CVS

• 1980년대 만들어진 형상관리 시스템
• commit 중 오류 발생 시 rollback이 되지 않는 등의 문제
• 이후 SVN으로 대체

SVN

• 2000년대 만들어졌고 현재까지 두루 사용됨

Git

• SVN보다 빠른 속도와 많은 기능 지원
• 현재 많은 기업이 사용 중

기본 용어

Repository

• 소스코드가 저장되어 있는 여러 개의 Branch가 모여있는 디스크상의 물리적 공간
• Local Repository와 Remote Repository로 구분

Checkout

• 특정시점이나 Branch의 소스코드로 이동하는 것을 의미
• Checkout 대상 - Branch, Commit, Tag
• Checkout 을 통해 과거 여러 시점의 코드로 이동이 가능

Stage

• 작업할 내용이 올라가는 임시저장영역
• 이 영역을 이용하여 작업한 내용 중 commit에 반영할 파일만 선별하여 commit을 수행할 수 있음

Commit

• 작업할 내용을 Local Repository에 저장하는 과정
• 각각의 commit은 의미있는 변경단위이고, 변경에 대한 설명을 commit log로 남김
• commit은 아끼지 말자

Tag

• 임의의 commit 위치에 쉽게 찾아갈 수 있도록 붙여놓은 이정표
• Tag가 붙은 commit은 commit id (version) 대신 tag name으로 쉽게 check out 가능

Push

• Local Repository의 내용 중, Remote Repository에 반영되지 않은 commit을 Remote Repository로 보내는 과정
• push하는 순간 다른 개발자들도 영향을 받기 때문에 검증되지 않은 코드는 push하지 않도록 함

Pull

• Remote Repository에 있는 내용 중, Local Repository에 반영되지 않은 내용을 가져와서 Local Repository에 저장하는 과정
• 다른 팀원이 변경하고 Push 한 내용을 Local Repository에 가져올 수 있음
• Push 과정에서 Conflict(충돌)이 일어나서 Push가 거절된 경우, Pull을 통해 Remote Repository의 변경 내용을 Local Repository에 반영하여 Conflict를 해결한뒤 다시 Push를 시도 해야 함

Branch

• 특정 시점(commit 단위)에서 분기하여 새로운 commit을 쌓을 수 있는 가지를 만드는 것
• 개발의 주축이 되는 branch를 master branch( 혹은 main branch)라고 함
• 모든 branch는 최종적으로 다시 master branch에 merge(병합)되는 형식으로 진행됨

Merge

• Branch의 반대 개념으로 하나의 Branch를 다른 Branch와 합치는 과정
• Merge 되는 두 Branch는 주종관계가 성립
• Merge되는 과정에서 충돌이 발생하는 경우 Diff를 수정하여 Conflict를 해결한 뒤 Merge를 진행할 수 있음

• 하나의 SQL 문 안에 포함되어 있는 또 다른 SQL 문을 의미
• 메인 쿼리가 서브쿼리를 포함하는 종속적 관계
• 서브쿼리는 메인쿼리의 컬럼 사용 가능
• 메인쿼리는 서브쿼리의 컬럼 사용 불가

주의점

• Subquery는 괄호로 묶어서 사용
• 단일 행 혹은 복수 행 비교 연산자와 함께 사용 가능
• 서브쿼리에서는 ORDER BY 사용 불가

종류

• 스칼라 서브쿼리(Scalar Subquery): SELECT 절에 사용
• 인라인 뷰(Inline View): FROM 절에 사용
• 중첩 서브쿼리(Nested Subquery): WHERE 절에 사용

스칼라 서브쿼리

• SELECT 절에 사용하는 서브쿼리. 결과는 하나의 Column

  SELECT column1, (SELECT column2 FROM table2 WHERE condition)
  FROM table1
  WHERE condition;

인라인 뷰

• FROM 절에 사용하는 서브쿼리. 메인쿼리에서는 인라인 뷰에서 조회한 Column만 사용가능

  SELECT a.column, b.column
  FROM table1 a, (SELECT column1, column2 FROM table2) b
  WHERE condition;

중첩 서브쿼리

• WHERE 절에서 사용하는 서브쿼리
  • Single Row: 하나의 열을 검색하는 서브쿼리
  • Multiple Row: 하나 이상의 열을 검색하는 서브쿼리
  • Multiple Column: 하나 이상의 행을 검색하는 서브쿼리

정의

• 여러 칼럼 혹은 테이블 전체 칼럼으로부터 하나의 결과값을 반환하는 함수

COUNT

• 전체 개수를 반환하는 함수

SUM

• 숫자 컬럼의 합계를 계산하는 함수

AVG

• 숫자컬럼의 평균을 계산하는 함수

MIN

• 숫자컬럼의 가장 작은값 반환

MAX

• 숫자 컬럼의 가장 큰 값 반환

GROUP BY

• 그룹화하여 데이터 조회
• 정렬(ORDER BY)도 같이 사용이 가능하지만 DISTINCT를 사용한 경우에는 불가

HAVING

• 조건에 집계함수가 포함되는 경우 WHERE를 사용할 수 없고 HAVING을 사용

Scalar Function

• 입력값을 기준으로 단일 값을 반환하는 함수

UCASE

• 입력값을 대문자로 조회

  SELECT UCASE("take this");    # TAKE THIS

LCASE

• 입력값을 소문자로 조회

MID

SELECT MID(string, start_position, length);

• string: 원본 문자열
• start: 문자열 반환 시작위치(1부터 시작)
• Length: 반환할 문자열 길이

LENGTH

• 문자열의 길이를 반환
• NULL의 경우 0이 아니라 NULL 값을 반환

ROUND

• 지정한 자리에서 숫자를 반올림

  SELECT ROUND(number, decimals_place);

  • number: 반올림할 대상
  • decimals: 반올림할 소수점 위치(Option)
  • decimals_place에는 음수도 줄 수 있고, -1이면 일의 자리에서 반올림

NOW

• 현재 날짜 및 시간을 반환

FORMAT

• 숫자를 천 단위 콤마가 있는 형식으로 반환하는 함수

  SELECT FORMAT(number, decimal_price);

  • number: 포맷을 적용할 문자 혹은 숫자
  • decimals: 표시할 소수점 위치
  • 소수점 열자리까지 표시 가능하며, 원본 숫자의 소수점 자리수가 지정한 자리수보다 적을 경우 부족한만큼 0으로 채움
  • 원본값이 숫자라도 FORMAT으로 반환된 값은 문자열

• 테이블의 각 레코드를 식별
• 중복되지 않은 고유값을 포함
• NULL 값을 포함할 수 없음
• 테이블 당 하나의 기본키

생성

• CREATE TABLE 시에 생성할 수 있음

  CREATE TABLE tablename
  (
      column1 datatype NOT NULL,
      column2 datatype NOT NULL,
      ...
      CONSTRAINT constraint_name
          PRIMARY KEY (column1, column2, ...)
  )

• 하나의 컬럼을 줄 수도 있고, 여러 개의 컬럼을 줄 수도 있음

  • 여러 개의 컬럼을 준다고 해서 PRIMARY KEY가 여러 개인 것이 아니라 여러 컬럼의 조합이 하나의 기본 키가 되는 것

삭제

ALTER TABLE tablename
DROP PRIMARY KEY;

추가

ALTER TABLE tablename
ADD PRIMARY KEY (column1, column2, ...);

Foreign Key

• 한 테이블을 다른 테이블과 연결해주는 역할
• 참조되는 테이블의 항목은 그 테이블의 기본 키(혹은 단일값)

생성

CREATE TABLE tablename
(
    column1 datatype NOT NULL,
    column2 datatype NOT NULL,
    ...
    CONSTRAINT constraint_name
        PRIMARY KEY (column1, column2, ...)
)

삭제

ALTER TABLE tablename
DROP FOREIGN KEY foreign_key;

추가

• 이미 생성된 테이블에 FOREIGN KEY를 지정

  ALTER TABLE tablename
  ADD FOREIGN KEY (column) REFERENCES person(column);

• AWS에서 제공하는 관계형 데이터베이스 서비스
• Cloud 상에 Database 구축

DB Backup

mysqldump -u username -p dbname > backup.sql

DB restore

• 데이터베이스를 백업한 File을 실행하여 그 시점으로 복구하거나 이전할 수 있음

  source backup.sql

Table Backup

• Table 단위로도 백업이 가능

  mysqldump -u username -p dbname tablename > backup.sql

Table restore

• Table 역시 해당 Table을 복구하거나 이전할 수 있음

Table Schema Backup

• 데이터는 제외하고 테이블 생성 쿼리만 백업할 수 있음

  mysqldump -d -u username -p dbname tablename > backup.sql # 특정 Table Schema Backup
  mysqldump -d -u username -p dbname > backups.ql # 모든 Table Schema Backup

• 여러 문자열들을 하나로 합침

  SELECT CONCAT("이름: ", name) FROM celeb;

ALIAS

• 컬럼이나 테이블 이름에 별칭 생성

  SELECT [column] as [alias]
  FROM ...
  
  SELECT column1, column2, ...
  FROM tablename as [alias]

• as는 생략이 가능

DISTINCT

• 검색한 결과의 중복 제거

LIMIT

• 검색결과를 정렬된 순으로 주어진 숫자만큼만 조회

JOIN이란?

• 두 개 이상의 테이블을 결합하는 것
• INNER JOIN, FULL OUTER JOIN, LEFT JOIN, RIGHT JOIN 등이 있음

INNER JOIN

• 두 개의 테이블에서 공통된 요소들을 통해 결합하는 방식

  SELECT column1, column2, ...
  FROM tableA
  INNER JOIN tableB
  ON tableA.column = tableB.column
  WHERE condition;

LEFT JOIN

• 두 개의 테이블에서 공통영역을 포함해 왼쪽 테이블의 다른 데이터를 포함하는 조인방식

FULL OUTER JOIN

• 두 개의 테이블에서 공통영역을 포함하여 양쪽 테이블의 다른 영역을 모두 포함하는 조인방식
• MySQL에서는 FULL JOIN을 지원하지 않음
  • 따라서 FULL JOIN을 하려면 LEFT JOIN과 RIGHT JOIN을 UNION하여 같은 결과를 얻을 수 있다.

SELF JOIN

SELECT column1, column2, ...
FROM tableA, tableB, ...
WHERE condition;

• 조건값이 패턴에 맞으면 TRUE

  SELECT *
  FROM [table]
  WHERE [column] LIKE [pattern];

• %: 임의의 문자열을 의미

  • ex) "가%": "가"로 시작하는 문자열

• _: 하나의 문자열을 의미

  • ex) "_가%": 두 번째 글자가 "가"인 문자열

UNION

• 여러 개의 SQL 문을 합쳐서 하나의 SQL 문으로 만들어주는 방법
• 주의 할 점은 컬럼의 개수가 같아야 함
  • 개수만 같으면 되고 컬럼명이나 데이터 타입은 달라도 됨

UNION

• 중복된 값을 제거하여 알려줌

UNION ALL

• 여러 개의 컬럼을 합쳐서 가져올 경우 중복된 값도 모두 보여줌

AND

• 조건을 모두 만족하는 경우 TRUE

OR

• 하나의 조건이라도 만족하는 경우 TRUE

NOT

• 조건을 만족하지 않는 경우 TRUE

BETWEEN

• 조건값이 범위 사이에 있으면 TRUE

  SELECT column1, column2
  FROM tablename
  WHERE column1 BETWEEN value1 AND value2;

IN

• 조건값이 목록에 있으면 TRUE

  SELECT * FROM celeb
  WHERE age IN (28, 48);

LIKE

• 조건값이 패턴에 맞으면 TRUE

User 조회

use mysql;
SELECT host, user FROM user;

• 사용자 정보는 mysql에서 관리하므로 일단 mysql 데이터베이스로 이동 후 조회

User 생성 - localhost

CREATE USER 'username'@'localhost' identified by 'password';

• 현재 PC에서만 접속 가능한 사용자와 비밀번호 생성

CREATE USER 'username'@'%' identified by 'password';

• 외부에서 접속 가능한 사용자를 비밀번호와 함께 생성
• 아이디는 중복이 되면 안되지만 호스트 정보가 다르다면 아이디가 같아도 상관없음

User 삭제

DROP USER 'username'@'localhost'
DROP USER 'username'@'%'

User 권한 확인

SHOW GRANTS FOR 'username'@'localhost';

User 권한 부여

GRANT ALL ON dbname.* to 'username'@'localhost'; 

# 수정 내용이 적용되지 않은 경우 새로고침
FLUSH PRIVILEGES;

User 권한 제거

REVOKE ALL ON dbname.* from 'username'@'localhost';

Table

Table 생성

• 데이터베이스 안에서 실제 데이터가 저장되는 형태이고, 행(Row)과 열(column)로 구성된 데이터모음

  CREATE TABLE tablename
  (
      columnname datatype,
    ...
  )

table 정보 확인

DESC mytable;

Table 이름 변경

ALTER TABLE tablename
RENAME new_tablename

table column 추가/변경

# column 추가
ALTER TABLE person ADD COLUMN agee double;

# column 변경 - datatype
ALTER TABLE person MODIFY COLUMN agee int;

# column 변경 - table name
ALTER TABLE tablename CHANGE COLUMN [원래 이름] [새로운 이름] [데이터 타입];

# column 삭제
ALTER TABLE person DROP COLUMN agee;

table 삭제

DROP TABLE tablename;

INSERT

문법

INSERT INTO tablename (column1, column2, ...)
VALUES (value1, value2, ...)

• 주의할 점은 column 순서와 값 순서가 일치해야 함
• 모든 컬럼값을 추가하는 경우에는 컬럼명을 생략할 수 있음. 다만 추가하는 값의 순서가 컬럼의 순서와 일치해야 함

SELECT

문법

# name, age, sex 컬럼 조회
SELECT name, age, sex FROM perosn;

# 모든 컬럼 조회
SELECT * FROM person;

WHERE

• 테이블 내에서 조건을 만족하는 데이터 조회

  SELECT * FROM person WHERE sex="F";

UPDATE

UPDATE [tablename] SET [컬럼명]=[바꿀 값] WHERE [조건];

DELETE

DELETE FROM [tablename] WHERE [조건];

ORDER BY

• SELECT 문에서 데이터를 특정 컬럼을 기준으로 오름차순 혹은 내림차순 정렬

• ASC: 오름차순 정렬(기본값)

• DESC: 내림차순 정렬

• 여러 개의 정렬 기준을 지정할 수 있고, 각각에 대해서 오름차순 or 내림차순 지정 가능

  SELECT name, age
  FROM celeb
  ORDER BY age DESC, name ASC;

Database란?

• 여러 사람이 공유하여 사용할 목적으로 체계화해 통합, 관리하는 데이터의 집합체

DBMS란?

• Database Management System
• 사용자와 데이터베이스 사이에서 사용자의 요구에 따라 정보를 생성해주고 데이터베이스를 관리해주는 소프트웨어

관계형 데이터베이스란?

• Relational Database
• 서로간에 관계가 있는 데이터 테이블들을 모아둔 데이터 저장공간

SQL이란?

• Structured Query Language
• 데이터베이스에서 데이터를 정의, 조작, 제어하기 위해 사용하는 언어

SQL 구성

• 데이터 정의 언어(DDL, Data Definition Language)
  • CREATE, ALTER, DROP
• 데이터 조작 언어(DML, Data Manipulation Language)
  • INSERT, UPDATE, DELETE, SELECT 등
• 데이터 제어 언어(DCL, Data Control Language)
  • GRANT, REVOKE, COMMIT, ROLLBACK 등

Database 관리

Database 생성

# 데이터베이스 생성
CREATE DATABASE testdb;

# 데이터베이스 사용
USE testdb;

# 데이터베이스 삭제
DROP DATABASE testdb;

• 접근할 웹 주소를 알 수 없을 때
• javascript를 사용하는 웹 페이지의 경우
• 웹 브라우저로 접근하지 않으면 안될 때

Selenium

• 웹 브라우저를 원격조작하는 도구
• 자동으로 url을 열고 클릭 등이 가능
• 스크롤, 문자입력, 화면 캡쳐 등등

Selenium 기초

• 드라이버 실행하기

  from selenium import webdriver
  
  driver = webdriver.Chrome('./chromedriver')
  driver.get('https://www.naver.com/')

기능

# 화명 최대 크기 설정
driver.maximize_window()

# 화면 최소 크기 설정
driver.minimize_window()

# 화면 크기 설정
driver.set_window_size(600, 600)

# 새로 고침
driver.refresh()

# 앞으로 가기
driver.forward()

# 뒤로 가기
driver.back()

# 클릭
from selenium.webdriver.common.by import By

first_content = driver.find_element(By.CSS_SELECTOR, "#content > div.cover-masonry > div > ul > li:nth-child(1) > a > span.title")
first_content.click()

# 새로운 탭 생성
driver.execute_script('window.open("https://www.naver.com")')

# 탭 이동
driver.switch_to.window(driver.window_handles[1])

# (현재) 탭 닫기
driver.close()

# driver.quit()은 전체를 닫음

# 스크롤 가능한 높이(길이)
# 자바스크립트 코드 실행

driver.execute_script('return document.body.scrollHeight')

# 화면 스크롤 하단으로 이동
driver.execute_script('window.scrollTo(0, document.body.scrollHeight);')

# 현재 보이는 화면의 스크린샷 저장
driver.save_screenshot('./last-height.png')

# 화면 스크롤 상단 이동
driver.execute_script('window.scrollTo(0, 0);')

# 특정 태그 지점까지 스크롤 이동
from selenium.webdriver import ActionChains

some_tag = driver.find_element(By.CSS_SELECTOR, '#widgetboard > div.RightSecond-module__tool_area___KOtcI > div.RightSecond-module__tool_content___rysfx > div:nth-child(1) > a > div > span.RightSecond-module__link_info_title___Z_U01')
action = ActionChains(driver)
action.move_to_element(some_tag).perform()

Beautiful Soup이란?

• 태그로 되어있는 문서를 해석하는 기능을 가진 파이썬 모듈

  from bs4 import BeautifulSoup
  
  page = open(path, "r").read()
  soup = BeautifulSoup(page, "html.parser")

.find(tag), .find_all(tag)

• tag에 해당하는 태그를 처음 발견되는 하나를 찾음
• 해당하는 tag를 모두 찾고자한다면 find_all 사용. 이 때 반환결과는 list

CSS 선택자 정리

• 전체: *

• 태그 선택자: [tag name]

• ID 선택자: #[id name]

• 클래스 선택자: .[class name]

• 복합 선택자: 태그, ID, 클래스를 이어서 작성하면 됨

  • ex) p태그 이면서 overview라는 클래스를 가진 요소 선택: p.overview

• 후손 태그 선택: [부모 tag] [자손 tag]

  • 후손태그는 부모 태그에서 1 level 이상 하위에 있는 모든 태그를 의미

• 자식 태그 선택: [부모 tag] > [자식 tag]

  • 자식 태그는 부모태그에서 1 level 하위에 있는 태그

참고자료

• https://flukeout.github.io/
• css 선택자를 연습할 수 있는 사이트

• 지도를 활용하여 데이터를 시각화할 수 있도록 도와주는 라이브러리
• 지도를 활용하고, 다양한 Marker를 추가하거나 원으로 범위를 표시하는 등의 유용한 기능 제공

folium.Marker()

• 지도에 마커 생성
• location: 위도, 경도로 위치 지정
• popup, tooltip, icon 등으로 마커를 클릭하거나 마우스를 가져다 댔을 때 정보를 전달할 수 있고, 아이콘이나 색상으로 마커를 꾸밀 수 있음

folium.ClickForMarker()

• 지도에서 특정 위치를 클릭했을 때 해당 위치에 마커 생성

folium.LatLngPopup()

• 지도를 마우스로 클릭할 때 위도, 경도 정보 반환

folium.Circle(), folium.CircleMarker()

• 원형 범위 표시

folium.Choropleth

• 지도 위에 데이터 값에 따라 영역별로 구분하여 표시가 가능

seaborn이란?

• Matplotlib를 기반으로 다양한 색상 테마와 통계용 차트 등의 기능을 추가한 시각화 패키지
• import 하는 것 만으로도 무언가 효과가 있음
• 보통 sns로 네이밍 함

시각화 기능

• 스타일
  • sns.set_style(스타일)
  • white, dark, whitegrid, darkgrid 등등
• .despine()
  • 위쪽과 오른쪽 축을 숨길 수 있음
  • top, left, right, bottom에 bool 값을 줌으로써 축을 숨길 수 있으며, 기본 값은 top, right이 True 값을 가짐
• .boxplot()
  • hue 속성: 범주형 변수를 이용하여 세분화
• .swarmplot()
  • 데이터의 분포를 확인할 수 있도록 점으로 표시
• .lmplot()
  • 두 변수 사이의 관계 파악
  • 마찬가지로 hue 옵션을 사용하면 더 분명한 대비가 가능
• .pivot()
• .heatmap()
  • 전체 경향 파악에 용이
• .pairplot()
  • 다수의 컬럼을 비교
• lmplot()
  • 데이터의 분포와 회귀선을 함께 나타냄

• iterrows()를 사용하는 것이 좋음
• Pandas의 데이터프레임은 대부분 2차원
• 이럴 때 for 문을 사용하면 n번째라는 지정을 반복해서 가독률이 떨어짐
• 따라서 itterows()를 사용하는 것이 좋고 받을 때 인덱스와 내용으로 나누어 받는다는 것만 주의

멀티인덱스에서 비사용 level의 제거

• 엑셀로 정의된 표를 데이터로 불러오다보면 index가 다중구조로 되어있는 경우가 있음

• 예컨대 범죄 종류에서 첫 단계로 강도 - 폭행 - 살인으로 나누어져있고, 각각에서 발생 - 검거 등으로 나뉜 경우 멀티인덱스가 됨

• 이런 경우 데이터 활용을 위해서 하나의 단계로 합쳐주는 등의 작업이 필요한데 이 때 get_level_values() 메서드를 사용할 수 있음

  • 예시

    crime_station.columns    # 컬럼 조회
    """
    MultiIndex([('강간', '검거'),
                            ('강간', '발생')])
    """
    
    crime_station.columns.get_level_values(0)[0] + crime_station.columns.get_level_values(1)[0]
    # 강간검거

    위와 같은 과정을 반복문을 활용하여 index를 정리해줄 수 있음

피벗테이블

• 특정 인덱스를 기준으로 데이터를 정리할 때 사용
• pd.pivot_table(데이터프레임, index, aggfunc)
  • index에는 어떤 인덱스를 기준으로 정리할 것인지, aggfunc에는 어떤 연산을 적용할 것인지를 넣어줌
  • 예를 들어 aggfunc=np.sum이라면 총합을 계산함

컬럼 끼리의 연산

컬럼을 컬럼으로 나누기

• crime_anal_gu[컬럼1] / crime_anal_gu[컬럼2]

다수의 컬럼을 하나의 컬럼으로 나누기

• crime_anal_gu[[컬럼1, 컬럼2]].div(crime_anal_gu[컬럼3], axis=0)

다수의 컬럼을 다수의 컬럼으로 각각 나누기

• crime_anal_gu[컬럼리스트1].div(crime_anal_gu[컬럼리스트2].values)
• 이때 컬럼리스트1과 2의 길이가 다르면 에러가 발생함

컬럼 이름 변경

• .rename()
  • 변경 전 컬럼 이름을 key, 변경하려는 컬럼 이름을 value로 한 딕셔너리 형태로 인자로 넣어줌

merge를 이용한 데이터 병합

• pd.merge(left, right, how="left", on="key")
  • on은 무엇을 기준으로 병합시킬 것인지 지정
  • how는 어디에 병합시킬 것인지 지정. left로 정해졌으면 left의 key는 전부 보존됨
  • right에 left의 key에 대응되는 데이터가 없으면 Nan
  • how="outer", how="inner" 등등도 있음. inner가 기본값

병합 후 정리하기

• data_result.set_index("구별", inplace=True)
  • "구별"을 index로 지정한다는 것
  • 데이터를 정리하는 과정에서 index를 재지정하는 경우가 있음
  • unique한 데이터를 index로 잡자

상관관계

• 두 변량 사이에 한쪽이 증가하면 다른 쪽도 증가/감소 하는 경향이 있을 때 두 변량 사이에 상관관계가 있다고 함
• 주의할 것은 상관관계가 있다는 것이 인과관계임을 의미하지는 않음
• 0.2이하이면 상관관계가 없거나 무시해도 좋은 수준, 0.4이하이면 약한 상관관계, 0.6 이상이면 강한상관관계에 있다고 판단
• data_result.corr()
• 따라서 무조건 CCTV 비율이 높은 곳을 찾는게 아니라 구별 인구대비 현황을 분석하여 "상대적으로" CCTV가 적거나 많은 구를 찾는 것이 의미를 가짐

matplotlib 기초

• 파이썬의 대표적인 시각화 도구
• 일반적으로 plt라고 naming함
• Jupyter notebook을 사용할 때 결과가 out session에 나타나는 것이 유리하므로 %matplotlib inline 옵션을 사용

matpllotlib.pyplot

• 2D 그래프를 담당

  import matplotlib.pyplot as plt
  # %matplotlib inline
  get_ipython().run_line_magic("matplotlib", "inline")

삼각함수 그리기

• numpy의 sin함수
  • np.arrage(a, b, s)
  • np.sin(value)

Pandas로 csv, 엑셀 파일 읽기

pandas란?

• R만큼의 강력한 데이터 핸들링 성능을 제공하는 모듈
• 표로 되어있는 숫자 데이터를 읽는 데 가장 많이 사용됨

csv 파일 읽기

• import pandas as pd
• pd.read_csv(경로, 인코딩)
• 다른 파일형식을 읽고 싶다면 read_파일형식을 지정하면 됨

pandas dataframe의 구조

• Column Name: 세로 방향의 데이터들의 이름
• Index: 가로방향의 데이터들의 이름
• Column
• Values
• .columns: column의 이름을 조회할 수 있음

column명 변경하기

• CCTV_Seoul.rename(columns={CCTV_Seoul.columns[0]: "구별"}, inplace=True)
  • 기존 CCTV_Seoul의 첫번째 컬럼명을 "구별"로 변경하는 코드. inplace값을 True로 주어야 함

필요한 컬럼 지정하기

• pd.read_excel(경로, header=2, usecols="B, D, G, J, N")
  • header: 자료를 읽기 시작할 행
  • usecols: 읽어올 엑셀의 컬럼

데이터 조회하기

• .head()
  • 기본값은 5행이고 조회할 데이터 수를 조절하고 싶다면 인자로 조회할 데이터 수를 주면 됨. 기본값이 5
• .tail()
  • 데이터의 끝에서부터 조회. 데이터의 총 수를 알기 좋음

pandas 기초

• pandas의 데이터형을 구성하는 기본은 series

  • a = pd.series([1, 2, 3])

• 날짜, 시간 이용

  • dates = pd.date_range("20130101", periods=6)
  • 2013년 1월 1일부터 6일간

• pandas에서 가장 많이 사용되는 데이터형은 DataFrame이고 index와 columns를 지정

  • df = pd.DataFrame(np.random.randn(6, 4), index=dates, columns=["A", "B", "C", "D"])

• head()

  • 앞부분 5개

• .index, .columns, .values

• .info()

  • DataFrame의 기본정보 확인
  • 각 컬럼의 크기와 데이터 형태를 확인하는 경우가 많음

• .describe()

  • DataFrame의 통계적 기본정보 확인(평균, 표준편차 등등)

• .sort_values(by=기준, ascending=True)

  • 정렬

• df["A"]

  • "A" 컬럼만 읽기
  • slice로 지정 가능
    • 인덱스나 컬럼의 "이름"으로 slice하는 경우 리스트에서의 slice와 달리 끝을 포함함

• df.loc[:, ["A", "B"]]

  • 행과 열을 지정
  • :는 모든 행 또는 열을 의미
  • 컬럼이나 인덱스의 "이름"으로 접근

• df.iloc[3]

  • 번호로 접근
  • df.iloc[[1, 2, 4], [0, 2]]: 1, 2, 4번 행 + 0, 2번 열

• df[조건]

  • 조건에 맞는 데이터를 조회
  • 단 pandas의 버전에 따라 조금씩 허용되는 문법이 다르기 때문에 버전확인 필요

• df[컬럼명]

  • 컬럼명이 기존에 존재하지 않을 때는 df[컬럼명] = 데이터와 같이 데이터를 추가할 수 있음

• .isin(확인할 데이터)

  • 데이터가 있는지 확인

• del df["E"]

  • 특정 컬럼 제거

• .apply(함수)

  • 함수를 데이터들에 적용

​

가상환경 생성

• conda create -n 가상환경이름 python=버전

가상환경 활성화

• conda activate 가상환경이름 or source activate 가상환경이름

가상환경 종료

• deactivate

가상환경 제거

• conda env remove -n 가상환경이름

matplotlib 한글설정

matplotlib란?

• 파이썬에서 사용하는 기본 그래픽 표현도구
• 기본적으로 설정되어있는 폰트가 한글을 지원하지 않음

• 따라서 해결방법은 기본 폰트를 한글을 지원하는 폰트로 변경해주면 됨

Colab 환경 설정

matplotlib 한글 문제 해결

1. 아래의 코드 실행

   !sudo apt-get install -y fonts-nanum
   !sudo fc-cache -fv
   !rm ~/.cache/matplotlib -rf

2. 런타임 - 런타임 다시 시작 실행

3. 아래 코드로 한글이 정상적으로 나타나는지 확인

   import matplotlib.pyplot as plt 
   %matplotlib inline
   
   plt.rcParams["font.family"] = 'NanumGothic'
   
   plt.title('그래프')
   plt.show()

4. 실행할 때마다 위 과정을 반복

• 알고리즘을 공부하면서 가장 궁금했던 점 중 하나는 '왜 정렬 알고리즘에 필요 이상으로 많은 무게가 실려있는가'였다. 어차피 Python의 경우에는 sort메서드나 sorted 함수를 이용하지 굳이 정렬을 직접 구현하여 쓰게 될 일은 거의 없을 것 같았고, 실제로도 그래왔기 때문이다.
• 그래서 조금 검색하며 생각해본 결과 어느 정도는 그 이유를 이해할 수 있었다. 간단하게 요약하자면 문제 해결에 있어서 필요한 여러가지 사고 방식을 익힐 수 있었고, 상대적으로 열위에 있는 방법이라고 하더라도 상황에 따라 좋을 수 있으며, 개발에 있어 고려해야할 여러 사항을 알 수 있다.

문제해결에 필요한 다양한 사고

• 버블소트와 같은 방식에서는 완전탐색 방식을 살펴볼 수 있고, 병합정렬에서는 문제해결에 있어 중요한 사고 방식 중 하나인 분할정복을 학습할 수 있었다. 또한 힙정렬과 같이 여러 자료구조가 활용되기도 한다.
• 이렇게 종류가 다양한만큼 다양한 수단과 사고가 녹아있는 곳이 정렬 알고리즘이 아닐까 생각한다.

상황에 따라 적절한 알고리즘이 다르다

• 일반적으로 학습하는 퀵정렬, 병합정렬, 버블정렬, 삽입정렬 등등 다양한 정렬방식에서 병합정렬은 최선, 평균, 최악의 시간복잡도가 모두 O(N logN)으로 가장 괜찮은 정렬 방식으로 여겨진다.
• 반대로 버블정렬의 경우 이런 정렬을 누가 쓸까 싶을 정도로 단순하지만 비효율적인 정렬방식으로 생각된다. 하지만 버블정렬은 최선의 경우 시간복잡도가 O(N)이 된다(보통 정렬이 되어있는 경우에 그렇다). 이런 사실을 놓고본다면 일반적으로 정렬 알고리즘을 학습할 때 배우는 알고리즘들 중 가장 좋다고 여겨지는 병합정렬보다 어떤 상황에서는 최악이라고 여겨지는 버블정렬이 나은 경우도 있다는 것이다.
• 따라서 주어진 상황을 잘 고려해서 상황에 맞는 알고리즘을 잘 가져다가 사용하는 역량이 중요하다고 할 수 있겠다.

여러 고려사항의 존재

• 윗 문단과 어느정도 통하는 얘기지만 시간복잡도가 고려사항의 전부는 아니라는 것이다. 때로는 정렬 수행시간보다 메모리를 적게 쓰는 것이 중요한 상황이 있을 수도 있고, 주어지는 데이터의 길이가 길지 않아서 시간보다는 코드를 간결하게 작성하는 것이 중요한 경우도 있을 수 있겠다(실무에서 그런 일이 있을지는 잘 모르겠다).
• 이렇듯 일반적으로 알고리즘을 배울 때 시간복잡도를 굉장히 중시하지만 하나의 각도에서만 보지말고 다양한 각도에서 보는 것 또한 중요하다는 생각을 할 수 있었다.