2021 K-Digital 교육 (한국SW산업협회 주관) 에서 배운 내용을 제멋대로 정리해보는 공간입니다. 모든 오류 지적은 언제나 환영입니다.

모든 자료의 저작권은 허진경 선생님께 있습니다.🎈

변환함수

🤞 DECODE 함수

IF-THEN-ELSE 구문과 유사한 방법으로 표현식 해독

기본구문 DECODE(column or expression, search1, result1)

expression 해독 후 각각의 SearchN에 대해 비교, 같으면 resultN, 다르면 기본값 혹은 Null 반환

🙌 CASE 문

자바의 if~else 문 또는 switch ~ case와 같은 기능

1. CASE 뒤에 표현식 있을경우 WHEN 절에는 값
2. CASE 뒤 아무것도 없을 경우, WHEN 절에 조건식

SELECT job_id, salary,
  CASE job_id WHEN 'IT_PROG'  THEN salary*1.1
       ELSE salary
  END AS REVISED_SALARY
FROM employees;

📍 그룹함수

• AVG(n) : 평균 출력

• SUM(n) : 합계

• MIN(n) : 최솟값

• MAX(n) : 최댓값

• COUNT(n) : 행의 갯수

• STDDEV(n) : n의 표준편차

• VARIANCE(n) : n의 분산

  ❗️COUNT(*)을 제외한 상기 함수는 전부 NULL 값을 무시하고 연산

GROUP BY

테이블의 행을 더 작은 그룹으로 나눕니다.

주의 ! GROUP BY 절에 명시 되지 않은 열은, SELECT절에서 그룹함수에 의해(ex : AVG) 호출되어야 합니다.

SELECT department_id, AVG(salary)
FROM employees
GROUP BY department_id;

GROUP_BY 절은 HAVING 절에 의해 제한합니다.

사용 예)
>급여평균이 8000을 초과하는 부서의 번호와 급여 평균 출력
>> ```SQL
SELECT department_id, AVG(salary)
FROM employees
GROUP BY department_id
HAVING AVG(salary) > 8000;

💣 JOIN

하나 이상의 테이블로부터 데이터를 질의하기 위해 조인 사용

본 포스팅에서는 안시조인을 기본으로 다루겠습니다.

ANSI JOIN

기본구문

SELECT table1.column, table2.column
FROM table1
\[LEFT | RIGHT | FULL] [OUTER] JOIN table2
ON join_conditions
[WHERE conditions];

### 🌎 NATURAL JOIN
같은 이름을 갖는 열들에 대해 조인을 합니다.

* 같은 데이터 유형이어야 하며, Alias 혹은 테이블명을 접두사 불가

> ```
SELECT first_name, job_title
FROM employees
NATURAL JOIN jobs;

USING 절

원하는 특정열에 대해서만 EQUI조인을 할 수 있음

SELECT first_name, job_title
FROM employees
JOIN jobs
USING (job_id);

### 🌼 ON JOIN

ON 절 이용 시 JOIN 이후 논리 연산, 서브쿼리같은 추가 서술 가능

> ```
SELECT department_name, city, state_province
FROM departments d
JOIN locations l
ON d.location_id = l.location_id;

WHERE 절을 추가한다면 별도의 조건으로 제한 가능

⭐️ OUTER JOIN

• LEFT OUTER JOIN : A,B가 있을때 왼쪽에 있는 A가 기준이 됨. 같은 것이 있을 때 그 Data, B가 없는 경우엔 NULL 처리
• RIGHT OUTER JOIN : A,B가 있을때 오른쪽에 있는 B가 기준이 됨. 같은 것이 있을 때 그 Data, A가 없는 경우엔 NULL 처리
• FULL OUTER JOIN : 위 두개를 UNION으로 합친 결과

🔥 서브쿼리

• SELECT 절의 서브쿼리 (스칼라 서브쿼리)
• FROM 절의 서브쿼리 (인라인 뷰)
• WHERE 절
• HAVING 절
• ORDER BY 절
• INSERT 문의 VALUES 절
• UPDATE 문의 SET 절
• CREATE TABLE 문의 AS 절

• 서브쿼리는 괄호로 둘러싸야 함

• 비교 연산자의 오른쪽에 있어야 함

🌸 계층형 쿼리

기본 구문

SELECT select_list
FROM table
WHERE conditions
START WITH top_level_condition
CONNECT BY [NOCYCLE] [PRIOR] connenct_condition
ORDER SIBLINGS BY order_condition;

* START WITH : 루트 노드를 지정하는 조건. 이 조건을 만족하는 모든 행은 루트 노드 가 됨
* CONNECT BY : 부모와 자식 노드들 사이의 관계를 명시
* ORDER SIBLINGS BY : 정렬 조건

# DML 문

> INSERT INTO table
VALUES () ;

> UPDATE table
SET column = value [, column = value] ;
* WHERE 절이 생략되면 모든 행의 데이터가 변경될 수 있음.

>DELETE FROM table
[WHERE condition]


` 🔥 delete, truncate, drop의 차이점은?` 
* delete : 데이터 삭제, rollback 명령으로 취소가능
* truncate : 테이블 구조 유지하며 데이터만 삭제, rollback으로 취소불가
* drop : 테이블 전체를 삭제(구조포함), rollback으로 취소불가`

2021 K-Digital 교육 (한국SW산업협회 주관) 에서 배운 내용을 제멋대로 정리해보는 공간입니다. 모든 오류 지적은 언제나 환영입니다.

모든 자료의 저작권은 허진경 선생님께 있습니다.🎈

SQL 파트부터는 완전기초는 생략하고 기록에 의미가 있는 것들만 남겨둘 예정입니다.

SQL 기초

🎈 Select문의 기초

SELECT 열이름 AS 별칭
FROM 테이블 이름 또는 뷰
JOIN 테이블 이름 또는 뷰
ON 조인조건
WHERE 조건
GROUP BY 그룹화할 열
HAVING 그룹조건
ORDER BY 정렬할 열

기초 활용

• 모든 열 선택은 *을 활용

• 중복행 제거는 DISTINCT 활용
• ||를 사용하면 값을 연결해줍니다.

🤞 연산자

비교연산자

• 같다 : =
• 같지 않다 : <> 나머지는 그냥 동일

BETWEEN 연산자

값의 범위에 해당하는 행 출력 위해 BETWEEN 연산자 사용 하한값 먼저 명시, 하한가와 상한가 모두 포함

IN 연산자

목록에 있는 값인지에 대한 테스트

기본 사용법

SELECT employee_id, first_name
FROM employees
WHERE manager_id IN(101,102,103);

🙌 LIKE 연산자

검색 스트링 값에 대한 와일드 카드 검색 검색조건은 리터럴 문자나 날짜를 포함 %는 문자가 없거나 하나 이상 _는 하나의 문자

기본 사용법

SELECT employee_id, first_name
FROM employees
WHERE job_id LIKE 'IT%';

논리연산자

• AND는 양쪽 참일때, OR는 한쪽 참일 때 TRUE 반환
• NOT은 뒤의 조건에 반대되는 결과 반환 NOT은 BETWEEN, LIKE, NULL 연산자와 연계사용 가능

연산자 우선순위

순위가 높은 것부터 순서대로

모든 비교 연산자 >> NOT >> AND >> OR

헷갈리기 쉬우니 애초부터 괄호를 잘 활용하자

📌 SQL 함수

단일행 함수

문자열 함수

• initcap, lower, upper : 첫문자 대문자, 소문자, 대문자 변환

• length : 문자열 길이
• substr : 부분문자열 출력
• instr : 찾는 문자 위치 반환
• lpad,rpad : 주어진 자릿수 만큼 왼쪽(오른쪽)에 채움
• ltrim, rtrim, trim : 왼쪽, 오른쪽, 양쪽 공백제거
• replace : 두번째 인수의 문자열을 세번째 인수의 문자열로 대체

❗️정규표현식 함수 (오라클제공)

• REGEXP_LIKE : 정규표현식 사용 패턴 일치 문자열 행 찾기
• REGEXP_INSTR : 지정 정규표현식 만족부의 최초위치 반환
• REGEXP_SUBSTR : 지정 정규표현식 만족 부분 문자열 반환
• REGEXP_REPLACE : 지정 정규표현식 만족 문자열을 치환

메타문자 및 사용법 등은 기타 문서에서 추가 정리 하겠습니다.

숫자 함수

자주 사용되는 것만 우선 요약

• ROUND : 소수점 n자리까지 반올림
• TRUNC : 소수점 n자리까지 절삭
• CEIL : 같거나 큰 최소 정수 반환
• FLOOR : 같거나 작은 최대 정수 반환
• ABS : 절댓값
• MOD : 나눈 나머지 반환

날짜 함수

날짜에 대해 연산하며, MONTHS_BETWEEN을 제외하고 DATE 타입으로 반환

• MONTHS_BETWEEN : 두 날짜 사이의 월 수 반환
• ADD_MONTHS : 월을 날짜에 더함
• NEXT_DAY : 명시된 날짜로부터 다음 요일에 대한 날짜를 나타냄 사용예) 바로 다음번 월요일
• LAST_DAY : 월의 마지막 날짜 출력

명시적 형 변환 함수

데이터 타입 변환 함수 (참고)

• TO_CHAR : 숫자, 날짜를 VARCHAR2 문자 스트림으로 변환
• TO_NUMBER : 숫자를 포함하는 문자 스트링을 숫자로 변환
• TO_DATE : 문자 스트링을 날짜값으로 변환

📌📌 NULL 치환 함수

NVL함수

NVL_(expr1, expr2)_

• expr1 : NULL값 일 수도 있는 값이나 표현식. NULL이 아니면 해당 값 출력
• expr2 : 목표 변환 값, expr1이 NULL일 경우 출력

NVL2함수

NVL2_(expr1, expr2, expr3)_

• expr1 : NULL값 일 수도 있는 값이나 표현식.
• expr2 : 목표 변환 값, expr1이 NULL이 아니면 해당 값 출력
• expr3 : 목표 변환 값, expr1이 NULL이 맞으면 해당 값 출력

COALESCE 함수

COALSCE_(expr1,.......)_ 표현식에서 NULL 값이 아닌 최초의 표현식을 나타냄

ex) 고객 DB에 고객 전화번호 출력하고 싶은데 전화번호가 휴대폰, 집전화 등 여러 필드에 저장되어 있다면 그중 NULL 아닌 최초의 표현식을 반환한다는 것

2021 K-Digital 교육 (한국SW산업협회 주관) 에서 배운 내용을 제멋대로 정리해보는 공간입니다. 모든 오류 지적은 언제나 환영입니다.

📍lambda 람다식!!

람다식은 작은 익명함수를 의미

def add(a,b) :
  return a+b

add2 = lambda a,b : a+b

람다식은 함수의 인수로 다른 함수를 전달해야하거나 리턴문에 람다식을 사용해야 하는 경우 사용!

🤞 인수로 다른함수 전달

def map_template(func, L=[]):
  result=[]
  for item in L :
    result.append(func(item))
  return result      

list_data = [1,2,3,4,5]
map_template(lambda x : 2*x, L = list_data)

#출력 
[2, 4, 6, 8, 10]

🎈 리턴문에 람다식 활용

def make_box(shape):
  if len(shape) == 1:
    return lambda x: [x]*shape[0]
  if len(shape) == 2:
    return lambda x:[[x]*shape[1]]*shape[0] 

2021 K-Digital 교육 (한국SW산업협회 주관) 에서 배운 내용을 제멋대로 정리해보는 공간입니다. 모든 오류 지적은 언제나 환영입니다.

📍Enumerate

반복자 또는 순서객체를 인수로 받아 활용하는 방법 enumerate(iter) 는 iter 객체를 (0,iter[0]), (1,iter[1]), (2,iter[2]) 형식으로 반환

fruits = ["banana","apple","goni","wanna","go","home"]
for index, value in enumerate(fruits):
  print("{}번째 데이터는 {}입니다."format(index+1,value))

🙌 중첩 탈출

break와 continue는 가장 안쪽의 조건문만 적용하여 탈출 시킴 그렇기 때문에 🚩flag를 사용해서 탈출 해야함

for a in range(0,3):
  break_out_flag = False
  for b in range(1, 3) :
    if a==b:
      break_out_flag = True  #if 구문에 의해 flag 값이 True로 바뀌면
      break
    print(a,b)
  if break_out_flag : #이곳에서 flag 값이 True일 경우 바깥 반복문 종료
    break:

2021 K-Digital 교육 (한국SW산업협회 주관) 에서 배운 내용을 제멋대로 정리해보는 공간입니다. 모든 오류 지적은 언제나 환영입니다.

📍튜플과 딕셔너리

🙌 튜플

• 튜플(tuple)은 소괄호('('와')')를 이용해 생성

• 튜플은 읽기 전용
• 속도가 빠르며, 수정이 필요 없는 배열 형태의 데이터 타입에 사용
• 데이터를 수정할 수 없기 때문에 제공되는 함수가 많지 않음

🤞 튜플 다루기

• tupleData = () : 튜플 생성

• len(tupleData) : 튜플 항목의 수를 반환
• min(tuple), max(tuple) : 최솟값 최댓값 반환
• tupleData.count(value) : 튜플에서 value의 갯수 반환
• tuple.index(value, position) : 튜플에서 value 있는 인덱스 반환

📕 딕셔너리

• 키와 값의 쌍으로 구성된 자료 구조

• 키는 유일해야 함.
• 키에 리스트는 사용불가 ❌ , 튜플 타입은 사용할 수 있음
  • 값은 중복이 가능하며 모든 타입이 가능
  • 키 목록에 없는 데이터를 사용하여 참조하면 에러가 발생, 인덱스를 이용한 참조는 지원안함 ❌
  • 키는 대소문자를 구분 ⚠️

🤞 딕셔너리 다루기

• dictData = {"key":"value", ...} : 딕셔너리 생성

• len(dictData) : 항목의 수 반환
• dictData.items() : 딕셔너리의 각 항목들을 (key, value)형식의 튜플들로 반환
• dictData.keys() : 키들을 반환
• dictData.values() : 값들을 반환

키값 활용해서 데이터 삭제하기 예시

del dataDict["key1"]

2021 K-Digital 교육 (한국SW산업협회 주관) 에서 배운 내용을 제멋대로 정리해보는 공간입니다. 모든 오류 지적은 언제나 환영입니다.

📜 리스트

선언과 기초

선언은 간단히 []면 충분

range함수를 활용하여 만들 수 있다. ex) list(range(10))

[] 안에 []를 넣으면 차원이 증가합니다.

🙌 다루기 기초

• len() : 길이(리스트 항목의 수)
• +와 *으로 리스트를 더하거나 갯수만큼 길이를 곱할 수 있음
• append() : 단일 항목을 맨 뒤에 추가, 리스트를 append하면 통째로 추가
• extend() : 리스트를 항목별로 맨 뒤에 추가
• insert() : 지정한 인덱스 위치에 삽입
• count() : 리스트 내에서 해당 값의 갯수 찾기
• index() : 해당 항목의 위치를 반환, 못 찾으면 에러
• 다차원일 경우 대괄호 반복으로 찾기 가능 ex) a[2][1]

🔪 슬라이싱

리스트[from : to] : to는 포함 안함 인덱스는 음수 가능 -> 맨 마지막 항목이 -1

신나는 계절입니다. 하늘은 높고 비전공자는 살찌는 계절, 바야흐로 가을이죠?

추적이는 빗소리를 듣고있자니, 파이썬이 땡기는군요.

벨로그 업로드 계획 공지합니다. 아무도 안 물어본건데 왜 공지하냐구요? 그런 건 묻지마세요..

⌨️ 계획

남은 8월은 한국SW산업협회에서 배운 내용을 정리합니다. 매우 빡센일정으로..

8월 23일

Python

💾 자료형 관련 📄 리스트 다루기 📍튜플과 딕셔너리 🔪enumerate, 중첩탈출 💣lambda (람다식)함수

8월 24일

SQL

SQL 기초 (SELECT, 연산자, SQL함수) SQL 응용 (JOIN, SubQuery, DCL문, Constraints) SQL 심화 (분석함수, 뷰, Transaction)

9월 중

Machine Learning (회귀분석, 분류분석, sklearn 패키지 등) Deep Learning (인공신경망, CNN, 퍼셉트론, 하이퍼 파라미터) 기초통계 관련 개념 (오류의 종류, P-value, 등..)

Python Libraries 판다스, 넘파이 Tensorflow, Keras Selenium, Requests

9월 중

Java

java 프로그래밍 기초 (자료형, 다형성, 객체지향 프로그래밍) java 프로그래밍 응용 (상속, 예외처리) Spring Framework (MVC, 아파치 톰캣 WAS)

Web

HTML, CSS, Javascript, Bootstrap flask (아키텍쳐 정리)

9월 중

Projects

1. java 웹 개발 프로젝트 (쇼핑몰 개발)
2. 머신러닝 프로젝트 (경기도 구급데이터 분석)
3. 딥러닝 프로젝트 (세금계산서 OCR)
4. 웹크롤링 프로젝트 (분실물 관련 공공데이터 활용)

OS 및 기타

Linux, Ubuntu / vi editor
AWS 사용기 너와 나의 협업 : Git, Github

2021 K-Digital 교육 (한국SW산업협회 주관) 에서 배운 내용을 제멋대로 정리해보는 공간입니다. 모든 오류 지적은 언제나 환영입니다.

🖥 Python 자료형

자료형은 다양하지만 헷갈리는 것만 정리 및 특성을 요약함

📖 숫자형

• int : 모든 정수를 int로 인식
• float : 소수점이 있는 숫자 (나눗셈 연산의 결과는 float형이 됨)

📖 문자형

• 단일문자와 문자열을 구분하지 않음
• ' 혹은 "으로 구분

🤞 이스케이프 문자

• \n : 줄바꿈
• \t : 탭
• \r : 리턴(행의 첫번째 열로 돌아옴)
• \뒤에 , ', "를 붙여서 각각 , ', "를 표현할 수 있음(탈출문자 그자체)

🙌 문자열 계산

문자열 + 문자열 : 문자열 연결 문자열을 공백으로 연결 : 문자열 연결 문자열 * n : 문자열을 n번만큼 반복

🤞 문자열 슬라이싱

각 인덱스 값을 기준으로 [start : stop : step] 방식으로 슬라이싱 시작은 0, stop 값은 미포함 start값 부터 stop 바로 앞 값까지, step 번째 만큼씩 뽑아주세요

 a = "wannagohome"
 a[0:3] 

하면 답은 "wan"

🙌 raw 문자열

문자열 선언시 문자열 앞에 r을 붙이면 ''(백슬래시)를 해석하지 않음

본 포스트는 Youtube 컨텐츠 BigQuery Spotlight의 요약문입니다.

🖥 BigQuery?

빅쿼리는 구글 제공서비스로 대용량의 데이터를 SQL문을 활용하여 조회, 분석, 시각화 할 수 있는 툴이다.

구글 클라우드 데이터, 구글드라이브 데이터, 혹은 로컬PC의 csv파일 등 다양한 소스의 데이터를 업로드할 수 있으며, 업로드 한 데이터를 기반으로 테이블생성(무려 스키마설정을 자동으로 지원) 후 SQL문을 활용하여 데이터를 조회할 수 있다.

⏱ 사용, 체험

첫 사용으로 부터 일정기간 (60일로 들었다), 일정량(매월 10GB) 의 소스를 무료로 제공한다. 숫자는 정책에 따라 달라질 수 있다.

Sandbox 개념이 존재하여 무료로 체험해 볼 수 있다. 이 때 다양한 공공데이터를 제공하여 체험삼아 이용해볼 사용자도 접근해 볼 수 있다.(주로 미국의 공공데이터 인듯 하다.)

📊 시각화 툴과의 연계

플랫폼류 최강자 구글의 서비스 답게 기타 서비스와의 연계 또한 다양하다.

BI 서비스로는 Data Studio로 클릭한 번에 바로 접근할 수 있다. 현재는 Data Studio에 대한 이해가 다소 부족한 상황이나, 잠깐 보건데 MS사의 Power BI 와 비슷해 보였다. 관련한 공부 후 추가 포스팅 할 예정이다.

또한 Connected Sheets와의 연계를 통해 추출된 데이터를 우리에게 익숙한 스프레드 형태로 시각화 할 수도 있다. SQL을 제대로 활용할 줄 모르는 사람들도 엑셀은 보다 쉽게 사용할 수 있으니 보다 접근성을 높인다.

💣 개인적 후기

우선 약 5개 정도의 영상을 시청하였고, 관련 내용을 매우 간단히 정리하였다.

SQL이 중요하다, SQL만 있어도 왠만한 분석을 할 수 있다. 듣기만 들었지 정말 대용량의 분석, 조회분야에서 활용되는 걸 처음 보게 되어 다소 놀랐다. 이후 영상들도 찾아서 작성 해보겠다.