• 비즈니스에서 의사 결정 또는 목표 달성을 돕기 위하여 인사이트를 도출하는 과정이다.
  
• 데이터에서 얻은 인사이트는 차트, 그래프 또는 대시보드와 같이 시각적인 형태로 표현된다.
  
• 데이터 분석의 핵심은 트렌드를 식별하고 예측하며, 수집 가능한 모든 데이터로부터 패턴과 상관관계를 파악하여 복잡한 문제에 대한 해결책을 찾는 것이다.
  
  

2. 데이터 분석이 중요한 이유

• 효율적인 의사 결정
  : 주관적인 판단이나 직관 보다는 실제 데이터에 기반하기 때문에 시장의 상황과 고객이 원하는 바에 대하여 효율적이고 전략적으로 대응하는 판단을 가능하게 한다.
  
• 고객 이해와 개인화된 서비스 제공
  : 제품 및 서비스에 대한 구매 기록이나 선호도를 분석하여 잠재고객에 대하여 이해하고 더 나은 제품 및 서비스를 제공할 수 있게 한다.
  
• 비용 절감과 효율성 향상
  : 비즈니스 프로세스를 분석하고 최적화하여 비용 절감과 효율성을 향상시킬 수 있다.
  
• 위험 관리
  : 잠재적인 약점과 개선 영역을 발견하고 이를 통해 위험을 예방하고 불확실성을 줄일 수 있다.
  
  

3. 데이터 분석 과정(Data analysis process)

• 데이터 활용 목표 설정(Data requirements)
  : 이 단계에서는 데이터 분석을 수행하는 목적에 대하여 생각하고 파악하는 것이 중요하다.
  예) 해결하려는 문제는 무잇인가?
     데이터 분석의 목적은 무엇인가?
     이를 통해 하고자 하는것은 무엇인가?
     무엇을 달성하고 싶은가?
     최종 목표는 무엇인가?
  
• 데이터 수집(Data collection)
  : 이 단계에서는 어떤 데이터를 수집해야 할지 수집되는 데이터의 유형은 무엇인지 명확히 하는 것이 중요하다.
  예) 상품 구매 이력
     고객 리뷰와 피드백
     이메일 오픈 여부
     검색 키워드
  
• 데이터 처리(Data processing)
  : 이 단계에서는 분석에서 정확한 결과를 얻을 수 있도록 데이터를 변환하고 구성한다.
  
• 데이터 정제(Data cleaning)
  : 이 단계에서는 수집된 raw data의 오류를 수정하고 중복된 데이터는 제거하며, 필요하지 않는 데이터를 제거하는 등 데이터를 가다듬고 정렬해야 한다.
  예) 이상치 찾기
     오타 수정
     데이터 오류 제거
     중복 데이터 제거
     결측치 확인
  
• 데이터 분석(Data analysis)
  : 이 단계에서는 제일 첫 단계인 '데이터 활용 목표 설정'에서 정의했던 질문과 목표에 따라 데이터를 분석한다.
  - 수집된 데이터를 요약하기 - 문제가 되는 상황을 파악하고 데이터의 패턴 찾기 - 데이터의 패턴으로 예측하기 - 예측한 상황에 대한 대비책과 계획 수립하기
  
• 결과 도출(Presenting the Data)
  : 이 단계에서는 일반적으로 데이터 시각화 도구를 사용하여 보고서, 차트, 그래프, 대화형 대시보드를 생성한다.
  
  

4. 활용 사례

• 넷플릭스(Netflix)
  : 사용자가 취하는 모든 행동을 지속적으로 모니터링하고 수집하여 데이터를 전체 혹은 개별적으로 가져와서 특정 사용자들이 어떻게 콘텐츠를 소비하는지에 대한 프로파일링한다.
  (수집하는 데이터)
  • 일시 중지, 되감기, 빨리 감기
  • 콘텐츠 시청 요일
  • 시청일
  • 콘텐츠 시청 시간
  • 시청하는 지역 위치
  • 시청할 때 사용하는 디바이스 등
    
    

[Reference] https://en.wikipedia.org/wiki/Data_analysis https://elice.io/ko/newsroom/data_analysis https://yozm.wishket.com/magazine/detail/1567/ https://www.geeksforgeeks.org/six-steps-of-data-analysis-process/ https://www.openads.co.kr/content/contentDetail?contsId=5547

• SELECT (테이블 조회) 1. 테이블 결합 💡두 개 이상의 테이블을 서로 연결하여 데이터를 조회할 때 사용하는 방법

  [table1] test.information

  no	name	age
  1	Gildong	16
  2	Kongjwi	17
  3	Michael	14
  4	Ariel	16

  [table2] test.score

  no	name	subject	score
  1	Ariel	Math	95
  2	Gildong	Korean	40

1-1. Left join 💡기준 테이블과 일치하는 값만 join 테이블에서 결합되며 없는 값은 null 값으로 채워져 결합

 -- Left join
 -- information(A)에 score(B) 정보 결합(key: name)
  select
      t1.*
      , t2.subject
      , t2.score
  from test.information as t1
  left join test.score  as t2 on t1.name = t2.name

1-2. Right join 💡join 테이블과 일치하는 값만 기본 테이블에서 결합되며 없는 값은 null 값으로 채워져 결합

 -- Right join
 -- score(B)에 information(A) 정보 결합(key: name)
  select
      t2.*
      , t2.age
  from test.information as t1
  right join test.score as t2 on t1.name = t2.name

1-3. Inner join 💡기준 테이블과 join 테이블 모두 데이터가 존재하는 값만 결합

 -- Inner join
 -- information(A)와 score(B)의 교집합(key: name)
  select
      t1.*
      , t2.subject
      , t2.score
  from test.information as t1
  inner join test.score as t2 on t1.name = t2.name

1-4. Full outer join 💡결합하려고 하는 테이블들에 있는 값 모두 결합

 -- Full outer join
 -- information(A)와 score(B)의 합집합(key: name)
  select
      t1.*
      , t2.subject
      , t2.score
  from test.information      as t1
  full outer join test.score as t2 on t1.name = t2.name

1-5. Union & Union all 💡두 개 이상의 테이블을 서로 연결하여 데이터를 조회할 때 사용하는 방법 💡Union은 중복 제거 후 결합, Union all은 중복 허용 후 결합하는 방법 💡결합 시, 모든 쿼리는 컬럼의 갯수와 데이터 타입이 일치해야함

 -- Union
 -- information를 Union 결합
  select *
  from test.information
  union
  select *
  from test.information

 -- Union all
 -- information를 Union all 결합
  select *
  from test.information
  union all
  select *
  from test.information

[결과] Union all (중복허용)

• SELECT (테이블 조회) 1. 데이터 집계 💡as를 이용하면 컬럼명 변경 또는 지정 가능
💡특정 컬럼에 대한 집계 데이터 조회시 group by 사용 필수
💡distinct 사용 시 값 중복 제거 가능

  ```sql -- 전체 합계 구하기 SELECT sum([column 1]) FROM [스키마명].[테이블명];

  --[example 1] test.score 테이블에서 전체 학생의 점수 합 구하기 SELECT sum(score) FROM test.socre;

  --[example 2] test.score 테이블에서 컬럼명이 total인 전체 학생의 점수 합 구하기 SELECT sum(score) as total FROM test.score;

-- 특정 컬럼의 값별 합계 구하기 SELECT [column 1], sum([column 2]) FROM [스키마명].[테이블명] GROUP BY [column 1];

-- [example 1] test.score 테이블에서 학생 이름별 점수 합 구하기 SELECT name, sum(score) as total FROM test.score GROUP BY name;

-- 전체 개수 구하기 SELECT count([column 1]) FROM [스키마명].[테이블명];

-- [example 1] test.score 테이블의 전체 행의 개수 구하기 SELECT count(*) FROM test.score;

-- [example 2] test.score 테이블에서 중복 제거한 name의 개수 구하기 SELECT count(distinct name) FROM test.score;

-- 특정 컬럼의 값별 개수 구하기 SELECT [column 1], count([column 2]) FROM [스키마명].[테이블명] GROUP BY [column 1];

-- [example 1] test.score 테이블에서 학생 이름별 개수 구하기 SELECT name, count(*) FROM test.score GROUP BY name;

 <span style = 'font-family : Verdana; font-size : 16px'>2. 데이터의 형식 변경</span>
 <span style = 'font-family : Verdana; font-size : 15px; color : red'>`💡데이터 형식 변경의 경우 RDMS에 따라 약간의 차이가 있음.`</span>

 ```sql
 -- 숫자를 문자로 변경
 select cast([column 1] as varchar) from [스키마명].[테이블명];

 -- [example 1] test.score 테이블에서 score을 문자형으로 변경
 select cast(score as varchar) from test.score;


 -- 문자를 숫자로 변경
 select cast([column 1] as int) from [스키마명].[테이블명];

 -- [example 1] test.score 테이블에서 문자로 되어있는 score를 숫자형으로 변경
 select cast(score as int) from test.score;


 -- timestamp 에서 date만 추출
 select date([column 1]) from [스키마명].[테이블명];

 -- [example 1] test.score 테이블에서 시험 시간(yyyy-mm-dd hh:mm:ss)을 날짜(yyyy-mm-dd)만 추출
 select date(test_time) from test.score;

• DELETE (데이터 삭제)

  DELETE FROM [스키마명].[테이블명] WHERE [조건];
  
  -- [example] test.score 테이블에서 점수가 40점 미만인 행 삭제
  DELETE FROM test.score where score < 40;
  

  
  

• DROP (테이블 삭제)

  DROP TABLE [스키마명].[테이블명];
  
  -- [example] test.score 테이블 삭제
  DROP TABLE test.score;
  

• SQL(Structured Query Language)은 관계형 데이터베이스에 정보를 저장하고 처리하기 위한 프로그래밍 언어
  
• SQL문을 사용하여 데이터베이스에서 정보를 저장, 업데이트 제거 및 검색을 할 수 있다.
  
• 대화식 언어이기 때문에, 명령문이 짧고 간결하다.
  
• RDBMS 종류 - MySQL, Oracle, PostgreSQL, SQLite, MariaDB 등등
  
  

2. SQL 문법의 종류

• DDL(Data Definition Language, 데이터 정의 언어) - 데이터베이스 구조를 생성, 변경, 삭제하는데 사용하는 명령어 - 명령어: CREATE, ALTER, DROP, TRUNCATE
  
• DML(Data Manipulation Language, 데이터 조작 언어) - 데이터를 검색, 추가, 수정, 삭제하는데 사용하는 명령어 - 명령어: SELECT, INSERT, DELETE, UPDATE
  
• DCL(Data Control Language, 데이터 제어 언어) - 사용자 관리 및 사용자별로 릴레이션 또는 데이터를 관리하고 접근하는 권한을 다루는 명령어 - 명령어: GRANT, REVOKE, COMMIT, ROLLBACK
  
  
  

3. SQL 기본 구문

💡대소문자를 구분하지 않는다. 💡문장 제일 앞에 --을 입력하거나 ctrl + /를 누르면 주석으로 표시된다.

• CREATE (테이블 생성) 1. 새로운 테이블 생성

  ```sql CREATE TABLE [스키마명].[테이블명]( [컬럼명] [데이터타입] , [컬럼명] [데이터타입] ... );

  -- [example] id: 숫자, name: 문자, score: 소수점인 test.score 테이블 생성 CREATE TABLE test.score(

   id    int(11)

  , name varchar(20) , score float(8,2) );

  </span>
  <span style = 'font-family : Verdana; font-size : 16px'>2. 존재하는 테이블에서 특정 값만 선택하여 새로운 테이블 생성</span>
  <span style = 'font-family : Verdana;'>
  
  ```sql
  CREATE TABLE [스키마명].[테이블명] AS
   SELECT
       [column 1]
     , [column 2]
     ...
   FROM [스키마명].[테이블명];
  
  -- [example] test.score에서 id, name만 column으로 하는 test.want 테이블 생성
   CREATE TABLE test.want AS
   SELECT
       id
     , name
   FROM test.score;

  
  

• SELECT (테이블 조회) 💡데이터 추출 시, limit를 사용하면 n개의 행만 추출 가능 1. 데이터 조회

  ```sql SELECT * FROM [스키마명].[테이블명]; SELECT [column 1], [column 2] FROM [스키마명].[테이블명];

  -- [example 1] test.score 테이블 내 전체 컬럼 조회 SELECT * FROM test.score;

  -- [example 2] test.score 테이블 내 id, name 컬럼 조회 SELECT id, name FROM test.score;

  -- [example 3] test.score 테이블 내 전체 컬럼의 10개 행만 조회 SELECT * FROM test.score limit 10;

  <span style = 'font-family : Verdana; font-size : 16px'>2. 특정 조건의 데이터 조회</span>
  <span style = 'font-family : Verdana;'>
  ```sql 
  SELECT * FROM [스키마명].[테이블명] WHERE [조건];
  
  -- [example] test.score 테이블에서 score가 85점 이상인 데이터 조회
   SELECT * FROM test.score WHERE score >= 85;

  3. 중복 제거한 데이터 조회

  ```sql SELECT distinct * FROM [스키마명].[테이블명]; SELECT distinct [column 1], [column 2] FROM [스키마명].[테이블명];

  -- [example] test.score 테이블 내 unique한 name 조회 SELECT distinct name FROM test.score

  </span>
  <span style = 'font-family : Verdana; font-size : 16px'>4.  데이터 정렬 후 조회</span>
  
  ```sql
  SELECT distinct * FROM [스키마명].[테이블명] ORDER BY [column 1], [column 2];
  
  -- [example] test.score 테이블 내 name 정렬 후 조회
   SELECT * FROM test.score ORDER BY name;        -- 오름차순
   SELECT * FROM test.score ORDER BY name desc;   -- 내림차순

• AWS CLI(AWS Command Line)는 Shell의 명령을 사용하여 AWS service와 상호 작용할 수 있는 오픈 소스 도구이다.
• Python 사용 시 직접적으로 필요하지는 않지만 Python에서 boto3 자격 증명이 필요하므로 설정하면 aws_access_key_id와 aws_secret_access_key 입력 없이 이용이 가능하다.

✌️ AWS CLI 설정 방법 (Windows)

1. Windows용 AWS CLI MSI 설치 관리자 다운로드 후 실행하여 설치
2. Windows PowerShell 또는 Windows 명령 프롬프트 실행
3. 자격증명 등록하기

        $ aws configure
        AWS Access Key ID [None]: 발급한 Key id 입력
        AWS Secret Access Key [None]: 발급한 Secret Access Key 입력
        Default region name [None]: ap-northeast-2
        Default output format [None]: json 

4. 파일에 저장된 값 확인하기

        $ cat ~/.aws/credentials
        [default]
        aws_access_key_id = 발급한 Key id
        aws_secret_access_key = 발급한 Secret Access Key