(데이터 파이프라인 구축하기)

01.Staging and Loading Data

alter warehouse compute_wh set warehouse_size='Medium'; alter warehouse compute_wh set warehouse_size='x2large';

웨어하우스 크기가 클수록 적재 시간이 빨라져야한다.(흐음...테스트 시 더 느려짐)

02.Stream and Task

스트림 오브젝트

select system$task_dependents_enable('citibike.streamdata.t_capture_data_task');

03.External Table and Mview

04.Data Sharing

05.Marketplace

Snowpark, Streamlit

Snowpark

: Snowflake + Spark ? : https://aimpointdigital.com/snowpark-for-python-vs-pyspark/

Streamlit

https://gpt-recruit.com/

행사장 와이파이가 안되어 집에 간다...><

• 특정 조건에서 반복해서 문장을 수행해야 할 경우 while문을 사용한다.
• 반복문이라고도 부른다.
• 조건문이 참인 동안에 while문 하위의 소스 코드들이 반복해서 수행된다.

while문 기본 구조

#초기값 -> 조건식 -> 실행문 -> 증감식

<초기값>
while <조건문>:
    <수행할 문장1>
    <수행할 문장2>
    <수행할 문장3>
    ...
    <증감식>

#예제(1)
i = 1

while i <= 5:
    print('안녕하세요. 숫자 {} 입니다.' .format(i))
    i += 1    


...    


#예제(2) - while문 break문 사용
i = 1

while i <= 5:
    print('안녕하세요. 숫자 {} 입니다.' .format(i))
    i += 1

    if i == 4:
        print('while 반복문을 나갑니다.')
        break


...    


#예제(3) - while 무한 반복문
while True:
    print("Ctrl+C를 눌러야 while문을 빠져나갈 수 있습니다.")


...    


#예제(4) - 실무 사용 예시: ETL 체크    
from pymssql import connect
import pandas as pd
import time

HOST = 'xxx.xxx.xx.xxx'  # 서버IP주소
USER = 'usr_xxxxxx'         # 접속계정
PASS = 'xxxxxxxxxx'          # 접속패스워드
DB = 'xxxxx'             # 연결DB명

try:
    while True:
        with connect(HOST, USER, PASS, DB) as sql:
            query = "EXEC [DB명].[스키마명].[모듈명]" #SP명

            chk_df = pd.read_sql(query, con=sql)

            if chk_df['rtrn'][0] == 1:
                print(chk_df)
                print('성공!')
                break
            else:
                print('실패!')            
                time.sleep(6)
                pass

except KeyboardInterrupt:
    print('강제 중지')


...    


#예제(5) - 실무 사용 예시: 로그인 체크
userid = 'pythonuser'
userpw = '123456'

print('>>> 로그인 <<<')

i = 1
count = 5 #로그인 시도 가능 횟수

while i <= count:
    #입력 받기
    inputUserid = input('사용자: ')
    inputUesrpw = input('비밀번호: ')

    #입력 확인하기
    if userid == inputUserid and userpw == inputUesrpw:
        print('\n로그인 성공!')
        print('{}님 환영합니다.'.format(userid))
        break
    else:
        print('\n로그인 실패!')

    i += 1 # 증감식 -> 로그인 재시도        

...

for문

• while문과 비슷한 반복문
• 정해진 횟수만큼 반복한다.

for문 기본구조

for 변수 in 리스트(또는 튜플, 문자열):
    수행할 문장1
    수행할 문장2
    ...

#예제(1) - for문 리스트 활용
for i in [1,2,3,4,5]:
    print(i)   


...    


#예제(2) - for문 튜플 활용
for i in (1,2,3,4,5):
    print(i)   


...    


#예제(3) - for문 문자열 활용
for i in "12345":
    print(i)

for i in "강아지":
    print(i)   

##range()함수: range(시작값, 종료(앞)값, 간격)
##미자막 숫자는 제외된다는 사실!!!

for i in range(1,7):
    print(i)

for i in range(1,7,3):
    print(i)


...    


#예제(4) - for문 셋 활용
for i in {1,2,3,4,5}:
    print(i)   


...    


#예제(5) - for문 딕션너리 활용
dic = {"a":1, "b":2, "c":3}

for i in dic:
    print(dic[i])


...    


#예제(6) - for문 구구단 구성
for h in range(2,10):
    print('{}단'.format(h))
    for i in range(1,10):
        print('{} x {} = {}'.format(h,i,h*i))
    print('\n')    

• 단일 if문
• if ~ else문
• if ~ elif ~ else문

...

관계/논리 연산자

관계 연산자 다음 논리 연산자가 계산된다.

관계 연산자

>
>=
<
<=
==
!=

논리 연산자

and
or
not

...

단일 if문

사용법

if 조건문:
    소스코드

다양한 조건문

in, not in
list[], tuple(), 문자열

사용 예시

a = 1
if a == 1:
    print('if문 조건이 참입니다.')

a = 1
if a == 1:
    print('if문 조건이 참입니다.')

a = 2
b = 8
if a == 2 and b == 8:
    print('a는 2이며 b는 8입니다.')
if a == 2 or b == 99:
    print('a는 2이거나 b는 8입니다.')

st_list = ['초롱이','밀키']
if '초롱이' in st_list:
    print('목록에 있습니다.')

msg = '안녕하세요.'
if '안녕' in msg:
    print('해당 단어가 포함되어 있습니다.')

...

if ~ else문

사용법

if 조건문:
    소스코드    
else:
    소스코드

사용 예시

a = 10
if a == 2:
    print('a는 2와 같습니다.')    
else:
    print('a는 2와 같지 않습니다.')

num = '숫자'
if num.isdigit(): #isdigit는 정수형만 확인
    print('숫자입니다.')    
else:
    print('숫자가 아닙니다.')

num = 11
if num % 2 == 0:
    print('짝수')
else:
    print('홀수')

usrid = 'soyoung'
usrpw = '12345'
...
inputid  = input('사용자:')
inputpw = input('비밀번호:')
...
if usrid == inputid and usrpw == inputpw:
    print('로그인 성공')
    print(f'{usrid}님 환영합니다.')
    print('{}님 환영합니다.' .format(usrid))    
else:
    print('로그인 실패') 

...

if ~ elif ~ else문

사용법

if 조건문:
    소스코드    
elif 조건문:
    소스코드    
else:
    소스코드

사용 예시

num = 9
if num == 1:
    print('1입니다.')    
elif num == 2:
    print('2입니다.')    
elif num == 3:
    print('3입니다.')    
elif num == 4:
    print('4입니다.')    
else:
    print('모두 틀립니다.')

kor = input('국어 점수:')
eng = input('영어 점수:')
math = input('수학 점수:')
...
...
if not kor.isdigit(): #정수 여부 확인
    kor = 0 #0 처리
else:
    kor = int(kor) #형변환(문자->숫자)
...
...
if not eng.isdigit():
    eng = 0
else:
    eng = int(eng)
...
...    
if not math.isdigit():
    math = 0
else:
    math = int(math)
...
...
total = kor + eng + math
avg = total/3
...
...
if avg >= 90 and avg <= 100:
    grade = 'A'
elif avg >= 50 and avg < 90:
    grade = 'B'
else:
    grade = 'C'
...
...     
print(f'국어점수: {kor}\n'
      f'평균: {avg:.2f}\n' #소수점 둘째 자리까지 출력
      f'학점: {grade}')    
...
...
print('국어점수' + str(kor) + '\n') #숫자 -> 문자로 형변환 필요

https://dora-guide.com/postgresql-install/

PostgreSQL 설치 확인 방법

pgAdmin

• PostgreSQL Management Tools

테이블 생성 및 입력

CREATE TABLE public.test_20230127
(
    id integer NOT NULL,
    col_character character(500),
    col_text text,
    col_json json,
    col_date date,
    col_timestamp timestamp without time zone,
    PRIMARY KEY (id)
)

TABLESPACE pg_default;

ALTER TABLE IF EXISTS public.test_20230127
OWNER to postgres;


INSERT INTO public.test_20230127 VALUES(1, '가나다라마바사', '가나다라마바사', '가나다라마바사', CURRENT_DATE, CURRENT_DATE);
/*
DETAIL:  잘못된 토큰: "가나다라마바사"
CONTEXT:  JSON 자료, 1 번째 줄: 가나다라마바사
*/

INSERT INTO public.test_20230127 VALUES
(1
 , '가나다라마바사'
 , '가나다라마바사'
 , '{
      "users": [
        {
          "userId": 1,
          "firstName": "AAAAA",
          "lastName": "as23",
          "phoneNumber": "123456",
          "emailAddress": "AAAAA@test.com",
          "homepage": "https://amogg.tistory.com/1"
        }
      ]
    }'
 , CURRENT_DATE
 , CURRENT_DATE);
/*
INSERT 0 1
Query returned successfully in 38 msec.
*/

COMMIT;
/*
경고:  현재 트랜잭션 작업을 하지 않고 있습니다
COMMIT
Query returned successfully in 34 msec.
*/
/*
AutoCommit "ON"이 Default 설정인 것으로 확인됨.
*/

• 인터프리터
• 동적 타이핑
• 객체 지향 프로그래밍

장점

• 간결하고 쉬운 문법
• 다양한 라이브러리 제공(selenium, flask, pymssql 등)

설치 프로그램(무료)

• Miniconda: 가상 실행 환경(Python이 자동으로 같이 설치됨)
• Pycharm: 개발 통합 환경(...)
• Jupyter: 개발 통합 환경(cell 단위 실행 및 결과 확인)

Colab

• 구글에서 제공하는 웹형 Python 개발 환경

Miniconda

• 가상 실행 환경으로 base가 기본 가상환경
• 가상 실행 환경이 필요한 이유: ex) 각각의 버전에 맞춰 개발 구현을 위한 가상 환경
  • pandas: 1.0.0, numpy: 2.1.0, selenium: 1.3.4
  • pandas: 1.0.1, numpy: 1.1.1, tensorflow: 1.5.5

Jupyter

Anaconda Prompt에서 jupyter 설치 방법

  pip install jupyter notebook

Anaconda Prompt에서 jupyter 구동 방법

  jupyter notebook

잘안된다면 pip 버전 업그레이드 후 재설치 필요

  python -m pip install --upgrade pip

기초 문법

print('a') #a
print('a'+'b') #ab
print('a','b') #a b
print('a'*10) #aaaaaaaaaa
print('a'+1) #TypeError: must be str, not int

print(100+5) #105
print(100-5) #95
print(100/5) #20.0
print(100*5) #500
print(100**2) #10000
print(100%3) #1

print("'hello world'") #'hello world'
print('"hello world"') #"hello world"
print('he\'s') #he's

print(len('ssssss')) #6


# \n 줄바꿈
# \t 탭

print('a \n b')
#a 
# b

-------------------------------------------------------------------------------

# 데이터 형식: 숫자형(정수/실수), 문자형 
# 데이터 데이터(자료)구조: 리스트, 딕셔너리, 튜플, 데이터프레임 

# 데이터 형식 확인 방법
type(1) #int
type(-0.02) #float

-------------------------------------------------------------------------------

# 변수.매쏘드
# 객체는 기능 + 구성요소
# 매쏘드는 객체에서 실행할 수 있는 기능

# count: 해당 문자가 문자열에 몇개 있는지 확인
# find: 문자 위치 찾기
# upper: 대문자로 변경
# lower: 소문자로 변경
# strip: 양쪽 공백 제거
# rstrip: 오른쪽 공백 제거
# lstrip: 왼쪽 공백 제거
# split : 구분자 기호로 문자 나누기

# len은 python에서 제공하는 순수 함수


a = 'asdfasdfasbbfasfd'
a.count('b') #2

a = 'python is the best'
a.find('b') #14

a = '2022-02-16'
a.split('-') #['2022', '02', '16']

-------------------------------------------------------------------------------

# 군집 자료형
## list[]: 순서O, 중복O, 수정O
## tuple(): 순서O, 중복O, 수정X ~ 속도가 빠르기에 Python Native 함수 내부에서 많이 사용
## dictionary{}: 순서X, 중복X, 수정O ~ {key: value, key2: value, ...}, 키 중복이 불가능하다.
## set{}: 순서X, 중복X, 수정O ~ 수학의 집합과 비슷한 개념

### 순서O란? 인덱스 기반 접근

-------------------------------------------------------------------------------

## list 리스트[]
a = []
print(a) #[]

a = [1,2,3]
print(a) #[1, 2, 3]

a = [[1,2,3], ['a'], 'B']
print(a) #[[1, 2, 3], ['a'], 'B']

a = [1,2,33]
b = [3,4,5]
c = [['cc','dd']]
print(a+b) #[1, 2, 33, 3, 4, 5]
print(a*3) #[1, 2, 33, 1, 2, 33, 1, 2, 33]
print(len(a)) #3
print(a+b+c) #[1, 2, 33, 3, 4, 5, ['cc', 'dd']]

# 변수.매쏘드
# append: 리스트 요소 추가하기
# extend: 리스트 확장하기
# sort: 리스트 정렬하기 (숫자,알파벳은 가능하나, None은 정렬 불가능)
# reverse: 리스트 요소 뒤집기

a = [1,2,3]
a.append(4)
print(a) #[1, 2, 3, 4]

a = [1,2,3]
a.append([4,5])
print(a) #[1, 2, 3, [4, 5]]

a = [1,2,3]
a.extend([4,5])
print(a) #[1, 2, 3, 4, 5]

a = [10,1,2,3,4]
a.sort()
print(a.sort())#None

a = [10,1,2,3,4]
a.sort()
print(a) #[1, 2, 3, 4, 10]

a = [10,1,2,3,None]
a.sort() #TypeError: '<' not supported between instances of 'NoneType' and 'int'

a = [10,1,2,3,[1,2]]
a.sort() #TypeError: '<' not supported between instances of 'list' and 'int'

a = [1,2,3,'z']
a.reverse()

a = [1,2,3,'z']
print(a.reverse()) #None

a = [1,2,3,'z']
a.reverse()
print(a) #['z', 3, 2, 1]


## 리스트 값 입력, 값 삭제, 값 카운트
a = [1,2,3,'z']
print(a) #[1, 2, 3, 'z']

a.insert(0,'A')
print(a) #['A', 1, 2, 3, 'z']

a.insert(1,'z')
print(a) #['A', 'z', 1, 2, 3, 'z']

a.remove('z')
print(a) #['A', 1, 2, 3, 'z']

a.count('A') #1

-------------------------------------------------------------------------------

## tuple 튜플()
a = (1)
type(a) #int

a = (1,)
type(a) #tuple

a = 1,
type(a) #tuple

a = 1,2,'aa','A'
type(a) #tuple
print(a) #(1, 2, 'aa', 'A')

b = a + a
print(b) #(1, 2, 'aa', 'A', 1, 2, 'aa', 'A')

b = a * a #TypeError: can't multiply sequence by non-int of type 'tuple'

a = 1,2,'aa','A'
b = a*3

print(b) #(1, 2, 'aa', 'A', 1, 2, 'aa', 'A', 1, 2, 'aa', 'A')
len(b) #12

-------------------------------------------------------------------------------

## dictionary 닥셔너리{}
dic = {'name': '소영', 'age': 93, 'birth': 93}
type(dic) # dict
print(dic) #{'name': '소영', 'age': 93, 'birth': 93}

dic = [{'name': '소영', 'age': 93, 'birth': 93}]
type(dic) #list
print(dic) #[{'name': '소영', 'age': 93, 'birth': 93}]

dic = {'name': '소영', 'age': 93, 'birth': 93}
print(dic['name']) #소영
type(print(dic['name'])) #NoneType

dic['address'] = '마포구 상암동'
print(dic) #{'name': '소영', 'age': 93, 'birth': 93, 'address': '마포구 상암동'}

del dic['age']
print(dic) #{'name': '소영', 'birth': 93, 'address': '마포구 상암동'}


# 딕셔너리{} 함수
# 변수.매쏘드
print(dic.keys()) #dict_keys(['name', 'birth', 'address'])
print(dic.values()) #dict_values(['소영', 93, '마포구 상암동'])
print(dic.items()) #dict_items([('name', '소영'), ('birth', 93), ('address', '마포구 상암동')])

-------------------------------------------------------------------------------

# Bool
## True 참
## False 거짓

1 == 1 #True
1 != 1 #False

# 자료형의 참과 거짓
a = 'python'
b = ''
print(bool(a)) #True
print(bool(b)) #False

a = 1254
b = -1254
c = 0
print(bool(a)) #True
print(bool(b)) #True
print(bool(c)) #False

참고자료

https://velog.io/@yejin20/Python-%ED%95%A8%EC%88%98%EC%99%80-%EB%A9%94%EC%86%8C%EB%93%9C%EC%9D%98-%EC%B0%A8%EC%9D%B4%EC%A0%90

https://artist-developer.tistory.com/22

1. 최근에 추가된 또는 최신 함수들

• CONCAT: 구분자 사용 불가능
• CONCAT_WS: 구분자 사용 가능 (2017+)
• CONCAT은 데이터형식을 고민하지 않고 데이터를 합칠 수 있다.

• CHOOSE: 나열된 값 중에서 지정한 위치의 값 반환 ... CHOOSE(NTILE(), , ,)

• LTRIM, RTRIM, TRIM: 앞/뒤 공백 제거 -> 앞/뒤 특정 문자 제거 (2022+)

  TRIM(LEADING '$# ' FROM @str1)
  TRIM(TRAILING '$# ' FROM @str1)
  TRIM(BOTH '$# ' FROM @str1)

• TRY CONVERT: 변환 오류 시 NULL 반환

• OFFSET ... FETCH: 몇번부터 몇번까지의 행을 불러오는 것 (ROW_NUMBER 보다 성능적으로도 우수)

  OFFSET 5 ROWS
  FETCH NEXT 5 ROWS ONLY
  

  5개 행을 건너뛰고 5개 행을 가져와

• GREATEST, LEAST: 행 단위에서 가장 큰 값, 가장 작은 값 반환 (2022+)

• STRING_AGG: 문자열 집계 (2017+)

• STRING_SPLIT: 구분자가 있는 문자열을 행으로 분리 (2016+)

• STRING_SPLIT: Ordinal 옵션 기능 추가 (2022+)

  FROM STRING_SPLIT(@STR, '/', 1)

• DATETRUNC: 지정한 위치까지 날짜와 시간 표시 (2022+)

• IS DISTINCT FROM, IS NOT DISTINCT FROM: 상이한 값 또는 상이하지 않는 값 확인, 단 NULL을 포함하여 비교 가능 (2022+)

  SELECT *
  FROM #TABLE
  WHERE COL1 IS DISTINCT FROM 50
  

  다음 구문과 동일한 의미 WHERE ISNULL(COL1,0) <> 50

• WINDOWS: OVER절에서 창 함수가 적용되기 전 행 집합의 분할 및 순서 결정 (2022+)

  SELECT *
       , RANK() OVER win AS col1
       , DENSE_RANK() OVER win AS col2
       , NTILE(3) OVER win AS col3
  FROM #TABLE
  WHERE 지역 = 'ANSAN'
  WINDOW win AS (PARTITION BY 성별 ORDER BY 포인트 DESC);

• SELECT INTO ... ON: 파일그룹을 지정하여 저장

  SELECT *
  INTO TABLE2 ON FILEGROUP1
  FROM TABLE1

2. 스칼라 UDF 인라인 처리 (2019+)

• 과거 버전에서 스칼라 사용자 정의 함수 사용 시 결과 Row 수 만큼 함수를 타게 된다.
• 2019년+ 버전 부터는 쿼리를 재해석하여 필요 테이블과 내부 조인 처리하여 스칼라 함수를 타게 해준다.
• VIEW에서는 버전과 상관 없이 쿼리를 재해석하여 필요한 테이블만 타도록 처리해준다.

3. 테이블 변수 지연 컴파일 (2022+)

• 과거 버전에서 테이블 변수(@table)는 테이블 통계 관리가 되지 않는다. 제대로된 실행 계획을 타지 않는다.
• 2022년+ 버전 부터는 테이블 변수의 통계가 관리되고 정상 실행 계획을 탄다. (임시 테이블 동작과 동일해짐)

4. 향상된 인덱스 작업 (2019+)

• 다시 시작 가능한 인덱스 REBUILD 작업 (RESUMABLE = ON)
• 단, Enterprise Edition에서 사용 가능 (ONLINE = ON, RESUMABLE = ON)
• WAIT_AT_LOW_PRIORITY 옵션

5. 설치 화면 변경 (2022+)

• 데이터베이스 엔진 구성: MaxDOP, 메모리
• MaxDOP: 최대 병렬 처리 수준 정의

6. PolyBase를 사용한 데이터 가상화

7. 가속 데이터베이스 복구 프로세스 (ADR)

• SET ACCELERATED_DATABASE_RECOVERY = ON

1. 먼저 query를 생각한다.

사용자는 데이터로부터 무엇을 알고싶은지 '유저 스토리'를 기반으로 시작 예를들어, "내가 일하는 회사의 직원 중 누가 나와 비슷한 기술을 갖고 있고, 지식을 교환할 수 있는지 알고 싶다"

2. 사용 사례를 이용해 관계 정렬하기

질의 기능을 모델링하고 질의가 모델을 결정할 수 있는 방법으로 다양한 사용사례(use cases)에 대해 노드 간에 가질 수 있는 서로 다른 관계 유형을 사용한다. 서로 다른 사용 사례에 대하여 2개의 동일한 노드 사이에 복수의 관계를 사용할 수 있다. 특정 사용 사례를 위하여 두 노드 사이에 특정 관계를 사용하는 것이 모델을 추가시 발생하는 복잡성에 비해 비용이 낮다.

3. 다항 관계 찾기

다항 관계는 특정 개념을 자연스럽고 편리하게 표현하기 위해 하나의 개념을 하나 이상의 개념에 관계를 연결한다.

4. 세밀한 노드 (세밀한 패턴 = granulate pattern)

그래프 모델에서는 적은 수의 속성을 가지고 있는 얇은 노드와 관계를 생성한다. 즉, 노드와 관계는 매우 잘게 쪼개져있고 세분화돼있다.

*비교 : 관계형 모델에서는 데이터베이스 정규화를 사용하여 세분화한다. 관계형 모델은 질의시 테이블 조인이 발생하고, 조인 연산에 비용이 많이든다. 따라서 비정규화 하려는 경향이 있는데, 비정규화 하게되면 데이터 중복문제 발생

• 모델링 하다보면 속성 자체가 노드가 돼야하나? 속성으로 모델링 해야하나? 고민하게 된다.
  이때는 다음과 같이 접근하면된다.
• 해당 속성이 그래프 탐색 중에 평가할 필요가 없다면, 노드 속성으로 유지하자. 모델을 좀 더 단순하게 유지할 수 있다.
• 그래프 탐색 중에 해당 속성을 평가 해야한다면, 해당 브랜드를 자신의 노드 범주로 분리하는 것이 있다. 노드를 탐색하는 것이 종종 모든경로에서 각 노드의 속성을 평가하는 것보다 쉽고 빠르다.

  5. 필요한 경우 그래프의 색인 기능 사용하기

  추가) property vs relationship

올바르지 못한 GraphDB 모델링

1. 풍부한 속성 사용하기

속성을 별도의 노드로 분할한 다음 관계를 사용해 연결하면 훨씬 효율적으로 해결 가능하다.

2. 여러 가지 개념을 나타내는 노드

3. 연결되지 않은 그래프

4. 고밀집 노드 패턴

그래프 순회에서 문제가 생기는 것은 그래프의 일부가 모두 같은 노드에 연결되는 고밀집 노드 또는 슈퍼노드다.

그래프 순회 관점에서 봤을때 많은 관계를 갖고있는 슈퍼 노드는 다음 단계가 무엇인지를 결정하기 위해 그 노드에 연결된 모든 관계를 순서대로 평가해야 하기 때문에 문제가 될 수 있다.

-> fan-out패턴을 적용하여 구성한다. 즉 직접 연결하는 대신 메타노드에 연결한다. 메타 노드는 상호 연결되고 최종적으로 실제 노드와 연결된다. ex) 아티스트 마돈나에게 fan들이 좋아요를 100개를 연결하는 상황을 모델링해보면 직접 연결하는 대신 메타 노드를 사용하여 연결할 수 있다.

GraphDB 모델링 순서 및 예시

Graph Data Model = Whiteboard-Friendly

1. Matrix - whiteboard model

2. Matrix - match node and relationship format of property graph model

3. Matrix - add labels and properties

4. Matrix - final model in Neo4j

Describing a Domain To better understand the process of designing a graph data model, let us take an example domain for a small set of data and walk through each step of how to create a graph data model from it. Consider the following scenario describing our example data entities and connections. -> Scenario: Two people, Sally and John, are friends. Both John and Sally have read the book, Graph Databases.

Defining Nodes You can often find nodes for the graph model by identifying nouns in your domain. Entities such as a car, a person, a customer, a company, an asset, and others similar can be defined as nodes for a good starting point. -> Scenario: Two people, Sally and John, are friends. Both John and Sally have read the book, Graph Databases.

Extracting the nodes:

• John
• Sally
• Graph Databases
  Remember that a graph database takes each instance of an entity as a separate node (John and Sally would be two separate nodes, even though they are both people), and Graph Databases would be a separate node from another book.
  Defining Labels

Node

• 개체 정보를 저장하는데 사용된다.

Relationship

• 관계는 노드를 명시적으로 연결하는데 사용한다.
• 구성 : 유형, 시작노드, 종료노드, 방향
• 관계형 데이터베이스에서 미리 계산된 조인과 유사하다.

관계는 항상 방향이 있다

관계는 항상 유형이 있다

관계는 데이터의 패턴을 형성한다.

조인은 그래프DB에서 더 이상 시간이 소요되는 쿼리 작업이아니다. 두 노드 사이를 연결할 수 있다면 방향성을 가지고 있다. 즉, 순방향과 역방향 순회 모두 가능하다. 관계는 Type을 가질 수 있으며 시작 노드(start node)와 종료 노드(end node)를 가지고 있다. 이때 'No broken links'가 있는데 시작 노드만 존재하거나 종료 노드만 존재하고 관계는 존재하지 않는다는 의미이다. 관계를 삭제하지 않은 채 노드를 삭제할 수 는 없다. 관계도 (키-값)쌍으로 구성된 속성을 가진다. 두 노드 사이에 여러 개의 관계를 가질 수 있다.

Property

• 노드와 관계 모두 속성을 담고 있는 컨테이너다. 이름/값 쌍으로 되어있다.
• 노드는 하나 이상의 필드 또는 속성을 가질수 있다.
• 관계 역시 속성을 가진다.

Label

• 레이블은 노드를 분류하는 방법으로, 하위 그래프를 신속하고 효율적으로 작성할 수 있다.
• 노드당 여러개의 레이블 설정가능
• 관계는 단 하나의 레이블 가진다.

https://docs.oracle.com/en-us/iaas/Content/Network/Concepts/overview.htm https://www.avg.com/en/signal/public-vs-private-ip-address https://yoonix.tistory.com/11 https://dontbesatisfied.tistory.com/13

VCN

• OCI(Oracle Cloud Infrastructure)에서 제공하는 Virtual Cloud Network(가상 클라우드 네트워크)
• 사용자 정의가 가능한 전용 클라우드 네트워크 제공
• 가상의 클라우드 네트워킹 서브넷, 라우팅, 방화벽, 기본 IPsec VPN 등

Subnet

• 하나의 IP 네트워크 주소를 지역적으로 나누어 여러 개의 서로 연결된 지역 네트워크로 사용할 수 있도록 하는 방법
• 즉, 네트워크의 논리적인 분할
• 네트워크를 운영 중인 서비스의 규모에 맞게 분할하여 사용하기 위한 기술로, 낭비되는 IP주소 자원을 최소화하려는 것이 주된 목적
• 브로드캐스팅을 사용할 때 네트워크의 규모를 줄여서 브로드캐스팅으로 인한 부하를 줄일 수 있음

Public Subnet/IP

• 외부에서 접근이 가능한 네트워크 영역
• 외부에서 접근할 때 항상 Internet Gateway를 거쳐서 접근하게 됨
• 해당 Subnet은 인터넷과 연결이 가능하므로 해당 Subnet에 위치한 리소스들은 공인 IP(Public IP)를 가질 수 있음

Private Subnet/IP

• 외부에서 다이렉트로 접근이 불가능한 네트워크 영역
• 해당 Subnet에 위치한 리소스들은 외부와의 연결이 불가능함
• 인터넷 연결이 필요하다면 NAT Gateway를 이용하여 접근 가능, 단 내부에서 외부로만 접근이 가능함
• Private Subnet을 사용하는 이유는 엄격하게 다뤄야할 리소스들을 안전하게 관리하기 위함
• 초기 환경 구축을 위해 로컬에서 접속을 한다면 접속이 불가능함, 외부에서 다이렉트로 접속할 공인 IP(Public IP)가 할당이 안되어 있기 때문 ~ SSH 터널링 방법을 사용하여 같은 VCN에 있는 Public Subnet을 통해 접속할 수 있음

Public Server

Private Server

[백업 이유]

• 백업은 데이터를 보호하는 유일한 방법
• 서버 간 DB 복사, Always On 가용성 그룹, DB 미러링 설정, 보관 등 데이터베이스를 관리하는 용도로도 유용하게 사용

[백업 용어 설명]

- 백업(하다): Back Up, 데이터 레코드를 복사하거나 트랜잭션 로그에서 레코드를 기록하여 백업(본)을 만드는 프로세스

- 백업(본): Backup, 오류가 발생한 후에 데이터를 복원/복구하는데 사용할 수 있는 데이터 복사본으로 데이터베이스 백업을 통해 새 위치에 복원할 수도 있음

- 백업 디바이스: Backup Device, 백업이 기록되는 대상이자 복원하는 원본이 되는 디스크 또는 테이프 디바이스

- 백업 미디어: Backup Media, (하나 이상의) 백업이 기록된 (하나 이상의) 테이프 또는 디스크 파일

- 데이터 백업: Data Backup, 전체 데이터베이스 백업, 부분 데이터베이스 백업 또는 데이터 파일 집합이나 파일 그룹 등의 데이터 백업

- 데이터베이스 백업: Databaase Backup, 데이터베이스 백업만 의미함 - '전체 데이터베이스 백업'은 백업이 완료된 시점의 전체 데이터베이스를 나타내고, '차등 데이터베이스 백업'은 가장 최근의 전체 데이터베이스 백업 이후에 데이터베이스에 수행된 변경 내용만 포함함

- 차등 백업: Differential Backup, 최신 전체 백업을 기반으로 해당 기준 이후에 변경된 데이터만 포함하는 데이터 백업

- 전체 백업: Full Backup, 모든 데이터와 해당 데이터를 복구할 수 있을 만큼의 로그를 포함하는 데이터 백업

- 로그 백업: Log Backup, 이전 로그 백업에서 백업되지 않은 모든 로그 레코드를 포함하는 트랜잭션 로그 백업(-> 전체 복구 모델인 경우)

- 복구(하다): Recover, 데이터베이스를 안정적이고 일관된 상태로 되돌리는 것

- 복구(본): Recovery,

- 복구 모델: Recovery Model,

- 복원: Restore,

작성 중~~

• SQL Server의 고가용성 및 재해 복구를 위한 비즈니스 연속성 필요
• 비즈니스 연속성의 목표는 중단을 최소화하거나 중단 없이 비즈니스를 계속 운영하는 것
• 가용성 기능을 사용할 수 있는 주요 방법 1) 고가용성(HA) 2) 재해 복구 3) 마이그레이션 및 업그레이드 4) 하나 이상의 데이터베이스에서 읽을 수 있는 복사본 확장
• SQL Server 복제는 가용성 기능으로 공식 지정되지는 않았지만 특정 시나리오에서 데이터 중복을 위해 종종 사용됨

[고가용성]

• 클라우드 지역의 데이터 센터 또는 단일 지역에 국한된 문제가 발생하는 경우 SQL Server 인스턴스 또는 데이터베이스를 사용할 수 있도록 하는 것

- Always On 가용성 그룹

• 데이터베이스의 각 트랜잭션을 "Replica"라고 하는 다른 인스턴스로 보내 데이터베이스 수준의 보호를 제공함

• SE 또는 EE 버전에서 배포할 수 있으며, 인스턴스는 독립 실행형이거나 Always On FCI 일 수 있음
• 트랜잭션이 발생하면 replica로 전송되기 때문에 복구 지점 및 복구 시간 목표를 낮추기 위한 요구 사항이 있는 경우 가용성 그룹(AG)을 사용하는 것이 좋음
• replica 간의 데이터 이동은 동기식/비동기식이며, EE에서는 동기식으로 최대 3개의 replica가 허용됨
• AG에는 primary replica에 있는 데이터베이스의 전체 읽기/쓰기 복사본이 하나 있고, 모든 secondary replica는 최종 사용자/애플리케이션에서 직접 트랜잭션을 수신할 수 없음
• 인스턴스 수준이 아닌 데이터베이스 수준의 보호만 제공됨 - (예시)인스턴스 수준의 로그인, 연결된 서버 및 SQL Server 에이전트 작업은 수동으로 동기화해야 함
• AG에는 Listener라는 구성요소가 있어서 primary replica를 호스팅하는 인스턴스를 몰라도 연결이 가능함
• AG는 자동/수동 장애 조치, 즉 Failover를 제공함 - 자동 failover는 동기화된 데이터 이동이 구성되어 있고 primary replica와 secondary replica의 데이터베이스가 동기화된 상태이면 발생할 수 있음

Always On 가용성 그룹 클러스터 유형

• WSFC(Windows Server Failover Cluster)

• EXTERNAL
• NONE

- Always On FCI

• FCI = Failover Cluster Instance

• SQL Server 전체 설치에 대해 가용성을 제공하는 방법/인스턴스
• 기본 서버에 문제가 발생할 경우 데이터베이스, SQL Server 에이전트 작업, 연결된 서버 등 인스턴스 내부의 모든 항목이 다른 서버로 이동
• 공유 스토리지 필요(FCI와 물리적으로 분리된 스토리지 사용 필요) - FCI의 리소스는 주어진 시간에 한 노드에서만 실행하고 소유 가능
• FCI에서는 데이터 손실이 거의 없지만 데이터 복사본이 하나라는 주의사항이 존재함 - 데이터베이스 복사본을 확보하기 위한 AG 및 log shipping과 같은 다른 가용성 방법과도 결합됨
• FCI가 다른 노드로 failover하게 되면 노드를 중지하고 다른 노드에서 시작하게 됨 - 정상 복구 프로세스를 거치게 되며 롤포워드가 필요한 트랜잭션은 롤포워드가 수행되며 불완전한 트랜잭션은 롤백됨
• 데이터베이스는 복구가 완료된 후에만 사용할 수 있으며 일반적으로 AG의 failover 보다 더 많은 시간이 소요됨
• FCI는 primary/secondary replica를 호스트하는 인스턴스 중 하나로 AG에 참여 가능

- 로그 전달(Log shipping)

• 복구 시점 및 복구 목표가 유연하거나 해당 데이터베이스가 업무상 덜 중요하다면 log shipping을 사용함

• log shipping 프로세스: Primary 트랜잭션 로그 백업 자동 생성 -> (하나 이상의) Warm Standby 인스턴스에 트랜잭션 로그 백업 복사 -> 해당 트랜잭션 로그 백업을 대기 항목으로 자동 적용
• log shipping은 SQL Server 에이전트 작업을 사용하여 트랜잭션 로그 백업/복사/적용하는 프로세스를 자동화함
• 트랜잭션 로그 적용은 지연될 수 있음 - WHERE절 없는 UPDATE와 같은 명령을 보내면 standby에 변경사항이 전달되지 않아 primary시스템을 복구하는 동안 전환될 수 있음
• log shipping은 구성하기 쉽지만 primary에서 warm standby로 역할 변경하는 것은 항상 수동
• 단일 AG에는 여러 데이터베이스가 포함될 수 있지만 log shipping은 데이터베이스별로 구성 필요

[재해 복구]

• Primary 가용성 위치에 지진이나 홍수와 같은 치명적인 재해가 발생하는 경우, 자사 시스템이 다른 곳에서 온라인 상태가 되도록 준비 필요

- Always On 가용성 그룹

• 고가용성을 위해 하나의 데이터센터에 로컬인 replica를 확보하고 재해 복구를 위해 다른 데이터센터에 원격 replica를 확보하는 것으로 primary replica는 모든 secondary replica를 동기화된 상태로 유지 필요

• secondary replica는 읽기 전용 쿼리에서 사용될 수 있음(EE에서만 제공하는 기능) - 단, secondary replica는 순수 복사본이기에 데이터 조작 및 인덱스 적용 등이 필요하다면 primary replica에서 수행해야 함

- Always On FCI

• FCI 공유 스토리지(디스크) 관련 추가 고려가 필요함

• primary 및 secondary에서 동일한 공유 디스크를 사용할 수 있어야 하기 때문에 FCI에서 사용하는 디스크가 다른 곳에 있도록 하려면 하드웨어 계층에서 스토리지 공급업체가 제공하는 기능 또는 Windows Server의 스토리지 복제본 사용과 같은 외적인 방법이 필요

- 로그 전달(Log shipping)

• log shipping은 가장 오래된 재해 복구 방법으로 AG 및 FCI와 함께 사용되면 비용 측면에서 효율적이며 상대적으로 간단한 재해 복구 방법을 제공함

[마이그레이션 및 업그레이드]

• 신규 인스턴스를 배포하거나 기존 인스턴스를 업그레이드할 때 업무가 오래 중단되는 상태는 지양되도록 가용성 기능을 사용하여 계획된 아키텍처 변경, 서버 전환, 플랫폼 변경, 패치 적용 등으로 인한 가동 중지 시간을 최소화하는 방법 필요

- Always On 가용성 그룹

• 전제: (하나 이상의) AG에 속하는 기존 인스턴스를 SQL Server 최신 버전으로 업그레이드 한다면!

• 신규 서버로 마이그레이션하면서 구성(운영체제/SQL Server 버전 등)은 변경하지 않는다면 해당 서버를 기존 기본 클러스터에 노드로 추가하고 AG에 추가 후 replica(s)가 정상 상태가 되면 신규 서버에 수동 failover를 수행할 수 있으며 이전 서버는 AG에서 제거하고 최종적으로 서비스를 해제할 수 있음
• 클러스터 유형이 'NONE'인 AG를 마이그레이션 및 업그레이드가 가능한데 AG 구성에서 클러스터 유형을 짜맞출 수 없으므로 모든 replica는 클러스터 유형이 'NONE'이어야만 함
• 분산형 AG를 사용하여 서로 다른 클러스터 유형으로 구성된 AG를 확장할 수 있음

- Always On FCI

• FCI는 자체적으로 기존 마이그레이션 또는 업그레이드를 지원할 수 없음

- 로그 전달(Log shipping)

• log shipping은 마이그레이션 및 업그레이드 수행 시 많이 사용되는 옵션

• 서버 전환 시 원본에서 모든 트래픽이 중단되면 최종 트랜잭션 로그를 가져와 복사하고 새 구성에 적용(백업/복원 기반) - 해당 시점에서 데이터베이스를 Online 상태로 만들 수 있음
• log shipping은 다른 가용성 작업 보다 전환 시간이 좀 더 소요될 수는 있으나 분 단위 정도의 차이로 측정됨