• Zabbix Server : 모니터링을 수행하는 Zabbix 소프트웨어의 중앙 프로세스이자 중앙 데이터 저장소. Zabbix proxy 및 agent와 상호 작용하며 트리거를 계산하고, 알림을 전송한다.
• Zabbix Agent : 모니터링 대상에 배포되어 Server로 데이터를 보내주는 프로세스이다. (장치에서 CPU, 메모리, 디스크 및 네트워크 인터페이스 사용량과 같은 데이터를 수집합니다.)

동작 방식

• Active 방식: 에이전트가 10051/TCP을 사용하여 2분에 한 번씩 서버와 연결하고 모니터링 데이터를 전송하는 방식

  • Agent 가 Server 로 데이터를 전송

• Passive(기본) 방식: 서버가 10050/TCP를 사용하여 에이전트에 연결하고 데이터를 가져오는 방식

  • Server 가 Agent 의 데이터를 가져오기

참고

• https://honglab.tistory.com/66
• https://blog.zabbix.com/zabbix-agent-active-vs-passive/9207/

sudo -i

wget https://repo.zabbix.com/zabbix/5.0/ubuntu/pool/main/z/zabbix-release/zabbix-release_5.0-1%2Bfocal_all.deb

dpkg -i zabbix-release_5.0-1+focal_all.deb

apt update

2) Zabbix agent 설치

apt install zabbix-agent

3) Zabbix server ip 로 설정

vi /etc/zabbix/zabbix_agentd.conf

# 127.0.0.1 설정을 Zabbix Server ip 로 변경
Server=192.168.0.26

4) Zabbix agent process 시작

systemctl restart zabbix-agent


# 시스템 재부팅시, zabbix-agent 재시작하기
systemctl enable zabbix-agent

5) Zabbix Server 에서 Host 추가하기

1) 호스트 명: 호스트 이름을 입력 2) 그룹: 선택 버튼을 클릭하여 하나 또는 여러 개의 기존 그룹을 선택하거나 존재하지 않는 그룹 이름을 입력하여 새 그룹을 만듭니다. 3) IP 주소: 호스트의 IP 주소를 입력합니다.

6) 추가한 Host 에 template 추가하기

• 시간이 지나면, 상태가 변경이 됨

참고사항) Received empty response from Zabbix Agent at [x.x.x.x]. Assuming that agent dropped connection because of access permissions. 발생시

1) zabbix server 에서 host 간의 tcp 연결이 되는지 확인

km@km-VirtualBox:~$ nc -vz 192.168.0.28 10050
Connection to 192.168.0.28 10050 port [tcp/zabbix-agent] succeeded!
km@km-VirtualBox:~$
km@km-VirtualBox:~$

2) host에서 agent.conf 설정에 zabbix server ip 로 설정 필요

root@km-VirtualBox:~# cat /etc/zabbix/zabbix_agentd.conf | grep ^Server=
Server=127.0.0.1
root@km-VirtualBox:~#
root@km-VirtualBox:~#
vi /etc/zabbix/zabbix_agentd.conf

# 127.0.0.1 설정을 Zabbix Server ip 로 변경
Server=192.168.0.26
root@km-VirtualBox:~# cat /etc/zabbix/zabbix_agentd.conf | grep ^Server=
Server=192.168.0.26

4) Zabbix agent process 재시작

systemctl restart zabbix-agent

참고

• https://www.zabbix.com/download?zabbix=5.0&os_distribution=ubuntu&os_version=20.04&components=agent&db=&ws=
• https://www.zabbix.com/documentation/5.0/en/manual/quickstart/host

https://www.zabbix.com/download?zabbix=5.0&os_distribution=ubuntu&os_version=20.04&components=server_frontend_agent&db=mysql&ws=apache

1) 환경 정보

OS: Ubuntu 20.04 LTS DB : MySQL Web : Apache zabbix: 5.0 LTS

2) zabbix repo 설치

sudo -i

wget https://repo.zabbix.com/zabbix/5.0/ubuntu/pool/main/z/zabbix-release/zabbix-release_5.0-1%2Bfocal_all.deb

dpkg -i zabbix-release_5.0-1+focal_all.deb

apt update

3) Zabbix server, frontend, agent 설치

apt install zabbix-server-mysql zabbix-frontend-php zabbix-apache-conf zabbix-agent

4) mysql 서버 설치

apt install mysql-server

5) mysql 데몬 확인

root@km-VirtualBox:~# systemctl status mysql
● mysql.service - MySQL Community Server
     Loaded: loaded (/lib/systemd/system/mysql.service; enabled; vendor preset: enabled)
     Active: active (running) since Wed 2022-12-07 21:14:45 KST; 29s ago
   Main PID: 58748 (mysqld)
     Status: "Server is operational"
      Tasks: 39 (limit: 4588)
     Memory: 361.1M
     CGroup: /system.slice/mysql.service
             mq58748 /usr/sbin/mysqld

12월 07 21:14:44 km-VirtualBox systemd[1]: Starting MySQL Community Server...
12월 07 21:14:45 km-VirtualBox systemd[1]: Started MySQL Community Server.
root@km-VirtualBox:~#

6) 초기 데이터베이스 생성 & 계정 추가하기

# mysql -uroot -p
password
mysql> create database zabbix character set utf8 collate utf8_bin;
mysql> create user zabbix@localhost identified by 'password';
mysql> grant all privileges on zabbix.* to zabbix@localhost;
mysql> set global log_bin_trust_function_creators = 1;
mysql> quit;

• database 조회: zabbix 가 있는지 확인

  mysql> SHOW DATABASES;
  +--------------------+
  | Database           |
  +--------------------+
  | information_schema |
  | mysql              |
  | performance_schema |
  | sys                |
  | zabbix             |
  +--------------------+
  5 rows in set (0.00 sec)
  

mysql> mysql> quit;

 - 추가한 계정으로 mysql 로그인이 되는지 확인: zabbix 계정 로그인 해보기

root@km-VirtualBox:~# mysql -u zabbix -p Enter password: password

## 7) Zabbix 서버 에서 초기 스키마와 데이터를 가져오기

root@km-VirtualBox:# zcat /usr/share/doc/zabbix-server-mysql*/create.sql.gz | mysql -uzabbix -p zabbix Enter password: root@km-VirtualBox:#

## 8) log_bin_trust_function_creators 옵션을 비활성화

mysql -uroot -p

password mysql> set global log_bin_trust_function_creators = 0; mysql> quit;

## 9) zabbix 서버: DB 설정

vi /etc/zabbix/zabbix_server.conf

DBPassword=password

## 10) Zabbix 프런트엔드: PHP 구성

vi /etc/zabbix/apache.conf

php_value date.timezone Asia/Seoul

![](https://velog.velcdn.com/images/engineer_km/post/06771c1c-a472-4da7-81d3-a842452ce9e6/image.png)


## 11) Zabbix server 와 agent processes 재시작

systemctl restart zabbix-server zabbix-agent apache2

Zabbix server 와 agent processes 재부팅시 system 재시작되면 프로세스 자동으로 시작되도록 설정

systemctl enable zabbix-server zabbix-agent apache2

## 12) zabbix url 접속 및 설정
 - http://IP/zabbix

![](https://velog.velcdn.com/images/engineer_km/post/5247460e-2a0c-4904-aeac-d4febd16ecab/image.png)

![](https://velog.velcdn.com/images/engineer_km/post/0ea427fd-9d06-41e2-925c-b8c60f7c3c6f/image.png)

![](https://velog.velcdn.com/images/engineer_km/post/4d20eb69-5ed3-497d-9b24-6567ebef892b/image.png)

![](https://velog.velcdn.com/images/engineer_km/post/bb2731a5-bad6-4654-b3c6-02977ee09fd8/image.png)

![](https://velog.velcdn.com/images/engineer_km/post/6ffd42e2-d7ff-472c-8316-18007bd78b77/image.png)

![](https://velog.velcdn.com/images/engineer_km/post/abedffa8-574b-4040-8e9e-39badf8b42b6/image.png)


## 13) Zabbix 로그인
- Username : Admin
  Password : zabbix 
![](https://velog.velcdn.com/images/engineer_km/post/901d107d-4420-415a-b2f0-00fab1c8de6b/image.png)

![](https://velog.velcdn.com/images/engineer_km/post/1d588a62-0305-48c5-bf74-914a8727fed0/image.png)


## (참고사항) 언어 한글 변경하기
![](https://velog.velcdn.com/images/engineer_km/post/c09a1449-d2e1-4fda-887c-29eeab3adf26/image.png)

1) python manage.py showmigrations <앱 이름>

현재 migrations 내역을 확인합니다.
0001_initial, 0002_post_author 에 [x] 가 되어있다. (migrate 적용된 상태)
(venv) root@km-VirtualBox:~/django-with-react-study# python manage.py showmigrations blog1
blog1
 [X] 0001_initial
 [X] 0002_post_author
(venv) root@km-VirtualBox:~/django-with-react-study#

1) python manage.py showmigrations <앱 이름>

• 현재 migrations 내역을 확인합니다.
• 0001_initial, 0002_post_author 에 [x] 가 되어있다. (migrate 적용된 상태)

  (venv) root@km-VirtualBox:~/django-with-react-study# python manage.py showmigrations blog1
  blog1
  [X] 0001_initial
  [X] 0002_post_author
  (venv) root@km-VirtualBox:~/django-with-react-study#

2) 마이그레이션 히스토리 삭제

• zero 는 migrations 처음 상태로 돌아감.
  • __init__.py 까지 돌아감.
  • __init__.py 은 남아있어야됨.
  • .pyc 파일도 삭제할 것
  • 0001_initial, 0002_post_author 에 [ ] 로 되어있어야된다.

    python manage.py migrate --fake <앱 이름> zero

(venv) root@km-VirtualBox:~/django-with-react-study# python manage.py migrate --fake blog1 zero
Operations to perform:
  Unapply all migrations: blog1
Running migrations:
  Rendering model states... DONE
  Unapplying blog1.0002_post_author... FAKED
  Unapplying blog1.0001_initial... FAKED
(venv) root@km-VirtualBox:~/django-with-react-study# python manage.py showmigrations blog1
blog1
 [ ] 0001_initial
 [ ] 0002_post_author
(venv) root@km-VirtualBox:~/django-with-react-study#

3) 초기화 경우:__init__.py만 남기고 나머지 파일들을 다 지우기

• migrations 폴더에 __init__.py 를 제외하고 다 삭제

rm blog1/migrations/0001_initial.py

rm blog1/migrations/0002_post_author.py

4) python manage.py makemigrations <앱 이름>

• 초기 마이그레이션 파일 생성

(venv) root@km-VirtualBox:~/django-with-react-study# python manage.py makemigrations blog1 Migrations for 'blog1': blog1/migrations/0001_initial.py - Create model Post

### 5) 페이크 마이그레이션
  - 데이터베이스 테이블이 이미 존재하기 때문에 초기 마이그레이션 파일을 적용할 수 없다. 
    따라서 마치 마이그레이션을 한 것처럼 아래와 같이 명령하여 페이크 마이그레이션한다.
  - `--fake` 는 현재 마이그레이션 적용 상태를 변경
  - `--fake-initial` 는 첫 마이그레이션을 페이크

python manage.py migrate --fake-initial

```

참고

• django 마이그레이션 파일 제거
• --fake-initial vs --fake in Django migration?

공식 문서

• https://django-bootstrap4.readthedocs.io/en/latest/

django-bootstrap4 github

• https://github.com/zostera/django-bootstrap4

설치 방법

pip install django-bootstrap4

• settings.INSTALLED_APPS 에 bootstrap4 추가 합니다.

  INSTALLED_APPS = (
  # ...
  "bootstrap4",
  # ...
  )

예제 코드

• {% load bootstrap4 %}
  • bootstrap4 에 정의된 tag(함수) 를 사용하기 위해서 load (import) 시켜준다.
• {% bootstrap_form form %}
  • bootstrap 으로 form 을 꾸며주기 위해서 사용된 tag(함수)
• 그밖의 TAG 정보: 공식문서 참고

{% load bootstrap4 %}

{# Display a form #}

<form action="/url/to/submit/" method="post" class="form">
    {% csrf_token %}
    {% bootstrap_form form %}
    {% buttons %}
        <button type="submit" class="btn btn-primary">Submit</button>
    {% endbuttons %}
</form>

발표 정보 👀

• https://www.youtube.com/watch?v=EZgLfDrUlrk&ab_channel=PyConKorea

• https://github.com/KimSoungRyoul/Django_ORM_pratice_project/issues/7

QuerySet을 통해 알아보는 ORM의 특징

1) Lazy Loading 지연로딩 : 정말 필요한 시점에 SQL을 호출

1-1) 실제로 쿼리가 호출되는 시점

• list()로 쿼리셋을 묶는 로직이 수행될때 SQL이 호출된다
• [내가 추가한 내용] : QuerySet을 만드는 동안에는 DB접근을 하지 않는다.
  • print(query_set)
  • iteration : for instance in query_set: print(instance)
  • Slicing
  • repr() : 파이썬 인터프리터를 위한 것, API를 인터프리터로 사용할 때 즉시 결과를 볼 수 있다.
  • len()
  • bool() ...

from .models import Post

query_set = Post.objects.all()  # QuerySet. 아직 SQL 호출안됨.

list(query_set)

1-2) 만약 QuerySet을 선언했지만 사용하지 않는다면 SQL은 호출되지 않는다.

from .models import Post

query_set = Post.objects.all()  # QuerySet. 아직 SQL 호출안됨. 사용하는 곳 없음.

1-3) 현 시점에 딱 필요한 만큼만 데이터를 가져옴

- ORM은 이후 로직을 알지 못한다.
  - 현 시점에 딱 필요한 만큼만 데이터를 가져오려 하기 때문에 비효율적으로 데이터를 가져올 수 있다.
- SQL을 한번만 호출해서 데이터를 재사용할 것

# 불필요하게 SQL이 두번 호출
# 실수 예제


from .models import Post

query_set = Post.objects.all()  # QuerySet. 아직 SQL 호출안됨.

first_post = query_set[0]   # <Post: Post object (1)>

post_list = list(query_set)  # [<Post: Post object (1)>, <Post: Post object (2)>, <Post: Post object (3)>]

2) Caching : QuerySet 캐싱을 재사용 하는 법

2-1) 쿼리셋을 호출하는 순서가 바뀌는것 만으로도 QuerySet 캐싱 때문에 발생하는 SQL이 달라질 수 있다.

• 1-3 실수예제를 해결 할 수 있음.
• 모든 post 를 가져오는 sql이 호출되어서 post_list 쿼리셋에는 모든 post 데이터가 캐싱되어있음

from .models import Post


query_set = Post.objects.all()  # QuerySet. 아직 SQL 호출안됨.

post_list = list(query_set)  

first_post = query_set[0]  # QuerySet 캐싱으로 인해서 SQL 호출되지 않음.
                           # 이미 모든 post_list 에 대한 정보를 가지고 있고
                           # 0번째 post 를 캐싱해서 가져옴.

3) Eager Loading 즉시로딩 : N+1 Problem

3-1) N+1 Problem ?

• 쿼리 1번으로 N건의 데이터를 가져왔는데 원하는 데이터를 얻기 위해 이 N건의 데이터를 데이터 수 만큼 반복해서 2차적으로 쿼리를 수행하는 문제다.
• Lazy Loading 으로 인해서 발생되는 문제 중 하나이다.

(밑에 예제코드를 기준으로 설명)

• for post in posts:
  • 모든 Post 조회함 (SQL 실행: 1)
• post.title
  • 반복문 돌면서 title 접근 (SQL 실행: N번) post의 title 값은 캐싱되어 있지 않아서 SQL 호출
    • 사실 모든 post 정보가 posts에 담겨있지만 QuerySet은 모른다.
• N+1 Problem을 해결하기 위해 (==즉시로딩을 하기위해) Django는 select_related()와 prefetch_related() 라는 메서드를 제공

from .models import Post


posts = Post.objects.all()  # QuerySet. 아직 SQL 호출안됨.


# 개발자 입장에서는 각 post의 title 정보가 posts에 담겨 있는 것을 알지만 QuerySet은 모른다. 
for post in posts:  # 모든 Post 조회함 (SQL 호출: 1)
    # QuerySet 입장에서는 post의 title 정보가 필요한 시점은 여기.
    # 따라서 title 를 알기위해서 SQL이 for 문을 돌때마다 N번 호출한다. (SQL 호출: N번)
    post.title    # post.title를 조회할때마다 sql이 계속 호출되는 문제가 발생

4) QuerySet 상세

4-1) QuerySet은 1개의 쿼리와 0~N개의 추가쿼리(셋)로 구성되어있다.

4-2) select_related() 와 prefetch_related()

• select_related()

  • join을 통해서 데이터를 즉시 로딩하는 방식

• prefetch_related()

  • 추가 쿼리를 통해서 데이터를 즉시 로딩하는 방식

• 모델M:모델R 가 (1 : N) 관계 일때

  • 모델M 입장에서 모델R은 역방향 참조 모델
  • 모델R 입장에서 모델M은 정방향 참조 모델

• 역방향참조 모델은 select_related()에 줄수없다.

  • Model.objects().filter(조건절).prefetch_related().select_related()
    • 위의 순서 django 에서 지원 안됨.
  • Model.objects().filter(조건절).select_related().prefetch_related()
    • django 에서 지원 됨.

• 정방향참조 모델은 select_related(), prefetch_related()에 옵션으로 둘다 가능 하지만 특별한 이유가 없다면 select_related를 권장함

(
  Model.objects
  .filter(조건절)
  .select_related('정방향 참조 필드')    # join으로 가져옴
  .prefetch_related('역방향 참조 필드')  # 추가쿼리로 가져옴

)

• inner/outer 여부는 QuerySet조건절 변경에 따라 JOIN 옵션이 변할수있음 하지만 일반적으로 ForiegnKey(null=True) 이면 OUTER JOIN ForigenKey(null=False) 이면 INNER JOIN

select * from 'Model' m
(inner OR left outer) join '정방향 참조 필드' r on m.r_id == r.id where 조건절;


select * from '역방향 참조 필드' where id in ('첫번째 쿼리 결과의 id 리스트');

4-3) prefetch_related()는 추가 쿼리셋이다

• QuerySet은 1개의 쿼리와 N개의 쿼리(셋)로 이루어져있다.

  • 1개의 메인 쿼리
  • N개의 추가 쿼리

• prefetch_related()에 주어진 옵션들은 전부 새로운 쿼리셋으로 수행된다.

• query_set_1 과 query_set_2 의 SQL 문은 동일하다.

예제 코드1

"""
 1. 메인모델에 역참조된 모델들을 전부 조회하고 싶다면
단순히 역참조필드만 선언해주면
해당 필드를 조회하기위한 SQL이 1개가 더 수행된다.
(이 예제의 경우는 2개를 선언했기때문에 SQL이 2개 더 추가 수행된다.)

"""

 query_set_1 = (
   AModel.objects.
   prefetch_related(
       'b_model_set',
       'c_models',
   )
 )



from djngo.db.models import Prefetch


query_set_2 = (
   AModel.objects.
   prefetch_related(
       Prefetch(to_attr='b_model_set', queryset=BModel.objects.all()),
       Prefetch(to_attr='c_models', queryset=CModel.objects.all())
   )
)

예제 코드1 : SQL 결과

select * from a_model;
select * from b_model where id in (~~~);
select * from c_model where id in (~~~);

예제 코드2

"""
 2. 추가적인 조건절을 걸고싶다면 ?
Prefetch() 문법을 사용해서 추가쿼리(셋)을 제어하면된다.

"""python

from djngo.db.models import Prefetch


query_set_2 = (
   AModel.objects.
   prefetch_related(
       Prefetch(to_attr='b_model_set', queryset=BModel.objects.filter(is_deleted=False)),
       Prefetch(to_attr='c_model', queryset=CModel.objects.all())
   )
)

예제 코드2 : SQL 결과

select * from a_model;
select * from b_model where id in (~~~) and is_deleted is False;
select * from c_model where id in (~~~);

4-4) SQL Preformance를 커버하는 Testcase [CaptureQueriesContext를 활용하자]

• N+1문제로 인한 크리티컬한 성능 이슈만 커버할때 사용
• assertNumQueries()로 테스트케이스를 작성해놓으면 API가 수정될때 마다 달라지는 SQL갯수를 체크해줘야됨.

5) 실수하기 쉬운 QuerySet의 특성들

5-1) prefetch_related() 와 filter() 는 완전 별개다

실수 예제 : 비효율적

• 실제 SQL 동작: 메인쿼리에서 JOIN하고 추가쿼리에서 한번더 조회하게 됨.
• 실제 SQL 동작 순서: filter -> prefatch_related
  • filter 에서 join 하고 prefatch_related 에서 추가 쿼리

company_queryset = (
   Company.objects.
   prefatch_related('prodcut_set').
   filter(name='company_name1', BModel__name__isnull=False)

)

# SQL: 1번째 호출: Company, filter
select * from "company"
inner join "product"
  on ("company"."id" = "product"."product_owned_company_id")
where ("company"."name" = "company_name1"
       and "product"."name" IS NOT NULL)


# SQL: 2번째 호출
# prefatch_related
select * from "product"
where "product"."product_owned_company_id" in (1, 43, 75, 23)

해결방법 예제1) prefatch_related 옵션 제거

queryset = (
   Company.objects.
   # prefatch_related('product_set').
   filter(name='company_name1', product__name__isnull=False)

)

해결방법 예제2) filter()에 넣었던 BModel 관련 조건절을 Prefetch() 에 제공

• 추가쿼리에 where문이 수정됨

queryset = (
   Company.objects.
   filter(name='company_name1').
   prefatch_related(
       'product_set',
       Prefetch(queryset=Product.objects.filter(BModel__name__isnull=False))
   )
)

6) QuerySet 작성 순서

7) queryset 캐시를 재활용하지 못하는 queryset 호출

• first_company.product_set.all()
  • all() 로 질의 하면 result_cache 를 재사용함.
• first_company.product_set.filter(name="상품명_1")
  • 이전에 all()이 캐싱되어 있었음. filter 를 통해서 특정 상품을 찾으려 하면 result_cache 를 재사용하지 않고 SQL 로 질의함.

company_list = list(Company.objects.prefetch_related("produtct_set".all())  # EagerLoading함


first_company = company_list[0]



first_company.product_set.all()  # 여기서는 EagerLoading해서 SQL 발생 안함


first_company.product_set.filter(name="상품명_1")  # 하지만 이러면 SQL이 발생됨


# sql 을 발생시키지 않으려면 아래처럼 써야됨.
filtered_product_list = [product for product in first_company.product_set.all() if product.name=="상품명1"]

8) RawQuerySet은 NativeSQL이 아니다

• QuerySet 과 RawQuerySet 의 가장 큰 차이점은
  • QuerySet._query 는 sql.Query
    • sql.Query: django 에서 제공해주는 query 구현체
  • RawQuerySet._query 는 sql.RawQuery
    • sql.RawQuery: 사용자가 입력해주는 SQL 문

• RawQuerySet은 QuerySet의 또다른 유형이기 때문에 prefetch_related(), Prefetch()는 사용가능

• RawQuerySet은 아래와 같은 메서드는 사용할 수 없다. (아래의 메서드를 사용하려면 NativeSQL로 작성해야됨)

  • .select_related()
    • 메인쿼리의 JOIN 옵션을 주는 메서드
  • FilterRelation()
    • JOIN이 안되니 ON절 제어 옵션 사용 불가
  • .annotate()
    • 메인쿼리에 AS 옵션을 주는 메서드
  • .order_by()
    • 메인쿼리에 order by 옵션 주는 메서드
  • '.extra()'
    • 메인쿼리에 sql을 추가 반영하는 메서드
  • '[:N]'
    • 메인쿼리에 limit 옵션을 걸수 없음

from django.db.models.query import RawQuerySet
from django.db.models import QuerySet


# RawQuerySet
a_model_queryset = (
    AModel.objects.
    raw(raw_query="""
        SELECT *
        FROM "order"
        INNER JOIN "user" on ("order"."order_owner_id" = "user"."id")
        WHERE "user"."username" = %(name_param1)s
    """),
        params={"name_param1": "name_test"}
    ).
    prefetch_reladted('product_set_included_order')
)


# 위의 Raw 쿼리셋과 아래 쿼리셋은 동일한 SQL 문을 수행


a_model_queryset = (
    AModel.objects.
    select_related('order_owner').
    filter(order_owner_username='name_test').
    prefetch_related('product_set_included_order')
)

9) 서브쿼리 발생 조건 : QuerySet In QuerySet

• 서브쿼리를 사용하면 slow query 가 야기됨

실수 예제

• django ORM에서 서브쿼리를 발생시키는 옵션을 주지 않고 발생되는 예제

company_queryset = Company.objects.filter(id__lte=20).values_list("id", flat=True)  # 아직 SQL문 실행안됨



product_queryset = Product.objects.filter(product_owned_company__id__in=company_queryset)  
# company_queryset 은 product queryset안으로 들어가는 시점에도 아직 queryset 상태임
# 그래서 product queryset과 company_queryset 이 합쳐져서 수행하게됨.

select * from product
where "product"."product_owned_company_id" in (
  select U0."id" from "company" U0 
  where U0."id" <= 20
);

해결방법 예제

• list 묶어서 querset을 바로 수행

company_queryset = list(Company.objects.filter(id__lte=20)) # SQL 수행됨.

product_queryset = Product.objects.filter(product_owned_company__id__in=company_queryset)

```sql

# 첫번째 SQL
select * from company
where "company"."id" <= 20;


# 두번째 SQL
select * from product
where "product"."product_owned_company_id" in ('첫번째 SQL 실행 결과')

10) 서브쿼리 발생 조건 : .exclude() 조건절의 함정

• 역방향참조모델을 filter()절에 넣어서 JOIN을 유도함 (의도한SQL이 정상적으로 수행됨)
• 역방향 참조 모델에서 .exclude() 조건 절 사용시 서브쿼리 발생
  • 역방향 참조 모델을 exclude()절에 넣어서 JOIN을 유도. 서브쿼리 발생
  • ~Q() 절로 바꿔서 filter()절에 넣어줘도 여전히 서브쿼리 발생
  • 이런경우 JOIN으로 풀리게 유도하는 것이 불가능해서 차선책으로 prefetch_related(Prefetch()) 를 사용하는 방식으로 대체
  • 정방향참조모델은 exclude()절에 넣어서 JOIN을 유도하면 의도한SQL수행

11) values() values_list() 사용시 주의점 : EagerLoading 옵션 무시

• values(),values_list() 사용하면 해당 QuerySet에 주어진 select_related(), prefetch_related()옵션들을 전부 무시

  • 단 select_related (join) 하려면 values()안에 join해야지만 가져올 수 있는 데이터를 명시해야지 join 을 함.

11-1) select_related(), prefetch_related()옵션들 전부 무시는 어찌보면 당연한 결과

• values(), values_list()를 사용하면 아래와 같은 DB Raw단위로 데이터를 반환한다

  • Object(객체)와 Relational(관계지향) 간에 Mapping(매핑)이 일어나지 않는다.

• ORM EagerLoading이란 개념의 구현체인 select_related()&prefetch_related() 는 DB Raw단위로 데이터를 조회하는 values() values_list() 에서는 무의미한 옵션

pysnmp github

• https://github.com/etingof/pysnmp

Get + Set 예제

Get + Set 예제 코드

from pysnmp.hlapi import *


HOST = "20.20.20.20"
PORT = 161
USER = "LHZwj"
AUTH_KEY = "YEexkuDIkI304"
AUTH_PROTO = usmHMACMD5AuthProtocol


engine = SnmpEngine()
host = UdpTransportTarget((HOST, PORT))
user_data = UsmUserData(USER, AUTH_KEY, authProtocol=AUTH_PROTO)


cmd_list = [
        (getCmd, ObjectType(ObjectIdentity('1.3.6.1.2.1.1.5.0'))),
        (setCmd, ObjectType(ObjectIdentity('1.3.6.1.2.1.1.5.0'), "SET_HOST_NAME_1")),
        (getCmd, ObjectType(ObjectIdentity('SNMPv2-MIB', 'sysName', 0))),
        (setCmd, ObjectType(ObjectIdentity('SNMPv2-MIB', 'sysName', 0), "SET_HOST_NAME_2")),
        (getCmd, ObjectType(ObjectIdentity('SNMPv2-MIB', 'sysName', 0)))
]



for cmd_func, identity_obj in cmd_list:
    iterator = cmd_func(engine, user_data, host, ContextData(), identity_obj)
    errorIndication, errorStatus, errorIndex, varBinds = next(iterator)
    if errorIndication:  # SNMP engine errors
        print(errorIndication)
    else:
        if errorStatus:  # SNMP agent errors
            print('%s at %s' % (errorStatus.prettyPrint(),
                  varBinds[int(errorIndex)-1] if errorIndex else '?'))
        else:
            for varBind in varBinds:  # SNMP response contents
                print("[{}]  ".format(cmd_func.__name__)  +\
                      ' = '.join([x.prettyPrint() for x in varBind]))

출력

[getCmd]  SNMPv2-MIB::sysName.0 = V8102_02
[setCmd]  SNMPv2-MIB::sysName.0 = SET_HOST_NAME_1
[getCmd]  SNMPv2-MIB::sysName.0 = SET_HOST_NAME_1
[setCmd]  SNMPv2-MIB::sysName.0 = SET_HOST_NAME_2
[getCmd]  SNMPv2-MIB::sysName.0 = SET_HOST_NAME_2

pysnmp github

• https://github.com/etingof/pysnmp

Get 예제

Get 예제 코드

• '1.3.6.1.2.1.1.5.0'
  • 장비의 HOST명을 가져오라는 SNMP OID
• ('SNMPv2-MIB', 'sysName', 0)
  • 장비의 HOST명을 가져오라는 MID

from pysnmp.hlapi import *


HOST = "192.168.1.1"   # 접속할 장비의 IP 입력할 것
PORT = 161
COMMUNITY = "aqXXlaKqjS"  # 접속할 장비의 community 정보 입력할 것


engine = SnmpEngine()
host = UdpTransportTarget((HOST, PORT))
community = CommunityData(COMMUNITY, mpModel=1)
identity_obj_list = [
        ObjectType(ObjectIdentity('1.3.6.1.2.1.1.5.0')),
        ObjectType(ObjectIdentity('SNMPv2-MIB', 'sysName', 0))
]


for identity_obj in identity_obj_list:
    iterator = getCmd(engine, community, host, ContextData(), identity_obj)
    errorIndication, errorStatus, errorIndex, varBinds = next(iterator)
    if errorIndication:  # SNMP engine errors
        print(errorIndication)
    else:
        if errorStatus:  # SNMP agent errors
            print('%s at %s' % (errorStatus.prettyPrint(),
                  varBinds[int(errorIndex)-1] if errorIndex else '?'))
        else:
            for varBind in varBinds:  # SNMP response contents
                print(' = '.join([x.prettyPrint() for x in varBind]))

출력

SNMPv2-MIB::sysName.0 = kTLgIzt
SNMPv2-MIB::sysName.0 = kTLgIzt

Set 예제

Set 예제 코드

from pysnmp.hlapi import *


HOST = "20.20.20.20"
PORT = 161
COMMUNITY = "aqXXlaKqjS"


engine = SnmpEngine()
host = UdpTransportTarget((HOST, PORT))
community = CommunityData(COMMUNITY, mpModel=1)
identity_obj_list = [
        ObjectType(ObjectIdentity('1.3.6.1.2.1.1.5.0'), "SET_HOST_NAME_1"),
        ObjectType(ObjectIdentity('SNMPv2-MIB', 'sysName', 0), "SET_HOST_NAME_2")
]



for identity_obj in identity_obj_list:
    iterator = setCmd(engine, community, host, ContextData(), identity_obj)
    errorIndication, errorStatus, errorIndex, varBinds = next(iterator)
    if errorIndication:  # SNMP engine errors
        print(errorIndication)
    else:
        if errorStatus:  # SNMP agent errors
            print('%s at %s' % (errorStatus.prettyPrint(),
                  varBinds[int(errorIndex)-1] if errorIndex else '?'))
        else:
            for varBind in varBinds:  # SNMP response contents
                print(' = '.join([x.prettyPrint() for x in varBind]))

출력

SNMPv2-MIB::sysName.0 = SET_HOST_NAME_1
SNMPv2-MIB::sysName.0 = SET_HOST_NAME_2

HOST 로 접속하여 확인

• HOST Name 이 변경된 것을 확인
• 반드시 HOST에는 SNMP 서비스가 실행되어 있어야지 접속가능함
  • HOST 의 SNMP 정보가 일치해야됨.

    Escape character is '^]'.
    

SET_HOST_NAME_2 login:

<br>
<br>


## Get + Set 예제

### Get + Set 예제 코드

```python

from pysnmp.hlapi import *


HOST = "20.20.20.20"
PORT = 161
COMMUNITY = "aqXXlaKqjS"


engine = SnmpEngine()
host = UdpTransportTarget((HOST, PORT))
community = CommunityData(COMMUNITY, mpModel=1)
cmd_list = [
        (getCmd, ObjectType(ObjectIdentity('1.3.6.1.2.1.1.5.0'))),
        (setCmd, ObjectType(ObjectIdentity('1.3.6.1.2.1.1.5.0'), "SET_HOST_NAME_1")),
        (getCmd, ObjectType(ObjectIdentity('SNMPv2-MIB', 'sysName', 0))),
        (setCmd, ObjectType(ObjectIdentity('SNMPv2-MIB', 'sysName', 0), "SET_HOST_NAME_2")),
        (getCmd, ObjectType(ObjectIdentity('SNMPv2-MIB', 'sysName', 0)))
]



for cmd_func, identity_obj in cmd_list:
    iterator = cmd_func(engine, community, host, ContextData(), identity_obj)
    errorIndication, errorStatus, errorIndex, varBinds = next(iterator)
    if errorIndication:  # SNMP engine errors
        print(errorIndication)
    else:
        if errorStatus:  # SNMP agent errors
            print('%s at %s' % (errorStatus.prettyPrint(),
                  varBinds[int(errorIndex)-1] if errorIndex else '?'))
        else:
            for varBind in varBinds:  # SNMP response contents
                print("[{}]  ".format(cmd_func.__name__)  +\
                      ' = '.join([x.prettyPrint() for x in varBind]))

출력

[getCmd]  SNMPv2-MIB::sysName.0 = kTLgIzt
[setCmd]  SNMPv2-MIB::sysName.0 = SET_HOST_NAME_1
[getCmd]  SNMPv2-MIB::sysName.0 = SET_HOST_NAME_1
[setCmd]  SNMPv2-MIB::sysName.0 = SET_HOST_NAME_2
[getCmd]  SNMPv2-MIB::sysName.0 = SET_HOST_NAME_2

django migrate 초기화 (최후의 방법)

해당 방법은 migrate 초기화를 해도 안될때 사용하는 방법입니다. 해당 방법은 DB의 데이터를 날리기 때문에 💣 데이터를 날리면 안 된다면 아래의 방법을 사용하지마세요.

1) python manage.py showmigrations <앱 이름>

• 현재 migrations 내역을 확인합니다.
• 0001_initial, 0002_post_author 에 [x] 가 되어있다. (migrate 적용된 상태)

  (venv) root@km-VirtualBox:~/django-with-react-study# python manage.py showmigrations blog1
  blog1
  [X] 0001_initial
  [X] 0002_post_author
  (venv) root@km-VirtualBox:~/django-with-react-study#

2) migrate 초기화 or 특정시점

2-1) migrate 초기화

• zero 는 migrations 처음 상태로 돌아감.
  • __init__.py 까지 돌아감.
  • __init__.py 은 남아있어야됨.
  • 0001_initial, 0002_post_author 에 [ ] 로 되어있어야된다.

    python manage.py migrate --fake <앱 이름> zero

(venv) root@km-VirtualBox:~/django-with-react-study# python manage.py migrate --fake blog1 zero
Operations to perform:
  Unapply all migrations: blog1
Running migrations:
  Rendering model states... DONE
  Unapplying blog1.0002_post_author... FAKED
  Unapplying blog1.0001_initial... FAKED
(venv) root@km-VirtualBox:~/django-with-react-study# python manage.py showmigrations blog1
blog1
 [ ] 0001_initial
 [ ] 0002_post_author
(venv) root@km-VirtualBox:~/django-with-react-study#

2-2) migrate 특정 시점

• Ex) python manage.py migrate --fake blog1 002

python manage.py migrate --fake <앱 이름> <마이그레이션 지점>

3-1) 초기화 경우:__init__.py만 남기고 나머지 파일들을 다 지우기

• migrations 폴더에 __init__.py 를 제외하고 다 삭제

rm blog1/migrations/0001_initial.py

rm blog1/migrations/0002_post_author.py

3-2) migrate 특정 시점

• 돌아간 시점의 이후 migrate 파일 삭제 Ex) 002 로 돌아갔다면

  003 파일 삭제, 
  004 파일 삭제,
  005 파일 삭제 ....

4) DB도 migration 파일과 Sync를 맟춘다.

• Ex) sqlite3 DB 를 사용 blog_post 테이블을 삭제한다. (migration 초기화 시켰던 app이 blog_post 였기 때문에. 그리고 나는 초기(zero)로 돌렸으니 테이블을 삭제해야한다.)
  • 단 테이블을 날렸으니 테이블에 등록한 데이터도 날라간다.

(venv) root@km-VirtualBox:~/django-with-react-study# sqlite3  db.sqlite3
SQLite version 3.31.1 2020-01-27 19:55:54
Enter ".help" for usage hints.
sqlite> DROP TABLE blog1_post;
sqlite>

5) python manage.py makemigrations <앱 이름>

(venv) root@km-VirtualBox:~/django-with-react-study# python manage.py makemigrations blog1
Migrations for 'blog1':
  blog1/migrations/0001_initial.py
    - Create model Post

6) python manage.py migrate <앱 이름>

(venv) root@km-VirtualBox:~/django-with-react-study# python manage.py migrate blog1
Operations to perform:
  Apply all migrations: blog1
Running migrations:
  Applying blog1.0001_initial... OK
(venv) 

6) python manage.py showmigrations <앱 이름>

• migrate 가 적용되었는지 확인한다.
  • [X] 0001_initial

    (venv) root@km-VirtualBox:~/django-with-react-study# python manage.py showmigrations blog1
    blog1
    [X] 0001_initial
    (venv) root@km-VirtualBox:~/django-with-react-study#
    

### 7) DB 확인
  - .tables 조회시 blog1_post 가 존재
  - SELECT * FROM blog1_post; 시 아무것도 안나오는데
    이건 테이블을 날렸다가 다시 생성한거라서
    기존에 데이터는 테이블 날리면서 사라짐.

(venv) root@km-VirtualBox:~/django-with-react-study# sqlite3 db.sqlite3 SQLite version 3.31.1 2020-01-27 19:55:54 Enter ".help" for usage hints. sqlite> .tables accounts_profile django_admin_log auth_group django_content_type auth_group_permissions django_migrations auth_permission django_session auth_user instagram_comment auth_user_groups instagram_post auth_user_user_permissions instagram_post_tag_set blog1_post instagram_tag sqlite> sqlite> SELECT * FROM blog1_post; sqlite>

<br>
<br>

### 참고
   - [django migrate 초기화](https://velog.io/@shrhkddh/Django-migrate-%EC%B4%88%EA%B8%B0%ED%99%94-%ED%95%B4%EB%8F%84-%EC%95%88%EB%90%A0%EB%95%8C)

나의 첫 opensource 기여했던 경험을 적어본다. 아래의 링크는 내가 올렸던 Pull Request 다.

• https://github.com/secdev/scapy/pull/2757

scapy ?

나의 첫 기여했던 프로젝트는 scapy 이다.

• scapy: python으로 작성한 packet control 라이브러리 입니다.

• https://scapy.net/
• https://scapy.readthedocs.io/en/latest/
• https://github.com/secdev/scapy

scapy contribution을 하게 된 계기

PIMv2 Hello, Join/Prune 패킷이 scapy 에서 지원을 하지 않아서 만들어야 되겠다고 생각했다. 내가 필요했다. (급한 사람이 만든다.)

scapy contribution 하기

1) 개발 대상이 되는 PIMv2 Hello, Join/Prune packet 구조가 어떻게 되는지 파악 🔍

• 지피지기는 백전백승 개발 대상에 대해서 잘아야된다.
• RFC 문서 참고하기
  • https://tools.ietf.org/html/rfc4601
• pim parameter 참고하기
  • https://www.iana.org/assignments/pim-parameters/pim-parameters.xhtml#pim-parameters-1
• .pcap 으로 확인하기
  • https://packetlife.net/captures/protocol/pim/

2) Contribute 방법을 파악한다. 🔍

• https://github.com/secdev/scapy/blob/master/CONTRIBUTING.md

3) scapy 프로젝트를 fork 한다.

• 나의 repo 에 scapy 프로젝트가 copy 될 것이다.

4) Prototcol 추가 하는 방법을 파악한다. 🔍

• https://scapy.readthedocs.io/en/latest/build_dissect.html

5) 개발 한다. 💻

• 나의 repo 에 copy 된 scapy 프로젝트로 commit 을 올리면 된다.
• 추후 작업이 완료되면 실제 scapy 프로젝트로 pull request 를 올려야된다.
• 이건 나의 팁인데 scapy master에 들어간 코드를 참고를 했었다. 개인적으로 도움이 많이 되었다.
  • ospf layer
  • bgp layer

6) test 를 작성한다. ✔

• scapy 에서 요구했던 .uts 를 스타일로
  테스트 케이스를 추가하였고 잘 돌때까지 개발<->테스트 를 반복했다.

7) Pull Request 올리기 😖

나의 첫 Opensource 기여라서 떨렸다.

• https://github.com/secdev/scapy/pull/2757

8) Feedback 받고 수정하기 🔧

minor 한 부분에 대해서 feedback 을 받아서 그 부분을 수정하였다.

9) master에 적용되다. 😆

• 나의 코드는 Release v2.4.5 버전부터 적용이 되었다.

회고 ☕

1) 나는 사실 contribution을 하기가 망설여었다.

• 오픈소스 기여하는건 처음인데 프로젝트 규모가 커서 또한 겁을 먹어었다.
• 근데 생각해보니 나도 여러 오픈소스 프로젝트를 통해서 도움을 받았으니 누군가에게 도움을 주었으면 좋겠다고 생각이 바뀌게 되었다.
  • 나처럼 PIMv2 Hello, Join/Prune 기능을 원하시는 분들이 있으니 용기를 내어 보았다.
    • https://github.com/secdev/scapy/issues/2003
    • https://github.com/secdev/scapy/issues/2621
    • https://stackoverflow.com/questions/59801410/python-socket-programming-crafting-pim-join-prune-packet

2) 해당 프로젝트의 코드를 참고할 것

• 이미 master에 올라간 코드는 approve 를 받은 코드이다.
  • 올라간 코드를 참고하여 개발을 했는데 Pull Request를 별 무리 없이 통과하는데 도움이 되었다.

내가 올린 기능이 누군가에게 도움이 되었으면 좋겠다.

2019년 2월 1일 만들었던 내용을 팀원분들에게 공유를 하였다. 결과는 2차 방법을 진행하기로 결정하게 되었다.😄

미션을 받게 되었다. 📩 전파 교육을 하고 2019년 2월 28일 까지 📅 4명이서 1년 동안 만들었던 Feature API 구현해라

2019년 2월 28일 까지 4명이서 힘을 합쳐서 💪 기존에 1년동안 만들었던 Feature API 를 다 만들 수 있었다. 🤜🤛

2차 방법: 회고 ☕

1) 1차 방법을 실패를 딛고 실패원인을 가지고 만들어었다.

• 다시 한번 사전조사의 중요성
• 실패를 했다면 원인 반드시 분석하기
  • 실패는 성공의 어머니 (물론 처음부터 잘하면 좋긴하지만...😢)

2) 나름 첫 SEMI 페어프로그래밍?을 경험했었다.

• 약 1달 동안 내 옆자리로 동료 분이 잠시 이사를 왔는데 이때 모니터를 가운데 두고 서로 막히는 부분이 있다면 빠르게 공유하고 어떻게 풀어갈지 고민하면서 개발했던 기억이 있다.
  • 옆자리여서 커뮤니케이션이 빠르게 진행했었다.
  • 가운데 둔 모니터는 서로가 문제가 생겼을때 한 화면을 보면서 어떻게 풀어갈지 논의할때 효율적이였다.

1차 방법의 명령 입력 전/후 모드 이동 문제

• 네트워크 장비 설정 예시 : port disable 과정

  # config terminal
  (config)# interface ge1/1
  (ge1/1)# shutdown
  (ge1/1)# exit
  (config)# exit
  #

port ge1/1 를 disable 했다가 Enable 할 경우

• 1차 방법의 문제점: 비효율적인 모드 이동

# config terminal
(config)# interface ge1/1
(ge1/1)# shutdown
(ge1/1)# exit
(config)# exit
#
# config terminal
(config)# interface ge1/1
(ge1/1)# no shutdown
(ge1/1)# exit
(config)# exit
#

• 원했던 sequence: 효율적인 모드 이동

# config terminal
(config)# interface ge1/1
(ge1/1)# shutdown
(ge1/1)# no shutdown
(ge1/1)# exit
(config)# exit
#

위와 같은 상황 처럼 비효율적으로 모드를 이동하여 소요시간이 오래 걸리게됨.

1차 방법 문제점 중에 명령 입력 전/후 모드 이동 문제가 있었다. 효율적으로 모드 이동을 하도록 접근이 필요했다.

2차 방법: 접근 방법 ❗

규칙을 만들었다. 기준이 되는 모드가 있다. 기준이 되는 모드에서 명령을 입력하여 모드를 이동하고 다시 기준이되는 모드로 돌아와야된다.

pseudocode

• Mode Class 는 모드에 대한 정의와 모드로 이동하는 명령어, 기준모드로 돌아가는 명령들이 정의되어있다.
• session 이랑 의존이 되어있지 않기 때문에 Mode.모드명1() 하더라도 장비로 입력되지 않는다.

Class ModeBase(object):
   def 모드명1(self):
       return (
           모드를_이동하기_위한_명령어들,
           모드명들,
           기준모드로_돌아가는_명령어들
       )

   def 모드명2(self):
       return (
           모드를_이동하기_위한_명령어들,
           모드명들,
           기준모드로_돌아가는_명령어들
       )

Class ModeClass1(ModeBase):
   def 모드명3(self):
       return (
           모드를_이동하기_위한_명령어들,
           모드명들,
           기준모드로_돌아가는_명령어들
       )


 모드_별칭_이름_1 = ModeClass1()


Class 기능1SubFeatureClass1(FeatureCommon):
    def __init__(self):
        self._모드 = 모드_별칭_이름_1

    def 명령1(self, 필요한_데이터):
        메세지.CLI = 메세지_CLI(self._모드.모드1, 필요한_데이터)
        return 메세지

    def 명령2(self, 필요한_데이터):
        메세지.CLI = 메세지_CLI(self._모드.모드2, 필요한_데이터)
        return 메세지

    def 명령3(self, 필요한_데이터):
        메세지.CLI = 메세지_CLI(self._모드.모드3, 필요한_데이터)
        return 메세지

내가 원했던거 이거 👉

• 1차 방법보다 효율적으로 모드 이동을 하고 실행속도 또한 빨라졌다. (기준 모드에서 모드가 더 안으로 들어갈수록 속도는 더욱 줄었다.)

# config terminal
(config)# interface ge1/1
(ge1/1)# shutdown
(ge1/1)# no shutdown
(ge1/1)# exit
(config)# end
#


# config terminal
(config)# 모드1_이동_명령어
(config-모드1)# 모드2_이동_명령어
(config-모드1-모드2)# 명령1
(config-모드1-모드2)# 명령2
(config-모드1-모드2)# exit
(config-모드1)# 명령3
(config)# 명령4
(config)# end
#

그와 동일한 2019년 1월 9일 새로운 프로젝트를 만들었다. 🏁

미션을 받게 되었다. 📩 동료 한분과(총 2명) 2월 1일까지 📅 Core 로직 구현과 20여개 정도의 Feature API 구현 Prototype 의 절차를 만들어라.

그리고 이렇게 Prototype 으로 만들어진 것을 보고 2차 방법으로 갈지/말지에 대해서 선택하는 시간을 갖기로 하였다.

2차 방법: 고려 사항🤔

• 1차 실패를 경험하고 고려사항이 늘어나게 되었다.

1) 코드 중복을 줄이고 싶다.

1) 장비별로 코드를 복사해서 CLI 가 다른부분만 바꿔준다. (비효율적이다.) 1차때 경험하게 되었다. 장비의 CLI 가 다양하기에 확장성을 고려해야된다.

2) 경험이 부족한 사람은 설정을 헤맨다. learning curve 를 줄여 주고 싶다.

2) CLI가 다르면 경험이 부족한 사람의 경우 설정 방법을 해맬 수 있다.

3) 명령 입력 전/후 모드 이동 문제

3) 1차 방법에서 문제였던 효율적인 모드 이동 필요

4) 장비의 Command 기능과 Session (telnet) 와의 의존성 문제

4) 1차방법에서는 기능(Feature) API 를 호출했을때 telnet session을 통해서 장비로 입력이 바로 전송되어었다. 기능(Feature) API 와 Session (telnet) 의존성을 줄인다.

5) SSH, Serial(direct) 사용이 필요해짐 (지원하는 Session 종류를 늘려야됨)

5) session 을 telnet, ssh, serial 로 만들어서 장비를 제어할 수 있어야됨.

6) 윈도우 환경에서도 API 사용이 필요해짐

6) 1차 방법때는 pexpect 를 이용해서 telnet을 접속했는데 pexpect를 이용해서 윈도우PC에서 장비로 telnet 접속이 안되어었다.

2차 방법: 추상화 접근 방법 ❗

아래와 같은 접근 방법으로 추상화를 디자인을 했었다.

• Builder Pattern

• Abstract Factory Pettern

장비 명세서 📄

장비A에 대해서 명세를 해준다. 장비A는 어떤 기능을 가지고 있고 ... 마치 장비에 대한 명세서라는 것을 작성하여 작성한 명세서를 통해서 장비가 인스턴스화 될 수 있도록 하게 하였다.

명세서 예시)

어떤_SESSION_COLLECTION: SESSION_COLLECTION_1
분류_기능: MainFeatureClass
  기능1: 기능1SubFeatureClass1
  기능2: 기능2SubFeatureClass2
...

Feature API 사용 방법 예시

1. 분류를 한단계 더 추가하였다. 1차 방법처럼 접근한다면 분류가 1개만 있으니깐 Class가 양이 너무 커져서 기능에 대해서 찾기가 어려워졌기 때문에 분류를 한단계 더 추가하게 되었다.

2. Feature API 를 호출하면 메세지를 반환해준다. 실제 장비에 들어가서 명령을 하지는 않는다.

   메세지 = 장비.Main분류기능.Sub분류기능.함수명(필요한 데이터)

윈도우 환경에서도 API 사용 & SSH, Serial(direct) 지원 필요

• pexpect를 이용해서 윈도우PC에서 장비로 telnet 접속이 안되어었다. telnet 세션 관련 라이브러리를 새로운걸로 변경이 필요했다.
• SSH, Serial(dicect) 에 대해서 지원이 필요했다.
• 어떤 라이브러리를 사용할지 조사를 통해서 결정하였고 telnetlib, paramiko, pyserial 를 사용하기로 했다.

Connector(telnet/ssh/serial) 디자인 방법

• Builder Pattern

• Factory Pettern

• Abstract Factory Pettern

  
  
  • 장비 명세서에 어떤_SESSION_COLLECTION 를 어떤걸 사용하겠다는 것을 명세 해준다.
  • 명세된 정보를 통해서 SESSION_COLLECTION_1 을 사용하게 될 것 이다.
  • Session (Telnet, SSH, Serial) 은 동일한 행위를 하는 API 로 만든다.
  • 필요한 시점에 원하는 정보로에 세션을 만들어 준다.
  • 인스턴스화한 장비에 telnet 으로 접속하고 싶다면, telnet 에 대한 정보를 입력해서 세션을 만든다.
  • 인스턴스화한 장비에 ssh 로 접속하고 싶다면, ssh 에 대한 정보를 입력해서 세션을 만든다.
  • 인스턴스화한 장비에 serial 로 접속하고 싶다면, serial 에 대한 정보를 입력해서 세션을 만든다.

명세서 예시)

어떤_SESSION_COLLECTION: SESSION_COLLECTION_1

pseudocode

Class Seesion(object):
    def 세션_만들기(self, 필요한_데이터_정보들):
        세션 = self._자식클래스의_세션만들기(**필요한_데이터_정보들)
        return 세션

    def 입력(self, 명령):
        self._자식클래스의_입력(명령)
        읽어온_정보 = self._자식클래스의_읽기 
        return 읽어온_정보

    def 로그인하기(self, 필요한_데이터_정보들):
        로그인_정보 = self._자식클래스의_로그인하기(**필요한_데이터_정보들)
        return 로그인_정보


Class Telnet(Seesion):
    def _세션만들기(self):
         return telnetlib을 이용한 세션만들기

    def _입력(self):
        telnetlib을 이용한 입력

    def _읽기(self):
        return telnetlib을 이용한 읽기


Class SSH(Seesion):
    def _세션만들기(self):
         return paramiko을 이용한 세션만들기

    def _입력(self):
        paramiko을 이용한 입력

    def _읽기(self):
        return paramiko을 이용한 읽기


 Class Serial(Seesion):
    def _세션만들기(self):
         return pyserial을 이용한 세션만들기

    def _입력(self):
        pyserial을 이용한 입력

    def _읽기(self):
        return pyserial을 이용한 읽기


 Class TelnetClass1(Telnet):
     def _로그인하기(self, 필요한_데이터_정보들):
          # 특정 Vendor 마다 로그인 방법이 달랐다.
         return telnetlib을 이용해서 로그인하게 하기


 Class SSHClass1(SSH):
     def _로그인하기(self, 필요한_데이터_정보들):
          # 특정 Vendor 마다 로그인 방법이 달랐다.
         return paramiko을 이용해서 로그인하게 하기


 Class SerialClass1(Serial):
     def _로그인하기(self, 필요한_데이터_정보들):
          # 특정 Vendor 마다 로그인 방법이 달랐다.
         return pyserial을 이용해서 로그인하게 하기


SESSION_COLLECTION_MAP = {

    'SESSION_COLLECTION_1': {
        'telnet': TelnetClass1,
        'ssh': SSHClass2,
        'serial': SerialClass2,

    },
    ...
}


TELNET_정보 = TELNET 만들기 위한 정보
SSH_정보 = SSH 만들기 위한 정보
SERIAL_정보 = Serial 만들기 위한 정보


장비.세션_만들기(TELNET_정보)
  # 세션만들기 안에 로직중에는
  # 선택된_SESSION_COLLECTION = 사용할_SESSION_선택하기(SESSION_COLLECTION_1, 사용할_SESSION은_Telnet_정보)


장비.세션[0].로그인하기()


장비.세션[0].입력('안녕하세요')
장비.세션[0].입력('你好!')
장비.세션[0].입력('Hello')

Feature API 를 이용해서 장비에 명령내리기

장비.세션_만들기(TELNET_정보)
장비.세션[0].로그인하기()

메세지들 = [
    장비.Main분류기능.Sub분류기능.함수1(필요한 데이터),
    장비.Main분류기능.Sub분류기능.함수2(필요한 데이터),
]


장비.세션[0].메세지_보내기(메세지들)

명령 입력 전/후 모드 이동 관련 (다음 포스팅에서...)

• 이 부분에 대해서는 다음 포스팅에서 이야기를 다뤄보겠다.

고민거리 🤔

네트워크 장비를 제어하다보면 같은 기능인데 장비 제조사에 따라서 CLI 가 다르고 같은 제조사라도 시기에 따라서 CLI 스타일이 다르고 같은 제조사라도 vender 의 요청으로 인해서 조금씩 다른 상황을 경험하게 되었다.

예를 들어본다면 "안녕하세요" 라는 기능을 수행시키려면 각 장비마다 설정 방법이 다른 상황을 경험 할 수 있다.

• 첫번째 그림 출처
• 두번째 그림 출처
• 세번째 그림 출처

CLI가 다르다보니 자동화 개발자 입장에서 아래와 같은 고민이 생겼다.

1) 코드 중복을 줄이고 싶다.

1) 장비별로 코드를 복사해서 CLI 가 다른부분만 바꿔준다. (비효율적이다.)

2) 경험이 부족한 사람은 설정을 헤맨다. learning curve 를 줄여 주고 싶다.

2) CLI가 다르면 경험이 부족한 사람의 경우 설정 방법을 해맬 수 있다.

1차 방법: 접근 방법 ❗

예를 든다면 아래와 같은 상속 구조로 디자인을 했었다.

• Factory Pattern

pseudocode

Class AllGroupCommon(object):
  def __init__(self, 데이터들):
      telnet 접속하기
      login 하기

  @abc.abstractmethod
  def get_mactable(self):
     pass

  @abc.abstractmethod
  def set_port_disable(self):
     pass

  def get_config(self):
     # 모든 장비가 동일한 명령을 사용할 경우
     장비로_부터_받은_정보 = CONFIG_정보_확인 명령 실행
     return 장비로_부터_받은_정보


Class AGroupCommon(AllGroupCommon):
  def get_mactable(self):
     장비로_부터_받은_정보 = MAC_정보_확인 명령 실행
     return 장비로_부터_받은_정보

  def set_port_disable(self):
     장비로_부터_받은_정보 += PORT_DISABLE_실행전_모드로_접속
     장비로_부터_받은_정보 += PORT_DISABLE_실행
     장비로_부터_받은_정보 += PORT_DISABLE_실행후_모드_나가기
     return 장비로_부터_받은_정보

API 사용 방법 예시

• 아래 같은 느낌으로 접근할 수 있도록 작업하여었다.
• 장비.기능분류.함수명(필요한 데이터) 호출시 장비에 따라서 "안녕하세요", "你好", "Hello" 명령을 수행한다.

장비.기능분류.함수명(필요한 데이터)

1차 방법: 무언가 단단히 잘못되었다 💦

사용하다보니 여러 문제점들이있었다.

1. 명령 입력 전/후 모드 이동 문제

• 네트워크 장비 설정 예시 : port disable 과정

  # config terminal
  (config)# interface ge1/1
  (ge1/1)# shutdown
  (ge1/1)# exit
  (config)# exit
  #

port ge1/1 를 disable 했다가 Enable 할 경우

• 1차 방법의 문제점: 비효율적인 모드 이동

# config terminal
(config)# interface ge1/1
(ge1/1)# shutdown
(ge1/1)# exit
(config)# exit
#
# config terminal
(config)# interface ge1/1
(ge1/1)# no shutdown
(ge1/1)# exit
(config)# exit
#

• 원했던 sequence: 효율적인 모드 이동

# config terminal
(config)# interface ge1/1
(ge1/1)# shutdown
(ge1/1)# no shutdown
(ge1/1)# exit
(config)# exit
#

위와 같은 상황 처럼 비효율적으로 모드를 이동하여 소요시간이 오래 걸리게됨.

2. 빈번해지는 코드 중복이 발생됨

• Model2는 AGroupCommon 이랑 70% 일치하고 BGroupCommon 이랑은 30% 일치하는 이런 경우가 빈번하게 발생하게 되었다.

3. 장비의 Command 기능과 Session (telnet) 와의 의존성 문제

• connector 와 장비 기능(feature) 을 따로 디자인 하는게 의존성을 줄이는 방법이였다.

4. SSH, Serial(direct) 등 사용이 필요해짐 (지원하는 Session 종류를 늘려야됨)

• telnet 이외의 세션 접속 방법에 대해서 다양화가 필요했다.

5. 윈도우 환경에서도 API 사용이 필요해짐

• 1차 방법은 리눅스 디펜던시가 있는 상태였다.

1차 방법: 회고 ☕

1) 디자인 단계에서 다양한 CASE 를 확보하지 못했었다.

• 다양한 네트워크 장비에 대한 경험이 부족하였다.

2) 개발관련 지식이 부족하였다.

• 이때 당시 나 포함하여 프로젝트를 참여하신분들이 개발을 시작한지 얼마 안된 시점이였다. 그래서 지식적으로도 많이 부족하였었다.
• 'Model1과 Model2가 겹치네!' 묶어서 상속받는 구조로 가자 해서 만들어진 디자인이다.
• 디자인 패턴에 대해서도 몰랐었다. 이때 당시 저 방식이 Factory Pattern 인지도 몰랐었다.

나는 이번 1차 방법 실패를 통해서 사전 조사의 중요함을 알게되었다. 개발의 대상이되는 것에 충분히 파악해야되고 여러 USECASE 에 대해서 충분한 확보가 필요하다는 것을 알게되었다. 사전조사가 미흡 할수록 설계가 자칫 산🌄 으로 갈 수 있다는 것을 알게 되었다.

1차 방법: 결국 폭발 💣

2019년 1월 9일 4명이서 1년 넘게 작업한 프로젝트를 폭발시켰다. 💣 위의 나열한 문제점들로 인해서 다시 처음부터 시작을 하기로 결단을 내렸었다. 1년 넘게 한 프로젝트를 폭발하였지만 나는 개인적으로 아쉽거나, 미련이 남지는 않았다.

왜냐면 나는 미련이 남았던 경험이 있었다. Python 을 처음 시작하였을때 나의 멘토 분께서 코드리뷰의 시간을 가지면서 내가 어떠한 의도로 코드를 작성했는지에 대해서 설명하고 피드백을 받는 시간을 가졌었다. 어떠한 과제를 받고, 나 나름대로 열심히 했지만 결국 코드를 날리고, 다시 해야되는 상황이였다. 나는 매우 실망을 했었던거 같다.😔 그때 멘토분께서 이런 말씀을 해주셨었다. 너의 코드를 너무 사랑하지마 라고 ...

너의 코드를 너무 사랑하지마 라는 말은 아직도 나의 개발할때의 마음가짐 중 중요한 하나이다. 개발을 할때 당시에 나는 열렬히 최선을 다해서 만들었겠지만 어느 순간 돌이킬 수 없는 문제가 발생되었다면 고칠 수 없을 지경이라면 더 좋은 방식이 있다면 과감하게 놓아주어야된다고 생각한다.

Python 을 이용하여 데이터를 Parsing 해주는 라이브러리중 하나이다.

아래의 데이터는 사람이 보았을때는 테이블 형태여서 어떤 부분(행, 열)이 어떤걸 의미하는지 알 수 있다.

SWITCH# show mac
================================================================================
  vid   port          mac addr          permission     status      in use
================================================================================
     1  eth0/1    22:22:33:33:44:aa     OK         static          0.00

Python 에서 변수에 저장이되면, 단지 문자열이다.

>>> raw = '''
SWITCH# show mac
================================================================================
  vid   port          mac addr          permission     status      in use
================================================================================
     1  eth0/1    22:22:33:33:44:aa     OK         static          0.00

'''


>>> raw
'\nSWITCH# show mac\n================================================================================\n  vid   port          mac addr          permission     status      in use\n================================================================================\n     1  eth0/122:22:33:33:44:aa     OK         static          0.00\n\n'
>>>

textfsm 사용을 한다면, 아래와 같은 데이터(테이블)를 얻을 수 있다.

  VLAN   PORTS                MAC PERMISSION  STATUS IN_USE
0    1  eth0/1  22:22:33:33:44:aa         OK  static   0.00

문자들이 의미있는 데이터로 parsing 할 수 있는 것이 필요하다. 그래서 Parser 라이브러리 중에 textfsm 이라는 라이브러리를 소개한다.

공식문서

• https://github.com/google/textfsm/wiki/TextFSM

textfsm github

• https://github.com/google/textfsm

textfsm 참고

• https://github.com/networktocode/ntc-templates

설치 방법

pip install textfsm

1) 사용해보기 - RAW 한 문자열

SWITCH# show mac
================================================================================
  vid   port          mac addr          permission     status      in use
================================================================================
     1  eth0/1    22:22:33:33:44:aa     OK         static          0.00

2) 몇가지 추가적으로 설치 필요

• 아래의 코드를 실행하기 위해서는 다른 외부 라이브러리가 필요함.

  root@VirtualBox:~# cat requirements.txt
  tabulate
  pandas
  textfsm
  

root@VirtualBox:# pip install -r requirements.txt Requirement already satisfied: tabulate in /usr/local/lib/python3.8/dist-packages (from -r requirements.txt (line 1)) (0.8.9) Requirement already satisfied: pandas in /usr/local/lib/python3.8/dist-packages (from -r requirements.txt (line 2)) (1.3.5) Requirement already satisfied: textfsm in /usr/local/lib/python3.8/dist-packages (from -r requirements.txt (line 3)) (1.1.2) Requirement already satisfied: python-dateutil>=2.7.3 in /usr/lib/python3/dist-packages (from pandas->-r requirements.txt (line 2)) (2.7.3) Requirement already satisfied: numpy>=1.17.3; platform_machine != "aarch64" and platform_machine != "arm64" and python_version < "3.10" in /usr/local/lib/python3.8/dist-packages (from pandas->-r requirements.txt (line 2)) (1.22.0) Requirement already satisfied: pytz>=2017.3 in /usr/lib/python3/dist-packages (from pandas->-r requirements.txt (line 2)) (2019.3) Requirement already satisfied: future in /usr/lib/python3/dist-packages (from textfsm->-r requirements.txt (line 3)) (0.18.2) Requirement already satisfied: six in /usr/lib/python3/dist-packages (from textfsm->-r requirements.txt (line 3)) (1.14.0) root@VirtualBox:#

### 3) 사용해보기 - .template file
  - [texfsm 문법](https://github.com/google/textfsm)
  - [정규표현식](https://wikidocs.net/4308)
  - .py 에서 string으로 불러올 수 있지만 따로 관리함.
    Python 코드와 무관하게 

Value VLAN (\d+) Value PORTS (\S+) Value MAC ((\S{2}(:))(\S{2}(:))(\S{2}(:))(\S{2}(:))(\S{2}(:))(\S{2})) Value PERMISSION (\S+) Value STATUS (\S+) Value IN_USE (\S+)

Start ^(\s+)?${VLAN}\s+${PORTS}\s+${MAC}\s+${PERMISSION}\s+${STATUS}\s+${IN_USE} -> Record

EOF

### 4) 사용해보기 - textfsm_exmple.py 
  - dir2textfsm(path) : path str 을 받으면 
    해당 path 의 파일을 읽어서
    TextFSM 을 통해서 parser 를 만들어서 반환해줍니다.
  - parser.ParseText(raw_data) : parser를 통해서 raw_data 를 parsing 합니다.
  - Dataframe 은 Table 형태로 데이터를 담아준다라고 생각
  - [tablulate](https://pypi.org/project/tabulate/) 를 통해서 Datafram 을 꾸며서 출력해준다.

코드📄

import pdb import unittest from io import StringIO from tabulate import tabulate from textfsm import TextFSM from pandas import DataFrame

def dir2textfsm(path): parser = None try: with open(path) as f: data = f.read() parser = TextFSM(StringIO(data)) except IOError: print("No such TextFSM file : {}".format(path)) return parser

class TextfsmExample(unittest.TestCase): def test_01(self): parser = dir2textfsm('textfsm_exmple.template') raw_data = """SWITCH# show mac ================================================================================ vid port mac addr permission status in use ================================================================================ 1 eth0/1 22:22:33:33:44:aa OK static 0.00

    """
    print(raw_data)
    res = DataFrame(parser.ParseText(raw_data), columns=parser.header)
    res_str = str(tabulate(res, headers="keys", tablefmt="grid"))
    print(res_str)

실행💻

root@VirtualBox:~# python3 -m unittest textfsm_exmple.py

출력💻

SWITCH# show mac

vid port mac addr permission status in use

 1  eth0/1  22:22:33:33:44:aa     OK         static          0.00

+----+--------+---------+-------------------+--------------+----------+----------+ | | VLAN | PORTS | MAC | PERMISSION | STATUS | IN_USE | +====+========+=========+===================+==============+==========+==========+ | 0 | 1 | eth0/1 | 22:22:33:33:44:aa | OK | static | 0 | +----+--------+---------+-------------------+--------------+----------+----------+ .

Ran 1 test in 0.004s

OK ```

공식 문서

• https://www.paramiko.org/

paramiko github

• https://github.com/paramiko/paramiko

설치 방법

pip install paramiko

1) 예제 코드 전체

>>> import paramiko

>>> HOST = '127.0.0.1'
>>> ID = 'ID'
>>> PASSWD = 'PWD'
>>>


>>> ssh = paramiko.SSHClient()
>>> ssh
<paramiko.client.SSHClient object at 0x7f017ca69b50>
>>>
>>> ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
>>>
>>> ssh.connect(HOST, username=ID, password=PASSWD)
>>>



>>> ssh_stdin, ssh_stdout, ssh_stderr = ssh.exec_command('df -h')


>>> msg = ssh_stdout.read().decode("euc-kr")
>>> print(msg)
Filesystem      Size  Used Avail Use% Mounted on
udev            1.9G     0  1.9G   0% /dev
tmpfs           392M   21M  371M   6% /run
/dev/sda1        39G   32G  4.4G  89% /
tmpfs           2.0G  188K  2.0G   1% /dev/shm
tmpfs           5.0M  4.0K  5.0M   1% /run/lock
tmpfs           2.0G     0  2.0G   0% /sys/fs/cgroup
/dev/loop12     163M  163M     0 100% /snap/gnome-3-28-1804/145
/dev/loop4      253M  253M     0 100% /snap/pynsource/20
/dev/loop1       66M   66M     0 100% /snap/gtk-common-themes/1515
/dev/loop3       56M   56M     0 100% /snap/core18/2246
/dev/loop5       44M   44M     0 100% /snap/snapd/14295
/dev/loop6       43M   43M     0 100% /snap/snapd/14066
/dev/loop8      128K  128K     0 100% /snap/bare/5
/dev/loop9      165M  165M     0 100% /snap/gnome-3-28-1804/161
/dev/loop7      100M  100M     0 100% /snap/core/11798
/dev/loop2       66M   66M     0 100% /snap/gtk-common-themes/1519
/dev/loop10     252M  252M     0 100% /snap/pynsource/19
/dev/loop11      56M   56M     0 100% /snap/core18/2253
/dev/loop0      100M  100M     0 100% /snap/core/11993
tmpfs           392M   24K  392M   1% /run/user/108
tmpfs           392M     0  392M   0% /run/user/0
overlay          39G   32G  4.4G  89% /var/lib/docker/overlay2/a699597c9aa33bc4924c9bc82f8decc538ffe3fe5e3231b512d768bc5ba63b19/merged
shm              64M     0   64M   0% /var/lib/docker/containers/7c001393a1153608c1cae1a0b2f2466a02934d1051faec389a3ce4393e1e3e24/shm

>>> err_msg = ssh_stderr.read().decode("euc-kr")
>>> err_msg
''
>>>



>>> ssh_stdin, ssh_stdout, ssh_stderr = ssh.exec_command('invalid cmd')
>>> msg = ssh_stderr.read().decode('utf-8')
>>> msg
'bash: invalid: 명령어를 찾을 수 없음\n'
>>>



>>> ssh.get_transport()
<paramiko.Transport at 0xa9839c50 (cipher aes128-ctr, 128 bits) (active; 0 open channel(s))>
>>>

>>> ssh.close()
>>>
>>>
>>> ssh.get_transport()
>>>

1-1) SSH 세션 접속

• paramiko.SSHClient :

  • SSH 서버(원격)으로 접속하기 위한 클래스
  • 서버로 접속하기 때문에 현재 LOCAL PC는 Client 가 됨. 그래서 Class 명이 Client 임.
  • 쓰기 쉽도록 상위 레벨로 wraps 한 클래스 (.Transport, .Channel, .SFTPClient)

• set_missing_host_key_policy() : ssh 세션에 key 규칙을 paramiko.AutoAddPolicy() 로 함.

  • paramiko.AutoAddPolicy() 는 호스트 이름과 새 호스트 키를 로컬 .HostKeys 개체에 자동으로 추가하고 저장하는 정책

• ssh.connect() : SSH 서버(원격)으로 접속

>>> ssh = paramiko.SSHClient()
>>> ssh
<paramiko.client.SSHClient object at 0x7f017ca69b50>
>>>
>>> ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
>>>
>>> ssh.connect(HOST, username=ID, password=PASSWD)
>>>

1-2) SSH 서버(원격)으로 입력

• exec_command() : 원격서버에서 명령을 입력
  • ssh_stdin : 입력한 명령에 대한 데이터
    • stdin : write-only
  • ssh_stdout : 입력한 명령에 대한 출력이 잘못되었을 경우의 데이터
    • stdin : read-only
  • ssh_stderr : 입력한 명령에 대한 올바르게 출력되었다고 판단한 데이터
    • stdin : read-only

ssh_stdin, ssh_stdout, ssh_stderr = ssh.exec_command('df -h')

#### 1-3) SSH 서버(원격)로 부터 데이터 읽기

```python
>>> msg = ssh_stdout.read().decode("euc-kr")
>>> print(msg)
Filesystem      Size  Used Avail Use% Mounted on
udev            1.9G     0  1.9G   0% /dev
tmpfs           392M   21M  371M   6% /run
/dev/sda1        39G   32G  4.4G  89% /
tmpfs           2.0G  188K  2.0G   1% /dev/shm
tmpfs           5.0M  4.0K  5.0M   1% /run/lock
tmpfs           2.0G     0  2.0G   0% /sys/fs/cgroup
/dev/loop12     163M  163M     0 100% /snap/gnome-3-28-1804/145
/dev/loop4      253M  253M     0 100% /snap/pynsource/20
/dev/loop1       66M   66M     0 100% /snap/gtk-common-themes/1515
/dev/loop3       56M   56M     0 100% /snap/core18/2246
/dev/loop5       44M   44M     0 100% /snap/snapd/14295
/dev/loop6       43M   43M     0 100% /snap/snapd/14066
/dev/loop8      128K  128K     0 100% /snap/bare/5
/dev/loop9      165M  165M     0 100% /snap/gnome-3-28-1804/161
/dev/loop7      100M  100M     0 100% /snap/core/11798
/dev/loop2       66M   66M     0 100% /snap/gtk-common-themes/1519
/dev/loop10     252M  252M     0 100% /snap/pynsource/19
/dev/loop11      56M   56M     0 100% /snap/core18/2253
/dev/loop0      100M  100M     0 100% /snap/core/11993
tmpfs           392M   24K  392M   1% /run/user/108
tmpfs           392M     0  392M   0% /run/user/0
overlay          39G   32G  4.4G  89% /var/lib/docker/overlay2/a699597c9aa33bc4924c9bc82f8decc538ffe3fe5e3231b512d768bc5ba63b19/merged
shm              64M     0   64M   0% /var/lib/docker/containers/7c001393a1153608c1cae1a0b2f2466a02934d1051faec389a3ce4393e1e3e24/shm

>>> err_msg = ssh_stderr.read().decode("euc-kr")
>>> err_msg
''
>>>





>>> ssh_stdin, ssh_stdout, ssh_stderr = ssh.exec_command('invalid cmd')
>>> msg = ssh_stderr.read().decode('utf-8')
>>> msg
'bash: invalid: 명령어를 찾을 수 없음\n'
>>>

1-4) SSH 세션 살았는지 확인

• .get_transport() :
  • 세션이 살아있다면 paramiko.Transport 를 반환
  • 세션 연결이 안되었다면(끊겼다면) None을 반환

>>> ssh.get_transport()
<paramiko.Transport at 0xa9839c50 (cipher aes128-ctr, 128 bits) (active; 0 open channel(s))>
>>>

>>> ssh.close()
>>>
>>>
>>> ssh.get_transport()
>>>

1-5) SSH 세션 끊기

>>> ssh.close()
>>>

2) 예제 코드 전체 (Raw 한 API 로 사용해보기)

• high level 로 접근하여 사용해도 되지만 굳이 한번 Raw 하게 접근해보고 싶었다.
• 이 방법은 Linux, 여러 네트워크 장비로 접속이 가능했다.
• WINDOWS 환경에서의 SSH 서버로의 접근할 경우 접근이 안되었다.
  • 이유는? 기본적으로 윈도우는 vt100 터미널을 지원하지 않음. 지원하게 하려면 설치가 필요함.
    • https://stackoverflow.com/questions/64474568/how-to-enable-vt100-terminal-emulation-in-windows-10

>>> ssh = paramiko.SSHClient()
>>> ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
>>> ssh.connect(HOST, username=ID, password=PASSWD)
>>>



>>> session = ssh.invoke_shell()
>>> session.settimeout(0.0)



>>> 
>>> session.sendall('df -h'.encode('ascii') + b'\n')
>>> session.recv(50000)
b'df -h\r\nFilesystem      Size  Used Avail Use% Mounted on\r\nudev            1.9G     0  1.9G   0% /dev\r\ntmpfs           392M   21M  371M   6% /run\r\n/dev/sda1        39G   32G  4.4G  89% /\r\ntmpfs           2.0G  188K  2.0G   1% /dev/shm\r\ntmpfs           5.0M  4.0K  5.0M   1% /run/lock\r\ntmpfs           2.0G     0  2.0G   0% /sys/fs/cgroup\r\n/dev/loop12     163M  163M     0 100% /snap/gnome-3-28-1804/145\r\n/dev/loop4      253M  253M     0 100% /snap/pynsource/20\r\n/dev/loop1       66M   66M     0 100% /snap/gtk-common-themes/1515\r\n/dev/loop3       56M   56M     0 100% /snap/core18/2246\r\n/dev/loop5       44M   44M     0 100% /snap/snapd/14295\r\n/dev/loop6       43M   43M     0 100% /snap/snapd/14066\r\n/dev/loop8      128K  128K     0 100% /snap/bare/5\r\n/dev/loop9      165M  165M     0 100% /snap/gnome-3-28-1804/161\r\n/dev/loop7      100M  100M     0 100% /snap/core/11798\r\n/dev/loop2       66M   66M     0 100% /snap/gtk-common-themes/1519\r\n/dev/loop10     252M  252M     0 100% /snap/pynsource/19\r\n/dev/loop11      56M   56M     0 100% /snap/core18/2253\r\n/dev/loop0      100M  100M     0 100% /snap/core/11993\r\ntmpfs           392M   24K  392M   1% /run/user/108\r\ntmpfs           392M     0  392M   0% /run/user/0\r\noverlay          39G   32G  4.4G  89% /var/lib/docker/overlay2/a699597c9aa33bc4924c9bc82f8decc538ffe3fe5e3231b512d768bc5ba63b19/merged\r\nshm              64M     0   64M   0% /var/lib/docker/containers/7c001393a1153608c1cae1a0b2f2466a02934d1051faec389a3ce4393e1e3e24/shm\r\nroot@ytest-VirtualBox:~# '
>>> session.recv(50000)
Traceback (most recent call last):
  File "/usr/local/lib/python3.7/dist-packages/paramiko/channel.py", line 699, in recv
    out = self.in_buffer.read(nbytes, self.timeout)
  File "/usr/local/lib/python3.7/dist-packages/paramiko/buffered_pipe.py", line 155, in read
    raise PipeTimeout()
paramiko.buffered_pipe.PipeTimeout

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/local/lib/python3.7/dist-packages/paramiko/channel.py", line 701, in recv
    raise socket.timeout()
socket.timeout
>>>

2-1) invoke_shell

• 터미널을 설정합니다.
  • term : 터미널의 종류 을 설정 기본 vt100
  • width: 터미널 가로 길이 설정
  • height: 터미널 세로 길이 설정
  • width_pixels : 터미널 가로 픽셀 설정
  • height_pixels : 터미널 세로 픽셀 설정

        Start an interactive shell session on the SSH server.  A new `.Channel`
        is opened and connected to a pseudo-terminal using the requested
        terminal type and size.

        :param str term:
            the terminal type to emulate (for example, ``"vt100"``)
        :param int width: the width (in characters) of the terminal window
        :param int height: the height (in characters) of the terminal window
        :param int width_pixels: the width (in pixels) of the terminal window
        :param int height_pixels: the height (in pixels) of the terminal window
        :param dict environment: the command's environment
        :return: a new `.Channel` connected to the remote shell

>>> session = ssh.invoke_shell()

2-2) 세션 Timeout 설정

• .settimeout(0.0) : 세션 창이 끊길때까지 설정

  >>> session.settimeout(0.0)

2-3) SSH 서버(원격)으로 입력

• RAW 한 API 인.sendall 를 사용

>>> session.sendall('df -h'.encode('ascii') + b'\n')

2-4) SSH 서버(원격)으로 데이터 읽기

• RAW 한 API 인.recv 를 사용
• .recv 의 인자값은 데이터를 읽어올 사이즈 입니다.
• 서버로 부터 현재 읽어올 데이터가 없었다면 socket.timeout 에러 발생

  >>> session.recv(50000)
  b'df -h\r\nFilesystem      Size  Used Avail Use% Mounted on\r\nudev            1.9G     0  1.9G   0% /dev\r\ntmpfs           392M   21M  371M   6% /run\r\n/dev/sda1        39G   32G  4.4G  89% /\r\ntmpfs           2.0G  188K  2.0G   1% /dev/shm\r\ntmpfs           5.0M  4.0K  5.0M   1% /run/lock\r\ntmpfs           2.0G     0  2.0G   0% /sys/fs/cgroup\r\n/dev/loop12     163M  163M     0 100% /snap/gnome-3-28-1804/145\r\n/dev/loop4      253M  253M     0 100% /snap/pynsource/20\r\n/dev/loop1       66M   66M     0 100% /snap/gtk-common-themes/1515\r\n/dev/loop3       56M   56M     0 100% /snap/core18/2246\r\n/dev/loop5       44M   44M     0 100% /snap/snapd/14295\r\n/dev/loop6       43M   43M     0 100% /snap/snapd/14066\r\n/dev/loop8      128K  128K     0 100% /snap/bare/5\r\n/dev/loop9      165M  165M     0 100% /snap/gnome-3-28-1804/161\r\n/dev/loop7      100M  100M     0 100% /snap/core/11798\r\n/dev/loop2       66M   66M     0 100% /snap/gtk-common-themes/1519\r\n/dev/loop10     252M  252M     0 100% /snap/pynsource/19\r\n/dev/loop11      56M   56M     0 100% /snap/core18/2253\r\n/dev/loop0      100M  100M     0 100% /snap/core/11993\r\ntmpfs           392M   24K  392M   1% /run/user/108\r\ntmpfs           392M     0  392M   0% /run/user/0\r\noverlay          39G   32G  4.4G  89% /var/lib/docker/overlay2/a699597c9aa33bc4924c9bc82f8decc538ffe3fe5e3231b512d768bc5ba63b19/merged\r\nshm              64M     0   64M   0% /var/lib/docker/containers/7c001393a1153608c1cae1a0b2f2466a02934d1051faec389a3ce4393e1e3e24/shm\r\nroot@ytest-VirtualBox:~# '
  >>> session.recv(50000)
  Traceback (most recent call last):
  File "/usr/local/lib/python3.7/dist-packages/paramiko/channel.py", line 699, in recv
  out = self.in_buffer.read(nbytes, self.timeout)
  File "/usr/local/lib/python3.7/dist-packages/paramiko/buffered_pipe.py", line 155, in read
  raise PipeTimeout()
  paramiko.buffered_pipe.PipeTimeout
  

During handling of the above exception, another exception occurred:

Traceback (most recent call last): File "", line 1, in File "/usr/local/lib/python3.7/dist-packages/paramiko/channel.py", line 701, in recv raise socket.timeout() socket.timeout

```

Python이 설치 되어있다면 telnetlib을 따로 설치할 필요없다.

공식 문서

• https://docs.python.org/ko/3/library/telnetlib.html

telnetlib github

• https://github.com/python/cpython/blob/main/Lib/telnetlib.py

예제 전체 코드

>>> import telnetlib
>>> import socket



>>> HOST = '127.0.0.1'      # telnet으로 접속할 대상
>>> PORT = '23'             # telnet port: 23
>>> SESSION_TIMEOUT = None
>>> session = telnetlib.Telnet(HOST, PORT, SESSION_TIMEOUT)
>>>


>>> def nego(sock, cmd, opt):
        if cmd == telnetlib.WILL and opt == telnetlib.ECHO:
            sock.sendall(telnetlib.IAC + telnetlib.DO + telnetlib.ECHO)
        elif cmd in (telnetlib.DO, telnetlib.DONT):
            sock.sendall(telnetlib.IAC + telnetlib.WONT + opt)
        elif cmd in (telnetlib.WILL, telnetlib.WONT):
            sock.sendall(telnetlib.IAC + telnetlib.DONT + opt)

>>> session.set_option_negotiation_callback(nego)
>>>


>>> session.write('show interface summary'.encode('ascii') + b"\n")
>>>


>>> msgs = []
>>> while True:
    msgs += [session.read_eager().decode('ascii')]
    if msgs[-1] == '':
        break


>>> 
>>> 

>>> 
>>> print(''.join(msgs))
show interface summary

 *: interface is up
 IHQ: pkts in input hold queue     IQD: pkts dropped from input queue
 OHQ: pkts in output hold queue    OQD: pkts dropped from output queue
 RXBS: rx rate (bits/sec)          RXPS: rx rate (pkts/sec)
 TXBS: tx rate (bits/sec)          TXPS: tx rate (pkts/sec)
 TRTL: throttle count

  Interface                   IHQ       IQD       OHQ       OQD      RXBS      RXPS      TXBS      TXPS      TRTL
-----------------------------------------------------------------------------------------------------------------
* GigabitEthernet1              0         0         0         0         0         0         0         0         0
  GigabitEthernet2              0         0         0         0         0         0         0         0         0
  GigabitEthernet3              0         0         0         0         0         0         0         0         0
  GigabitEthernet4              0         0         0         0         0         0         0         0         0
  GigabitEthernet5              0         0         0         0         0         0         0         0         0
  GigabitEthernet6              0         0         0         0         0         0         0         0         0
  GigabitEthernet7              0         0         0         0         0         0         0         0         0
* GigabitEthernet8              0         0         0         0      4000         8         0         0         0
* Loopback0                     0         0         0         0         0         0         0         0         0
* Loopback1                     0         0         0         0         0         0         0         0         0
* Loopback2                     0         0         0         0         0         0         0         0         0
IOSXE#
>>>
>>>



>>> session.close()
>>>

1) telnet session 접속

• HOST : 접속할 IP
• PORT : TCP port
  • 23
  • Remote Console를 이용해서 사용할 경우, 그에 맞는 port 번호를 사용
• SESSION_TIMEOUT : 세션의 타임아웃 값 None, int
  • None 일 경우, 접속한 텔넷 서버에서 연결을 끊을 때까지 세션을 유지 아니면 망 상황이 안 좋아서 끊길때까지 유지
  • Int 일 경우, 세션 유지하는 시간을 숫자로 입력

session = telnetlib.Telnet(HOST, PORT, SESSION_TIMEOUT)

2) 입력시 Telnet option 과정에 대해서 정의를 해줌

• write 할 데이터 전송시 Nego 하는 방법을 정의해줌
• IAC (Interrupt As Command): IAC 명령을 사용해야지 뒤에 BIT를 명령으로 인식함.
  • Ex) telnetlib.DO 만 보내면 단순히 string 인 줄 안다.
• DO : 접속한 서버(원격)에게 옵션을 사용하자고 요청
• WILL : LOCAL 에서 옵션을 사용하겠다고 보냄
• DONT : 접속한 서버(원격)에게 옵션을 사용하지말자고 요청
• DONT : 접속한 서버(원격)에게 옵션을 사용하지하지 말자고 보냄
• WONT : LOCAL 에서 옵션을 사용하지않는다고 보냄
• ECHO : 접속한 서버(원격)가 확인차원에서 한번더 데이터를 보냄

왜 Nego 사용?

• 현재 제가 사용중인 IOS 에서는 nego option을 사용하지 않아도 입력한 데이터에 대해서 읽어올때 정상적으로 데이터를 가지고 왔음.
• 하지만 특정 텔넷 서버에 경우는 nego option 이 필요한 경우가 있어서 남겨 보았음.
• nego option 이 필요한 텔넷 서버에서 nego option을 안 할 경우, 서버로 부터 write 한 데이터를 받지 못했음.

>>> def nego(sock, cmd, opt):
        if cmd == telnetlib.WILL and opt == telnetlib.ECHO:
            sock.sendall(telnetlib.IAC + telnetlib.DO + telnetlib.ECHO)
        elif cmd in (telnetlib.DO, telnetlib.DONT):
            sock.sendall(telnetlib.IAC + telnetlib.WONT + opt)
        elif cmd in (telnetlib.WILL, telnetlib.WONT):
            sock.sendall(telnetlib.IAC + telnetlib.DONT + opt)

>>> session.set_option_negotiation_callback(nego)
>>>

3) 텔넷서버에 데이터 입력

• bytes 타입으로 전달 해줘야됨
• 문자열에 끝에는 텔넷서버가 인식하는 command 명령의 끝이라는 것을 알려는 문자를 넣어줘야됩니다.
  • \n : new line

>>> session.write('show interface summary'.encode('ascii') + b"\n")
>>>

4) 텔넷서버에 데이터 읽기

• read_eager() :
  • telnetlib에서 데이터를 읽는 방법 중 하나입니다.
  • 세션 연결이 닫히면 EOFError를 발생
  • 데이터가 없으면 b''를 반환합니다.

    >>> msgs = []
    >>> while True:
    msgs += [session.read_eager().decode('ascii')]
    if msgs[-1] == '':
      break
    

print(''.join(msgs))

#### 5) 텔넷 세션 끊기

session.close() ```

• 요청처리시에 발생한 SQL 내역 확인 가능

공식 문서

https://django-debug-toolbar.readthedocs.io/en/latest/

1) 설치

pip install django-debug-toolbar

2) staticfile 설정

• 프로젝트 settings.py
• INSTALLED_APPS 에 'django.contrib.staticfiles"

INSTALLED_APPS = [
    'django.contrib.staticfiles',
]

STATIC_URL = "/static/"

3) TEMPLATES 설정

• 프로젝트 settings.py

TEMPLATES = [
    {
        "BACKEND": "django.template.backends.django.DjangoTemplates",
        "APP_DIRS": True,
        # ...
    }
]

4) debug_toolbar APP 설정

• 프로젝트 settings.py

INSTALLED_APPS = [
    # ...
    "debug_toolbar",
    # ...
]

5) URLs 추가

• 프로젝트 urls.py
• debug 모드일 때만 실행시키기

urlpatterns = [ ... ]

if settings.DEBUG: import debug_toolbar urlpatterns += [ path('debug/', include('debug_toolbar.urls')), ]

### 6) MIDDLEWARE 에 추가
  - django 에서 MIDDLEWARE 란 
    요청을 처리하는 뷰가 호출되기 전/후에 
    호출되는 함수들
```python

MIDDLEWARE = [
    # ...
    "debug_toolbar.middleware.DebugToolbarMiddleware",
    # ...
]

7) Internal IP 설정

• django 는 기본적으로 IP 에 대해서 막아버림 접속하는 IP를 넣어줘서 허용시킴
• debug toolbar에 있는거는 민감한 정보기 때문에, LOCAL 에서만 접속할 수 있도록

  INTERNAL_IPS = [
  # ...
  "127.0.0.1",
  # ...
  ]

(주의사항)

• 웹페이지의 template 은 반드시 <body> 태그가 있어야, django-debug-toolbar가 동작 이유는? django-debug-toolbar 가 html/script 코드를 태그에 안에 추가되기 때문에

django-debug-toolbar

https://django-extensions.readthedocs.io/en/latest/

설치방법

$ pip install django-extensions

사용법

1) django 프로젝트의 settings.py INSTALLED_APPS 에 'django_extensions' 추가

INSTALLED_APPS = [
    ...
    'django_extensions',

]

2) python manage.py shell_plus --print-sql 실행

• 사용할 Class, Fcuntion 을 자동으로 import 시켜줌
  • 단, from 위치는 다르더라도 import 시킬 Class 가 중복이 되면 Overwirte 되서, 따로 Import 시켜줘야됨.
• 실행할때 SQL 문이 출력됨

(venv) # python manage.py shell_plus --print-sql

# Shell Plus Model Imports
from instagram.models import Post
from django.contrib.admin.models import LogEntry
from django.contrib.auth.models import Group, Permission, User
from django.contrib.contenttypes.models import ContentType
from django.contrib.sessions.models import Session
# Shell Plus Django Imports
from django.core.cache import cache
from django.conf import settings
from django.contrib.auth import get_user_model
from django.db import transaction
from django.db.models import Avg, Case, Count, F, Max, Min, Prefetch, Q, Sum, When
from django.utils import timezone
from django.urls import reverse
from django.db.models import Exists, OuterRef, Subquery
Python 3.8.10 (default, Nov 26 2021, 20:14:08)
[GCC 9.3.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
(InteractiveConsole)
>>>
>>>
>>> Post.objects.all()
SELECT "instagram_post"."id",
       "instagram_post"."message",
       "instagram_post"."photo",
       "instagram_post"."is_public",
       "instagram_post"."created_at",
       "instagram_post"."updated_at"
  FROM "instagram_post"
 ORDER BY "instagram_post"."id" DESC
 LIMIT 21
Execution time: 0.001612s [Database: default]
<QuerySet [<Post: 세번째 메세지>, <Post: 두번째 메세지>, <Post: 첫번째 메세지>]>
>>>

데이터베이스의 질의 인터페이스를 제공 디폴트 Manager 로서 ModelCls.objects 가 제공

# SELCT * FROM app_model;
ModelsCls.objects.all()


# SELCT * FROM app_model ORDER BY ID DESC LIMIT 10;
ModelsCls.objects.all().order_by('-id')[:10]


# INSERT INTO app_model (title) VALUES ("New Title");

ModelsCls.objects.create(title="New Title")

>>> qs = Post.objects.all()

>>> print(qs)
<QuerySet [<Post: 첫번째 메세지>, <Post: 두번째 메세지>, <Post: 세번째 메세지>]>
>>>

>>> print(type(qs))
<class 'django.db.models.query.QuerySet'>
>>> 

print(qs.query)
SELECT "instagram_post"."id", "instagram_post"."message", "instagram_post"."photo", "instagram_post"."is_public", "instagram_post"."created_at", "instagram_post"."updated_at" FROM "instagram_post"
>>>

오름차순

• 단, 여러개의 필드를 정렬할 수 있지만 1~2개 정도만 정렬을하고 그 이상은 성능저하를 야기 시킬수 있기 때문에 사용하지 않는다. ex) order_by('id', 'is_pulic')

>>> qs = Post.objects.all().order_by('id')


>>> print(qs.query)
SELECT "instagram_post"."id", "instagram_post"."message", "instagram_post"."photo", "instagram_post"."is_public", "instagram_post"."created_at", "instagram_post"."updated_at" FROM "instagram_post" ORDER BY "instagram_post"."id" ASC
>>>

>>> qs
<QuerySet [<Post: 첫번째 메세지>, <Post: 두번째 메세지>, <Post: 세번째 메세지>]>
>>>

## id 에 대해서 내림차순
>>> qs = Post.objects.all().order_by('-id')

>>> print(qs.query)
SELECT "instagram_post"."id", "instagram_post"."message", "instagram_post"."photo", "instagram_post"."is_public", "instagram_post"."created_at", "instagram_post"."updated_at" FROM "instagram_post" ORDER BY "instagram_post"."id" DESC


>>> qs
<QuerySet [<Post: 세번째 메세지>, <Post: 두번째 메세지>, <Post: 첫번째 메세지>]>
>>>

내림차순

• 단, 여러개의 필드를 정렬할 수 있지만 1~2개 정도만 정렬을하고 그 이상은 성능저하를 야기 시킬수 있기 때문에 사용하지 않는다. ex) order_by('-id', '-is_pulic')

  >>> qs = Post.objects.all().order_by('-id')[:2]
  
  

print(qs.query) SELECT "instagram_post"."id", "instagram_post"."message", "instagram_post"."photo", "instagram_post"."is_public", "instagram_post"."created_at", "instagram_post"."updated_at" FROM "instagram_post" ORDER BY "instagram_post"."id" DESC LIMIT 2

qs <QuerySet [<Post: 세번째 메세지>, <Post: 두번째 메세지>]>

### 순회 가능 (for, loop 가능하다)

for post in qs: ... print(post.id, post.message, post.created_at) ... print("id: {id}, message: {message} {created_at}".format(**post.dict))

... 4 세번째 메세지 2022-01-12 11:07:37.336965+00:00 id: 4, message: 세번째 메세지 2022-01-12 11:07:37.336965+00:00 2 두번째 메세지 2022-01-11 10:56:29.125509+00:00 id: 2, message: 두번째 메세지 2022-01-11 10:56:29.125509+00:00

### QuerySet은 Chaining 을 지원
  - 속성에 따라서 filter 를 사용하는 것이 다름.
    - (ex) message__startswith='첫번째'
      message 필드에서 첫번째로 시작하는 것을 필터링

  - TIP. 한줄이 길어지면 `\` 사용

qs = Post.objects.all().filter(message__startswith='첫번째')

print(qs.query) SELECT "instagram_post"."id", "instagram_post"."message", "instagram_post"."photo", "instagram_post"."is_public", "instagram_post"."created_at", "instagram_post"."updated_at" FROM "instagram_post" WHERE "instagram_post"."message" LIKE 첫번째% ESCAPE ''

qs <QuerySet [<Post: 첫번째 메세지>]>

qs = Post.objects.all().filter(message__icontains='첫번째').order_by('-id') print(qs.query) SELECT "instagram_post"."id", "instagram_post"."message", "instagram_post"."photo", "instagram_post"."is_public", "instagram_post"."created_at", "instagram_post"."updated_at" FROM "instagram_post" WHERE "instagram_post"."message" LIKE %첫번째% ESCAPE '' ORDER BY "instagram_post"."id" DESC qs <QuerySet [<Post: 첫번째 메세지>]>

qs = Post.objects.all()
... .filter(message__icontains='첫번째')
... .order_by('-id')

qs <QuerySet [<Post: 첫번째 메세지>]>

## QuerySet
- SQL 을 생성해주는 인터페이스
- 순회가능한 객체 (for, loop 에서 사용 가능)
- Model Manager 를 통해, 해당 Model 에 대한 QuerySet 을 획득
  - Post.objects.all() 코드는 "SELECT * FROM post ...;"
  - Post.objects.create(...) 코드는 "INSERT INTO ...;"
 - QuerySet은 Chaining 을 지원
   - Post.objects.all()**.**filter(...)**.**exclude(...)**.**filter(...)

 - QuerySet은 Lazy한 특성
   - QuerySet을 만드는 동안에는 DB접근을 하지 않는다.
   - 실제로 데이터가 필요한 시점에 접근을 합니다.
     - 데이터가 필요한 시점은 언제?
       1) queryset
          - repr : 파이썬 인터프리터를 위한 것, API를 인터프리터로 사용할 때 즉시 결과를 볼 수 있다.

       2) print(queryset)
       3) list(queryset)
       4) for instance in queryset: print(instance)


## 다양한 조회 요청 방법 (SECLT SQL 생성)


### 조건을 추가한 Queryset, 획득할 준비

 - queryset.filter(...) -> queryset
 - queryset.exclude(...) -> queryset

filter : WHERE 문

qs = Post.objects.all().filter(message__icontains='첫번째').order_by('-id')

print(qs.query) SELECT "instagram_post"."id", "instagram_post"."message", "instagram_post"."photo", "instagram_post"."is_public", "instagram_post"."created_at", "instagram_post"."updated_at" FROM "instagram_post" WHERE "instagram_post"."message" LIKE %첫번째% ESCAPE '' ORDER BY "instagram_post"."id" DESC

exclude : WHERE NOT 문

qs = Post.objects.all().exclude(message__icontains='첫번째').order_by('-id') print(qs.query) SELECT "instagram_post"."id", "instagram_post"."message", "instagram_post"."photo", "instagram_post"."is_public", "instagram_post"."created_at", "instagram_post"."updated_at" FROM "instagram_post" WHERE NOT ("instagram_post"."message" LIKE %첫번째% ESCAPE '') ORDER BY "instagram_post"."id" DESC qs <QuerySet [<Post: 세번째 메세지>, <Post: 두번째 메세지>]>

 ### 특정 모델객체 1개 획득을 시도

  - queryset[숫자인덱스]
    - 모델 객체 혹은 예외발생 (IndexError)

qs = Post.objects.all() qs[1] <Post: 두번째 메세지> qs[0] <Post: 첫번째 메세지>

qs[3] Traceback (most recent call last): File "", line 1, in File "/root/django-with-react-study/venv/lib/python3.8/site-packages/django/db/models/query.py", line 318, in getitem return qs._result_cache[0] IndexError: list index out of range

  - queryset.get(...)
     - 모델 객체 혹은 예외 발생 (DoseNotExist, MultipleObjectsReturned)

qs = Post.objects.all() qs.get(pk=1) <Post: 첫번째 메세지> qs.get(pk=2) <Post: 두번째 메세지>

qs.get(pk=3) Traceback (most recent call last): File "", line 1, in File "/root/django-with-react-study/venv/lib/python3.8/site-packages/django/db/models/query.py", line 435, in get raise self.model.DoesNotExist( instagram.models.Post.DoesNotExist: Post matching query does not exist.

lte: less than equal

qs.get(id__lte=2)
Traceback (most recent call last): File "", line 1, in File "/root/django-with-react-study/venv/lib/python3.8/site-packages/django/db/models/query.py", line 439, in get raise self.model.MultipleObjectsReturned( instagram.models.Post.MultipleObjectsReturned: get() returned more than one Post -- it returned 2!

  - queryset.first()
     - 모델 객체 혹은 None

qs = Post.objects.all() qs.first() <Post: 첫번째 메세지>

qs.none() <QuerySet []> qs.none().first()

  - queryset.last()
     - 모델 객체 혹은 None

qs = Post.objects.all() qs.last() <Post: 세번째 메세지>

### filter < - > exclude
 - filter 와 exclude는 서로 반대되는 개념
 - SELECT 쿼리에 WHERE 조건 추가
 - 인자로 '필드명 = 조건값' 지정
 - 1개 이상의 인자 지정 -> 모두 AND 조건으로 묶임.

qs = Post.objects.all() qs = qs.exclude(id__gte=2, message__icontains="첫번째")

print(qs.query) SELECT "instagram_post"."id", "instagram_post"."message", "instagram_post"."photo", "instagram_post"."is_public", "instagram_post"."created_at", "instagram_post"."updated_at" FROM "instagram_post" WHERE NOT ("instagram_post"."id" >= 2 AND "instagram_post"."message" LIKE %첫번째% ESCAPE '')

qs <QuerySet [<Post: 첫번째 메세지>, <Post: 두번째 메세지>, <Post: 세번째 메세지>]>

qs = Post.objects.all()

qs = qs.filter(id__gte=2, message__icontains="첫번째")

print(qs.query) SELECT "instagram_post"."id", "instagram_post"."message", "instagram_post"."photo", "instagram_post"."is_public", "instagram_post"."created_at", "instagram_post"."updated_at" FROM "instagram_post" WHERE ("instagram_post"."id" >= 2 AND "instagram_post"."message" LIKE %첫번째% ESCAPE '') qs <QuerySet []>

 - OR 조건을 묶으려면, django.db.models.Q 활용

from django.db.models import Q

qs = Post.objects.all() qs = qs.filter(Q(id__gte=2) | Q(message__icontains="첫번째"))

qs.query <django.db.models.sql.query.Query object at 0x7f68dbe7ab80>

print(qs.query) SELECT "instagram_post"."id", "instagram_post"."message", "instagram_post"."photo", "instagram_post"."is_public", "instagram_post"."created_at", "instagram_post"."updated_at" FROM "instagram_post" WHERE ("instagram_post"."id" >= 2 OR "instagram_post"."message" LIKE %첫번째% ESCAPE '')

qs <QuerySet [<Post: 첫번째 메세지>, <Post: 두번째 메세지>, <Post: 세번째 메세지>]>

qs = Post.objects.all()

cond = Q(id__gte=2) | Q(message__icontains='첫번째')

qs = qs.filter(cond)

print(qs.query) SELECT "instagram_post"."id", "instagram_post"."message", "instagram_post"."photo", "instagram_post"."is_public", "instagram_post"."created_at", "instagram_post"."updated_at" FROM "instagram_post" WHERE ("instagram_post"."id" >= 2 OR "instagram_post"."message" LIKE %첫번째% ESCAPE '')

qs <QuerySet [<Post: 첫번째 메세지>, <Post: 두번째 메세지>, <Post: 세번째 메세지>]>

## 필드 타입별 다양한 조건 매칭
주의) 데이터베이스 타입에 따라서 생성되는 SQL이 다릅니다.

### 숫자/날짜/시간 필드의 경우
1) 필드명__lt = 조건값 
  - less than
  - 필드명 < 조건값
2) 필드명__lte = 조건값
  - less than equal
  - 필드명 <= 조건값
3) 필드명__gt = 조건값
  - greater than
  - 필드명 > 조건값
4) 필드명__gte = 조건값
  - greater than equal
  - 필드명 >= 조건값

### 문자열 필드의 경우
1) 필드명__startswith = 조건값
  - 필드명 LIKE "조건값%"
2) 필드명__istartswith = 조건값
  - 필드명 ILIKE "조건값%"
  - I는 ignore case : 대소문자 구별 안함
3) 필드명__endswith = 조건값
  - 필드명 LIKE "%조건값"
4) 필드명__iendswith = 조건값
  - 필드명 ILIKE "%조건값"
  - I는 ignore case : 대소문자 구별 안함
5) 필드명__contains = 조건값
  - 필드명 LIKE "%조건값%"
6) 필드명__icontains = 조건값
  - 필드명 ILIKE "%조건값%"
  - I는 ignore case : 대소문자 구별 안함



### 정렬 조건 추가
#### SELECT 쿼리에 ORDER BY 추가

정렬 조건을 추가하지 않으면 일관된 순서를 보장받을 수 없음
##### DB에서 다수의 필드에 대한 정렬을 지원

하지만 가급적 단일 필드로 하는 것이 성능에 이익
시간숙/역순 정렬이 필요할 경우, ID 필드를 활용

##### 정렬 조건을 지정하는 2가지 방법
  1. 모델 클래스의 Meta 속성으로 ordering 설정: list 로 지정

class Post(models.Model):

class Meta:
    ordering = ['-id']

  2. 모든 Queryset에 order_by(...)에 지정

    - queryset에서 order_by 를 지정했다면,
      모델 클래스의 Meta 속성을 통해서 기본 정렬한게 무시됨.

Post.objects.all().order_by('created_at') SELECT "instagram_post"."id", "instagram_post"."message", "instagram_post"."photo", "instagram_post"."is_public", "instagram_post"."created_at", "instagram_post"."updated_at" FROM "instagram_post" ORDER BY "instagram_post"."created_at" ASC LIMIT 21 Execution time: 0.000249s [Database: default] <QuerySet [<Post: 첫번째 메세지>, <Post: 두번째 메세지>, <Post: 세번째 메세지>]>

### QuerySet에 범위 조건 추가

#### 슬라이싱을 통한 범위조건 추가
 - SELECT 쿼리에 OFFSET/LIMIT
 - 슬라이싱 지원됨. 단, 역순슬라이싱은 지원 안됨
   - 왜 지원이 안되는가? 데이터베이스에서 지원하지 않기 때문에

객체[start:stop:step]

• offset : start
• LIMIT : stop - start
• STEP은 Query에 대응되지 않음.

>>> Post.objects.all()[:2]
SELECT "instagram_post"."id",
       "instagram_post"."message",
       "instagram_post"."photo",
       "instagram_post"."is_public",
       "instagram_post"."created_at",
       "instagram_post"."updated_at"
  FROM "instagram_post"
 ORDER BY "instagram_post"."id" DESC
 LIMIT 2
Execution time: 0.000153s [Database: default]
<QuerySet [<Post: 세번째 메세지>, <Post: 두번째 메세지>]>



>>> Post.objects.all()[-2:]
Traceback (most recent call last):
  File "<console>", line 1, in <module>
  File "/root/django-with-react-study/venv/lib/python3.8/site-packages/django/db/models/query.py", line 294, in __getitem__
    assert ((not isinstance(k, slice) and (k >= 0)) or
AssertionError: Negative indexing is not supported.
>>>


>>> Post.objects.all().order_by('id')[:2]
SELECT "instagram_post"."id",
       "instagram_post"."message",
       "instagram_post"."photo",
       "instagram_post"."is_public",
       "instagram_post"."created_at",
       "instagram_post"."updated_at"
  FROM "instagram_post"
 ORDER BY "instagram_post"."id" ASC
 LIMIT 2
Execution time: 0.000208s [Database: default]
<QuerySet [<Post: 첫번째 메세지>, <Post: 두번째 메세지>]>
>>>

• step 이 들어가면 STEP 사용하지 않으면 QuerySet 으로 return 됨. STEP을 사용하면 List 로 return 이됨.

  • step 사용 X : <QuerySet [<Post: 두번째 메세지>, <Post: 첫번째 메세지>]>
  • step 사용 O: [<Post: 두번째 메세지>, <Post: 첫번째 메세지>]

• STEP은 SQL에 개념이 없음. STEP은 django의 QuerySet이 처리함.

• 밑에 예제를 기준으로 [1:3] 만큼 SQL로 처리를 한 다음 django가 2(STEP) 을 처리함.

  >>> Post.objects.all()[1:3]
  SELECT "instagram_post"."id",
      "instagram_post"."message",
      "instagram_post"."photo",
      "instagram_post"."is_public",
      "instagram_post"."created_at",
      "instagram_post"."updated_at"
  FROM "instagram_post"
  ORDER BY "instagram_post"."id" DESC
  LIMIT 2
  OFFSET 1
  Execution time: 0.000204s [Database: default]
  <QuerySet [<Post: 두번째 메세지>, <Post: 첫번째 메세지>]>
  >>>
  
  

Post.objects.all()[1:3:1] SELECT "instagram_post"."id", "instagram_post"."message", "instagram_post"."photo", "instagram_post"."is_public", "instagram_post"."created_at", "instagram_post"."updated_at" FROM "instagram_post" ORDER BY "instagram_post"."id" DESC LIMIT 2 OFFSET 1 Execution time: 0.000120s [Database: default] [<Post: 두번째 메세지>, <Post: 첫번째 메세지>]