목적/경위 파이썬 커뮤니티에서 널리 사용되고 있는 Black 코드 포멧터에 대한 설명입니다.

0. 개요

• 파이썬 커뮤니티에서 가장 널리 쓰이고 있는 코드 포맷터입니다.
• 하나의 코드 스타일을 기준으로 모든 개발자가 일관성 있는 코드를 작성하는 것이 장점입니다.

구동 코드

## Install
$ pip install black # Python code
$ pip install black[jupyter] # Jupyter notebook code

## Check for formator(optional)
$ black --check (filename).py
'''
would reformat filename.py
Oh no! 💥 💔 💥
1 file would be reformatted.
'''
## Case 1: Config Python
black (filename).py
'''
reformatted filename.py
All done! ✨ 🍰 ✨
1 file reformatted.
'''
## Case 2: Config Jupyter
black (filename).ipynb

포멧팅 미적용 구분 적용 방법

fmt: off fmt: on 을 통해 원하는 구분에는 포멧팅이 적용되지 않게 할 수 있습니다.

def main():
    if args.saved_checkpoint == 'torchscript':
        model = torch.jit.load(pretrained_pth)
## 아래 구문이 오히려 포맷을 적용하지 않았을 때 가독성이 좋을 경우,
# fmt: off
    elif args.saved_checkpoint == 'ckpt':
        model = UNETR(
            in_channels=args.in_channels,
            out_channels=args.out_channels,
            img_size=(args.roi_x, args.roi_y, args.roi_z),
            feature_size=args.feature_size,
            hidden_size=args.hidden_size,
            mlp_dim=args.mlp_dim,
            num_heads=args.num_heads,
            pos_embed=args.pos_embed,
            norm_name=args.norm_name,
            conv_block=True,
            res_block=True,
            dropout_rate=args.dropout_rate)
# fmt: on
        model_dict = torch.load(pretrained_pth)

추가적인 옵션

-l : 한 라인의 최대 글자 수(default: 88)

-diff : 파일을변경하지 않고 변경되는 부분을 콘솔로 표현

-color : -diff 를 사용했을 떄 변경점에 색을 입혀 가시성 추가

ex)

$ black (filename).py -l 80 --diff --color

1. VScode에서 black 적용하는 법

1) Prettier 설치

• 마켓 플레이스에서 prettier를 설치합니다.

2) Formatter 설정

Default Formatter

• ctrl+,를 눌러서 설정으로 들어갑니다.
• 검색창에 formatter를 치면 default formatter를 설정할 수 있습니다.
• Prettier를 선택해주세요.

Auto save

• 저장을 할 때 자동으로 formatter를 적용할 수 있도록 Auto Save를 설정해줍니다.

Python 설정

• ctrl + shift + p 를 눌러서 setting을 검색합니다.

• 기본 설정: 설정 열기 (Open Settings)를 클릭합니다.

• 아래 코드를 추가합니다.

    "[python]": {
        "editor.defaultFormatter": "ms-python.python"
      },

3) Black 적용

Black 설치

• 사용하고자 하는 파이썬 환경에 black을 설치해줍니다.

$ pip install black

• 간혹 적용이 안될 때가 있는데, 이때는 다른 conda 환경에 설치해서 그럴 수도 있습니다.
• ctrl + shift + p 를 눌러서 select interpreter를 검색한 후에, 설치된 환경으로 변경합니다.

Black 설정

• ctrl+,를 눌러서 설정으로 들어갑니다.
• black을 검색합니다.
• 항목 추가를 눌러서 다음과 같은 항목을 추가합니다.
  • —line-length
  • 120

3. 사용 예

옥스포드대 Visual Geometry Group(VGG)에서 만든 Annotation tool 입니다. VGG Image Annotator은 다음과 같은 특징을 가지고 있습니다.

• html로 작성
• 다양한 region shape(rectangle, circle, polygon, polyline, single point)
• json, csv format export

웹 상에서 구동 가능하기에 단순 keypoint labeling 작업에 용이하다고 생각하였습니다.

주소: https://www.robots.ox.ac.uk/~vgg/software/via/via-2.0.4.html

사용 방법

Step 1.

주소를 클릭하면 다음과 같은 화면이 출력됩니다.

Step 2.

Project>Add local files 를 눌러 작업할 이미지들을 불러옵니다.

이미지 로드 시 다음과 같이 폴더마다 작업할 수 있게 세팅이 됩니다.

Step 3.

Region Shape의 다섯번째인 Point Region Shape를 클릭 후 Labeling할 포인트를 지정합니다.

Step 4.

현재 이미지에서의 작업이 완료되면 → 키를 눌러 다음 이미지로 넘어가서 작업을 수행합니다.

Step 5.

Annotation>Export Annotation을 눌러 csv 형태 또는 json 형태로 저장합니다.

저장된 csv는 다음과 같습니다. 하나의 포인트 마다 line에 좌표형태로 작성되어 있음을 확인할 수 있습니다.

scp root@000.000.000:[서버 상 파일 경로] [윈도우 상 저장 경로]

2. Window → Linux

윈도우 터미널 또는 vscode 상에서

scp {옮기려는 파일} root@000.000.000.:{전송한 파일을 저장할 위치}

학습을 위해 데이터셋을 다운로드 받으면 용량이 큰 image dataset의 경우 대다수 압축파일 형태로 다운로드 받게 된다.(ex .zip .tar .gz .tar.gz .nii.gz 등)

이 때 해당 압축파일을 터미널 상에서 압축 및 해제하는 방법에 대해 정리해보자

> wget [다운로드 링크]

.zip

• zip이 설치되지 않았을 경우, apt-get install zip 또는 pip install zip

# zip 압축하기
> zip [파일명.zip]

# zip 압축풀기
> unzip [파일명.zip]

# zip 폴더 전체(하위 포함) 압축
> zip [파일명.zip] -r [디렉토리]

.tar

# tar 압축하기
> tar -cvf [파일명.tar] [폴더명]

# tar 압축풀기
> tar -xvf [파일명.tar]

tar.gz

# tar.gz 압축하기
> tar -zcvf [파일명.tar.gz] [폴더명]

# tar.gz 압축풀기
> tar -zxvf [파일명.tar.gz]

.xy

# .xz 압축하기
> xz {file}

# .xz 압풀기
> xz -d {file}.xz

or

> unxz {file}.xz

추가적으로 .으로 시작하는 파일이 있는 경우가 있는데, 이러한 경우 `rm -rf ./*/.*`를 통해 삭제할 수 있다.

Reference

• 리눅스 tar, gz 압축 및 해제 - https://nota.tistory.com/53

import cv2
path = {file.jpg}
img = cv2.imread(path)

2. PIL.Image.open()

from PIL import Image
path = {file.jpg}
img = Image.open(path)

3. cv2.imdecode()

import cv2
path = "./root/file.jpg"
with open(path, "rb") as f: # read binary
    data = f.read()
encoded_img = np.fromstring(data, dtype = np.uinit8) # bin to unint8
img = cv2.imdecode(encoded_img, cv2.IMREAD_COLOR) # 1d to 3d

4. io.BytesIO()

import io
from PIL import Image
path = "./root/file.jpg"
with open(path, "rb") as f:
    data = f.read()
data_io = io.BytesIO(data)
img = Image.open(data_io)

Linux에서 기본적으로 inotify를 사용하여 디렉토리 변경 사항을 모니터링하는데,

모니터링 할 수 있는 파일 수에 대한 시스템 제한이 발생하는 것

$ cat /proc/sys/fs/inotify/max_user_watches => inotify 확인

<임시로 늘리는 방법>
$ sudo sysctl fs.inotify.max_user_watches=524288
$ sudo sysctl -p

<영구적으로 늘리는 방법>
$ echo fs.inotify.max_user_watches=524288 | sudo tee -a /etc/sysctl.conf
$ sudo sysctl -p

(numpy 패키지가 없으면 pip install numpy 로 설치해준다..)

• Pytorch와 관련된 에러

해결 방법

• Pytorch와 관련된 모듈 및 패키지를 삭제한다.
• 새로 가상환경을 만든다.

참고 자료

importError:Key already registered with the same priority

# before
face_cascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')
eye_cascade = cv2.CascadeClassifier('haarcascade_eye.xml')

# After
face_cascade = cv2.CascadeClassifier(cv2.data.haarcascades + 'haarcascade_frontalface_default.xml')
eye_cascade = cv2.CascadeClassifier(cv2.data.haarcascades + 'haarcascade_eye.xml')

메모리 사용량 초과 이슈입니다. 보통 nvidia-smi를 통해 구동되는 process를 확인하는데, 구동되는 process는 없지만 사용량이 가득할 때는 아래 방식을 이용하면 됩니다. 방법 1

import gc
import torch
gc.collect()
torch.cuda.empty_cache()

방법 2 - 서버의 상태 확인 후 사용 할 것

# 주의 터미널도 꺼짐
# pkill -u [userid]
$ pkill -u 0

# 혹은
$ pkill -u (root)