/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

echo >> /Users/woo/.zprofile
echo 'eval "$(/opt/homebrew/bin/brew shellenv)"' >> /Users/woo/.zprofile
eval "$(/opt/homebrew/bin/brew shellenv)"

brew install iterm2

ZSH 설정

1. 각종 플러그인 설치

linux의 경우

https://gist.github.com/n1snt/454b879b8f0b7995740ae04c5fb5b7df

mac의 경우

# oh my zsh 설치
sh -c "$(curl -fsSL https://raw.githubusercontent.com/ohmyzsh/ohmyzsh/master/tools/install.sh)"

• auto suggestions
• auto completion
• syntax highlighting
• auto jump

brew install zsh-autosuggestions brew install autojump brew install zsh-syntax-highlighting brew install zsh-fast-syntax-highlighting

```bash
#.zshrc 파일에 추가
plugins=(git zsh-autosuggestions zsh-syntax-highlighting fast-syntax-highlighting autojump)
ZSH_AUTOSUGGEST_STRATEGY=(history completion)
bindkey '\t' autosuggest-accept

completion 전략 적용을 위해선 다음 명령어를 수행한다. autoload compinit && compinit https://github.com/zsh-users/zsh-autosuggestions/issues/515

2. 테마 설정

https://github.com/romkatv/powerlevel10k powerlevel10k가 최고다

git clone --depth=1 https://github.com/romkatv/powerlevel10k.git ~/powerlevel10k
echo 'source ~/powerlevel10k/powerlevel10k.zsh-theme' >>~/.zshrc

3. vim 설정

자동 들여쓰기, 하이라이팅, 탭 사이즈, 마지막으로 수정한 곳 부터 시작

# ~/.vimrc

set autoindent
set cindent

syntax on

set ts=4
set shiftwidth=4

au BufReadPost *
\ if line("'\"") > 0 && line("'\"") <= line("$") |
\ exe "norm g`\"" |
\ endif 

만약 vim 테마를 vscode 스타일로 변경하고싶다면

mkdir -p ~/.vim/pack/themes/start
cd ~/.vim/pack/themes/start
git clone https://github.com/tomasiser/vim-code-dark

이후 .vimrc에 다음을 추가해준다: colorscheme codedark

키보드 설정

₩ 대신에 backtick 입력되도록 만들기

mkdir -p ~/Library/KeyBindings
vi ~/Library/KeyBindings/DefaultKeyBinding.dict

{
    "₩" = ("insertText:", "`");
}

기계식 키보드 2번 눌림 해결: Unshaky

https://github.com/aahung/Unshaky/releases

제어센터 설정

설정-제어센터-블루투스 제어센터에서 보이기

잠금화면에서 화면 켜두기

brew install --cask keepingyouawake

Dock 애니메이션 속도 조정

# 애니메이션 속도
defaults write com.apple.dock autohide-time-modifier -float 0.5;killall Dock
# 반응 속도
defaults write com.apple.Dock autohide-delay -float 0 && killall Dock
# 초기화
defaults delete com.apple.dock autohide-time-modifier; killall Dock

기타 설정

• DisplayLink 설치 (모니터 3개 이상)
• mos: 마우스 부드럽게

앗! 실수로 회사 계정으로 커밋했다!

Bulb-Talk 프로젝트를 처음 시작할 때, 첫 커밋의 Author가 회사 계정으로 설정되어있는 채로 커밋한 바람에 회사계정이 영원히 contributer로남게되었다

문제의 최초 commit.

사실 개인 레포지토리에 컨트리뷰터에 누가 있든 별로 상관은 없다. 누가 보는 것도 아니고, 굳이 커밋 히스토리 최 하단을 보지도 않는다. 하지만 불편하다!

불편하면 자세를 고쳐앉아! 하지만 개발자는 자세가 아니라 문제를 고쳐야지!

불편한 일이 생겼을 때, 자세를 고쳐앉는 건 하수다. 엔지니어는 문제를 고친다.

저 멀리있는 Commit을 어떻게 고칠까?

최신 commit이라면 git commit --amend 명령어로 바로 수정이 가능하지만, 저 멀리 있는 커밋은 그럴 수 없다. 이 때 사용하는 것이 rebase이다.

Rebase

Rebase는 깃에서 사용하는 branch 관리 전략중 하나로, 비슷한 전략중 하나로 Merge가 있다.

Merge와 Rebase의 차이는 위 그림 하나로 요약된다. merge가 두개의 branch를 합치는 전략이라면, rebase는 기존 branch에 새로운 commit을 끼워 넣는다.

merge는 branch의 생성과 삭제가 명확하게 보이지만 갈수록 branch가 늘어나 복잡해보인다는 단점이 있고, rebase는 branch가 하나만 남기 때문에 간결해 보인다는 장점이 있다. 자세한 내용은 공식 문서에 잘 나와있다.

우리는 브랜치를 여러개 만들 것이 아니기에, 이러한 내용을 몰라도 되지만, rebase의 commit을 '끼워 넣는다' 라는 기능에 주목하면, 우리의 잘못된 최초의 commit을 수정할 수 있다는 점을 알게된다.

처음으로 Rebase 해보자!

git rebase -i  --committer-date-is-author-date --root

-i : interactive. 대화형 --committer-date-is-author-date: Author date와 committer date를 일치시킨다. rebase를 하게되면, committer date가 현재로 변경된다. 그럼 지금까지 했던 모든 commit 시간이 현재 시간으로 변경되기 때문에, commit history가 예쁘게 나오지 않는다. 이를 방지하기 위해 위 옵션을 넣어줘야한다.

--root: 최초 commit으로 이동한다. --root대신 커밋id를 넣어서 해당 커밋으로 이동할 수도 있다. 위 명령어를 통해, 첫 커밋으로 바로 rebase가 가능하다. 그럼 위와 같은 창이 뜨는데, 여기서 첫번째 commit의 pick을 edit으로 수정한다.

이 외에도 다음 작업도 가능하다.

• 커밋 순서 변경
• 커밋 합치키
• 커밋 분할
• 커밋 메세지 편집
• 커밋 삭제 및 건너뛰기

$ git log
commit fbf8a34fe14438794facdc6e046fa344b8517afd (HEAD)
Author: company <company@company.com>
Date:   Sun Jul 30 21:38:40 2023 +0900

    [ADD] First Commit

git log 확인 결과 첫 커밋으로 돌아온 것을 알 수 있다!

이제 amend를 통해 commit을 수정할 시간이다.

git commit --amend --author="harrier999 <harrier999@github.com>"

만약 --committer-date-is-author-date 옵션을 주지 않고 Rebase하면, 위 이미지처럼 commit 시간이 현재 시간과 동일하게 통일된다. 꼭 옵션을 넣어주자

git log 명령어에서는 정상적으로 Date가 출력된다. 그런데 왜 github에서는 시간이 다르게 보일까?

git log에서 보여지는 시간은 CommitDate가 아닌 AuthorDate이다. 반면에 github에서 보여지는 시간은 CommitDate이다. git log --pretty=fuller 명령어를 이용하면 AuthorDate와 CommitDate를 모두 볼 수 있다.

어떻게 Commit, Author Date를 변경할 수 있을까?

author를 변경했더니 commit date가 초기화되고, 그대로 냅두자니 author가 계속 남아있는게 불편하다. 좋은 방법이 없을까?

git filter-branch --env-filter 'export GIT_COMMITTER_DATE="$GIT_AUTHOR_DATE"' -- --all

filter-branch라는 명령어를 이용해 AuthorDate를 CommitDate과 동일하게 만들 수 있다.

하지만 filter-branch는, 모든 commit 내역을 한 번에 수정하는 강력하지만 위험한 툴이기 때문에 사용을 권장하지 않는다.

대신에, 처음 rebase를 할 때부터 commit date를 변경하지 않도록 설정할 수 있다.

git rebase -i --committer-date-is-author-date --root

이 옵션을 추가한 후 rebase를 하면 committer date가 변경되지 않는다.

정리

git rebase -i --committer-date-is-author-date --root
git amend --author="harrier999 <harrier999@github.com>"
git rebase --continue
git push -f

g

그러나 막상 metadata DB로 지정한 데이터베이스에 들어가보면, 어떠한 데이터도 들어있지 않음을 알 수 있다.

본인의 경우 다음과 같이 metadata DB를 설정해두었다.

HASURA_GRAPHQL_METADATA_DATABASE_URL: postgres://hasura_connector@company.cluster-gabqpvs5581.ap-northeast-1.rds.amazonaws.com:5432/hasura_metadata

해당 DB에 접근해보았다.

template1=> \dt
Did not find any relations.

그러나 어떠한 테이블도 존재하지 않았다.

template1=> SELECT datname FROM pg_database;
  datname  
-----------
 template0
 rdsadmin
 postgres
 hasura_metadata
 template1

혹시나 다른 데이터베이스를 생성한 것 아닐까 확인해보았지만, 데이터베이스가 추가로 생성된 것은 없었다.

Hasura는 일반적으로 사용하는 Public 스키마가 아닌 hdb_catalog라는 새로운 스키마에 메타데이터를 저장한다.

hasura_metadata=>  \dn
   List of schemas
    Name     | Owner  
-------------+--------
 hdb_catalog | hasura
 public      | hasura
(2 rows)

해당 스키마에서 테이블을 이용하기 위해서는 다음과 같이 현재 스키마를 Public에서 hdb_catalog로 변경해주어야한다.

SET search_path TO hdb_catalog;

그런 다음 테이블을 조회해보면 Hasura의 metadata가 저장되는 테이블들을 볼 수 있게 되었다.

template1=> \dt
                         List of relations
   Schema    |                Name                 | Type  | Owner  
-------------+-------------------------------------+-------+--------
 hdb_catalog | hdb_action_log                      | table | hasura
 hdb_catalog | hdb_cron_event_invocation_logs      | table | hasura
 hdb_catalog | hdb_cron_events                     | table | hasura
 hdb_catalog | hdb_metadata                        | table | hasura
 hdb_catalog | hdb_scheduled_event_invocation_logs | table | hasura
 hdb_catalog | hdb_scheduled_events                | table | hasura
 hdb_catalog | hdb_schema_notifications            | table | hasura
 hdb_catalog | hdb_version                         | table | hasura
(8 rows)

그런 다음 JSON 파일에 아래 항목을 추가해준다.

"dart.previewFlutterUiGuides": true,
"editor.codeActionsOnSave": {
  "source.fixAll": true
},

"dart.previewFlutterUiGuides": true,: 혼잡한 플러터의 들여쓰기에 희망을 준다.

"editor.codeActionsOnSave": {"source.fixAll": true}: 저장시에 prefer_const_constructor 같은 잡다한 것을 알아서 수정해준다.

안드로이드로 언리얼엔진 프로젝트를 패키징 할 때 발생하는 오류. gradle 버전 문제로 발생한다.

C:\Program Files\Epic Games\UE_5.2\Engine\Build\Android\Java\gradle\gradle\wrapper

대충 위와 같이 생긴 경로에 가서

gradle-wrapper.properties파일을 수정해주면 된다.

#Tue Feb 04 16:06:19 EST 2020
distributionBase=GRADLE_USER_HOME
distributionPath=wrapper/dists
zipStoreBase=GRADLE_USER_HOME
zipStorePath=wrapper/dists
distributionUrl=https\://services.gradle.org/distributions/gradle-6.0.1-all.zip

gradle-wrapper.properties 파일은 위와 같은 내용을 담고있는데,

마지막줄의 distributionUrl=https\://services.gradle.org/distributions/gradle-6.0.1-all.zip을

distributionUrl=https\://services.gradle.org/distributions/gradle-6.5.1-all.zip로 바꿔준다

그래들 버전이 6.2 이상이기만 하면 작동하는 듯 하다.

*회사 공용서버에 내 github 아이디를 사용하지 않고 git을 사용할 수는 없을까? *

https://blog.leocat.kr/notes/2017/11/27/github-deploy-key

서버에서 github를 사용할 땐 참 난감하다.

내 아이디로 로그인하자니, 내 개인 레포지토리까지 접속할 수 있어 꺼리직하다.

그래서 레포지토리 별로 접근 권한을 설정할 수 있는 Fine grained token 또는 Deploy key 방식을 이용하는 것이 바람직하다.

이번에는 Deploy key를 이용한 github 사용법을 알아보자

SSH Key Generator

아래 명령어를 통해 새로운 rsa 키를 만들 수 있다.

ssh-keygen -t rsa -f my_key

-t는 타입을 지정하는 옵션이며, -f는 key를 저장할 파일 이름이다.

위 명령어를 실행하면 ~/.ssh 폴더에 my_key와 my_key.pub 파일이 생성된다.

my_key는 private key로써, 어떠한 경우에도 컴퓨터 밖으로 노출되면 안된다. .ssh 폴더 내부에서 사용되기 때문에 굳이 복사하거나 cat 명령어로 열어볼 필요도 없다.

my_key.pub는 public key로써, 인터넷에 올려도 된다. 이것을 깃허브에 등록하면 내 컴퓨터에 저장된 private key를 이용해 레포지토리에 접근할 수 있다.

public key의 예시는 다음과 같고, private key에 비해 상대적으로 짧다.

ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABgQCu+j7Gcd3zAVy+jY7yDqAu+MihMd9xoZdDpTtZJMDT9tc39aCt5WCeFZUbt6QGe2hHOcOXAxLiA+RQjUHrT4AnIxEA2OpyJImPbEXysgRdWavUMYyn2UtU96S2xLxWBHstj+vb6J8XXRQ7tYzTecbAf5H44wELsaOypeH+z8Lu4a4+bU1KcFnoL/jDXuwZTdB6jPDpj61TrySJ6WZNHfpMu5g8z2jJw6qZ8+vw/ib0wJfXnf/6bRHL19gWW43auOwSXOYTArB2Oz2n56lScyVrchT/+Yrs6EjioS/qIKxFxLkg5cZ4+6RQ1MksZ48eSdagrt9UZ4TBDmJDS3/Anuf4CvJV7/loYBabTUg6fBYjwk+ajo1AUgcqsEKmwfMTc5Z7nXeTPOIJwFlArexiq3v+slWG/6dr0kN0ZilpHV5sgorFayPRg627qolHCdBeOje/LGJJNSfkrFRyEpU4bn3xwbFgn3Qyk6NGaGS4X4/CaLhhTBv1NcpcuWXE= hyun-wle@velog.MacBookPro.local

Github Deploy Keys

원하는 레포지토리로 이동 -> settings -> Deploy Keys 로 들어가면 key를 등록할 수 있다. settings가 안보이는 경우는, 레포지토리 권한이 없어서 보이지 않는 것이다. settings는 보이지만, Deploy Keys가 보이지 않는 경우, 레포지토리 권한이 낮아서 발생한다. Deploy key를 등록하기 위해선 해당 레포지토리의 Owner여야한다.

add deploy key를 눌러 새 key를 추가하자. title은 마음대로 정해도 좋고, key에는 .pub파일의 내용을 복붙하면 된다.

ssh config

깃허브에 deploy key를 등록했다면, ssh에도 private key가 어디 있는지 명시해줘야한다.

~/.ssh/config 파일에 다음 내용을 추가한다. config파일이 없다면 새로 만들면 된다.

Host github.com
    HostName github.com
    User git
    IdentityFile ~/.ssh/my_key
    IdentitiesOnly yes
    Port 22

git clone

마지막으로 deploy key를 등록했던 레포지토리를 클론하면된다.

이 때 HTTP 주소를 이용한 clone이 아닌, SSH 주소를 이용한 clone을 해야한다. 깃허브 주소를 복사할 때, HTTP 대신 SSH를 선택하면 된다.

HTTP 형식 https://github.com/my_company/company_repo SSH 형식 git@github.com:my_company/company_repo

이를 통해 로그인 없이 git에 접근하는 방법을 알아보았다.

모든 HTML 태그에 적용될 수 있는 속성

• title: 마우스를 대면 title 값이 출력된다.
• style: css 속성을 태그 안에 넣을 수 있다.
• class 중복 가능 .으로 지정

  .class {
    color: red;
  }

• id 고유함 #으로 지정

  #id {
    color: red;
  }

• data <div data-DATANAME="DATA">어쩌구저쩌구</div> 이런식으로 데이터 저장 가능

conda create --name "ENV_NAME" "PACKAGE_LIST" (conda create --n)

conda update --all

conda activate "ENV_NAME"

conda deactivate "ENV_NAME"

conda env remove -n ENV_NAME conda remove --name myenv --all

conda clean --all 불필요한 파일 제거

Windows에서 anaconda prompt 실행

설치후 검색으로 열 수 있다.

실행시 나오는 화면.

conda info --envs로 가상환경 리스트 확인 아직 base만 존재한다

conda create --name "ENV_NAME"으로 새 가상환경 생성.

conda activate "ENV_NAME"으로 가상환경 실행

conda install --yes --file requirements.txt 필요한 패키지 설치

conda -V로 버전 확인 conda update -n vase conda 로 업데이트

conda install "PACKAGE_NAME"으로 설치되지 않는 패키지들이 많다. https://anaconda.org/ 여기서 검색하여 정확한 설치 경로가 나와있다.

conda install -c conda-forge fastapi 로 fastapi 설치 conda install -c conda-forge uvicorn 로 uvicorn 설치

Super Resolution으로 유명한 SRGAN 모델

SRGAN을 사용해보자

0. 환경설정

• ubuntu 18.04 LTS
• git, conda, pip3, pytorch가 설치된 환경. 인터넷에 설치법이 쉽게 나와있으니 참고하도록 하자

1. 코드 다운로드

• github에서 코드를 다운받는다. git clone https://github.com/leftthomas/SRGAN.git SRGAN

root@7310e7ec2d72:~# git clone https://github.com/leftthomas/SRGAN.git SRGAN
Cloning into 'SRGAN'...
remote: Enumerating objects: 1064, done.
remote: Total 1064 (delta 0), reused 0 (delta 0), pack-reused 1064
Receiving objects: 100% (1064/1064), 32.17 MiB | 8.22 MiB/s, done.
Resolving deltas: 100% (675/675), done.
root@7310e7ec2d72:~#

• SRGAN 폴더로 이동 cd SRGAN
• 폴더 내용물 확인 ls

  root@7310e7ec2d72:~/SRGAN# ls
  LICENSE    benchmark_results  data_utils.py  images   model.py      statistics         test_image.py  train.py
  README.md  data               epochs         loss.py  pytorch_ssim  test_benchmark.py  test_video.py  training_results

  README.md 파일에 사용법이 있을 것이다.
• 텍스트파일 내용물 확인 cat README.md

  # SRGAN
  A PyTorch implementation of SRGAN based on CVPR 2017 paper
  [Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network](https://arxiv.org/abs/1609.04802).
  

Requirements

• Anaconda
• PyTorch ...

  내용물이 길고 마크다운 언어로 작성된 듯하다. 
  github 페이지에서 직접 확인하자.
  

https://github.com/leftthomas/SRGAN 웹브라우저에서 접속 페이지 하단에 아래와 같은 내용을 확인 할 수 있다.

2. Train

모든 머신러닝 모델은 학습이 필요하다. README.md의 Usage 부분에서 확인한 대로 SRGAN 폴더에서 python train.py

root@7310e7ec2d72:~/SRGAN# python train.py
Traceback (most recent call last):
  File "train.py", line 32, in <module>
    train_set = TrainDatasetFromFolder('data/DIV2K_train_HR', crop_size=CROP_SIZE, upscale_factor=UPSCALE_FACTOR)
  File "/opt/ml/SRGAN/data_utils.py", line 44, in __init__
    self.image_filenames = [join(dataset_dir, x) for x in listdir(dataset_dir) if is_image_file(x)]
FileNotFoundError: [Errno 2] No such file or directory: 'data/DIV2K_train_HR'

에러가 뜨면서 실행되지 않는다.

마지막 줄에 에러 원인이 나와있다.

FileNotFoundError: [Errno 2] No such file or directory: 'data/DIV2K_train_HR'

'data/DIV2K_train_HR' 경로를 찾을 수 없다고 한다. README.md 파일을 보니 dataset은 따로 다운로드 해야한다.

here라고 적힌 링크를 따라가니 baidu 클라우드로 연결된다. 다운로드하기 복잡하므로 다른 dataset을 이용하자.

README.md 파일엔 VOC2012 dataset을 사용한다고 적혀있는데, 코드상에선 DIV2K dataset을 활용했다.

자주 쓰이는 image dataset은 나중에 따로 정리하도록 하고, 이번에는 DIV2K Dataset을 이용해보자.

https://data.vision.ee.ethz.ch/cvl/DIV2K/

위 링크에서 다운로드 가능하다. 페이지 최 하단부에 다운로드 링크가 있다.

학습과 검증을 위해선 Train Dataset과 Validation Dataset이 필요하다 또한 SR 학습을 위해 Low Resolution High Resolution 파일이 모두 필요하다.

그러나 우리의 코드에는 해상도를 변환해주는 코드가 있으므로 최하단의 두개의 High Resolution images 파일만 다운로드 받아준다.

각각 3.4GB, 0.4GB 정도이다.

터미널 환경에서도 다운로드 할 수 있다. 먼저 SRGAN/data 폴더로 이동하자. cd data 그리고 다음 명령어로 다운받는다. wget http://data.vision.ee.ethz.ch/cvl/DIV2K/DIV2K_train_HR.zip wget http://data.vision.ee.ethz.ch/cvl/DIV2K/DIV2K_valid_HR.zip

root@7310e7ec2d72:~/SRGAN/data# wget http://data.vision.ee.ethz.ch/cvl/DIV2K/DIV2K_train_HR.zip
--2022-05-11 12:50:22--  http://data.vision.ee.ethz.ch/cvl/DIV2K/DIV2K_train_HR.zip
Resolving data.vision.ee.ethz.ch (data.vision.ee.ethz.ch)... 129.132.52.178, 3001:67a:10ec:37b2::108
Connecting to data.vision.ee.ethz.ch (data.vision.ee.ethz.ch)|110.172.52.228|:80... connected.
HTTP request sent, awaiting response... 302 Found
Location: https://data.vision.ee.ethz.ch/cvl/DIV2K/DIV2K_train_HR.zip [following]
--2022-05-11 12:50:32--  https://data.vision.ee.ethz.ch/cvl/DIV2K/DIV2K_train_HR.zip
Connecting to data.vision.ee.ethz.ch (data.vision.ee.ethz.ch)|110.172.52.228|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 3530603713 (3.3G) [application/zip]
Saving to: ‘DIV2K_train_HR.zip’

DIV2K_train_HR.zip             37%[=================>                                ]   1.24G  11.2MB/s    eta 3m 18s

wget이 설치되지 않은 경우 sudo apt install wget 을 먼저 실행한다.

root@7310e7ec2d72:~/SRGAN/data# apt install wget
Reading package lists... Done
Building dependency tree
Reading state information... Done
wget is already the newest version (1.19.4-1ubuntu2.2).
0 upgraded, 0 newly installed, 0 to remove and 36 not upgraded.

두 파일을 모두 다운로드 했으면, 압축을 해제시켜줘야 한다. ls 명령어로 다운받은 파일을 확인한다.

root@7310e7ec2d72:~/SRGAN/data# ls
DIV2K_train_HR.zip  DIV2K_valid_HR.zip

unzip 명령어로 압축해제. 설치되어있지 않은 경우 sudo apt install unzip

unzip DIV2K_train_HR.zip unzip DIV2K_valid_HR.zip

  inflating: DIV2K_train_HR/0544.png
  inflating: DIV2K_train_HR/0416.png
  inflating: DIV2K_train_HR/0295.png
  inflating: DIV2K_train_HR/0538.png
...

압축 해제되는 이미지 파일 하나하나가 표시된다. ls 명령어로 확인해보자

root@7310e7ec2d72:~/SRGAN/data# ls
DIV2K_train_HR  DIV2K_train_HR.zip  DIV2K_valid_HR  DIV2K_valid_HR.zip

압축 해제된 것을 확인할 수 있다.

다시 SRGAN 폴더로 돌아가자. cd .. dataset을 넣어줬으니 train이 정상작동할 것이다. python train.py

root@7310e7ec2d72:~/SRGAN# python train.py
# generator parameters: 734219
# discriminator parameters: 5215425
Downloading: "https://download.pytorch.org/models/vgg16-397923af.pth" to /opt/ml/.cache/torch/hub/checkpoints/vgg16-397923af.pth
100%|████████████████████████████████████████████████████████████████████████████████| 528M/528M [00:08<00:00, 63.1MB/s]
[1/100] Loss_D: 0.8443 Loss_G: 0.0450 D(x): 0.5024 D(G(z)): 0.3312: 100%|███████████████| 13/13 [00:26<00:00,  2.06s/it]
[converting LR images to SR images] PSNR: 15.3047 dB SSIM: 0.3970: 100%|██████████████| 100/100 [00:33<00:00,  3.03it/s]
[saving training results]: 100%|████████████████████████████████████████████████████████| 20/20 [00:20<00:00,  1.01s/it]
[2/100] Loss_D: 0.8718 Loss_G: 0.0213 D(x): 0.4618 D(G(z)): 0.2530: 100%|███████████████| 13/13 [00:26<00:00,  2.04s/it]
[converting LR images to SR images] PSNR: 14.3030 dB SSIM: 0.3909: 100%|██████████████| 100/100 [00:32<00:00,  3.03it/s]
[saving training results]: 100%|████████████████████████████████████████████████████████| 20/20 [00:20<00:00,  1.05s/it]
[3/100] Loss_D: 0.8175 Loss_G: 0.0186 D(x): 0.4169 D(G(z)): 0.2086: 100%|███████████████| 13/13 [00:26<00:00,  2.04s/it]
[converting LR images to SR images] PSNR: 18.2039 dB SSIM: 0.5148: 100%|██████████████| 100/100 [00:34<00:00,  2.91it/s]
[saving training results]: 100%|████████████████████████████████████████████████████████| 20/20 [00:20<00:00,  1.03s/it]
[4/100] Loss_D: 0.4785 Loss_G: 0.0176 D(x): 0.6804 D(G(z)): 0.1720:  31%|████▉           | 4/13 [00:08<00:25,  2.88s/it][4/100] Loss_D: 0.5887 Loss_G: 0.0185 D(x): 0.6745 D(G(z)): 0.2311: 100%|███████████████| 13/13 [00:26<00:00,  2.04s/it]
[converting LR images to SR images] PSNR: 18.2836 dB SSIM: 0.5135:  39%|█████▊         | 39/100 [00:13<00:22,  2.70it/s][converting LR images to SR images] PSNR: 18.4853 dB SSIM: 0.5229:  75%|███████████▎   | 75/100 [00:25<00:07,  3.26it/s]

정상적으로 실행된다.

git status를 보면 untracked와 tracked 상태가 있다. tracked는 한 번이라도 add 된 파일 untracked는 한 번도 add 되지 않은 파일이다.

git은 add한 파일만 commit한다. git commit -a를 붙히면 자동으로 add와 commit을 해준다.

이 때 tracked file만 add 되고 untracked file은 add 되지 않는다.

.gitignore 파일을 통해 무시할 파일을 설정할 수 있다. .gitignore에 등록하면 status에서 아예 보이지 않는다. .gitignore은 어떤 파일을 무시할 지 결정하는 일종의 프로젝트 정책이다. .git file 안에 exclude 폴더에 무시할 파일을 설정하면 프로젝트가 아닌 나만의 정책을 설정할 수 있다. .gitignore: 깃허브에 업로드해서 다른 사람도 동일하게 설정 .git/exclude: 업로드하지 않고 나만 설정

일반적으로 config 파일은 .gitignore에 등록하지 않는다. 만약 config파일의 형식이 필요하다면? config.json.template 처럼 뒤에 template를 붙혀 어떤 형식으로 써야할지 업로드한다.

git log --oneline : 한줄로 요약

git commit --amend -m "template 추가" : 마지막 커밋 메세지를 변경한다. 이 때 commit id도 바뀐다.

git commit id는 commit의 변경사항, 시간, commit msg 등을 모두 포함한 hash값이다.

amend는 커밋을 수정하는 것이 아닌, 커밋과 연결고리를 끊고 새로운 커밋을 생성하는 것이다.

git reset vs revert vs checkout

git checkout COMMIT_ID

해당 commit id 시점으로 이동한다. (master는 그대로, HEAD는 해당 commit id로 이동) git checkout master라고 하면 다시 되돌아온다. master의 commit id를 입력해도 되지만

새로운 commit을 했을 때, HEAD가 master를 따라가지 않는다. HEAD와 master가 분리된 상태를 detached라고 한다.

어떻게 master가 C를 가르키게 할 수 있을까? 이 때 reset을 사용한다.

checkout은 HEAD를 움직인다. reset은 head가 가르키는 branch를 움직인다.

git reset --hard commit_ID

git checkout master git reset --hard COMMIT_ID head가 master를 가르키는 상태에서 reset을 하면 해당 commit으로 head와 master가 이동한다.

이때, commit id가 완전히 삭제되므로 reset은 신중해야한다.

reflog를 이용해 복원할 수 있긴 하다

git reflog 지금까지 이동했던 모든 기록이 남는다.

이것을 이용해 완전히 없어진 commit으로 이동할 수 있다. commit id를 이용해도 되지만 HEAD@(4)와 같이 헤드 번호로 이동할 수도 있다.

immutability:불변성 이전에 작업했던 모든 기록이 남아있다. 수정할 떄는 기존 데이터를 복제한 후 수정한다.

HEAD: working directory가 어떤 버전과 같은가. master: 해당 branch에서 가장 마지막으로 작업한 commit checkout: HEAD를 움직인다. reset: attached state(HEAD->master) 인 경우 branch가 움직인다 (master 이동) dettached인 경우 checkout과 동일(head만 이동)

master는 branch의 이름이다. git branch를 이용해 branch를 생성할 수 있다.

git tag

특정 commit에 tag를 추가할 수 있다. 이 태그로 checkout하면 커밋 id를 몰라도 해당 커밋으로 이동할 수 있다. 또는 reset을 할수도 있다.

git reset --hard TAG git checkout TAG

git push --set-upstream origin master 로컬 저장소를 원격저장소의 어느 곳에 push할 지 정할 수 있다. 짧게 git push -u라고 할 수도 있다.

git branch -D BRANCH_NAME 해당 branch를 삭제할 수 있다.

origin master와 local의 master는 완전히 다른 저장소.

git pull을 하면 자동으로 git fetch와 git merge를 해준다. git fetch git merge origin/master: 현재 HEAD와 origin/master를 병합한다.

revert

conflict

나의 작업은 HEAD, 원격 저장소는 origin/master로 표시되고있다.

https://github.com/egoingsb/offline/wiki/git 설치.

충돌이 났을 때 어떤 change를 accept할 지 정할 수 있다. accept 후 commit 하면 병합이 완료된다.

충돌이 적을경우 vscode에서 바로 수정이 가능하지만

많을 경우 git mergetool을 이용해 작업한다.

이 때 .orig 파일이 생성되는데, 이는 백업파일이므로 삭제해도 된다.

rebase

rebase와 merge는 복잡도가 같다.

rebase를 자주해주면 쉽다.

git commit을 안하고 amend하면 commit msg만 바꿀 수 있다. commit 후 amend하면 커밋 내용도 바꿀 수 있다.

rebase 할 때는 merge를 하면 안된다. 따라서 pull도 하면 안된다.

rebase란? merge없이 모든 작업이 순서대로 작업된 것처럼 보이게 하는 것. 부모 commit을 변경하는 방식으로 작동.

회사마다 rebase로 할지, merge로 할지 규칙이 있다.

merge든 rebase든 병합된 결과는 항상 같다.

git rebase origin/master: local master가 origin master 다음 작업으로 인식된다.

일반적인 분기

rebase를 이용해 하나로 통합

git rebase abort로 rebase를 취소하거나 git rebase continue로 재개할 수도 있다.

git push --force: 강제로 push

revert

revert를 하면 해당 커밋에 변경되었던 내용만 취소할 수 있다.

v1 v2 v3 v4 의 커밋이 있고 revert v1을 하면 v2 v3 v4의 변경사항은 유지하고 v1의 변경사항만 취소된다.

단, v1에서 수정했던 사항을 v2,v3,v4에서 또 수정했다면 conflict 발생

pull request

feature/login에서 작업한 내용을 master에 병합하겠다라는 뜻

merge pull request: 원격 저장소에서 merge가 일어난다.

충돌 가능성이 있는 경우 pull request 페이지에서 충돌 여부를 알려준다.

selection

데이터를 가져오는 것

df['ten']

0       2.31
1       7.07
2       7.07
3       2.18
4       2.18
       ...  

column을 list 형태로 주면 1개 이상의 특정 column을 선택할 수도 있다.

df[["six", "nine", 'seven']]

    six    nine    seven
0    18.0    0.00632    24.0
1    0.0    0.02731    21.6
2    0.0    0.02729    34.7
3    0.0    0.03237    33.4
4    0.0    0.06905    36.2
...    ...    ...    ..

df[["six"]]

    six
0    18.0
1    0.0
2    0.0
3    0.0
4    0.0
...    ...

2차원 배열을 넣어주면 data frame으로, 1차원 배열을 넣으면 series로 출력된다.

df[0:4]

    nine    six    ten    twelve    eleven    eight    five    ZN    four    CRIM    INDUS    three    thirteen    seven
0    0.00632    18.0    2.31    0    0.538    6.575    65.2    4.0900    1    296.0    15.3    396.90    4.98    24.0
1    0.02731    0.0    7.07    0    0.469    6.421    78.9    4.9671    2    242.0    17.8    396.90    9.14    21.6
2    0.02729    0.0    7.07    0    0.469    7.185    61.1    4.9671    2    242.0    17.8    392.83    4.03    34.7
3    0.03237    0.0    2.18    0    0.458    6.998    45.8    6.0622    3    222.0    18.7    394.63    2.94    33.4

숫자를 넣어주면 row index에 해당하는 값만 불러온다.

df[0:4][["nine", 'six']]

    nine    six
0    0.00632    18.0
1    0.02731    0.0
2    0.02729    0.0
3    0.03237    0.0

row index와 column이름을 같이 사용하면 이렇게 불러올 수도 있다.

boolean selection

df[df['six'] >0]

    nine    six    ten    twelve    eleven    eight    five    ZN    four    CRIM    INDUS    three    thirteen    seven
0    0.00632    18.0    2.31    0    0.538    6.575    65.2    4.0900    1    296.0    15.3    396.90    4.98    24.0
6    0.08829    12.5    7.87    0    0.524    6.012    66.6    5.5605    5    311.0    15.2    395.60    12.43    22.9
7    0.14455    12.5    7.87    0    0.524    6.172    96.1    5.9505    5    311.0    15.2    396.90    19.15    27.1
8    0.21124    12.5    7.87    0    0.524    5.631    100.0    6.0821    5    311.0    15.2    386.63    29.93    16.5
9    0.17004    12.5    7.87    0    0.524    6.004    85.9    6.5921    5    311.0    15.2    386.71    17.10    18.9

True인 index만 selection할 수도 있다.

s_data[list(range(0, 10, 3))]

0    0.00632
3    0.03237
6    0.08829
9    0.17004
Name: nine, dtype: float64

list 형태도 가능

iloc, loc

indexing

df3.index = list(range(5, 8, 1))

nine    six    ten    twelve    eleven    eight    five    ZN    four    CRIM    INDUS    three    thirteen    seven
5    0.00632    18.0    2.31    0    0.538    6.575    65.2    4.0900    1    296.0    15.3    396.90    4.98    24.0
6    0.02731    0.0    7.07    0    0.469    6.421    78.9    4.9671    2    242.0    17.8    396.90    9.14    21.6
7    0.02729    0.0    7.07    0    0.469    7.185    61.1    4.9671    2    242.0    17.8    392.83    4.03    34.7

이렇게 인덱싱을 바꿀 수도 있다.

df_r = df3.reset_index()
df_r

    index    nine    six    ten    twelve    eleven    eight    five    ZN    four    CRIM    INDUS    three    thirteen    seven
0    5    0.00632    18.0    2.31    0    0.538    6.575    65.2    4.0900    1    296.0    15.3    396.90    4.98    24.0
1    6    0.02731    0.0    7.07    0    0.469    6.421    78.9    4.9671    2    242.0    17.8    396.90    9.14    21.6
2    7    0.02729    0.0    7.07    0    0.469    7.185    61.1    4.9671    2    242.0    17.8    392.83    4.03    34.7

reset index를 하면 index가 추가로 생성된다.

• drop=True로 하면 기존 index는 사라진다
• inplace=True를 하면 실제로 df의 값이 바뀐다(할당 필요 없음)

Drop

df.drop(1)

1번 index가 삭제된다. axis를 넣어 column이나 row를 선택하여 삭제할 수 있다.

small_df.drop('nine', axis=1)

    six    ten
0    18.0    2.31
1    0.0    7.07
2    0.0    7.07
3    0.0    2.18

마찬가지로 implace=True를 하면 자기 자신에서 삭제할 수 있다.

dataframe operations

s1 = Series(data=range(1,5), index=list("abcd"))
s2 = Series(data=range(5,11), index=list("bcdefg"))

s1 + s2

a     NaN
b     7.0
c     9.0
d    11.0
e     NaN
f     NaN
g     NaN
dtype: float64

index가 겹치는경우 연산수행, 없으면 NaN

dataframe도 마찬가지이다.

df1 = pd.DataFrame(data = np.arange(9).reshape(3, 3), columns=list('abc'))

    a    b    c
0    0    1    2
1    3    4    5
2    6    7    8

df2 = pd.DataFrame(data=np.arange(16).reshape(4,4), columns=list('abcd'))

a    b    c    d
0    0    1    2    3
1    4    5    6    7
2    8    9    10    11
3    12    13    14    15

df1 + df2

    a    b    c    d
0    0.0    2.0    4.0    NaN
1    7.0    9.0    11.0    NaN
2    14.0    16.0    18.0    NaN
3    NaN    NaN    NaN    NaN

df1.add(df2, fill_value=0)를 쓰면 자동으로 NaN대신 0을 채워준다.

series + dataframe

df1.add(s1, axis=0)
    a    b    c
0    0    1    2
1    4    5    6
2    8    9    10

axis를 정해주면 broadcasting되어 실행된다.

lambda & map

lambda

f = lambda x : x**2
f(df1)

a    b    c
0    0    1    4
1    9    16    25
2    36    49    64

map

변환하는 함수

list(map(lambda x: x+5, df))
[5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18]

z = {1:'a', 2:'b', 3:'c'}
s1.map(z)

0    NaN
1      a
2      b
dtype: object

def f (x):
    if x >0:
        return 1
    else:
        return 0

df.iloc[:][1].map(f)  
0      1
1      0
2      0
3      0
4      0
      ..

df[1].unique() 실행시 중복되는 값을 제거하고 한 번씩만 보여준다.

apply

• map과 달리 Series 전체(column)에 대한 함수를 적용
• 입력 값이 시리즈 데이터로 입력받아 handling가능

f = lambda x : x.max() - x.min()
df.apply(f)

0      88.96988
1     100.00000
2      27.28000
3       1.00000
4       0.48600
5       5.21900
6      97.10000
7      10.99690
8      23.00000
9     524.00000
10      9.40000
11    396.58000
12     36.24000
13     45.00000
dtype: float64

df.apply(np.mean)

0       3.613524
1      11.363636
2      11.136779
3       0.069170
4       0.554695
5       6.284634
6      68.574901
7       3.795043
8       9.549407
9     408.237154
10     18.455534
11    356.674032
12     12.653063
13     22.532806
dtype: float64

pandas built-in functions

• describe: numeric type 데이터의 요약 정보를 보여줌
• unique: 시리즈 데이터의 유일한 값을 리스트로 반환함
• sum: axis를 설정할 수 있음
• isnull
• sort_values
• corr, cov, corrwith : 상관관계

File System: OS에서 파일을 저장하는 트리구조 저장체계

텍스트 파일 읽기

파일 통으로 읽기

f = opne("file_name.txt", "r")
contents = f.read()
print(contents)
f.close()

라인별로 읽기 1

with open("untitled.txt",'r', encoding='UTF8') as f:
    contents = f.read()
print(contents)
print("----")
print(contents.split("\n")[1])

라인별로 읽기 2

with open("untitled.txt",'r', encoding='UTF8') as f:
    content_list = f.readlines()
    print(content_list[1])

with를 이용하면 인덴트 영역 안에서만 사용가능하다. f.close 없어도 된다.

1번에 1줄만 읽기

with open("untitled.txt",'r', encoding='UTF8') as f:
    while True:
        line = f.readline()
        if not line:
            break
        print(line)

파일 쓰기

write 모드로 쓰기

f = open("write.txt", 'w', encoding='utf8')
for i in range(1, 11):
    data = "{0} 번째 줄입니다.\n".format(i)
    f.write(data)
f.close()

append 모드로 쓰기

f = open("write.txt", 'a', encoding='utf8')
for i in range(11, 21):
    data = "{0} 번째 줄입니다.\n".format(i)
    f.write(data)
f.close()

directory 다루기

디렉토리 생성

import os
os.mkdir("log")

"log" 폴더가 생성된다.

이미 존재하는 디렉토리 예외처리

try:
    os.mkdir("log")
except FileExistsError as e:
    print("file already exists")

파일, 디렉토리 존재 여부

os.path.exists("log")
os.path.isfile("untitled.txt")

shutil(쉘 유틸)

파일을 이동시키거나 복사할 수 있다.

import shutil

source = "untitled.txt"
dest = os.path.join("log")

shutil.copy(source, dest)

os.path.join을 이용하면 현재 경로에 경로 추가가 쉽다. 맥과 윈도우는 sep이 다르기때문.

요즘엔 pathlib을 이용해 path를 객체로 다룸

import pathlib
cwd = pathlib.Path.cwd()
list(cwd.parents)

[WindowsPath('C:/Users/user/python'),
 WindowsPath('C:/Users/user'),
 WindowsPath('C:/Users'),
 WindowsPath('C:/')]

pickle

파이썬의 객체는 메모리에 있어야한다.

• 파이썬의 객체를 영속화하는 built-in 객체
• 데이터, object등 실행중 정보를 저장 -> 불러와서 사용
• 저장해야하는 정보, 계산결과(모델)등 활용이 많음

import pickle

f = open("list.pickle", "wb")
test = [1, 2, 3, 4, 5]
pickle.dump(test, f)
f.close()
del test # test 객체를 list.pickle에 저장한 후 삭제한다.

f = open("list.pickle", "rb") #list.pickle로부터 로드
test_pickle = pickle.load(f)
print(test_pickle)

다른 객체들도 pickle을 이용해 영속화 가능

class Hello:
    def __init__(self, a, b):
        self.a = a
        self.b = b
    def bye(self):
        print('goodbye')

f = open("list.pickle", 'wb')
hello = Hello(10, 20)
pickle.dump(hello, f)
del hello
f.close()

피클에 저장 후 로드

f = open("list.pickle", 'rb')
hello2 = pickle.load(f)
hello2.bye()
hello2.a

결과

goodbye
10

Logging

로그 남기기 프로그램이 실행되는 동안 일어나는 정보를 기록 남기기 유저의 접근, Exception, 특정 함수의 사용 등 DB, 콘솔 출력 로그 분석을 통해 의미있는 결과 도출 가능

import logging

logging.debug("틀림")
logging.info("info")
logging.warning("warn")
logging.error("error")
logging.critical("critical")

• 프로그램 진행 상황에 따라 다른 Level의 Log 출력
• 개발시점, 운영시점마다 다른 Log가 남을수 있도록 지원함
• Debug > INFO >WARNIGN >ERROR> CRITICAL

logging level 정의

if else 문으로 처리해도 되지만 예외처리를 권장하는 경우 있음 ex)

for i in range(10):
    try:
        print(10/i)
    except ZeroDivisionError:
        print("Not divided by 0")

ZeroDivisionError 는 built in error이다.

Exception을 잡으면 자동으로 종료되지 않고 위로 올라가 다시 수행한다. 수행한다. IndexError, NameError, ZeroDivisionError, ValueError등이 있다.

Exception은 모든 에러를 잡는다. as ...를 이용하면 ...에 에러 내용을 담을 수 있다.

a = range(5)
for i in range(10):
    try:
        print(a[i])
        print(v)
    except IndexError as e:
        print(e)
    except Exception as e:
        print(e)

0
name 'v' is not defined
1
name 'v' is not defined
2
name 'v' is not defined
3
name 'v' is not defined
4
name 'v' is not defined
range object index out of range
range object index out of range
range object index out of range
range object index out of range
range object index out of range

try:

except:

else:

finally:

이런식으로 짤 수도 있다. 문제가 있으면 except, 없으면 else, 그리고 무조건 finally를 실행

하지면 if문은 logic적인 문제를 다룰 때 사용하는걸 권장 except는 처리가 잘못된 경우에 사용.

raise

raise <Exception Type> # 예외정보

의도적으로 Exception을 일으키기 위해 사용

while True:
    value = "012345"
    for digit in value:
        if digit not in "0123":
            raise ValueError("0123에 속하지 않음")
        print("정수값", int(digit))

특정 조건이 아닐 때 에러 발생시키기

assert isinstance(a, int)

a가 int값이 아니면 에러 발생

SQLite 형식으로 저장되어있다. SQLite DB 뷰어를 이용하면 볼 수 있다.

방문기록, 횟수, 타이핑 여부, 접근 페이지, 머문 시간까지 알 수 있다.

RNN -> LSTM -> Seq2Seq -> Attention -> Transformer -> ...

RNN (Recurrent Neural Network)

순환신경망. 결과값을 출력층 뿐만 아니라 다음 은닉층으로도 보낸다.

LSTM (Long Short-Term Memory models)

순환 신경망(RNN) 기법의 하나로 셀, 입력 게이트, 출력 게이트, 망각 게이트를 이용해 기존 순환 신경망(RNN)의 문제인 기울기 소멸 문제(vanishing gradient problem)를 방지하도록 개발되었다. RNN에서는, t값이 커질수록 x1의 정보량은 손실된다. LSTM에서는 은닉층에 입력, 망각, 출력 게이트를 추가함.

Seq2Seq

입력 문장을 하나의 context vector로 압축하는 Encoder, 번역된 단어를 출력하는 Decoder로 구성된다.

Seq2Seq + Attention

Transformer

CNN, RNN 필요없음 Positional Encoding을 이용해 단어의 순서 정보 전달 인코더와 디코더만으로 구성됨 Attention 레이어를 중첩하여 만듦

Embedding: 자연어를 기계가 이해할 수 있는 vector로 표현하는 것

RNN을 사용하지 않기 때문에 임베딩에 위치정보 포함

Attention

https://wikidocs.net/22893 한 단어가 다른 단어에 주는 영향력을 attention score로 표현 문맥에 대한 정보를 학습. 어탠션을 위한 3가지 요소 쿼리, 키, 값 물어보는 주체: query 객체: key, I am a Teacher 에서 I가 다른 am, a, teacher에 대한 영향력이 궁금하다면 I가 쿼리, am a teacher가 키가 된다.

각 Attention들은 h들로 구분된다.

3 Attention Layers

self attention

query와 key를 모두 자기 자신으로 설정. 한 문장 안에서 단어들간의 관계를 파악할 수 있다.

Today is happy because it is sunny.

Positional Encoding

Residual connection (잔여학습)

이전 학습 결과와 원본 데이터를 모두 입력받는 것

인코더의 출력값이 모든 디코더의 입력값이 된다.

한국어 리뷰

https://idontknowmathematics.tistory.com/11

참고문헌 해설들

[1]Jimmy Lei Ba, Jamie Ryan Kiros, and Geoffrey E Hinton. Layer normalization. arXiv preprint arXiv:1607.06450, 2016.

https://an-seunghwan.github.io/deep-learning/layernorm/ Layer normalization

[2]Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. CoRR, abs/1409.0473, 2014.

https://misconstructed.tistory.com/49

[12] Sepp Hochreiter and Jürgen Schmidhuber. Long short-term memory. Neural computation

https://cryptosalamander.tistory.com/175 LSTM

[7]Junyoung Chung, Çaglar Gülçehre, Kyunghyun Cho, and Yoshua Bengio. Empirical evaluation of gated recurrent neural networks on sequence modeling. CoRR, abs/1412.3555, 2014.

https://coshin.tistory.com/45 Gating Mechanism

[18] Oleksii Kuchaiev and Boris Ginsburg. Factorization tricks for LSTM networks. arXiv preprint arXiv:1703.10722, 2017.

factorization trick.

[26] Noam Shazeer, Azalia Mirhoseini, Krzysztof Maziarz, Andy Davis, Quoc Le, Geoffrey Hinton, and Jeff Dean. Outrageously large neural networks: The sparsely-gated mixture-of-experts layer. arXiv preprint arXiv:1701.06538, 2017.

정보 거의 없음

[20] Samy Bengio Łukasz Kaiser. Can active memory replace attention? In Advances in Neural Information Processing Systems, (NIPS), 2016.

https://blog.lunit.io/2017/03/28/neural-gpus-and-extended-neural-gpus/ Extended Neural GPU

[15] Nal Kalchbrenner, Lasse Espeholt, Karen Simonyan, Aaron van den Oord, Alex Graves, and Koray Kavukcuoglu. Neural machine translation in linear time. arXiv preprint arXiv:1610.10099v2, 2017.

ByteNet

[8] Jonas Gehring, Michael Auli, David Grangier, Denis Yarats, and Yann N. Dauphin. Convolutional sequence to sequence learning. arXiv preprint arXiv:1705.03122v2, 2017.

Conv2S

이걸 emmet이라 한다.

bc:orange div>ul>li*4{$}

alt shift + 방향키: 복붙

alt + 방향키: 줄 옮기기

코드 선택 후 ctrl + k, ctrl + f: 코드 자동 정렬

ctrl shift p : 모든 설정

ctrl + H : 바꾸기

ctrl w = 탭 닫기

ctrl + \ = 탭 분할

ctrl + / : 주석

ctrl + P = 파일이나 기호 탐색

ctrl + B = 사이드바 열고 닫기

vscode 확장기능

• auto rename 자동으로 html 태그의 앞 뒤를 동시에 바꿔준다.

numbers = ['one', 'two' 'three']
str1 = ''

for number in numbers:
    str1 += number

다음은 파이썬스러운 코드이다.

str2 = ''.join(numbers)

split()

string 값을 기준값으로 나눠서 List 형태로 변환

items = "zero one two three"
item = items.splice() #["zero", "one", "two", "three"]

list comprehension

general code

result1 = []
for i in range(10):
    result1.append(i)

pythonic code

result2 = [i for i in range(10)]

nested loop

word1 = "Hello"
word2 = "World"
result = [i+j for i in word1 for j in word2]
#['HW', 'Ho', 'Hr', ..., 'ol', 'od']

filter

result2 = [i+j for i in word1 for j in word2 if not(i==j)]

result3 = [i+j for i in word1 for j in word2 if not(i==j) else "goood"]

조건문을 넣을 수도 있다.

2 dimentional list

words = 'Hello world to me'.split()
stuff = [[w.upper(), w.lower(), len(w)] for w in words]
# [['HELLO', 'hello', 5], ..., ['ME', 'me', 2]]

2d vs 1d

case_1 = ['a', 'b', 'c']
case_2 = ['c', 'e', 'a']
result = [i+j for i in case_1 for j in case_2]
# [ac ae aa bc... ce ca]
result = [[i+j for i in case_1] for j in case_2]
# [[ac bc cc] [ae be ce] ...]

enumerate & zip

enumerate

• list의 element를 추출할 때 번호를 붙혀서 추출
• index와 element를 동시에 알 수 있다.

  for i, v in enumerate(['tic', 'tac' 'toe']):
    print(i, v)
  # 0 tic
  # 1 tac
  # 2 toe

  zip

  여러개의 list를 하나의 list로 묶어준다 ` list(zip(list1, list2)) # [('a', '가'), ('b', '나')]

lambda

• 함수 이름 없이 함수처럼 쓸 수 있는 익명 함수
• 수학의 람다 대수에서 유래 (lambda x, y : x + y)(10, 50) # 60 up_low = lambda x : x.lower() + x.upper()
• python3 부터는 권장하지 않음 (PEP8)
  • 테스트의 어려움, 어려운 문법, 문서화 docstring 미비, ...
  • 그래도 많이 쓰긴 함

    map function

• 함수의 결과 값을 한번에 list화

  ex = [1, 2, 3, 4, 5]
  f = lambda x, y: x + y
  print(list(map(f, ex, ex))
  # [2, 4, 6, 8, 10]

  이럴 경우 알아보기 힘들다. 따라서

  result = [f(value) for value in ex]

  이런 식으로 적는 것이 편하다.

-lambda 대신 일반 함수도 사용 가능하다.

reduce function

• 자주 쓰진 않지만 대용량의 데이터를 활용할 때 사용한다

from functools import reduce
reduce(lambda x, y: x+y, [1, 2, 3, 4, 5]

lambda, map, reduce는 직관성이 떨어지기에 사용을 권장하지는 않는다.

iterable object

• sequence형 데이터(리스트, 튜플 등등)은 모두 iterable obj로서 next, iter 기능이 있다.

  generator

• element가 사용되는 시점에 값을 메모리에 반환
• iterable obj를 특수한 형태로 사용해주는 함수
• 큰 데이터를 처리할 때 사용
• 주로 파일 데이터 처리시 사용
• loop이 중단될 가능성이 있을 때
• 대기하다가 필요할 때만 값을 반환하기 때문에 메모리 절약 가능

  range(1000) # [1, 2, 3, 4, ..., 999] 깂이 한번에 반환됨

  def generator_list(value):
  for i in range(value):
      yield i
  result = generator_list(1000) 
  #아직 result는 1000개의 값이 들어있지 않음
  [value for value in generator_list(1000)]
  #또는
  list(result) 
  #이렇게 해야만 1000개의 값이 메모리에 저장됨
  

다음과 같이 괄호로 감싸 선언도 가능하다
```python
gen_ex = (n*n for n in range(500))

function passing argument

파이썬에는 parameter를 넘겨주는 여러 방법이 있다.

keyword argument

• 함수에 입력되는 parameter의 변수명을 사용, arguments를 넘김
• 값을 순서대로 넣지 않아도 됨

  def func1(arg1, arg2):
    print(arg1 + arg2)
  

func1(arg2 = "hello", arg1 = "bye")

### default argument
- parameter의 기본값을 사용, 입력하지 않을 경우 기본 값 출력
```python
def func2(arg1, arg2 = "hello"):
    print(arg1 + arg2)

func2(bye)
func2("good", "bye")

가변인자 (variable length)

• prameter의 수가 정해지지 않은 경우
• tuple 타입으로 전달됨

  def func3(*args):
    print(list(args))
  

func3(1, 2, 3, 4)

### 키워드 가변인자 (keyword variable-length)
- parameter의 이름을 따로 정하지 않고 입력하는 방법
- asterisk 두개(**)를 사용하여 함수의 parameter를 표시함
- 입력된 값은 dict type로 사용 가능
- 가변인자는 오직 한개만 기존 가변인자 다음에 사용
```python
def func4(**kwargs):
    print(kwargs)

func4(first=1, second=4, third=3)

normal parameter, variable, keyword length, variable length 순으로 써야한다.

def func5(one, two=3, *args, **kwargs):
    ...
     ...

func5(1, 2, 3, 4, 5, first=1, second=3, hello=5)

한번 keyword variable을 쓰면 뒤는 모두 keyword variable이어야 한다.

asterisk

• 곱하기, 제곱, 가변인자 등에 사용
• 또는 tuple, dict 등 자료형에 들어가 있는 값을 unpacking

  def asterisk_test1(a, *args):#여기서 *은 가변인자를 위한 *
    print(args)
  def asterisk_test2(a, args):
    print(args)
    print(*args)
  

asterisk_test1(1, *(2, 3, 4, 5, 6)) # (1, 2, 3, 4, 5, 6) asterisk_test2(1, (2, 3, 4, 5, 6)) # 1, (1, 2, 3, 4, 5, 6) # (1, 2, 3, 4, 5, 6)

### keyword unpacking
- dict형식 데이터를 keyword parameter로 변환해줌
```python
def asterisk_test3(a, b, c, d):
    print(a, b, c, d)
data = {'b':1, 'c':2, 'd':3}
asterisk_test(10, **data) # (10, 1, 2, 3)

Data structure는 데이터를 효율적으로 저장하기 위한 구조이다.

Stack & Queue

Stack

• 나중에 넣은 데이터를 먼저 반환하도록 선계된 메모리 구조
• Last in First Out (LIFO)
• Data의 입력을 Push, 출력을 Pop이라고 함

  >>> a = [1, 2, 3]
  >>> a.append(4)
  >>> a.append(5)
  >>> a.pop()
  5
  >>> a
  [1, 2, 3, 4]

  Queue

• 먼저 넣은 데이터를 먼저 반환하도록 설계된 메모리 구조
• First in First Out(FIFO)

  >>> a = [1, 2, 3]
  >>> a.append(4)
  >>> a.append(5)
  >>> a.pop(0)
  1
  >>> a.pop(0)
  2

  stack은 pop()을 이용해 데이터를 반환하지만 queue는 pop(0)를 이용해 데이터를 반환받아야함.

Tuple & Set

Tuple

• 값의 변경이 불가능한 리스트
• 선언시 "[]"가 아닌 "()"를 사용
• 리스트의 연산, 인덱신, 슬라이싱 등을 동일하게 사용가능
• 변경을 하면 안되는 데이터 저장에 사용

  t = (1) #정수로 인식
  tu = (1, ) # 이렇게 작성해야한다.

Set

• 값을 순서 없이 저장.
• 중복 불허
• set 객체 선언을 이용하여 객체 생성

  s1 = set([1, 2, 3, 4)
  s2 = {1, 2, 3, 4} # 두가지 방법 모두 가능
  s1.add(1) # 1추가
  s1.remove(2) # 2 삭제
  s2.updata([5, 2, 1]) # 여러개 추가
  s2.discard(5) #5 삭제
  s2.clear() #모든 원소 삭제

  이외에도 set은 다양한 집합 연산을 지원한다.

  s1.union(s2)
  s1 | s2
  s1.intersection(s2)
  s1 & s2
  s1.difference(s2)
  s1 - s2

  Dictionary

• 데이터(value)를 저장할 때 구분 지을 수 있는 값(key)를 함께 저장
• key 값을 활용하여 value값을 관리
• dict = {key:value} 형식

  dict = {"go": "가다", "home": "집"}
  dict["hello"] = "안녕"
  dict["bye"] = "잘가"
  "hello" in dict.keys()
  "집" in dict.values()

Collection module

• List, Tuple, Dict에 대한 Python Built-in 확장 자료구조(모듈)
• 편의성, 실행 효율 등을 사용자에게 제공함

  Deque

• stack과 queue를 지원하는 모듈
• List에 비해 빠른 자료 저장 방식을 지원
• rotate, reverse등 연결리스트의 특성을 지원함
• 기존 list형태의 함수를 모두 지원함

  from collections import deque
  

deque_list = deque() deque_list.appendleft(10) deque_list.rotate(1) deque_list.extend([6, 3]) deque_list.extendleft([11, 33])

jupyter notebook에서 %timeit 함수명()을 이용하면 쉽게 시간을 측정할 수 있다.

### Defaultdict
- dict type의 값에 기본 값을 지정.
```python
from collections import defaultdict

d = defaultdict(lambda : 0)
print(d["hello"]) # 0

text = "fdas gfjo jfods jflds fjowe fjowe fjeow feowu sfds."
word = text.split()
for word in text:
    d[[word] += 1

이런 식으로 단어의 출현 빈도를 세는데 사용할 수도 있다.

Counter

• Sequence type의 data element 들의 갯수를 dict 형태로 반환
• 자주 사용하진 않음

  from collections import Counter
  

C = Counter(["B", "S", "S", "B", "S"])

{"B":2, "S":3}

### namedtuple
- Tuple 형태로 data 구조체를 저장하는 방법
- 저장되는 data의 variable을 사전에 지정해서 저장함
```python
from collections import namedtuple

Point = namedtuple('Point', ['x', 'y'])
p = Point(x=11, y=22)
print(p[0] + p[1])