• MVP 개발하는 중이라 DB 구조 변경이 빈번하게 일어남. 백엔드 개발자가 2명이라 동시에 수정하는 경우도 많음. ⇒ 브랜치 머지할 때마다 → 장고 마이그레이션 파일 충돌 문제 발생. ⇒ 배포할 때마다 그러니까 → 서버가 계속 다운됨.

• 개발보다 마이그레이션 충돌 해결하는 데 시간을 더 많이 씀.

• 필요하다면 기존 마이그레이션 파일을 삭제하는 방식으로 해결하고 있었는데, 이러니까 기존 테이블을 싹 날리고 다시 생성해야 하는 상황 발생. (더미데이터 쌓았던 거 날리고.)

여태 시도했으나 실패한 방법들

[시도1] 로컬에서 해결 후 서버 배포

• 작업한 브랜치를 develop 브랜치에 PR 날려서 머지하기 전에 → develop 브랜치를 역으로 현재 브랜치에 pull해서, 로컬에서 마이그레이션 파일을 충돌한 후에 → develop 브랜치로 배포하자.
• 이유 : 서버가 다운되는 걸 막기 위해. (참고: develop 브랜치에 커밋되면 서버에 자동 배포되게 해놨다.)
• 문제 : 로컬에선 해결됐어도, 로컬 DB와 서버 DB의 스키마가 다르기 때문에 → 서버에서는 여전히 문제 발생.

[시도2] 로컬에서 개발 시 서버 DB 사용

• 로컬에서 개발할 때에도 로컬 DB 대신 서버 DB를 사용하자.
• 이유 : 방법1로는 충돌을 2번 해결해야 하니까, 로컬에서 해결하는 1번으로 줄여보자.
• 문제 : AWS RDS DB를 로컬에 연결하면 → 조회하는 데 너무 느렸다.

[시도3] 마이그레이션 파일을 gitignore에 추가

결론부터 말하자면 이러면 안 되고, 문제가 해결되지도 않았다. 꼭 커밋하자.

• 초기 개발 단계에선 DB 수정이 잦으므로 마이그레이션 파일 자체를 깃허브에 커밋하지 말고, 추후 DB 구조가 확정되면 그때부터 커밋하자. (gitignore에서 마이그레이션 폴더 삭제)
• 이유: 로컬, 서버에 각자 마이그레이션 파일 내역을 관리해도 models.py만 공유되면 최종적으로 DB 스키마는 같지 않나.
  • 나중에 안 건데, 사실 DB가 다를 수 있다. 자세한 건 [여기]를 참고.
• 문제:
  • gitignore에 마이그레이션 파일을 추가하면서 깃허브에서 마이그레이션 파일이 삭제됐다. 그래서 develop 브랜치에 작업을 커밋해서 서버에 새로 배포하면, 그 전에 서버에서 생성, 적용했던 마이그레이션 파일이 싹 없어진다. develop 브랜치에 마이그레이션 파일이 init.py 빼고 아무것도 없으니까, 배포하면 서버에도 그렇게 되는 것이다. (남아있을 줄 알았다...)
  • 그래서 서버에서 makemigration 하면 매번 모든 내용을 0001 init으로 생성한다. 현재 DB가 어떻든간에. 그래서 migrate를 할 수가 없다.
    • 내가 했을 땐 0001 init이 이미 적용된 상태라서 그런 건지, 명령어 실행에선 오류가 안 나지만 실제로 DB 스키마가 변경되지는 않았다.
    • 내 생각엔, 이미 적용된 operator와 새로 수정해서 적용되어야 할 operator가 모두 0001에 있기 때문에, 어쨌든 문제가 생길 것이다.

해결 방법

[시도4] 이게 정석인 것 같다...

DJango 마이그레이션 내역 관리의 📌핵심📌

• 마이그레이션 파일을 모두 커밋하고,
  • (공식 문서에서도 커밋하라고 한다. 추가 참고자료)
• 팀에 공유된 (깃허브에 업로드된) 파일은 삭제/수정 금지
• 팀원 모두의 로컬, 서버에서 내역을 동일하게 유지하려고 노력하기
  • (우리 플젝에선 서버 = 깃허브 develop브랜치)

• 한 번에 한 사람만 수정하고, 다른 사람들한테는 배포 전까지 모델 건드리지 말라고 카톡으로 알려주기

  • 이때 앱이 다르면 동시에 수정해도 괜찮다. 마이그레이션 파일이 앱마다 별도로 생성되니까 충돌이 발생하지 않는다.

• 꼭 모델 수정한 사람만 로컬 작업 브랜치에서 mikemigration하기

  • 그 외 사람이나 서버에서는 makemigration 금지하고 migrate만 하기

• 충돌이 나더라도 크게 꼬이지 않도록, 수정할 때마다 자주자주 mikemigration하기

  • 충돌이 나더라도 안전한 방법이 있으면 장고가 해결책 제안해준다. (merge하라든가.)
  • 근데 많이 꼬이면 이런 거 없이 직접 수정해서 해결해야 된다고.
  • 이때 다른 사람들과 함께 사용하는(깃허브에 올라간) 마이그레이션은 수정하거나 제거하지 않는 것이 원칙.

(+) 참고로 0001 같은 번호는 개발자 참조용이라 장고한테는 중요하지 않고, dependency만 중요하다고 한다.

• Github Action
  • CI/CD 구축 (Github의 develop 브랜치에 커밋이 되면 → AWS EC2에 자동 배포되도록)

(자세한 건 이전 게시물 참고)

문제

Github Action에서 build에 실패했다. (전에는 잘 됐고, 이번에만 갑자기 실패)

원인, 해결 방법

deploy.yml(workflow file)를 확인하니, 지금은 develop 브랜치에 커밋되면 deploy.sh에서 docker-compose로 컨테이너를 빌드해서 실행하고 있다. 이때 같은 이름의 컨테이너가 있으면 안 돼서, 새 컨테이너 실행 전에 기존 컨테이너를 삭제한다.

문제는 deploy.sh에서 compose로 생성한 컨테이너만 삭제하고 있었다는 거다. 팀원이 어제 배포하고 ec2에서 문제 해결하면서 cli에서 docker run으로 컨테이너를 직접 생성했는지, 그 컨테이너는 삭제가 안 됐다.

그래서 deploy.sh에 한 줄 추가해서 run으로 직접 실행한 컨테이너도 삭제할 수 있도록 했다.

자세한 해결 과정

1. 로그 확인하기

(방법: 이전 게시물 참고)

로그를 확인하면 어느 단계에서 문제가 생겼는지 알 수 있다.

아래 ERROR: 부분을 보면 docker 컨테이너 생성 중에 같은 이름의 컨테이너가 이미 있어서 충돌이 발생하고 있다.

이전 게시물에서 설명했듯, 위쪽 네모가 workflow file에서 name이다. 그걸 찾아보자.

2. workflow file에서 1의 name 찾기

• 트리거 지정

  • develop 브랜치에 push했을 때
  • release 브랜치에 PR 날렸을 때
  • (main 브랜치는 주석 처리 해둠.)

    on:
    push:
      branches:
        # - main
        - develop
    pull_request:
      branches:
        # - main
        - release

• 실제로 수행할 작업

  jobs:
    build:
      name: Build
      runs-on: ubuntu-latest
      steps:

  • steps ``` (생략)

    서버에 접속한 뒤 deploy.sh(배포 스크립트)를 실행

  • name: 📌executing remote ssh commands using password📌

    (생략)
      script: |
        sh /(생략)/config/scripts/deploy.sh

1에서 본 name을 찾았다! (📌executing remote ssh commands using password📌) 물론 실제 코드에 압정 이모티콘은 없다. 설명하려고 표시했다.

여기서 아래 커맨드 실행를 실행하나보다. sh /(생략)/config/scripts/deploy.sh deploy.sh 파일을 까보자.

3. deploy.sh 확인하기

# Docker 설치 여부 확인, 없으면 설치
if ! type docker > /dev/null
then
  echo "docker does not exist"
  echo "Start installing docker"
  (생략)

# Docker Compose 설치 여부 확인, 없으면 설치
if ! type docker-compose > /dev/null
then
  echo "docker-compose does not exist"
  echo "Start installing docker-compose"
  (생략)


# 기존 orphan 컨테이너 정리 
echo "stop and remove old containers (with orphans)"
sudo docker-compose -f /(생략)/docker-compose.prod.yml down --remove-orphans

# Docker Compose로 서버 빌드 및 실행
echo "start docker-compose up: ubuntu"
sudo docker-compose -f /(생략)/docker-compose.prod.yml up --build -d

기존 컨테이너를 정리하는 코드에 문제가 있는 것 같다.

보니까 파일 내용에 echo가 있고, (print문 같은 것) 그게 로그에 출력되는 것 같다.

Docker, Docker Compose 설치는 이미 되어있어서 실행되지 않았고, 아래 부분은 잘 실행되고 있다.

• 기존 컨테이너 정리
• Docker Compose로 컨테이너 빌드 및 실행

결론 : 기존 컨테이너를 정리하는 명령어가 실행되지만, 제대로 정리되지 않았다. sudo docker-compose -f /(생략)/docker-compose.prod.yml down --remove-orphans 같은 명령어를 EC2 cli에서 직접 실행해도 여전히 기존 컨테이너가 삭제되지 않았다.

4. 해결

알고 보니 docker-compose로 down을 하면 docker-compose로 up(생성)한 컨테이너만 다운된다고 한다.

docker run으로 개별 컨테이너를 직접 생성한 경우 docker stop, docker rm으로만 제거가 가능하다.

팀원이 어제 배포하고 ec2에서 문제 해결하면서 cli에서 docker run으로 컨테이너를 직접 생성했는지, 그 컨테이너는 docker-compose down으로 삭제가 안 됐던 거다.

그래서 deploy.sh에 한 줄 추가해서 compose를 통하지 않고 직접 run한 web 컨테이너도 삭제하도록 했다.

# 기존 orphan 컨테이너 정리 
echo "stop and remove old containers (with orphans)"
sudo docker-compose -f /home/ubuntu/srv/ubuntu/docker-compose.prod.yml down --remove-orphans
📌sudo docker rm -f web || true📌

(물론 실제 코드에 압정은 없다. 설명을 위해 표시한 거다.)

참고로 web은 컨테이너 이름이고, docker-compose.prod.yml에서 이름을 지정하고 있다.

(+) Docker 명령어

deploy.sh에 있던 명령어를 뜯어보자.

기존 컨테이너 정리

sudo docker-compose -f /(생략)/docker-compose.prod.yml down --remove-orphans

• sudo : 관리자 권한으로 명령어 실행

• docker-compose down : docker 컨테이너를 종료(down)시킨다.

  • (docker-compose.yml 또는 지정한 파일)에 정의된 서비스들의 컨테이너를 중지하고 제거

• -f /(생략)/docker-compose.prod.yml : 파일 지정

  • -f 옵션 없이 실행하면 docker-compose.yml에 정의된 컨테이너를 빌드한다.
  • docker-compose.prod.yml를 빌드하려면 파일을 지정해야 한다.
  • 로컬에서 개발할 때는 docker-compose.yml를, 서버에서는 docker-compose.prod.yml를 쓴다. product(제품)의 prod다.

• --remove-orphans : (docker-compose.yml 또는 지정한 파일)에 정의되지 않은 서비스의 컨테이너도 함께 제거

새 컨테이너 실행

sudo docker-compose -f /(생략)/docker-compose.prod.yml up --build -d

• docker-compose up : 이미지 빌드(필요시) + 컨테이너 생성 + 실행

  • down은 컨테이너 종료였고, up은 실행

• --build : 컨테이너 실행 전에 이미지를 새로 빌드

  • 코드가 변경되었을 때 새로 반영하기 위함
  • --build 안 쓰면 기존 이미지로 컨테이너만 실행
  • up 대신 build를 쓰면 (docker-compose build) 이미지를 빌드만하고 실행하지 않음. 이 경우 별도로 docker-compose up 필요.

• -d : 백그라운드에서 실행 (데몬 모드)

  • 터미널에서 분리되어 실행 (detached)
  • 안 쓰면 터미널에 로그가 계속 출력되고, 터미널 종료하면 컨테이너도 종료

개발 환경 (백엔드)

• Django: Python 기반 웹 프레임워크
  • Django REST framework: RestFul API 개발을 위한 라이브러리
  • Django Channels: WebSocket 통신을 위한 라이브러리
  • Daphne: Django Channels를 지원하는 HTTP/WebSocket 서버
• Swagger: RESTful API 설계, 문서화, 테스트를 위한 프레임워크
• MySQL: 관계형 데이터베이스
• Docker: 개발 환경 관리, 배포
• AWS
  • EC2: 웹 서버 운영
  • RDS: 데이터베이스 운영
• Github Action: CI/CD 파이프라인 구축 (Github의 develop 브랜치에 커밋이 되면 → AWS EC2에 자동 배포되도록)

서버 배포 시 자주 발생하는 문제들

문제가 정말정말 자주 발생했다. 유형은 거의 정해져 있었다.

1. DB 연결 실패 2. Django 마이그레이션 파일 충돌 (DB 관련) 3. github action 실패

1. DB 연결 실패

우리 팀이 DB에 연결한 방법

• 로컬에서 (docker의 db 컨테이너)
  • docker-compose.yml를 보면
  • db 컨테이너에서 DB의 host, port 등을 지정하고
  • web 컨테이너에서 environment:에 DATABASE_HOST: db 등을 지정한다.
• 서버에서 (settings/prod.py + 환경변수)
  • docker-compose.prod.yml에는 db 컨테이너 없이 web만 있다.
  • web 컨테이너에서 environment:에 DJANGO_SETTINGS_MODULE: (생략).settings.prod를 지정한다.
  • settings/prod.py에서 DB의 host, port 등을 환경변수로 지정한다.
  • 환경변수는 .env 파일에 있는데, gitignore에 넣어두고 커밋하지 않는다.

    문제 및 원인

    서버(EC2 인스턴스)에 환경변수가 없어서 DB 연결에 실패했다. 그렇다고 .env 파일을 커밋할 수는 없으므로 임시방편으로 배포할 때마다 prod.py를 수정해서 환경변수 대신 값을 하드코딩으로 넣었다.

    해결 방법

    1) github 사이트에서 환경변수를 지정하고, 2) github action에서 .env 파일을 생성한다.

    1) 환경변수 지정하기

    

수정(연필 모양) 버튼 누르면 보안상 텅 비어 보인다. 기존 환경변수 중 하나만 수정하고 싶어도 항상 전체 .env 파일을 지정해야 한다.

2) .env 파일 생성

github action의 workflow file을 수정해야 한다.

      # Action Secret에 설정한 ENV_VARS 값을 .env 파일로 만듦
      - name: create env file
        run: |
          touch .env
          echo "${{ secrets.ENV_VARS }}" >> .env

2. Django 마이그레이션 파일 충돌 (DB 관련)

문제 및 원인

마이그레이션 파일끼리 충돌하거나, 파일 내역과 DB 상태가 달라서 생기는 문제다.

MVP 개발 단계라 DB 구조(models.py) 수정할 일이 많아서, 거의 배포할 때마다 문제가 발생했다. 찾아보니 다들 고통받고 있었다.

• develop 브랜치에 내 작업 브랜치를 머지할 때
  • 보통 팀원이 그 사이에 push해둔 마이그레이션 파일들과 내 브랜치의 마이그레이션 파일이 충돌
  • 파일명이 같으면 git에서 충돌이 나지만, 파일명이 다르면 충돌 없이 머지된다. 이러나 저러나 문제다. ① git 충돌이랑, ② Django 마이그레이션 파일 충돌은 별개이기 때문이다.
  • ① 해결해서 머지하면 EC2 서버로 배포되지만, 서버에서 ② 문제가 발생했다. 내가 해결한 마이그레이션 파일들 상태와 서버 DB 상태가 달랐기 때문.
• develop에서 새 작업 브랜치를 파서, 내 로컬에서 개발을 시작할 때
  • 내 로컬 DB 상태와 마이그레이션 파일 상태가 달라서 충돌

서버 상태

보통 이러면 docker 컨테이너가 다운된다. EC2 웹 서버에 web 컨테이너가 다운되어 있으므로, 웹 페이지에 접속하면 사이트에 연결할 수 없다고 뜬다.

해결 방법

[Django] 마이그레이션 충돌 해결

3. Github Action 실패

문제

Github Action을 이용해서 Github의 develop 브랜치에 커밋이 되면 → AWS EC2에 자동 배포되도록 해두었다.

이 과정에서 배포에 실패할 수도 있다.

로그 확인 방법

Github 사이트 - Action에서

로그 확인 (어디서 실패했는지)

(+) 로그 보는 법

workflow file을 보면 감이 올 것이다.

file의 name들이 아래 화면의 표시한 부분에 보이는 것이다.

해결 예시

(다음 게시글) [Github Action] 기존 Docker 컨테이너 삭제 안 되는 문제 해결

"별도의 가상 머신 또는 이중 부팅 없이 Windows 컴퓨터에서 Linux 환경을 실행할 수 있는 Windows의 기능" (내부적으로는 VM 기반이지만 사용자가 VM을 관리할 필요 없고, 보다 가벼움)

WSL (Windows Subsystem for Linux)을 사용하면 Windows 컴퓨터에서도

• Linux 배포판을 설치할 수 있음.
  • 예) Ubuntu, OpenSUSE, Kali, Debian, Arch Linux 등
  • Ubuntu가 기본 설정임.
  • 다른 거 여러 개 설치할 수도 있고,
  • 기본 배포판 다른 걸로 바꿀 수 있음.
• Linux 사용할 수 있음.
  • 애플리케이션, 유틸리티, Bash 명령줄 도구 등

방법

1. WSL, Ubuntu 설치

WSL, Ubuntu 설치 : cmd를 관리자 권한으로 열어서 아래 명령어 실행하면 끝!

wsl --install

• wsl 설치한 적 없으면 이 명령어 작동X (공식 문서)
• Microsoft store에서 Ubuntu 따로 설치할 필요 없음.
• Ubuntu는 wsl랑 같이 자동으로 설치되고, 다른 버전이나 다른 배포판은 추후 wsl 명령어로 설치할 수 있음.

아래 명령어로 모든 배포판의 실행 상태와 wsl 버전 확인 가능

wsl -l -v

• -l: 설치된 모든 배포판 목록 ( * 표시: 기본 배포판)
• -v: wsl 버전 확인

난 확인했을 때 이미 wsl 버전2였는데, 버전1이면 2로 바꿔주기. (공식 문서에서 버전2로 세팅하라고 함.)

wsl --set-default-version 2

이유는 모르겠지만 나는 기본 배포판이 Ubuntu가 아니라 docker-desktop로 되어 있길래, 기본 배포판도 바꿔줌.

wsl -s <배포판 이름>

Ubuntu 다른 버전 설치하고 싶으면 아래 명령어 사용

wsl --install -d <배포판 이름>

사용 가능한 배포판 목록은 아래 명령어로 확인 가능

wsl --list --online

자세한 배포판 관리(목록 출력, 제거, 백업 등) 방법은 여기 참고

2. Ubuntu 열어서 ID/PW 생성

요약:

• Ubuntu 설치 시 재부팅 필요
• 윈도우 사용자 이름에 한국어 있으면 Ubuntu-22.04 설치
  • (24.04버전부터는 설치 시 오류. 추후 해결될지도?)

(상황 설명: 앞에서 wsl로 Ubuntu 설치할 수 있어서 Microsoft store 쓸 필요 없다고 했는데, 나는 헤매다가 store에서 설치했음. 그러나 설치가 안 됨.)

Ubuntu 설치 시 재부팅 필요하대서(공식 문서), 재부팅했더니 앱 설치는 됨.

그런데 (ppt 같은 다른 앱 열듯이) Ubuntu 앱 열면 이런 식으로 안 열림.

찾아보니 윈도우 사용자 이름이 한국어라서 (정확히는 ASCII가 아닌 문자가 있으면) Ubuntu 설치(setup) 시 문제 발생. (출처: 이 분이 Ubuntu 깃허브 통해서 오류 제보해서 수정 되고 있는 것 같음. 커밋이 어제인 걸로 봐선 아직 배포는 안 된 듯.)

Ubuntu (뒤에 아무것도 없는 것. 최신 버전) 이거랑 Ubuntu-24.04 (LTS버)부터 이런 에러 발생한다고 해서 (∴) Ubuntu-22.04 설치해서 해결.

앱 여니까 자동으로 setup 완료하고 ID/PW 설정하라고 뜸.

wsl에서 기본 배포판도 Ubuntu-22.04로 바꿔줬음.

3. Linux 사용 (cmd에서)

3-1. 실행

당연한 거지만, wsl는 Linux가 아니라 Windows 명령어기 때문에 wsl 사용해서 Linux 배포판 실행한 후 거기서 wsl 쓰면 command not found 뜸.

cmd에서 아래 명령어로 기본 배포판 실행

wsl

→ 이제 linux 환경인 것. (예: cd, ls 같은 것들 윈도우에선 안 되는데 이제 쓸 수 있음.)

기본 배포판을 어떤 사용자로 실행하려면

wsl -u <유저이름>

다른 배포판 실행하려면

wsl -d <배포판 이름>

3-2. 종료

특정 배포판을 종료하려면

wsl -t <배포판 이름>

모든 배포판을 종료하려면

wsl --shutdown

3-3. 상태 확인

모든 배포판의 상태와 wsl 버전을 확인하려면

wsl -l -v

원래 종료해도 기본 배포판 하나는 Running인가봄...?

(+) WSL를 vs code에 연결

• vs code에서 WSL라는 확장 프로그램 설치 필요
• 자세한 건 여기 참고

참고자료

• 블로그
  • wsl 배포판 관리 (목록 확인, 실행, 종료, 제거, 백업, 불러오기)
  • Window11에 WSL 사용하여 Linux (Ubuntu) 설치
  • [Linux] Windows 11에서 WSL2 설치하고 VSCode 연동하기
• 공식문서
  • WSL 설치
  • WSL 개발 환경 설정

Slither란?

스마트 컨트랙트에서 보안 취약점을 검사할 수 있는 오픈 소스 도구 https://github.com/crytic/slither

• Python3로 작성된, Solidity & Vyper 정적 분석 프레임워크

  • Solidity, Vyper: 스마트 컨트랙트를 작성하는 데 사용되는 프로그래밍 언어
  • 정적 분석(static analysis): 코드 실행 없이, 코드의 구문과 구조를 검사하는 방법

• 기능:

  • 보안 취약점 탐지 (Detectors)
    • 99가지 유형 탐지 가능
    • 유형별 설명은 여기 참고
  • 코드 이해를 위한 시각적인 요약 제공 (Printers)
  • 사용자 정의 분석 프로토타입 지원 (Tools)

사용 방법 (보안 취약점 탐지)

1. Slither 설치

python3 -m pip install slither-analyzer

2. 분석할 Solidity 파일 준비

내 목적은 캡스톤 프로젝트에 적용하기 전에 Slither를 간단히 사용해보는 거라서 아무 코드나 돌려보려고 한다.

SmartBugs Wild Dataset에 보안 취약점을 포함하고 있는, 이미 작성된 스마트 컨트랙트 코드가 있다. 여기서 이 데이터 한 개를 이용했다.

3. Slither 실행

3-1) command로 실행

스마트 컨트랙트 프로젝트에 종속성이 있으면 아래 명령어를 쓰라고 한다. (출처: 공식 문서)

slither .

하지만 나는 지금 스마트 컨트랙트 코드 한 개를 돌리려고 하는 거니까 아래 명령어를 사용했다.

slither example.sol

i) Solidity Compiler(solc) 버전 오류 해결

그냥 실행했더니 에러가 떴다.

내가 2에서 다운받은 Solidity 코드의 버전은 0.4.23이고, 코드 내에서 0.4.x 버전의 Solidity 컴파일러를 사용하여 컴파일되어야 함을 명시하고 있다.

pragma solidity ^0.4.0;

하지만 에러 메시지를 보면 나한테 설치된 Solidity 컴파일러 버전은 0.8.30이기 때문에 컴파일에 실패한다.

해결하려면

• 여기에서 알맞은 버전의 Solidity 컴파일러를 다운받고
• command에 --solc 옵션으로 컴파일러 경로를 지정해주면 된다.

  slither --solc C:/solidity-windows/solc_0.4.25/solc.exe example.sol

  컴파일러 경로는 로컬에서 어디에 다운받는지에 따라 사람마다 다르다. 나중에 팀 프로젝트에서 사용할 때에는 코드에서 solc 경로를 매번 바꿔줘야 해서 불편했다. 이 문제는 solc 경로를 .env 파일에 환경변수로 추가하고, gitignore에 .env를 추가해서 해결했다.

ii) 분석 결과 출력

• Compilation Warning/Error (컴파일 워닝/에러)

  INFO:Detectors:
  Claimable.transferOwnership(address) (0x0000000000027f6d87be8ade118d9ee56767d993.sol#67-69) should emit an event for:
        - pendingOwner = newOwner (0x0000000000027f6d87be8ade118d9ee56767d993.sol#68)
  Reference: https://github.com/crytic/slither/wiki/Detector-Documentation#missing-events-access-control

• Detectors (보안 취약점)

  • 아래가 취약점 1개 내용이다. 이런 게 여러 개 있었다.

    INFO:Detectors:
    Claimable.transferOwnership(address) (0x0000000000027f6d87be8ade118d9ee56767d993.sol#67-69) should emit an event for:
        - pendingOwner = newOwner (0x0000000000027f6d87be8ade118d9ee56767d993.sol#68)
    Reference: https://github.com/crytic/slither/wiki/Detector-Documentation#missing-events-access-control

• 요약

  • (3 contracts → 스마트 컨트랙트를 3개를
    • 2에서 다운받은 파일 까봤을 때 contract 구조체가 3개 있었음. 스마트 컨트랙트 코드 3개가 한 파일에 있었나봄.
  • with 100 detectors) → 100가지 유형의 취약점 검사기(detector)로 분석했고
    • 깃허브에 Detectors 99가지만 나와있는데 왜 100개인지 모르겠음. 다른 팀원들도 100개로 나오던데.
  • 7 result(s) found → 7개의 결과를 발견했다.
    • 위에서 Compilation Warning/Error 1개, Detectors 5개 출력했는데 왜 7개라는 건지는 모르겠음.

      INFO:Slither:0x0000000000027f6d87be8ade118d9ee56767d993.sol analyzed (3 contracts with 100 detectors), 7 result(s) found

iii) --json 옵션

분석 결과를 json 파일로 저장

json 파일의 전체 구조는 아래와 같다.

{
"success",   // 예시: true
"error",     // 예시: null
"results" {
       "detectors": [ {}, {}, ... ]    // 발견한 취약점들 정보
}

위에서 detectors의 원소는 아래와 같다.

{
        "elements" : [ {}, {}, ... ],

        "description", // 발견한 취약점의 설명
        ..., 
        "id",     // 발견한 취약점의 id
        "check",  // detector (취약점 유형)
        "impact", // 해당 유형의 impact
        "confidence" // 해당 유형의 confidence
}

위에서 elements의 원소는 아래와 같다.

{
        "type",
        "name",
        "source_mapping": {...},
        "type_specific_fields": {
                                "parent": {...},  // {} 안은 "element"와 동일
                                "signature"       // 없을 수도 있음.
                                                        }
}

iv) --print 옵션

분석한 코드의 다양한 정보를 출력

• Slither 공식 문서의 Printer 부분 참고
• ex)

  slither --print contract-summary example.sol
  slither --print data-dependency example.sol

  나는 해보지는 않았다.

3-2) Python API로 실행

• Slither 공식 문서의 Python API 부분 참고
• 이런 식으로 실행할 수도 있다고 한다. 나는 해보지는 않았다.

from slither import Slither

# solidity file로 Slither Object 생성
slither = Slither('example.sol')

얕은 신경망 vs. 심층 신경망

• 정의 :

  • 층이 얕은지 vs 깊은지 (은닉층 多)

• 비교 :

  • 심층 신경망이 더 잘 작동함.

• 이유 :

  • 같은 성능을 내려면, 얕은 신경망의 경우 훨씬 많은 노드가 필요함. (기하급수적)
  • 복잡한 특징도 탐지 가능
    • 낮은 층 : 간단한 특징을 탐지
    • 깊은 층 : 그 간단한 특징을 모아서 복잡한 특징을 탐지

• 변수 : 신경망에서 학습 대상
  • $w$, $b$
• 하이퍼 파라미터 : 학습 알고리즘에게 우리가 정해줘야 하는 것
  • learning rate $α$
  • 반복 iteration 횟수
  • 은닉층 hidden layer 개수 $L$
  • 은닉유닛 hidden units 개수 $n^{[l]}$
  • 활성화 함수 선택 $a^{[l]}$
  • 모멘텀 항 momentum term
  • 미니배치 크기 mini batch size

파라미터(변수) 초기화

• 학습 전 파라미터를 초기화한다.

  • w = np.random.rand( shape ) * 0.01 → 랜덤 초기화.
  • b = np.zeros( shape ) → 0으로 초기화

• 이유

  • $$w$$
    • w를 모두 0으로 초기화하면 안 됨. 같은 층의 모든 유닛이 언제나 같은 값을 계산하기 때문에. → 랜덤하게 초기화.
    • 0.01을 곱해서 아주 작은 수로 만들어줌. (0.01 말고 다른 수여도 괜찮음.) ← w가 크면 $z=w^Tx+b$가 너무 크거나 작고, 그러면 sigmoid, tanh 활성함수를 거쳤을 때 도함수가 거의 0이라 학습 속도가 너무 느려지기 때문.
  • $$b$$
    • b는 모두 0으로 초기화해도 이런 문제가 생기지 않음. → 그냥 0으로 초기화.

하이퍼 파라미터(매개변수) 초기화

• 방법
  • 매우 경험적임
  • 하나로 정하고 → 여러 번 시도 → 비용함수 $J$값 보면서 조정
• 조언
  • 몇 년씩 하는 장기 프로젝트라면 → 몇 달마다 점검하기.
  • 왜냐면 지금 최적인 걸로 정했어도, 나중에 최적인 값이 바뀔 수도 있음. CPU, GPU, 네트워크, 데이터가 달라지니까.

learning rate

• learning rate 정하기
  • 일단 0.01로 시작 (?)

활성화 함수

활성화 함수 정하기

• 데이터 값의 범위가 (거의) 양수일 때 → ReLU
• 대체로 sigmoid냐 tanh냐 중에선 → tanh
• Binary classification의 출력층 → sigmoid

• 비선형이어야 함.

• 종류 (4가지)

  sigmoid [장점] 출력값 : 01 → binary classification의 출력층에 적합. 왜냐하면 그 출력층은 y=1일 확률을 나타내는데, 확률은 01 사이 값이니까.

  tanh [장점] 평균이 0 → 데이터를 원점으로 이동하는 효과 有. → 평균이 0.5인 Sigmoid보다 효율적.

  ReLU [장점] sigmoid, tanh는 x가 너무 크거나 작을 때 도함수가 거의 0 → 학습 속도 저하 반면 ReLU는 x 절반(x>0)은 도함수가 1으로, 0에 가깝지 X → 학습 빠름.

  leaky ReLU [장점] 남은 x 절반(x<0)도 도함수가 0이 아님. → 학습 더 빠름.

• 학습 목표 :
  • cost 함수 $J$의 값이 최소가 되도록 하는 w와 b를 찾는 것
• 방법 :
  • 경사하강법 이용
• 학습 과정 (의사 코드) :

    for 반복 횟수
        for 모든 데이터
            1. **순전파** (Forward pass) `→ predict`
              2. **역전파** (Backward pass) `→ 도함수 계산`
              3. `가중치 업데이트`
  
  

흐름

• 표 부연설명

  • $a^{[l-1]}$ : level $(l-1)$의 $a = σ(z)$
  • 정전파 → $a$ 계산 역전파 → $da$ 계산 ($a$를 미분한 것)

• 순전파/역전파 구현에서

  • 캐시(cache)는 순전파에서의 변수를 → 해당하는 역전파 단계에 전달한다.
  • output인 $a$ 말고도 $z$, $w$, $b$를 전달하면 미분값을 계산할 때 유용하기 때문이다.

디버깅 : 행렬 shape을 확인하자

• 설명

• 벡터화
  • $w$, $b$는 모든 데이터에 대해 공통이므로 그대로.
  • $Z$, $X$만 바뀜.
  • $b$는 그대로긴 한데 $(n^{[1]}, m)$으로 브로드캐스팅된 후 더해짐.

벡터화 (Vectorization)

• 정의

  • for문 대신 벡터 연산을 이용하여 효율적으로 계산하는 방법

• 필요성

  • 코드에서 for문 써서 n번 연산할 것을, 벡터 써서 코드 1줄로 해결 가능. ⇒ 연산 빨라짐. ⇒ 딥러닝에서 큰 데이터셋 다룰 때 유리.

• ex) 뉴런 하나를 벡터화

  • 상황

    • 데이터 1개, 반복횟수 1번 → $z = W^TX + b$ 를 계산하는 방법
      • $ŷ = σ(z)$ 할 때 그 z 맞음.

  • Non-vectorization

      z = 0
      for i in range(n-x):
          z += w[i] * x[i]
      z += b

- *Vectorization*

    ```python
    import numpy as np

    z = np.dox( np.transpose(W), X) + b
    ```

• ex) Layer 한 층을 벡터화

• 되도록 for문 쓰지 말고, 대신 numpy 내장함수를 이용할 수 있나 확인하기! (벡터화)

브로드캐스팅 of 파이썬

• 정의 :
  • 차원이 다른 행렬끼리 계산할 수 있도록 자동으로 차원을 변환한 후 계산해줌.
• 방법 :
  • 직관적임.

numpy 쓸 때 오류 줄이는 Tip!

• reshape을 생활화하자.
  • shape을 확실히 아는 게 아니면 그냥 한 번 더 써주자. 이런 건 확실히 하는 게 좋음.
  • 게다가 비용도 적은데 왜 안 써? cost = O(n)
• shape이 헷갈리면 assert(a.shape == (1,5)) 함수로 찍어보자.
  • 확인은 자주자주!
• rank가 1인 배열은 아예 사용하지 말자.
  • shape이 (4,)처럼 (n,) 꼴인 배열.
  • 행 벡터도, 열 벡터도 아님. ⇒ 직관적이지 않은 결과가 나올 수 있음.

로지스틱 회귀 (Logistic Regression)

• 정의

  • 주로 Binary Classification 문제에 사용되는, 통계학적인 머신러닝 알고리즘

  • 입력 변수의 Linear Combination 을 로지스틱 함수에 적용하여 확률을 계산하고, 이를 기반으로 Binary Classification를 수행

    • Linear Combination : 주어진 변수들을 상수와 가중치의 곱으로 더한 것
    • Binary Classification : 0 or 1로 분류

  • 그림 ex)

    • 로지스틱 회귀

      • 신경망 모델 (여러 층이 있음.)

• 선형 회귀 (Linear Regression)
  • 예측을 위한 직선(선형 방정식)을 학습

$$ ŷ = W^T X+b $$

• sigmoid 함수
  • 정의

- Logistic Regression + Binary Classification에서 ŷ는 `y=1일 확률`을 의미 → 따라서 결과값을 0~1로 바꿔주기 위해 sigmoid를 씌움

    $$
    ŷ =σ(W^T X+b) 
    $$

• 오차$(y-ŷ)$ 계산하기

  • Loss 함수 : 한 입력 data에서의 오차 $$ L(ŷ,y) $$

    • 구체적인 수식

  • Cost 함수 : 전체 입력 data에서의 오차

    • Loss 함수의 평균 $$ J(w,b) $$

인공지능 vs 머신러닝 vs 딥러닝

• 인공지능 ⊃ 머신러닝 ⊃ 딥러닝

• 정의

  • 인공지능 : 인간의 지적 능력을 컴퓨터에서 구현하는 기술
  • 머신러닝 : 컴퓨터를 인간처럼 학습시킴으로써 인간의 도움 없이 컴퓨터가 스스로 새로운 규칙을 생성할 수 있지 않을까 하는 발상으로부터 시작 / 데이터에서 패턴을 스스로 찾아내고 이를 기반으로 다른 데이터가 주어졌을 때 예측하는 기술
  • 딥러닝 : 신경망을 이용한 머신러닝 방법 / 신경망을 학습시키는 것

• 참고자료

머신러닝

• 종류
  • 지도 학습 (Supervised Learning)
  • 비지도 학습 (Unsupervised Learning)
  • 강화 학습 (Reinforcement Learning)

지도 학습

• label(정답)이 붙은 데이터로 학습하는 것

비지도 학습

• label이 없는 데이터로 학습하는 것
• 종류 : 군집화

강화 학습

• 차이점 :
  • 지도 학습/비지도 학습 → 데이터가 주어진 상태 + 변화가 없는 정적인 환경에서 학습
  • 강화 학습 → 어떤 환경 안에서 정의된 주체(agent)가 현재의 상태(state)를 관찰하여 선택할 수 있는 행동(action)들 중에서 가장 최대의 보상(reward)을 가져다주는 행동이 무엇인지를 학습

딥러닝

• 정의
  • 딥러닝 : 신경망을 학습시키는 것
  • 신경망 : 뉴런이 복잡하게 연결된 신경망을 컴퓨터에서 인공적으로 구현한 것 / 입력(x)와 출력(y)를 매칭해주는 함수를 찾는 과정
  • 뉴런 = 퍼셉트론 : 신경망의 기본 단위

신경망

• 용어
  • 신경망 = 인공신경망 = ANN (Artificial Neural Network)
• 종류 : (아래 모두 지도학습으로 학습시킬 수 있음.)

| Standard NN | ~ Neural Network |  |
| --- | --- | --- |
| CNN | 합성곱 신경망 Convolutional Neural Network | 이미지 |
| RNN | 순환 신경망 Recurrent Neural Network | 오디오, 언어 (1차원 시퀀스 데이터) |
| Custom/Hybrid 신경망 |  |  |

• 간단한 구조

  • Output Layer

    • 노란 형광펜 (X)
    • 파란 형광펜 (O)

  • Layer 수 셀 때 → Input Layer는 빼고 셈.

    • Input Layer만 node로 표현하지도 않고, w, b도 없음.

데이터

• 종류
  • 정형 데이터 (Structured data) : 각 데이터의 feature을 표 형태로 나타낼 수 있는 데이터
  • 비정형 데이터 (Un~ data) : 나머지. ex) 이미지, 텍스트, 오디오

나는 중급 세션에서 활동한다.

• 대상: 머신러닝에 관한 기본 이해가 있는 사람
• 분야: 딥러닝, CV, NLP

수강 계획은 다음과 같다.

1. 부스트코스의 딥러닝 1단계: 신경망과 딥러닝
2. 부스트코스의 딥러닝 2단계: 심층 신경망 성능 향상시키기
3. 부스트코스의 딥러닝 4단계: 합성곱 신경망 네트워크(CNN)
4. 부스트코스의 자연어 처리의 모든 것

한 학기 동안 매주 강의를 듣고 퀴즈를 풀며 배운 점을 기록하려고 한다.

(+) 필기 목차와 강의 목차가 완전히 다르다.

• 앱에 알림 추가 - 알림 만들기
  • 안드로이드 공식 문서. '앱에 알림 추가' 시리즈의 다른 글도 참고할 만 하다.

작성중...

사용자를 식별할 필요가 없으므로 로그인은 필요 없다. 앱을 통해서 접속했다면 모든 사용자를 허용하는 걸로 바꾸고 싶다....만 찾아보니 그렇게는 힘든 것 같았다.

그래서 찾은 방법이 익명 로그인.

참고자료

• 다른 사람 블로그
  • 거의 이것만 보고 작성함.
• Android에서 익명으로 Firebase에 인증
  • 공식 문서.
• Android에서 Firebase 인증 시작하기
  • 공식 문서. 위의 자료를 이해하기 위해 활용.
  • 
  • 만약 로그인되어 있으면 user 정보가, 로그인 전이면 null이 반환된다.

내 코드

백업 규칙

{
  "rules": {
    ".read": "auth != null",
    ".write": false
  }
}

MainActivity.java

import androidx.annotation.NonNull;
import com.google.firebase.auth.FirebaseAuth;
import com.google.firebase.auth.FirebaseUser;
import com.google.firebase.auth.AuthResult;
import com.google.android.gms.tasks.OnCompleteListener;
import com.google.android.gms.tasks.Task;

...

    protected void onCreate(Bundle savedInstanceState) {
        ...


        // Firebase 익명 로그인
        mAuth = FirebaseAuth.getInstance(); // Firebase Auth 초기화
        FirebaseUser user = mAuth.getCurrentUser();
        if(user == null) { // 아직 계정 생성 안 된 사용자
            signInAnonymously(); // 계정 생성
        }


        // DB 연결 후 key 값 읽어와서 화면에 출력
        FirebaseApp.initializeApp(this);
        ...
        mReference.addListenerForSingleValueEvent(new ValueEventListener() {
            @Override
            public void onDataChange(DataSnapshot dataSnapshot) {
                ...
                // 데이터 읽어와서 화면에 출력하는 부분
                ...
                System.out.println("정상: DB 연결 성공");
            }

            @Override
            public void onCancelled(DatabaseError databaseError) {
                System.out.println("에러: DB 연결 실패");
            }
        });
    }


    private void signInAnonymously() { // 익명 계정 생성
        mAuth.signInAnonymously().addOnCompleteListener(this, new OnCompleteListener<AuthResult>() {
            @Override
            public void onComplete(@NonNull Task<AuthResult> task) {
                if (task.isSuccessful()) {
                    System.out.println("정상: 익명 로그인 성공");
                } else {
                    System.out.println("에러: 익명 로그인 실패");
                }
            }
        });
    }

여기서 // DB 연결 후 key 값 읽어와서 화면에 출력 이 부분은 참고를 위해 넣은 것으로, (익명 로그인 작업 전에 작성한) DB 읽어오는 게시글 내용이다.

activity_main.xml

그런데 log를 보니 첫 실행 후 "에러: DB 연결 실패" / "정상: 익명 로그인 성공" 이렇게 출력됐다. 두번째 실행부터는 "정상: DB 연결 성공" 이렇게 출력됐다.

이렇게 되는 이유는 잘 모르겠지만 재시작하면 잘 동작하는 듯 하니, TextView의 초기text에 안내문구를 넣었다. ("설치 후 첫 사용이시군요. 앱을 재시작해주시면 정상 작동됩니다.")

아직 못 한 부분

앱 삭제 후 재설치 시 새로운 계정으로 로그인하게 되면서 이전 계정은 유령 계정이 되는데, 이렇게 안 쓰는 익명계정을 삭제하는 방법은 아직 공부 중이다.

원래 익명 로그인이 이렇게 내내 쓰는 게 아니라 잠깐 쓰라고 만든 기능인 것 같기도 하다. firebase에 만든 지 30일 된 익명 계정은 자동으로 삭제해주는 서비스(아마 유료?)가 있고, 공식 문서에도 익명 계정에서 제대로 회원가입한 계정으로 넘어가는 내용이 있는 걸 보면.

참고자료 (공식 문서)

• Firebase에 앱 연결하기
• Android에서 데이터 읽기 및 쓰기
• Android에서 데이터 목록 다루기

1. 데이터베이스를 참조해서 데이터 스냅샷 받아오기

기본 문법

• onCreate
  • main 같은 함수라고 이해했다. onCreate 밖에서 어떤 함수를 정의하면, 이 안에서도 꼭 한 번 실행해야 한다. 안 그러면 함수 정의만 해놓고 main에서 한 번도 호출 안 하는 거다.
• getReference
  • 인수의 기본값은 root(즉 "/")이다. 만약 "exKey"를 넣으면 root 바로 아래의 "exKey"라는 key를 참조하게 된다.
  • 해당 위치 + 하위 데이터를 모니터링한다고 생각하면 된다.
• addValueEventListener
  • JAVA 문법에서 이벤트 리스너 추가하는 거 모르는 사람은 개념 한 번 훑어보고 오는 걸 추천한다.
  • 실시간으로 DB와 소통하려면 이걸 쓰면 된다.
  • 만약 그게 아니라 DB에서 한 번 읽어오고 마는 거라면 이거 대신 addListenerForSingleValueEvent 쓰면 된다. 다른 부분은 다 똑같다.
  • onDataChange
    • Firebase Realtime Database는 깃처럼 데이터베이스의 스냅샷을 찍는데, 그걸 dataSnapshot이라고 한다.
    • 처음에 한 번, 그 후로 데이터가 바뀔 때마다 한 번씩 호출된다.
  • onCancelled
    • 이때 읽기 권한이 없으면 Cancel되면서 이 함수가 호출된다.
• 디버깅
  • 바로 이전 게시글에서 설명했듯, System.out.println 해서 프린트하면 Logcat에서 확인할 수 있다.

package ~~;

import android.os.Bundle;

import androidx.appcompat.app.AppCompatActivity;

import com.google.firebase.FirebaseApp;
import com.google.firebase.database.DataSnapshot;
import com.google.firebase.database.DatabaseError;
import com.google.firebase.database.DatabaseReference;
import com.google.firebase.database.FirebaseDatabase;
import com.google.firebase.database.ValueEventListener;

public class MainActivity extends AppCompatActivity {
    private FirebaseDatabase mDatabase;
    private DatabaseReference mReference;

    @Override
    protected void onCreate(Bundle savedInstanceState) {
        // 기본 설정 (activity_main 파일의 내용을 앱 화면에 보여줌.)
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);

        // 데이터베이스에서 값 읽어오기
        FirebaseApp.initializeApp(this);
        mDatabase = FirebaseDatabase.getInstance();
        mReference = mDatabase.getReference(); // root를 참조

        mReference.addValueEventListener(new ValueEventListener() {
            @Override
            public void onDataChange(DataSnapshot dataSnapshot) {
                System.out.println("데이터 성공적으로 받아옴");
            }

            @Override
            public void onCancelled(DatabaseError databaseError) {
                System.out.println("에러");
            }
        });
    }
}

ERROR

제대로 썼는데! 저 코드에 문제가 없는데!! 데이터베이스를 아무리 수정해봐도 onDataChange 함수가 아예 호출되지 않는 문제가 있었다.

원인

알고 보니 Logcat에 이런 게 찍혀있었고

Firebase Database connection was forcefully killed by the server. Will not attempt reconnect. Reason: Database lives in a different region. Please change your database URL to https://miu404-whataretheydoingnow-default-rtdb.asia-southeast1.firebasedatabase.app

챗GPT한테 물어보니까 이렇다고 한다.

이 경고는 Firebase Database의 연결이 서버에 의해 강제로 종료되었고, 재연결을 시도하지 않을 것이라고 알려주고 있습니다. 그 이유는 "Database lives in a different region"이라고 명시되어 있습니다. 이는 데이터베이스가 서버와 다른 지역에 위치해 있음을 나타냅니다.

Firebase 프로젝트 만들 때 내가 위치를 싱가포르로 선택했는데, 이때 US(미국)을 선택한 게 아니면 이런 문제가 발생한다고 한다.

• 출처 : 다른 분 블로그. 여기서 ERROR 부분. 이 분은 JAVA 말고 코틀린 쓰시는 것 같다.

  해결 방법

• 검색 키워드 : Database lives in a different region.

• 참고자료 : 스택오버플로우

  • 방법을 2가지 알려줬는데, url을 직접 지정하는 방법은 자꾸 오류가 났다. 그래서 다른 방법을 썼더니 됐다.

  • 간단하다. google-services.json 파일을 다시 다운받으면 된다.

• 자세한 과정은 아래와 같다.

  1. 프로젝트 설정으로 이동한다.
  2. 스크롤을 내리고, google-services.json 파일을 다시 다운받는다.
  3. google-services.json 파일을 [프로젝트 폴더]-[app 폴더] 아래로 옮긴다.

끝.

2. 스냅샷으로부터 데이터를 읽어들이고, JAVA Hashmap에 저장하기

기본 문법

data가 (string, string) 쌍으로만 이루어져 있을 때

import com.google.firebase.database.GenericTypeIndicator;
import java.util.HashMap;

// (중략)

GenericTypeIndicator<HashMap<String, Object>> genericTypeIndicator = new GenericTypeIndicator<HashMap<String, Object>>() {}; // GenericTypeIndicator를 사용하여 제네릭 유형을 지정

// onDataChange 함수 안에서
HashMap<String, Object> data = dataSnapshot.getValue(genericTypeIndicator); // GenericTypeIndicator를 사용하여 DataSnapshot에서 데이터를 가져오기

이걸 System.out.println(data);로 print해보면 이렇게 된다.

data가 (string, object) 쌍일 때

방법1. print 해본다.

1. MainActivity.java에서 원하는 문구를 print한다.
2. Logcat에서 출력 결과를 확인할 수 있다.
   

방법2. Log를 찍어본다.

1. MainActivity.java에서 log를 찍는다.

   • 이때 Log를 import해야 아래 코드가 돌아간다.

     private static final String TAG = "MainActivity";
     

   Log.d(TAG, "Value is: " + value); ```

2. Logcat에서 출력 결과를 확인할 수 있다.

방법3. 화면에 찍어본다.

1. activity_main.xml에서 TextView를 추가한다.
   • 나는 프로젝트 만들 때 처음부터 TextView 있는 걸로 선택해서 이 과정이 필요 없었다.
   • 프로젝트 만들 때 없는 걸로 선택했어도 괜찮다. 추가하면 된다. 1-1. Code를 클릭하면 이렇게 코드를 보여주고, Design을 선택하면 1-2 같은 화면을 보여준다. 1-2. Design을 선택한 다음, 빨간 펜으로 표시해둔 TextView를 드래그해서 화면에 가져다 놓자. 그러면 알아서 코드에 TextView가 추가된다.

2. TextView에 id를 지정한다.

   • 아래는 id = myTextView로 지정하는 예시이다.

3. 이제 MainActivity.java에서 아래와 같이 접근할 수 있다.

   import android.widget.TextView;
   
   // (중략)
   
   TextView mTextView = = findViewById(R.id.myTextView); // R.id.textView는 레이아웃 XML에서 정의된 TextView의 ID

4. 아래 코드로 mTextView 변수가 가리키는 TextView 블록의 text를 원하는 내용으로 set할 수 있다.

   mTextView.setText("내용");

5. 확인 5-1. [Run] - [Run 'App'] 눌러서 앱을 실행한다. 5-2. [Tools] - [Device Manager] 또는 [빨간 펜으로 표시한 버튼]을 눌러서 Device Manager를 켠다. 5-3. ▶버튼을 눌러서 시작한다. (나는 이미 실행 중이라 ■버튼이 보인다.)

   • 그러면 이렇게 보인다. 기존 문구인 "Hello World!"는 사라지고 "내용"으로 덮어쓰기된 것을 확인할 수 있다.

   

엑셀→JSON 바꾸기

1. 변환

나는 변환 사이트를 이용했다.

• 변환 전 (엑셀)
• 변환 후 (json)
  • 이 코드를 메모장에 복사 붙여넣기 해서 확장자를 .json으로 저장하면 된다.
• Firebase에서 그대로 사용하면 이런 에러가 뜬다.
  • 내가 엑셀에서 데이터 형식을 저런 식으로 작성해서 json으로 바꾸면 key가 없다. key는 비워둘 수 없으므로 에러가 뜨는 것이다.

2. 적절한 형태로 JSON 파일 수정

• 참고자료 : 데이터베이스 구조화

  • 공식 문서. JSON 파일이 어떻게 생겨야 하는지를 알려준다.
  • 대표 예시)
  • key에 숫자 쓸 때 주의. 그런데 "1" 이런 건 문자열이라서 괜찮다.
  • key에 특수문자 쓸 수 없다. 비워놓을 수도 없다.
  • 문자열 쓸 때 작은 따옴표로 쓰면 오류 난다. 큰 따옴표를 쓰자.

• 수정사항

  • []를 {}로 바꾸고,
  • key를 비워놓을 수 없으니까 하나하나 붙여줘야 한다.
    • 하나하나 하기 귀찮으니까 파이썬 코드를 짜서 해결했다. 아래에 첨부한다. (다른 사람이 재사용하기 쉽게 약간 수정했다.)

      data = [] # [] 대신 1에서 변환한 코드 붙여넣기
      with open('파일명.json', 'w', encoding="utf-8") as file:
      file.write('{\n')
      for cnt in range(len(data)):
        if cnt != 0:
            file.write(',\n')
        file.write(f'\t"{cnt}": ')
        file.write('{\n')
        for key, value in data[cnt].items():
            if key != "date": # date : 1열 이름
                file.write(',\n')
            file.write(f'\t\t"{key}": "{value}"')
        file.write('\n\t}')
      file.write('\n}')

JSON 파일로 데이터 생성하기

• (주의!) 데이터가 추가되는 것이 아니라 덮어쓰기된다.

데이터베이스 선택

• 참고자료 : 데이터베이스 선택
  • 공식 문서.
  • Firebase는 Cloud Firestore, 실시간 데이터베이스 이렇게 2가지를 지원한다. 이 문서에서 몇 가지 질문에 대답하면 둘 중 어떤 것을 사용할지 추천해준다.
  • 나는 실시간 데이터베이스를 사용하기로 했다.

Firebase와 Android 앱 연결

1. Firebase 프로젝트를 만들고, Firebase에 앱 등록하기

• 참고자료: Android 프로젝트에 Firebase 연결하는 방법
  • 공식 문서.
  • 이 문서에서 시키는 대로 하면 금방 된다. 옵션1, 2가 있는데 1을 권장한대서 그걸로 했다.
  • 아까 android-studio에서 프로젝트 생성할 때 분명 JAVA로 했는데, 저 문서에서 볼 때는 Kotiln을 봤다. 나도 이유는 잘 모르겠지만 android 프로젝트에 있는 파일명이 build.gradle이 아니라 build.gradle.kts니까 이렇게 하는 게 맞을 것이다.
  • build.gradle.kts 파일은 이 위치에 있다. 파일이 2개인데 루트 수준(프로젝트 수준)과 모듈(앱 수준)을 구분해야 한다.

2. Firebase에서 DB 만들기.

• 참고자료 : Firebase에 앱 연결하기
  • 공식 문서. 여기서 '데이터베이스 만들기' 항목만 참고했다.
  • 테스트 모드, 잠금 모드를 선택해야 한다. 잘 모르겠지만... 이 문서의 '웹, Apple 또는 Android SDK를 시작하려면 테스트 모드를 선택하세요.'라는 문구 때문에 일단 테스트 모드로 시작했다.

3. 보안 규칙 수정하기

1, 2는 확실히 이 순서로 하는 게 맞는데 3부터는 잘 모르겠다.

• 참고자료 : Firebase 실시간 데이터베이스 보안 규칙 이해
  • 공식 문서.
  • 다른 문서와는 다르게 그대로 따라하기만 되는 류는 아니고, 말 그대로 이해를 돕는다.
• 나는 테스트 모드로 시작했는데, 이러면 누구나 자유롭게 읽고 쓸 수 있다. 아래는 현재 보안 규칙.
• 내가 원하는 것 : 읽기는 누구나 할 수 있지만, 쓰기는 나만 할 수 있도록
  • 이래도 되는지는 잘 모르겠지만... 이렇게 수정해봤다. 일단은 Firebase console에서 직접 데이터 수정해봤는데 다행히 잘 된다. (당신이 보고 있는 이 글이 수정되지 않았다면 문제가 일어나지 않은 거겠죠...)
  • 보안규칙 위험하다고 자꾸 메일이 와서 수정하기로 했다. 자세한 내용은 다른 글에서.

• 참고자료 : 생활코딩님 영상
  • 이전 글에서 참고자료로 적었던 영상. 보고 따라하면 금방 된다.

앱 구상

주제

어떤 드라마를 좋아하는데, 감사하게도 타임라인을 정리해주신 분이 계시다. 이걸 이용해서 특정 날짜가 되면 "오늘 몇 시 몇 분에 드라마 상에서 이런 일이 일어났어!"하고 알림을 띄워주는 앱을 만들고 싶다.

주요 기능 (2024.01.03 수정)

• 아침에 한 번 알림 띄우기
  • 오늘치 데이터 있으니까 앱 확인하세요~ 정도의 알림
  • 타임라인 있는 날만 띄움
• 메인 화면
  • 오늘의 타임라인 - 내용 (일본어, 한국어)
  • 이전, 다음 타임라인 - 날짜만 (내용X)
• 사이드 바
  • 원본 블로그 글 링크 → 맨 하단 버튼으로
  • 개발자 정보
  • 개발자에게 연락하기 (번역 수정 요청, 오류 문의 등)

기타 기능 (나중에 여유 되면 추가)

• 국가 설정 - 일본, 한국

개발 스택

• 통합 개발 환경 : android-studio
• 프로그래밍 언어 : JAVA
• 데이터베이스 : Firebase

선택 이유

• android-studio
  • 안드로이드를 개발할 때 가장 많이 쓰인다고 한다.
• JAVA
  • android-studio는 JAVA와 Kotlin을 지원한다. Kotlin은 아예 모르고, JAVA는 기본적으로 다룰 줄 안다.
  • 이 프로젝트의 목표는 간단한 앱을 빠르게 완성해서 배포해보는 것이기 때문에 이미 알고 있는 JAVA를 선택했다.
• Firebase
  • 웹 개발할 때 데이터베이스로 Firebase를 써본 적이 있다.
  • Firebase는 JSON 형식의 데이터를 사용한다. 내가 가지고 있는 데이터는 표 형태(엑셀)인데, 이걸 JSON으로 쉽게 변환할 수 있을 것 같다.

참고자료

• 생활코딩님 영상 : 7분짜리 짧은 영상으로, 처음에 앱 개발에 대해 아무것도 모르는 상태에서 보기에 좋다. 무엇을 깔아서 어떻게 시작해야 하는지 알 수 있었다.