1. 실행단위 CPU core에 한 순간에 하나씩(one at a time) 적재되어 실행되는 단위 Process와 Thread를 모두 포괄한다

2. 프로세스 하나의 스레드만 갖고 있다면 단일 스레드 프로세스

3. 동시성 한 순간에 여러가지 X 짧은 전환으로 여러가지 일을 동시에 처리하는 것처럼 보이는 것

프로세스

프로그램은 단순히 코드가 구현된 파일일 뿐이다.(= 피자 레시피) 피자 레시피로 피자를 만들듯이 프로그램을 실행해 사용할 수 있도록 메모리에 적재된 것이 프로세스이다.

프로그램이 프로세스가 되는 과정

1. 프로세스가 필요로 하는 자원이 메모리에 올라간다. 메모리에는 code, data, heap, stack 영역이 있다.

2. 프로세스 정보를 담고 있는 PCB 블럭이 프로세스 생성과 함께 만들어진다.

여러가지 프로그램을 동시에 실행하면 일어나는 일

코드 치려고 VSCode 실행, 코드 치면서 음악 들으려고 Youtube Music 실행, 메신저로 Slack 실행,..... 어떻게 동작하는지??

컨텍스트 스위칭

2개의 프로세스를 예시로 든 컨텍스트 스위칭의 예시 각 프로세스가 짧은 전환주기를 갖고 실행, 준비 상태를 오가며 메모리 적재, 보관을 반복한다 이렇게 동작하는 프로세스를 경량화한 것이 스레드이다.

스레드

*한 프로세스 내에서 구분지어진 실행단위이다. *

한 개의 프로세스 안에 다수의 스레드가 있을 때, 스레드는 code, data, heap 영역을 공통된 자원으로 사용한다. 공유되는 자원이 있기 때문에 컨텍스트 스위칭에서도 모든 것을 넣고 뺄 필요가 사라진다.

<예시> 악기 연주실을 대여해 이용한 후 다음 팀을 위해 자리를 비워줄 때, 컨텍스트 스위칭은 모든 악기와 장비를 다 빼내고 다음 팀이 다시 모든 악기와 장비를 들여오는 식이다. 하지만 스레드의 경우 설치된 악기와 장비는 그대로 두고, 직접 휴대하는 악기(기타)만 가지고 들어와 연결해 사용하는 식

Multi-process, Multi-thread

두 가지 모두 한 어플리케이션에 대한 처리방식의 일종이다. 멀티 프로세스는 두 사람이 각기 다른 공간에서 작업하는 것과 같다.

• 독립적으로 분리되어 있어 동기화가 필요없지만, 서로 대화하려면 각자 있던 회의실에서 나와서 대화(IPC)해야하므로 소모적이다.
• 구글 크롬의 멀티탭 기능은 heavy하지만, 한 탭이 문제가 생겨도 다른 탭들이 영향을 받지 않는 등 강력한 기능을 제공한다.

멀티 스레드는 두 사람이 같은 공간에서 작업하는 것과 같다.

• 통신이 용이하여 비용이 절감되지만, 긴밀하게 연결되어 있으므로 공유되는 자원 관리가 필요하다.
• 인터넷 익스플로어의 멀티탭 기능은 한 탭이 문제가 생기면 모든 탭이 종료된다.(지금은 안써서 모르겠지만 예전에는 그랬다..)

Multi-core

멀티코어는 멀티 프로세스, 멀티 스레드와 달리 하드웨어 측면에 가깝다.

동시성(Concurrency)

짧은 시간에 cpu의 시간을 분할해 여러 실행단위를 번갈아 실행하면서 마치 동시에 실행되는 것처럼 보이게 하는 것

병렬처리(Parallelism)

물리적으로 여러 코어를 두고 다수의 실행단위를 동시에 처리할 수 있게 하는 것

Reference

우아한테크코스 테코톡

MAC 주소 테이블

• 스위치 내부에는 MAC 주소 테이블 (혹은 브리지 테이블)이 있는데,

• 스위치의 포트 번호와 해당 포트에 연결된 컴퓨터의 MAC 주소가 등록된 데이터베이스와 같다.

MAC 주소 학습 기능

1. MAC 주소 테이블은 아무 것도 등록되어 있지 않은 상태에서
2. 컴퓨터에서 목적지 MAC 주소가 추가된 프레임 데이터를 전송하면
3. MAC 주소 테이블을 먼저 확인하는데, 이 때 출발지 MAC 주소가 등록되어 있지 않으면
4. MAC 주소를 포트 번호와 함께 등록한다.

플러딩(Flooding)

스위치가 수신 포트 이외의 모든 포트에서 데이터를 송신하는 것을 지칭.

1. 컴퓨터 1에서 스위치를 통해 컴퓨터 3으로 데이터를 전송할 때
2. 컴퓨터 1의 MAC 주소는 주소 학습 기능에 의해 테이블에 등록되지만,
3. 컴퓨터 3의 목적지 MAC 주소는 테이블에 등록되어 있지 않아 스위치는 송신 포트 1번을 제외한 모든 포트에 프레임을 전송한다.

MAC 주소 필터링

스위치가 MAC 주소를 기준으로 목적지를 선택하는 것.

1. 플러딩과 반대로 목적지 MAC 주소가 테이블에 등록되어 있다면,
2. 스위치는 컴퓨터 1에서 송신된 프레임을 컴퓨터 3에만 전송한다.

케이블 구조

전이중 통신과 반이중 통신

전이중 통신 : 데이터의 송수신이 동시에 일어남 (ex: 크로스 케이블, 스위치) 반이중 통신 : 회선 하나로 송신과 수신이 번갈아가며 일어남 (ex: 허브)

따라서 반이중 통신은 데이터를 동시에 전송 시 충돌이 발생한다.

충돌 도메인

충돌이 발생할 때 그 영향이 미치는 범위를 지칭 허브의 경우 허브에 연결되어 있는 컴퓨터 전체가 충돌 도메인이 된다

ARP(Address Resolution Protocol)

목적지 컴퓨터의 IP 주소를 이용해 MAC 주소를 찾는 프로토콜. IP 주소를 물리 주소인 MAC 주소로 변환하는데 사용한다.

출발지 컴퓨터가 목적지 주소를 모를 경우 이를 알아내기 위해 네트워크에 브로드캐스트를 하는데, 이를 ARP 요청(request)라 칭함.

이 요청에 대해 지정된 IP주소를 갖는 컴퓨터만 MAC주소를 응답으로 보내는데, 이를 ARP 응답(reply)라고 한다.

ARP 테이블이란 출발지 컴퓨터가 MAC 주소를 얻은 후에 메모리에 보관하는 MAC 주소와 IP 주소의 매핑 정보를 말한다.

IP 주소가 변경되면 MAC 주소도 함께 변경되므로 ARP 테이블은 보존기간을 ARP 캐시로 지정하여, 보존기간이 만료되면 삭제 후 다시 ARP 요청을 한다.

이더넷

규격

이더넷 규격 예시: 10BASE-T

10 : 통신속도(Mbps) Base : BASEBAND 전송 방식. (펄스 신호에 의한 디지털 전송 방식) T : 케이블 종류

역할

네트워크 장비 간 신호를 주고받는 규칙을 정한다. 그 중 일반적으로 많이 사용되는 것이 이더넷이다

이더넷

랜에서 데이터를 주고받기 위한 규칙이다. CSMA/CD 방식을 사용해 여러 컴퓨터가 동시에 데이터를 전송할 경우 충돌의 발생을 방지한다.

CSMA/CD

Carrier Sense Multiple Access with Collision Detection.

• CS : 데이터를 보내려고 하는 컴퓨터가 케이블에 신호가 흐르고 있는지 확인하는 규칙
• MA : 케이블에 데이터가 흐르고 있지 않으면 데이터를 보내는 규칙
• CD : 충돌이 발생하고 있는지 확인하는 규칙

MAC 주소의 구조

MAC 주소란?

Media Access Control Address. 비트열(0과 1)을 전기 신호로 변환하는 랜 카드가 제조될 때 새겨지는 물리 주소로, 전 세계에서 유일한 번호이다.

MAC 주소를 사용한 통신

데이터 링크계층에서 데이터에 붙이는 헤더는 이더넷 헤더와 트레일러이다.

이더넷 헤더의 구조

트레일러

FCS(Frame Check Sequence)라고도 한다. 데이터 전송 도중 오류가 발생하는지 확인하는 용도로 사용.

프레임

이더넷 헤더와 트레일러가 추가된 데이터를 뜻함. 네트워크를 통해 프레임이 전송됨.

컴퓨터와 네트워크 장비를 연결하고, 0과 1로 이루어진 데이터를 전기신호로 변환해줌 이 때 0과 1의 정보는 컴퓨터 내부의 랜 카드로 전송되고 랜 카드는 이를 전기 신호로 변환한다

네트워크 전송 매체: 케이블

전송매체

• 데이터가 흐르는 물리적인 선로

• 유선과 무선으로 나뉜다
  • 유선 : 트위스트 페어 케이블, 광케이블
  • 무선 : 라디오파, 마이크로파, 적외선

트위스트 페어 케이블(twisted pair cable)

UTP케이블과 STP 케이블로 나뉜다

UTP 케이블

• 구리 선 8개를 2개씩 꼬아 만든 4쌍의 전선
• 가격이 저렴하지만 실드로 보호되어 있지 않아 노이즈의 영향을 받기 쉽다

  STP 케이블

• 전선을 실드로 보호한 케이블
• 비싸지만 노이즈의 영향을 적게 받는다

다이렉트 케이블, 크로스 케이블

다이렉트 케이블

구리 선 8개를 같은 순서로 연결한 케이블 컴퓨터와 스위치 연결에 사용

크로스 케이블

1번과 2번 구리 선을 다른 쪽 커넥터의 3번과 6번에 연결한 케이블 컴퓨터 간 랜 케이블로 직접 연결 시 사용

리피터와 허브

리피터

전기 신호 전송 시 거리가 멀어지면 감쇠하는 신호를 증폭하여 전달하는 신호 중계 장치 일대일 통신만 가능

허브

리피터와 마찬가지로 전기 신호를 정형, 증폭하는 기능을 담당 여러 개의 포트를 가지고 있어 여러 대의 컴퓨터와 통신이 가능 수신한 데이터를 모든 포트로 전송하는 단점이 있다. 이를 보완한 것이 스위치이다

얼리슬로스란 회사를 택한 이유

기업협업을 앞두고 내가 회사를 선택하는데 적용한 기준은 이러했다. 첫째, 회사가 운영하고 있는 서비스와 관련이 있는 주제의 프로젝트일 것. 둘째, 현업에서 일하는 개발자의 삶이 어떠한지 직접 부딪혀보고 온전히 체험해볼 수 있을 것. ** 그리고 얼리슬로스를 택한 이유는 오직 딱 한 가지. 얼리슬로스라는 회사와 우리가 함께 하게 될 프로젝트에 대해 **정성껏 작성된 소개글 때문이었다. (나중에 알게 되었지만 대표님이 직접 작성하셨다고...) 해당글은 나의 니즈에 정확히 부합했고, 무엇보다도 전문 PM분과 일해볼 수 있다는 기대감에 나는 고민없이 얼리슬로스에 지원하게 되었다.

프로젝트를 수행하며 느낀 점

기획을 완벽하게 이해하는건 생각보다 어렵다

생애 처음으로 개발자로서 프로젝트 기획서를 받아보고 이후 미팅에도 참여하면서 느낀 점은 기획을 완벽하게 이해하는 것이 생각보다 어렵다는 것이었다. 이전 위코드에서 진행했던 프로젝트에서 직접 웹사이트 기능을 정의, 기획하고 구현할 때 기획 상의 miss로 인해 시간적 여유가 있었음에도 불구하고 비회원용 장바구니를 구현하지 못한 적이 있었다. 과거의 실수에서 배운 점을 토대로 기획서를 찬찬히 뜯어보았고, 프로젝트의 기반이 되는 얼리슬로스의 서비스 또한 직접 사용해보고 의문점은 PM분과 직접 소통하며 기획을 완벽히 이해하고자 노력하였다.

하지만.. ** 개발에 착수하게 되면서 디테일한 부분에서 1) 기획서에서 언급되지 않아 구체적인 논의가 필요했거나 2) 내가 기획서를 잘못 이해했거나 3) 둘 다 해당하는 경우가 발생하기 시작했다! 단언컨대 이번 프로젝트에서 PM분을 가장 귀찮게 한 건 나라고 자신있게 말할 수 있을 정도로, 궁금한 점이 생길 때마다 정리하여 질문하고, 컨펌받고, 때로는 협의하면서 **개발의 방향성이 기획과 일치하도록 지속적으로 수정해나갔다. 그 결과 PM분한테서 프로젝트에 대한 이해도가 굉장히 높다는 긍정적인 피드백을 받는 수준까지 올라가게 되었고, 팀원들 사이에서도 각자 프로젝트에 대한 이해도가 달라 의견이 분분할 때에 PM분을 대신하여 설명하고 방향을 제시할 수 있었던 점이 고무적이었다. 이 자리를 빌어 저의 계속되는 질문공세에도 성실하고 친절하게 답변해주신 PM분께 감사를 표합니다. ( ͡• ͜ʖ ͡• )

누구나 개발일정을 지키고 싶다. Blocker를 만나기 전까진...

프로젝트에 있어 핵심이라 할 수 있는 POP3를 통한 이메일 파싱을 담당하게 되면서 매순간마다 문제에 부딪히고 해결하는 과정의 연속을 경험했다. 내가 구현한 내용을 포인트 별로 정리하고 나름대로 느낀 점을 토대로 개발일지를 작성해보았다.

1. POP3 이메일 sync하기
   • 처음이라 다소 생소했던 POP3 개념에 대해 학습하고 인터넷에 올라온 여러 개의 예제 코드를 분석하였다. 예제 코드들을 분석할 때 매줄마다 print를 찍어가며 각 줄이 어떤 의미를 갖고 어떤 용도로 사용되었는지 파악하고나니, 불필요한 부분은 제하고 효율 좋게 로직을 구현할 수 있었다.
2. 이메일 파싱
   • 텍스트 추출에는 정규표현식이 최고인 것 같다. 일일히 iterate하지 않고 조건만 잘 설정해주면 되고 성능도 뛰어나다.
   • regex101.com*은 앞으로도 매우 자주 방문할 웹사이트가 될 것 같다. 강추! 또 강추!
3. 추출한 텍스트를 데이터베이스에 저장
4. 위 과정을 일정 시간 간격을 두고 반복 (예: 10분)
   • time 모듈에서 sleep 메서드로 구현했다. __name__ 내부에 위치시켜 해당 함수가 호출되면 POP3 서버에서 이메일 sync → 정규표현식으로 이메일 파싱 → 파싱된 내용을 변수에 담아 django ORM으로 데이터베이스에 저장 → 600초 타이머 시작 → 앞선 과정 반복이 되게끔 구현하였다
5. Blocker 발생
   • POP3의 원리에 의하면 POP3 서버로부터 메일을 다운 받아 열게되면 서버에서는 메일을 삭제한다.
   • 따라서 10분으로 설정한 타이머가 돌아가는 동안 새로 수신된 이메일들만 다음 회차에서 로직이 실행될 때 파싱되어 데이터베이스에 저장될 거라 생각했다.
   • 그러나 로직을 반복해서 호출, 실행할 때마다 이미 읽어들인 메일들이 남아있어 데이터베이스에 계속 중복으로 저장이 되고 있었다.
   6. Blocker 해결 과정
      • 공식문서에서 pop3의 dele() 메서드를 발견하였고, 사용해 보았지만 blocker 해결이 되지 않았다.
      • 그러던 와중에 역시 공식문서에서 POP3로부터 연결을 종료하여야 한다는 구문이 눈에 띄었다.
      • quit() 메서드를 사용해 POP3 서버에 연결했던 connection을 끊었다가 재로그인하여 메일 파싱을 시도해보니 Blocker가 해결되었음을 확인!
      • 기존의 로직은 POP3 접속 상태를 유지한 상태에서 계속 메일을 불러오는 방식이었다면, 새로운 로직은 POP3 접속 → 이메일 파싱 → DB 저장 → POP3 연결 해제 → 600초 후 로그인 → 반복으로 수정

Blocker를 해결하는데에 나는 장장 이틀 가량의 시간을 모니터와 씨름하면서 보내야했다. 프론트엔드 측에 빨리 API를 구현해줘야한다는 생각에 압도되어 때때로 조바심이 나기도 했지만, 최대한 이런 스트레스를 긍정적으로 승화시키고자 노력했다. 특히 나는 얼리슬로스 사옥 옥상에 올라가 시원한 겨울 바람을 쐐며 정신을 환기시키는 걸 유독 좋아했는데, 실제로 Blocker를 해결한 단서도 사옥 옥상에서 핸드폰으로 검색하다가 발견했었다. (광화문 광장 + 경복궁 + 청와대 + 인왕산이 한눈에 들어오는 전경은 정말 죽여준다...)

지난 한 달을 회상하며...

얼리슬로스에서 보낸 한 달이라는 시간은 감사함이 넘치는 시간이었다. 긍정적인 분위기에서 열정적인 마인드로 일하는 사람들. 친밀하지만 또 서로를 존중하는 조직문화. 기획 미팅 때 개발팀 전원이 참석해 모두가 동일한 이해도를 갖고 개발을 시작하기 위해 열띤 토론을 펼치며 소통하는 개발문화 등등... 앞으로 내가 일하게 될 회사를 정함에 있어 얼리슬로스는 여러모로 좋은 기준이 될 수 있을 거라는 확신이 들었다.

또한 개발자로서의 성장에 있어서도 얼리슬로스는 크나큰 도움이 되었다. 그동안 내 마음 한구석에는 "미숙하지만 개발자로서 첫 발을 내딛게 되는건데 과연 잘할 수 있을까?" 라는 의문이 남아있었고, 또 그 해답을 이 곳에서 찾을 수 있었다. 얼리슬로스의 개발자 분들께서는 나의 성장을 위해 여러모로 가이드를 제시해 주셨지만 결코 정답을 던져주진 않으셨다. 그게 절대로 도움이 될 순 없기 때문이다. 주어진 가이드를 토대로 나의 역량을 총동원한 결과, 나는 온전히 나의 힘으로 프로젝트가 기획한 1, 2차 목표를 모두 달성할 수 있었다.

한 가지 유일하게 아쉬운 점을 꼽으라고 한다면 아직 개발자로서 미숙한 나로 인해 얼리슬로스 개발팀장이신 Z님께 많은 걸 물어보고 또 얻어가지 못했던 것. (실제로 Z님은 프로젝트 개발 외에도 이거 공부하고 정리한 거 제출하세요~ 하면서 가볍게 툭툭 던져주셨는데, 정말정말 유익한 것들 뿐이었다) 그렇지만 얼리슬로스는 나에게 한없이 좋은 기억으로 남아있기에 앞으로도 지속적으로 관계를 이어나가고 싶다.

*와신상담(臥薪嘗膽). *장작 위에 누워 쓴 쓸개를 맛보며 목표를 이루기 위해 노력함을 일컫는 사자성어다. 기업협업은 나에게 내가 아직 모든 방면에서 얼마나 부족하고 갈 길이 먼지 뼈저리게 느끼게 해주는 자극제가 되었다. 이를 동기 삼아 앞으로의 취준 그리고 그 이후의 과정 속에서도 끊임없이 나를 채찍질하며 성장하는 그런 개발자가 되어야겠다고 다짐해본다.

컴퓨터 간 정보를 주고받을 때의 통신 방법에 대한 규칙 혹은 표준

OSI 모델 : Open System Interconnection

국제표준화기구(ISO)가 정의한 국제 통신 표준 규약

OSI 모델의 7계층

데이터 송신 측은 "응-표-세-전-네-데-물" 순서로, 수신 측은 그 역순으로 계층을 거쳐 데이터를 주고 받는다

TCP/IP 모델

기존 OSI 모델에서 현재는 TCP/IP 모델을 사용함

• 응용 계층 (응용+표현+세션)
• 전송 계층
• 인터넷 계층 (네트워크)
• 네트워크 접속 계층 (데이터 링크 + 물리)

로 구성되어 있다

캡슐화/역캡슐화

캡슐화

컴퓨터 통신에서 상위 계층의 통신 프로토콜 정보(헤더)를 데이터에 추가하여 하위 계층으로 전송하는 기술

1) 응용 계층 : 웹 사이트에 접속하기 위한 요청 데이터를 만든다 2) 전송 계층 : 신뢰가능한 통신이 이루어지도록 전송 계층 헤더를 붙인다 3) 네트워크 계층 : 다른 네트워크와 통신을 위해 네트워크 계층 헤더를 추가한다 4) 데이터 링크 계층 : 물리적인 통신 채널 연결을 위해 데이터 링크 계층 헤더와 트레일러를 추가한다 5) 데이터는 최종적으로 전기 신호로 변환되어 수신 측으로 이동한다

역캡슐화

상위 계층에 통신 프로토콜에서 하위 계층에서 추가한 정보와 데이터를 분리하는 기술

1)-5)의 역순으로 헤더와 트레일러를 제거하여 최종적으로 웹 사이트 요청 데이터를 전달 받는다

헤더

저장 혹은 전송되는 데이터의 맨 앞에 위치하는 추가적인 정보 데이터 데이터의 내용이나 성격을 식별 또는 제어한다

컴퓨터를 두 대 이상 연결하여 상호 간 데이터 전송이 가능한 통신망

인터넷

TCP/IP 프로토콜을 사용하는 세계 최대 규모의 네트워크. 전 세계의 컴퓨터를 연결하는 거대한 통신망.

패킷

네트워크 통신에 사용되는 분할된 데이터 조각. 네트워크에서 전송하는 데이터의 기본 단위.

비트

정보의 최소 단위. 0과 1로 나타냄.

바이트

컴퓨터의 정보량 단위. 8비트 = 1바이트

Local Area Network(LAN)

가까운 거리 내 특정한 지역을 범위로 하는 네트워크. ex) 집, 사무실, 학교 등

Wide Area Network(WAN)

랜을 하나로 묶는 거대한 네트워크. 특정 도시, 국가, 대륙 같이 넓은 범위를 연결함.

Internet Service Provider(ISP)

인터넷 접속수단을 제공하는 사업자. ex) KT, U+, SK브로드밴드

서버

컴퓨터 네트워크에서 다른 컴퓨터에 서비스를 제공하기 위한 컴퓨터 또는 프로그램.

• 클라이언트 : 서버에서 보내주는 정보 서비스를 받거나 요구하는 측의 컴퓨터 또는 프로그램 (서버 <=> 클라이언트)

DeMilitarized Zone(DMZ)

네트워크 구성 중 외부 네트워크와 내부 네트워크 사이에 위치한 중간 지대(서브넷). 네트워크의 보안 영역으로써 외부에서 내부 네트워크로 침투하는 공격을 막는 역할을 담당.

Class

설계도 집단에 속하는 속성과 행위를 변수와 메소드로 정의한 것

Instance(object)

** 설계도 **를 토대로 실제 메모리에 할당된 것. 실제 프로그램에서 사용되는 데이터

하나의 class에서 생성된 복수의 instance는 각각 ** 독립적 **이다

OOP 원칙

캡슐화 (Encapsulation)

객체(object)의 속성과 행위를 하나로 묶고, 구현된 일부를 은닉

추상화 (Abstraction)

불필요한 정보는 숨기고, 필요한 정보만 표현

상속 (Inheritance)

• 부모 class의 속성과 행위를 그대로 상속받되 부분수정이 가능하다

• 자식 class만의 추가적인 속성과 행위를 정의할 수 있다

다형성 (Polymorphism)

여러 형태를 가질 수 있다 (예: 기계부품)

가상환경 Venv

왜 필요한가 프로젝트 별로 사용하는 패키지의 버전이 항상 같을 수 없으므로, 각 프로젝트마다 가상환경을 구성해 그 안에 패키지들을 분리하여 설치, 관리

venv

파이썬 3.5부터 지원되는 가볍게 쓰기 좋은 가상환경입니다

가상환경 생성

1. 터미널 상에서 프로젝트 디렉토리로 이동합니다
2. python -m venv .venv

• .venv라는 이름의 가상환경을 프로젝트 디렉토리 안에 생성하는 명령어입니다
• 프로젝트 디렉토리를 확인해보면 .venv 라는 폴더가 생성되었음을 확인할 수 있습니다

가상환경 활성화 프로젝트 디렉토리 내에서 다음 명령어를 입력합니다 source ./.venv/bin/activate 비활성화는 deactivate 를 입력합니다.

VScode 추가설정

1. 터미널에서 which python을 입력하여 뜨는 결과창을 복사합니다
2. VScode 좌측 하단에 다음과 같은 버튼을 클릭합니다
3. Select interpreter 창이 팝업되는데, 여기에 1번 단계에서 복사한 파이썬 경로를 붙여넣기해 입력해줍니다.

이후 개발을 진행하며 설치하는 모든 패키지들은 가상환경이 활성화된 상태에서 설치를 진행합니다

Linter와 Formatter

왜 필요한가 python에는 PEP8이라는 개발자 간의 약속된 코드 컨벤션이 있습니다 이러한 컨벤션을 준수하여 협업을 원활하게 함과 동시에 가독성 또한 높이기 위해 Linter와 Formatter를 사용합니다

Formatter

1. VScode에서 command + , 를 입력합니다
2. 설정 창에서 format을 검색하여 다음과 같이 설정합니다
3. 이후 작성한 코드를 저장할 시 창이 하나 팝업되는데, 여기서 필자는 use black 을 눌러 black이라는 formatter를 사용하겠습니다

Linter

1. VScode에서 command + shift + P를 입력해 설정창을 띄웁니다
2. Python: Select Linter를 입력합니다
3. 여기서 필자는 flake8을 사용하겠습니다. 설치가 되어있지 않다면 추가로 뜨는 팝업 창에서 설치를 진행합니다

def gcd(n, m):
 if max(n, m) % min(n, m) == 0:
     return min(n, m)
 else:
     return gcd(min(n,m), max(n, m)%min(n, m))

def solution(n, m): return [gcd(n, m), n*m/gcd(n, m)]

```

• 오늘의 에러
  • 최대공약수(gcd)를 재귀호출하는 줄에서 첫번째 인수로 min(n, m)이 아닌 max(n, m)을 넣어 일부 문제에서 오답이 나왔다. 유클리드 호제법은 두 수가 서로 나누어 떨어지지 않을 때 그 나머지와 작은 수로 다시 나누기를 반복함을 기억하자

def is_valid(string):
    left = ['(', '{', '[']
    right = [')', '}', ']']
    stack = []

    for i in string:
        if i in left:
            stack.append(i)
    elif i in right:
            if len(stack) == 0:  #괄호는 반드시 왼쪽에서 열리므로
        return False
        if left.index(stack.pop()) != right.index(i):
                return False
    return len(stack) == 0    #stack이 비워졌다 = 검사통과

• 인수(argument): 함수를 호출할 때 전달되는 필요한 정보

• 매개변수(parameter): 함수 헤더에 정의된, 함수 호출 시 인수가 전달되는 곳

• 디폴트 인수(default argument): 함수 호출 시 인수가 생략되면 기본 값으로 사용되는 인수

• 키워드 인수(keyword argument): 매개변수 이름에 직접 값을 지정하여 호출하는 인수.

  • 키워드 인수를 사용하면 함수 호출 시 인수의 순서를 변경 가능하다.

✔️ 변수의 범위

1. 내장 범위(built-in scope) : 언어의 일부로 정의된 변수와 리터럴들. 프로그램의 어디에서나 쓸 수 있다.
2. 전역 범위(global scope) : 소스 파일 맨 위(함수나 클래스 밖)에서 생성된 변수. 프로그램 어디에서나 쓸 수 있다.
3. 지역 범위(local scope) : 함수나 클래스의 멤버함수(메소드) 안에서 생성된 변수. 그 안에서만 사용. ex) 함수의 매개변수
4. 인스턴스 범위(instance scope) : 클래스의 데이터 멤버로 생성된 변수들. 해당 클래스 내 다른 함수들에서 쓸 수 있다.

✔️ 모듈

from module_A import * → 모듈 A의 모든 식별자를 사용 from module_B import a, b → 모듈 B의 a, b 식별자를 사용 많은 모듈을 사용할 경우 식별자가 중복될 수 있으므로 식별자는 가급적 선택적으로 사용하자.

✔️ 클래스

클래스를 실체화(instance)한 것이 객체(object)이다. 클래스의 속성(attribute)은 메소드(method)에 의해 정의된다 * 메소드: 클래스 안의 함수를 지칭

• __init__ 메소드(생성자)

  • 클래스가 실체화될 때 자동으로 호출된다.
  • 객체에서 사용할 데이터를 정의하고 초기화하는 역할.
  • 모든 메소드는 첫 번째 인수(argument)로 항상 self를 받아주며, 여기서의 self는 실체화된 객체(object)를 가리킨다.

    class Car:
      def __init__(self, color, speed=0):    #생성자 메소드
           self.color = color           #데이터 멤버 color 정의 및 초기화
           self.speed = speed           #데이터 멤버 speed 정의 및 초기화

    • self가 붙지 않은 모든 변수들은 멤버 변수가 아닌 지역변수 혹은 전역변수이다.

• 객체 생성하기

  car1 = Car('black', 0)    # 검정색, 속도 0
  car2 = Car('red', 120)    # 빨간색, 속도 120
  car3 = Car('green')        # 초록색, 속도 0(디폴트 인수)

• 객체에 대한 연산

   class Car:
       # ...
       def speedUp(self) : self.speed += 10
       def speedDown(self) : self.speed -= 10

   car2.speedDown()    #car2 속도 10 감속
   car3.speedUp()        #car3 속도 10 가속
  
  ### 연산자 중복(operator overloading)
  >- 사용자가 의한 클래스의 객체들에게 표준 연산자를 적용 가능하다
  ```python
  def isEqual(self, carB):
     if self.color == carB.color:
         return True
     else: return False

  car4 = Car('red')
  print(car1.isEqual(car4))    # False
  print(car2.isEqual(car4))    # True

  • 자동차 클래스 내에서 __eq__라는 메소드를 정의하면 ==연산자로 바로 비교 가능함

    def __eq__(self, carB):
     return self.color == carB.color

  • Car 객체 문자열(str)로 변환하기 : __str__메소드

    def __str__(self):
     return "color = %s, speed = %d" % (self.color, self.speed)
    print("[car3]", car3)        # [car3] color = green, speed = 0

  상속

  기존에 정의된 클래스로부터 멤버를 추가해 새로운 클래스를 간편하게 만드는 것을 지칭 ** 기본(base) 클래스 ** : 부모 클래스 ** 파생(derived) 클래스 ** : 자식 클래스

  • 클래스의 상속

  • Car 클래스를 상속하는 SuperCar 클래스
  • color와 speed는 *다시 정의하지 않음 *(self.color, self.speed는 부모 클래스의 생성자 호출로 해결)
  • 자식 클래스에서 부모를 부르는 함수 super()

    class SuperCar(Car):    #Car 상속
    def __init__(self, color, speed=0, Turbo=True):
       super().__init__(color, speed)    #부모(Car) 클래스의 생성자 호출
       self.Turbo = Turbo    #터보모드 변수 생성 및 초기화

• 자식 클래스 객체 생성하기

   s1 = SuperCar("Gold", 0, True)    #골드, 속도 0, 터보모드 on
   s2 = SuperCar("White", 0, False)    #흰색, 속도 0, 터보모드 off

• 메소드의 재정의(overriding)

    def setTurbo(self, Turbo=True):    #터보모드를 on/off하는 메소드
        self.Turbo= Turbo

  • 터보 모드가 on이면 급속히 가속(+50)한다고 가정하면, 부모의 speedUp()함수는 터보 모드가 꺼진 경우로 볼 수 있다.

    def speedUp(self):    #SuperCar의 SpeedUp 메소드 재정의
      if self.Turbo:
          self.speed += 50
      else:
          super().speedUp()  #일반 자동차의 가속 메소드

  • speedUp() 함수는 부모 클래스에 이미 정의되어 있지만, 자식에서 내용을 변경해 다시 재정의(overriding)하였다.

** 중요 ** 장고의 manage.py runserver 명령어는 단일 쓰레드로 동작하여 개발및 테스트로는 적당하다. 그러나 request가 많은 운영환경에서는 적합하지 않으므로 멀티 스레드를 지원하는 gunicorn을 사용한다

WAS(Web Application Server) gunicorn

장고의 웹 애플리케이션을 돌려주는 역할

설치하기

• pip install gunicorn

서버 가동하기

• nohup gunicorn --bind=0.0.0.0:8000 app이름.wsgi &
  • ssh 세션이 끊어져도 서버를 동작시키기 위해 nohup 커맨드를 사용
• ps -ef | grep python
  • 서버가 백그라운드에서 동작하고 있는지 확인하는 명령어. pid를 확인 가능하다
    • kill pid
    • EC2에서 계속 동작하고 있는 서버를 종료시키는 명령어

• 그룹 패밀리 : mysql5.7 (기획된 버젼에 맞게)
• 그룹 이름 : 아무거나
• 설명 : 그냥 설명

생성된 파라미터 그룹 선택 후 편집

• 파라미터 필터링 > character_set 검색 > 항목들 값에 utf8mb4 설정
  • utf8mb4 는 이모티콘 저장이 가능하다(utf8과의 차이점)
  • 파라미터 필터링 > collate 검색 > collation_connection은 utf8mb4_general_ci, _server는 utf8mb4_unicode_ci로 설정

데이터베이스 생성

• 표준 생성 > 엔진 옵션: MySQL > 버전은 기본값? > 템플릿: 프리 티어

• DB 인스턴스 식별자 : 임의로 생성(ex: test_database)

• 자격증명 설정: 마스터 사용자 이름(root), 마스터 암호

• DB 인스턴스 크기 : 프리티어는 선택권이 없다

• 스토리지

  • 범용, 20GB, 스토리지 자동 조정 활성화 uncheck(20GB 다 차면 자동으로 용량 올려주는 기능)

• 연결 : Default VPC

• 추가 연결 구성

  • 서브넷 그룹 default-vpc-d644bcbc
  • 퍼블릿 액세스 가능 : 예
  • VPC 보안 그룹 : 새로 생성 > 보안 그룹 이름(test_rules), 가용영역(ap-northeast-2a), 데이터베이스 포트(3306)
    • 3306는 MySQL의 기본 통신 포트
    • 데이터베이스 인증 > 암호 인증

• 추가 구성

  • 초기 데이터베이스 이름(임의)
  • DB 파라미터 그룹 ( 아까 생성한 거!!!!)
  • 백업 : 자동백업 활성화 uncheck
  • 모니터링 uncheck
  • 삭제 방지 활성화 check

• 생성

데이터베이스

• 보안 그룹 설정
  • inbound : 나한테 들어오는 통신(특정 ip로만 DB에 접근 가능하게 설정하는 것)
  • outbound : 내가 내보내는 통신
    • 보안그룹 정책 편집
    • 인바운드 규칙 편집 : 무관으로 설정하면 전 세계 어디서든 나의 MySQL root 계정과 비밀번호를 가지고 있으면 접속할 수 있다.
    • EC2와 RDS 연동 시 EC2 서버의 ip도 등록해줘야 한다!!
• 엔드포인트

터미널

• mysql -h RDS 엔드포인트 -u root -p
  • -h는 호스트를 의미
  • AWS 상의 데이터 베스로 접속
• create database gamsung character set utf8mb4 collate utf8mb4_general_ci;
  • gamsung 이라는 DB 생성
• RDS 종료(exit)
• mysqldump -u root -p gamsung > gamsung.sql
  • gamsung이라는 DB의 데이터를 gamsung.sql이라는 파일로 dump 뜬 것
• mysqldump -h RDS 엔드포인트 -u root -p siren < siren.sql
  • 이전 단계에서 dump한 데이터를 AWS RDS상에 생성된 gamsung이라는 DB에 밀어넣은 것

✔️ 식별자

어떤 대상을 유일하게 구별할 수 있는 이름을 지칭

• 캐멀 케이스 : 대문자로 시작 → ** 클래스 **
• 스네이크 케이스 : 소문자로 시작 → ** 함수 *(괄호 x), * 변수 **(괄호 o)

✔️ 리터럴(literal)과 자료형(data type)

리터럴: 'asdf'와 같이 문자열 그 자체가 값을 나타내는 것을 의미 자료형: 리터럴의 형태를 의미

✔️ 변수

데이터를 담는 공간 C 언어는 int number와 같이 사전에 변수를 선언하고 메모리 공간을 확보 후 사용한다 그러나 파이썬에서는 number=132에서 변수 number가 생성되고, 그 변수가 리터럴 132에 의해 만들어진 정수(int) 객체를 참조하는 형식이다

입출력 함수

✔️ input()

input() 함수는 항상 결과가 ** 문자열 **이다.

✔️ print()

print 함수는 호출 때마다 라인피드(line feed)가 발생한다. 이를 방지하려면 키워드 인수인 end=" "를 뒤에 붙여주면 된다. 예) print("hello", end=" ")

컬렉션 자료형

✔️ 문자열

• 두 개의 문자열을 + 연산자를 써서 연결할 수 있다

• 문자열의 각 문자들을 인덱스 연산자로 접근할 수 있다
• 문자열에 %를 사용해 포맷된 문자열을 만들 수 있다
  • 예)msg = "취미=%s, 나이=%d, 학점=%f" % (hobby, age, score)
• 참고할 만한 메소드
  • s.strip([chars\]) 공백이나 선택된 문자 chars를 문자열에서 제거
  • s.split([separator], [chars]) 공백이나 separator로 주어진 문자로 문자열을 분리함. 문자열의 리스트를 반환함

✔️ 리스트

• 리스트의 메소드

• a.append(item)
• a.extend(b)
• a.count(item)
• a.index(item, [시작], [종료]) → 리스트에서 항목 item을 찾아 가장 작은 인덱스를 반환. 탐색의 시작/종료 위치 지정도 가능함.
• a.insert(position, item)
• a.pop(position)
• a.remove(item)
• a.reverse()
• a.sort([key], [reverse]) → 항목을 정렬

✔️ 튜플

• 리스트와 동일하지만, 크기나 값을 변경할 수 없다

• 따라서 메모리 측면에서 효율적이다

✔️ 딕셔너리

• map 이라는 사전에 항목 추가하기

• map['key'] = 'value'

• map.update({'key1' : 'value1', 'key2' : 'value2'})

  • in 연산자로 사전 검사하기
  • print('key' in map)
  • in 연산자는 리스트, 튜플에서 순차탐색을 이용하지만, 딕셔너리에서는 해싱을 참조한다

  ✔️ 집합(set)

  • 리스트와의 차이점

  • 원소 중복 허용 x
  • 순서가 없다

자료들을 정리하고 조직화하는 구조를 지칭

• 단순 자료구조
• 복합 자료구조(ex: 컨테이너)
  • 선형(linear) 자료구조 : 항목들을 ** 순서적 **으로 나열하여 저장 ex: 스택, 큐, 덱, 리스트
    • 비선형(non-linear) 자료구조 : 트리(계층 구조), 힙(우선순위 큐), 이진 탐색트리 & AVL트리(탐색), 그래프(복잡한 연결관계 표현)

✓ 알고리즘

문제를 해결하는 절차

• 알고리즘 기술 방법
  • 자연어(영어, 한국어) : 편리, 의미가 애매
  • ** 흐름도(flow chart) ** : 알고리즘이 복잡하면 보기 어려움
  • ** 유사 코드(pseudo-code) ** : 자연어보단 체계적, 프로그래밍 언어보단 덜 엄격함
  • 프로그래밍 언어(C, Java, Python)

✓ 추상 자료형(Abstract Data Type, ADT)

추상적으로 정의한 자료형

• 어떤 자료들과 자료에 가해지는 연산들을 구체적으로 표시
  • 데이터: 가방(Bag)
  • 연산: insert(), remove(), contains(), count(), etc...
    • ADT는 구현에 관한 세부사항을 감추고 사용자에게 간단한 인터페이스만 제공 ⚡️ Why? 사용자는 굳이 내부를 뜯어보고 구현원리를 알 필요가 X → 정보은닉의 기본 개념

1. Sprint

• 오늘의 집 커뮤니티에 중점을 두고 계획

• 백엔드 필수 구현사항

  • 소셜 로그인
  • 커뮤니티(POST)
  • 커뮤니티(GET)

    2. Daily Standup

    

    3. Retrospective

• 한 주간 진행/완료사항 공유

• Blocker 발생 시 적극적인 공유로 일정 조율을 통해 유연하게 대처

• 차주 진행계획 공유

Trello

Blocker

• AWS S3 작업 간 IAM유저에게 발급되는 Secret Access Key에 문제가 있어 문제를 해결하기까지 이틀 가량 소요
• git rebase 과정 중에 VSCode 상에서 표시되는 변경내용을 잘못 덮어씌워 브랜치 초기화하여 해결

잘한 점

• 프론트-백 사이 원활한 소통을 위해 쉬운 단어들 위주로 알기 쉽게 풀어 설명하며 소통한 점
• 기획 단계부터 프론트와 백 모두 충분한 상의를 거쳐 합의점을 도출한 것 + Figma와 같은 별도의 툴을 사용해 해당 내용을 가시화한 것
• 기능정의서를 통해 구현해야할 분야와 기능을 계층으로 분리하여 한 눈에 알아볼 수 있게 한 것

이번 프로젝트에서 맡게된 역할 중 AWS S3 스토리지를 생성 및 액세스하려는 과정 중에 겪은 오류이다. 공식 문서대로 모든 것을 세팅하고 이미지를 업로드하려고 보니 SignatureDoesNotMatch 오류를 만났다.

이 오류로 인해 프로젝트 개발기간 중 하루+@를 온전히 troubleshooting으로 날리게 되는데....

원인

문제의 원인은 정말 황당하게도 AWS S3를 사용하기 위해 등록한 IAM 사용자에게 AWS가 발급해주는 Secret Access Key에 있었다. AWS에서 IAM유저를 생성하면 발급해주는 Secret Access Key에 '/'나 '%'와 같은 특수문자가 들어있을 경우에 해당 오류가 발생한다는 것이다. AWS에 등록한 유저에게 AWS가 발급해주는 키에 문제가 있다니 정말 상상도 못했다..

해결책

해결책은 간단하다. 그냥 IAM유저를 계속 만들어내면 된다. 언제까지? Secret Access Key에 특수문자가 없을 때까지 ㅎㅎ

마치며...

이번 에러는 가뜩이나 촉박한 프로젝트 개발 일정 중 나로 하여금 가장 오랜 기간동안 블로커로 작용했다. 하나 둘 결과물을 만들어내는 팀원들을 보며 조바심이 들기 시작했고, 결국 쫓기듯이 디버깅을 하기 시작했다.

그럼에도 문제를 해결할 수 없었던 이유는 코드의 어느 한 부분을 고쳤을 때 또다른 에러를 마주하게 될 경우, 새롭게 발생하는 에러를 해결하는 쪽으로 깊게 파고들지 못하고 다시 원점으로 회귀해 코드의 다른 부분을 수정하는 방향으로 나아갔기 때문이었다. 무릇 개발자란 에러를 두려워하지 않고 경우에 따라선 깊이 탐색하는 능력 또한 요구된다고 느꼈다.

아울러 이틀 넘게 그저 내 코드에게 문제가 있을거라 생각하며 애꿎은 코드만 뜯어고치고 있던 내게 함께 둘러앉아 문제의 원인과 그 해결책까지 찾아준 동기 아영님과 그 해결법을 기록해둔 인터넷 어느 한 블로그의 이름모를 주인분께 압도적 감사와 무한한 존경을 보냅니다...

Reference https://lynlab.co.kr/blog/52

코드를 작성 후 기대하는 결과에 도달하는지 혹은 그렇지 못하는지 확인하는 절차

Build product Right vs Build Right product

Why Bother to Test?

• 결함의 식별 및 사전 방지를 통한 시간 절약
• 테스트 중 얻은 인사이트를 바탕으로 구조 및 품질 개선
• 확장성을 고려한 개발이 가능

Manual Testing

사람이 직접 테스트하는 방식

• 불안정성이 항상 존재
• 인력소모와 비용이 크다
• 테스트 속도가 느리다

Automation Testing

자동화 방식

• 안정성 향상
• 인력을 감축하고 비용이 감소한다
• 테스트 속도가 빠르다
• 확장성이 높다

시스템 테스트 전략 3가지

End-to-End(E2E) Tests

전체적인 Flow(ex. 브라우저 상 클릭 후 생기는 변화에 대한 검증)

Integration Tests(통합 테스트)

모듈 간의 호환성 검증(ex. 웹페이지 혹은 Postman을 통한 API 호출 시 올바르게 동작하는지 확인)

Unit Tests(단위 테스트)

독립적으로 진행되는 가장 작은 단위의 테스트(ex. 하나의 기능 또는 메소드)

• 테스트의 복잡도는 단위 > 통합 > E2E 순으로 증가한다
• 구글에서 제안하는 단위, 통합, E2E 테스트의 비율은 각각 7:2:1이다

단위 테스트 작성의 필요성

• 문제를 빠르게 파악할 수 있다
• 시간과 비용 절감
• 리팩토링 시 안정성 확보 (테스트 코드만 봐도 코드의 목적과 용도를 알 수 있다)
• 코드에 대한 문서로 활용

select_related, prefetch_related로 N+1 문제를 해결

Lazy Loading(지연 로딩)

프로그래밍 전반적으로 있는 개념(장고에만 있지 않음) 함수를 호출했다고 해서 바로 응답하는 것이 아닌, 필요한 때에 값을 리턴해 줌

queryset = Publisher.objects.all() all 함수를 실행해도 쿼리를 호출하지 않는다. 실제로 queryset은 query라는 속성 안에 SQL문을 저장해놓는다.

queryset2 = queryset.exclude(id=2).annotate(count=Count('book')) queryset2도 마찬가지로 queryset에 계속 chainning하여 SQL문을 저장한다.

실제로 db를 호출하는 시점은 slicing, iteration, repr(), len(), list(), book()... 등을 사용했을 때이다

원하는 색깔을 얻기 위해 파레트에 주어진 물감을 섞어두었다가 도화지에 칠하는 느낌..?

Caching(캐싱)

list(queryset2) queryset2[0] queryset2[0] queryset2[0] 의 코드는 사실 db를 1번만 호출한다

why? 장고의 내부적 기능인 "캐싱"이기 때문

for문을 돌리고 난 뒤에는 장고가 db를 호출하면서 _result_cache에 저장해서 그 결과를 활용하는 것을 볼 수 있다. 추가로 len(), list() 등등의 경우처럼 쿼리셋이 평가될 때 캐싱을 활용할 수 있다.

반대로 queryset2[0] queryset2[0] queryset2[0] list(queryset2) 위의 코드는 db를 4번 호출한다

Select_Related

N+1 Problems(정참조)

queryset=Book.objects.all() books =[] for book in queryset: books.append({ 'id': book.id, 'name': book.name, 'publisher': book.publisher.name })

해결방법

queryset = Book.objects.all().select_related("publisher") books = [] for book in queryset:

정참조 관계에 있는 데이터는 select_related를 활용하자

Prefetch_Related

N+1 Problems(역참조)

queryset=Store.objects.all() stores =[] for store in queryset: stores.append({ 'id': store.id, 'name': store.name, 'books': book })

해결방법

queryset = Store.objects.all().prefetch_related("books")