• 클라우드 환경에서 HTTP API를 통해 통신하는것이 대부분

이때, 응답 상태 코드를 통해 성공/실패 여부를 확인할수 있으므로 API 문서 작성할때 필수로 알아야 하는것

100번대 : 정보 확인 200번대 : 통신 성공 300번대 : 리다이렉트 400번대 : 클라이언트오류 500번대 : 서버오류

200번대 : 통신 성공 상태코드 이름 의미 200 OK 요청 성공(GET) 201 Create 생성 성공(POST) 202 Accepted 요청 접수O, 리소스 처리X 204 No Contents 요청 성공O, 내용 없음

300번대 : 리다이렉트 상태코드 이름 의미 300 Multiple Choice 요청 URI에 여러 리소스가 존재 301 Move Permanently 요청 URI가 새 위치로 옮겨감 304 Not Modified 요청 URI의 내용이 변경X

400번대 : 클라이언트 오류 상태코드 이름 의미 400 Bad Request API에서 정의되지 않은 요청 들어옴 401 Unauthorized 인증 오류 403 Forbidden 권한 밖의 접근 시도 404 Not Found 요청 URI에 대한 리소스 존재X 405 Method Not Allowed API에서 정의되지 않은 메소드 호출 406 Not Acceptable 처리 불가 408 Request Timeout 요청 대기 시간 초과 409 Conflict 모순 429 Too Many Request 요청 횟수 상한 초과

500번대 : 서버 오류 상태코드 이름 의미 500 Internal Server Error 서버 내부 오류 502 Bad Gateway 게이트웨이 오류 503 Service Unavailable 서비스 이용 불가 504 Gateway Timeout 게이트웨이 시간 초과

수가 커졌을때 효율이 너무 좋지않아 다른방법을 고민해봄

def solution(a, b):

    if a > b :
        answer = sum(range(b, a+1))
    else:
        answer = sum(range(a, b+1))


    return answer

사용된 공식

n~m까지의 합 : (n부터 m까지의 갯수) * (n+m) / 2

ex) 5부터7까지의합 : 3*(5+7)/2=18

def solution(a,b):

    return (abs(a-b)+1) * (a+b) // 2

a부터 b까지의 수 개수를 abs(a-b)+1 로서 구하고 //2 를 하여 나눈수의 정수부분만 구해옴

abs() <- 수의 절대값을 구해준다

• 수학적인 부분을 이용하여 알고리즘 해결을 하는 걸 많이 생각하자

요즘 좀 혼란스러운 시기인듯하다 백앤드를 배우고 개발을 경험하고 배워나가면서

개발안에서도 백앤드말고도 다양한 지식과 분야들이 있고 거기에도 흥미를 느끼게 되니까

공부할게 엄청많아지고 이것 저것 막 공부하다보니 혼란스러워 진듯하다

그래도 그나마 뚜렷하게 백앤드 or 데이터 엔지니어 를 목표로 하고있으니 그나마 다행인듯하고

그중에서 데이터엔지니어를 더많이알아보고 공부를 더많이하는거보면 아마 그쪽에 맘이가는게아닌가 라는 생각도 들고 그냥 글 자체도 혼란이다

아무튼 더 배워나가고 WIL도 잘적어지기를 바란다

2 ** 2
4 

이렇게 작성을하여서 2의 ** ( 몇제곱) 이렇게 사용하고

제곱근을 표기할때는

4 ** 0.5 

를 이용하여 제곱근을 구한다

파이썬에서 제공하는 math 에 있는 pow()와 sqrt를 사용하여 작성할수도 있다

제곱 = pow(x,y)
x = 계산할 수
y = 제곱 횟수

제곱근(루트) = sqrt(x)

x = 계산할 수

series_3 = pd.Series(data = my_list, index = my_labels)

pandas 공식 문서 https://pandas.pydata.org/docs/reference/api/pandas.Series.memory_usage.html

my_series.values , my_series.index , my_series.dtype

과 같은건 pandas의 attribute

my_series.sum(), my_series.mean(), my_series.product()....., head(), tail()

는 pandas 의 method 들이다 파이썬과 동일하게 볼수있을것같다

my_series.memory_usage()

시리즈가 얼마만큼의 메모리를 소비하고있는지를 알려주는 method이다

Object dtype은 string 같은 개념

int64 dtype은 메모리 64비트를 사용하고있는 수라고 함.

selenium, beautifulsoup =

html 내부 외부 모두 크롤링

장점] 모든데이터를 가져옴

단점 ] 상대적으로 느림 , 불안정

selenium =

장점 ] 조작가능함 단점 ] bs를 사용하는것보다 느림

poetry new how-long[폴더이름]

poetry install

poetry add mypy[추가할 패키지 이름]

이렇게 세가지를 사용해서 사용을했다 vscode에서는인터프리터 인식이 없어서 방법을찾아보고

위의 방법들을 사용해서 poetry를 사용했다 강의에서 사용중인 것이라 사용해보는거에 의미를 둘까생각중이기는한데 편한건 확실해보인다

Class RangeFileWrapper(object):

    #blksize = 데이터를 쪼갤 block사이즈
    #offset = 파일을 읽는 시작점
    def __init__(self, filelike, blksize=10240, offset=0, length=None):
        self.filelike = filelike
        #python seek를 이용하여서 파일을 쪼개 읽는다(라고한다 seek에대한 공부 필요)
        self.filelike.seek(offset, os.SEEK_SET)
        self.remaining = length
        self.blksize = blksize

    def close(self):
        if hasattr(self.filelike, 'close'):
            self.filelike.close()

    def __iter__(self):
        return self

    def __next__(self):
        if self.remaining is None:
            # If remaining is None, we're reading the entire file.
            data = self.filelike.read(self.blksize)
            if data:
                return data
            raise StopIteration()
        else:
            if self.remaining <= 0:
                raise StopIteration()
            data = self.filelike.read(min(self.remaining, self.blksize))
            if not data:
                raise StopIteration()
            self.remaining -= len(data)
            return data


def stream(request):
    range_header = request.META.get('HTTP_RANGE', '').strip()
    range_match = range_re.match(range_header)
    size = os.path.getsize('movie/video1.mp4')
    content_type, encoding = mimetypes.guess_type('movie/video1.mp4')
    content_type = content_type or 'application/octet-stream'
    if range_match:
        first_byte, last_byte = range_match.groups()
        first_byte = int(first_byte) if first_byte else 0
        last_byte = int(last_byte) if last_byte else size - 1
        if last_byte >= size:
            last_byte = size - 1
        length = last_byte - first_byte + 1
        resp = StreamingHttpResponse(RangeFileWrapper(open('movie/video1.mp4', 'rb'), offset=first_byte, length=length), status=206, content_type=content_type)
        resp['Content-Length'] = str(length)
        resp['Content-Range'] = 'bytes %s-%s/%s' % (first_byte, last_byte, size)
    else:
        resp = StreamingHttpResponse(FileWrapper(open('movie/video1.mp4', 'rb')), content_type=content_type)
        resp['Content-Length'] = str(size)
    resp['Accept-Ranges'] = 'bytes'
    return resp

seek와 iteration을 얼른 공부해서 추가적으로 이해가 필요할거같다

결과적으로 급한대로 쓰긴했지만 추가적으로 공부를하여 완벽하게 이해를 하지못하면 의미가 없을거같아서 따로 또 공부해볼 필요가있는 기능인거 같아 보인다 영상뿐아니라 큰 사이즈의 csv 파일이나 음악 스트리밍역시 이기능을 사용한다면 꼭 알고 넘어가야할 중요한 기능이라 생각함

첫째로 하기싫은것을 못하는것으로 생각하지말자. 참 나도 간사하다고 느낀것이 최대한 많은것을 해보자고 하면서도 하기싫은건 은근히 밀어내는 경향이 보였다 근데 일단 그런일을 잡게되고 하게 되니까 내 생각보다 하기싫은것도 아니였고 못할것은 더더욱 아니였다 .

둘째로 지금과 같이 스스로 알아보고 늦더라도 꼭 스스로 답을 찾아내고 고민하자 일례로 자기주도적학습이 현재 듣고있는 캠프의 주된 것이라고 한다.. 주관적인 생각이지만 '자기주도적' 이 단어를 얼마나 잘 수행하느냐가 첫번째 허들이라고 생각한다. 자기주도적 학습 앞으로 나아가 자기주도적으로 업무를 해야하는 사람이 되는데 가장 중요한 것이라고 생각한다.

마지막으로,끊임없이 새로운것을 탐구하고 도전하자 특히 누군가는했고 나에게는 미지의 영역인것

누군가 했다면 나 역시 할 수있고 그 부분을 더 개선하여 더 좋은 것으로 만들 가능성도 열려있다.

물론 어려운것도 쉬운것도있겠지만 하나씩 도전하고 이뤄내면서 얻어가는 나의 성장을 기대하면서

최대로 어렵다 어려워죽겟네 정도로 끝내고 계속 해보자

아무튼 이번주는 코드적으로도 배운게많은데 이건 그냥 따로적는 ㅋㅋ

상세 페이지 모달의 html내용을 바꿔주기위해서 ajax로 연결해서 영화이름을 전달하고 필요 내용을 전달받아 교체해주는 방법을 쓰기로했다

<클래스이름>.objects.values() :

• .values()로 dictionary의 key와 value에 접근이 가능하다.
• QuerySet()은 리스트이고, 객체는 dictionary 이므로 [index]['key'] 의 형식으로 value값에 접근이 가능하다

<클래스이름>.objects.get(id=1) :

• get()은 dictionary의 요소 하나를 반환한다.
• 해당 조건의 요소가 존재하지 않을때는 DoesNotExist, 여러개 존재할때는 MultipleObjectsReturned 에러가 발생한다.
• 하나의 객체이기에 반환되기 때문에, dot notation으로 접근이 가능하다. .name

  title_give = '올드보이'
  movie_find = Movie.objects.get(title = title_give)
  print(movie_find.openDt) 
  > 2003

movie_list = []

#셀레니움에서 이미지 크롤링에 사용하기위한 제목리스트
title_list = []

#movie_id로 사용할 값
movie_id= 1

# db와 연결 하는 부분
conn = pymysql.connect(host= host, user = username, passwd= password, db= database, port= port, use_unicode= True, charset= 'utf8')
cursor = conn.cursor()

# 저장할 형식
sql = "INSERT INTO movies (movieid, title, openDt, clip, star, genre) VALUES (%s, %s, %s, %s, %s, %s )"


# 90년도부터 07년도 까지 연도별 100개씩 출력
for i in range(1990,2007):

    # 영화 진흥회 api
    url =f'https://kobis.or.kr/kobisopenapi/webservice/rest/movie/searchMovieList.json?key=f5eef3421c602c6cb7ea224104795888&openStartDt={i}&openEndDt={i}&itemPerPage=100'

    res = requests.get(url)
    text = res.text

    d = json.loads(text)

    # 100개의 영화에서 제목, 장르, 개봉일, movie_id를 저장
    for i in d['movieListResult']['movieList']:
        # 제목의 공백을 지워줌
        b = i['movieNm'].replace(' ','')
        #제목의 특수문자를 지워줌
        title = ''.join(filter(str.isalnum, b))

        #장르
        genre =i['repGenreNm']

        # 장르를 숫자로 저장하기위한 리스트
        genre_idx=['가족','공포(호러)','다큐멘터리','드라마','멜로/로맨스','뮤지컬','미스터리','범죄','사극','서부극(웨스턴)','성인물(에로)','스릴러','애니메이션','액션','어드벤처','전쟁','코미디','판타지','SF','']

        #장르 index값 ex)0,12,4
        genre_int = genre_idx.index(genre)

        #연도만 저장함 ex ) 1994
        openDt = int(i['openDt'][:4])

        # 무비id(없어도될듯한데;), 타이틀, 개봉일자, 클립, 평점 평균, 장르 
        movie_list.append((movie_id,title,openDt,'',0.0,genre_int))

        #제목만 제목리스트에 따로저장
        title_list.append(title)
        #movie_id 에 +1하여 반복할수있게 함 



        movie_id+=1

### 저장하는 부분

retro_rds = conn.cursor()

#리스트안에 있는 모든튜플을 sql < 에 형식과 동일하게 저장함
retro_rds.executemany(sql, movie_list)

conn.commit()

def get_secret(setting, secrets=secrets):
    try:
        return secrets[setting]
    except KeyError:
        error_msg = "Set the {0} environment variable".format(setting)
        raise ImproperlyConfigured(error_msg)

SECRET_KEY = get_secret("SECRET_KEY")

DATABASES = {
    'default': {
        'ENGINE': get_secret('DATABASES')['default']['ENGINE'],
        'NAME': get_secret('DATABASES')['default']['NAME'],
        'USER': get_secret('DATABASES')['default']['USER'],
        'PASSWORD': get_secret('DATABASES')['default']['PASSWORD'],
        'HOST': get_secret('DATABASES')['default']['HOST'],
        'PORT': get_secret('DATABASES')['default']['PORT'],
    }
}

이전에 그냥 무심결에 올렷다가 깃가디언한테 혼난적이있어서 분리하는 방법을 알아보다가 s3 분리법을 이용해서 똑같이사용했다.

그리고 기본적인 base html을 만들었다.

준비물은 다 준비해뒀으니 이제 만들기만 하면 될것같다!

첫째로 어려운것이 90-2000년대 초반 영화들 데이터 모으는것이였는데 다행히 https://www.kobis.or.kr/kobisopenapi/homepg/main/main.do 영화 진흥회 api 가 있었다! 들어가면 상세한 사용법도 잘나와있으니 나중에 필요하면 꼭 사용해보길 바람

아무튼 90~ 07년도까지 각 연도별 100가지 영화를 뽑아서 1700개의 영화를 가져왔다 (100까지밖에 api출력이 안되서 더 많이는 못뽑았다)

그리고 여기서 또 두번째 어려운 부분이 발생했다 포스터가 없었다는거다 .. (이미지도 넣어주시면 고맙겟습니다 영화진흥회) 그렇다고 뭐 없이 뭐 할맛이 나겠는가? 바로 셀레니움으로 포스터 이미지를 크롤링 해왔다. 1700개? 1683~7개 정도 뽑아왔고 굉장히 오래걸렸다 처음쓰는거라서 그리고 나머지는 작업하면서 빈곳있으면 찾아넣어야겟다

import json
import requests
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time
import urllib.request
from bs4 import BeautifulSoup
import os



movie_list = []
title_list = []
a= 1


for i in range(1990,2007):
    # 영화 진흥회 api에 연도별로 데이터를 뽑기위해 for문을썻다 (100개만출력 제한ㅠ)
    url =f'https://kobis.or.kr/kobisopenapi/webservice/rest/movie/searchMovieList.json?key=f5eef3421c602c6cb7ea224104795888&openStartDt={i}&openEndDt={i}&itemPerPage=100'
    res = requests.get(url)
    text = res.text

    d = json.loads(text)

    for i in d['movieListResult']['movieList']:
        # 공백란을 제거해줬다
        b = i['movieNm'].replace(' ','')
        # 아래에서 크롤링할떄 용이하게 하기위해서 특수문자는 빼줫다
        title = ''.join(filter(str.isalnum, b))
        genre =i['repGenreNm']
        #연도만 뽑기위해서 슬라이스해줫다
        openDt = i['openDt'][:4]
          #무비리스트에 더해줬다
        movie_list.append([a,openDt,title,genre])
        #크롤링을위해 제목만 저장한 리스트
        title_list.append(title)

        #movie_id 로 사용할 a
        a+=1

# 여기 까지가 영화 데이터를 받아온 부분이고
#타이틀 리스트로 제목만 받아온뒤 셀레니움으로 크롤링해줬다

driver = webdriver.Chrome("chromedriver.exe")
options = webdriver.ChromeOptions()
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36")
driver.get("https://www.google.co.kr/imghp?hl=ko&tab=wi&ogbl" )
for x , i in enumerate(title_list[80:100]):
    vali = os.path.isfile("{i}.jpg")
    #이 부분은 작업도중 혼선이 와서 최대한 시간을 적게 쓰기위한 코드였다
    if vali != True:
        # 위와 중복인데 처음은 여기만적었는데 아래 저장에서 에러가나서 위에서 아예 다적용한것
        a = ''.join(filter(str.isalnum, i))
        elem = driver.find_element_by_name("q")

        #영화 제목 포스터를 입력하고 검색하는 부분
        elem.send_keys(f'영화 {a} 포스터')
        elem.send_keys(Keys.RETURN)

    #검색창('q')를 초기화시키는 부분
        driver.find_element_by_name("q").clear()

        #여기서부터 내 폴더에 저장하는부분
        driver.find_elements_by_css_selector(".rg_i.Q4LuWd")[0].click()
        imgURL=driver.find_element_by_css_selector(".n3VNCb").get_attribute("src")


        urllib.request.urlretrieve(imgURL, f"{i}.jpg")
        #자꾸 봇이라고 뭐라하길래 텀도 추가해줬다
        time.sleep(2)

    #자꾸에러나서 열받아서 index 출력해줌 
    print(x)

자꾸 404도 뜨고 뭐 이런저런일이 많이발생해서 힘들긴했지만 결국 다 받아와서 매우 흡족한 부분이 아닐수없다

아 추가로 movie_list로 pandas를 이용해 csv 파일을 만들었다.

import pandas as pd
import numpy as np
import csv
import json
import requests
movie_list = []
a= 1
for i in range(1990,2007):

  url =f'https://kobis.or.kr/kobisopenapi/webservice/rest/movie/searchMovieList.json?key=f5eef3421c602c6cb7ea224104795888&openStartDt={i}&openEndDt={i}&itemPerPage=100'
  res = requests.get(url)
  text = res.text

  d = json.loads(text)


  for i in d['movieListResult']['movieList']:
    title_a = i['movieNm'].replace(' ','')
    title = ''.join(filter(str.isalnum, title_a))
    genre =i['repGenreNm']
    openDt = i['openDt'][:4]
    movie_list.append([a,openDt,title,genre])
    a+=1

movie_data = pd.DataFrame(movie_list, columns= ['movieid','openDt','title','genre'])

movie_data

from google.colab import drive

movie_data

drive.mount('drive')

movie_data.to_csv('movie_data.csv')
!cp movie_data.csv 'drive/My Drive/'

movies = pd.read_csv('movie_data.csv')
movies

기본적이고 귀찮은 일들을 싹 처리한기분이다 남은게 있겠지만 이후에 처리할것들이고

오늘처럼 뜨끈하게 처리할수있기를 바란다

방명록으로 못된짓을 막기위해 일단은 생각나는 욕설필터를 달았다.

txt 파일을 불러와서 readlines() 로 모든 단어를 리스트로 저장했다

user 로 받아오는 값중에 영어는 lower()로 처리하여 필터링에 문제없게 했다.

금지어가 들어가있지않은경우에는 find로 -1을 반환하고 그경우 그냥 user값이 그대로넘어감

금지어가있을경우 금지어가있는곳의 index를 반환한다

그경우 0보다 크기때문에 user를 금지어로 저장한다.

$ git add .

$ git commit -m "Rename kk"

프로젝트 이름 오타난거 이제발견하고 수정

for a in range(2):
    page = a + 1
    data = requests.get(f'https://lostark.game.onstove.com/News/Event/Now?page={page}&searchtype=0&searchtext=',headers=headers)

    soup = BeautifulSoup(data.text, 'html.parser')

    event = soup.select('#lostark-wrapper > div > main > div > div > div.list.list--event > ul > li')


    for e in event:
        title= e.select_one('a > div.list__thumb > img')['alt']
        image = e.select_one('a > div.list__thumb > img')['src']
        date = e.select_one('a > div.list__term').text.split(':')[1]
        print(title,image,date)

현재 결과값

2022 로열 로더스 예선 접수 https://cdn-lostark.game.onstove.com/uploadfiles/banner/c728999cc6b241dea8d789e7cb4c274f.jpg  2022.01.12 06
로웬 테스트 서버 오픈 https://cdn-lostark.game.onstove.com/uploadfiles/banner/71a9deaa7d32484aa5d04f0ff86611da.jpg  2022.01.19 06
도화가 사전등록 쿠폰 확인 https://cdn-lostark.game.onstove.com/uploadfiles/banner/7c52a8f9dfc54f25ad6ce9721df5d87d.jpg  2022.01.05 06
도화가 오픈 아바타 https://cdn-lostark.game.onstove.com/uploadfiles/banner/691f7ab305a54f3897f61c5e6508f48a.jpg  2022.01.12 06
아크패스 : 영광과 안식의 선율 https://cdn-lostark.game.onstove.com/uploadfiles/banner/ff9711949de6481ab142ccfcd854012a.jpg  2021.12.22 06
후끈후끈 노천 온천 만들기 대작전 https://cdn-lostark.game.onstove.com/uploadfiles/banner/fd81744fd9874047af6322dabeecb12f.jpg  2022.01.19 06
프레이야 희망의 트리 https://cdn-lostark.game.onstove.com/uploadfiles/banner/64b1dd42e0534700af6ec96eed1db081.jpg  2021.12.22 06
프레이야 아일랜드 https://cdn-lostark.game.onstove.com/uploadfiles/banner/a253a785ee3d4923b45afbf15a64ad65.jpg  2021.12.22 06
하이퍼 익스프레스 & 점핑권 https://cdn-lostark.game.onstove.com/uploadfiles/banner/ab18171cc90d4e0d89246677bfffadbc.jpg  2021.12.22 06
아크라시아의 겨울을 부탁해! https://cdn-lostark.game.onstove.com/uploadfiles/banner/c6c044c335544d5a9ee666cff7d0579c.jpg  2021.12.22 06
겨울 프레이야 포인트 SHOP https://cdn-lostark.game.onstove.com/uploadfiles/banner/2c9c788332034fdfa53b30012ac7552a.jpg  2021.12.22 06

아주 정상적으로 잘 출력