⇒ (1) 원하는 종목의 주가 데이터를 가져오고 ⇒ (2) 주가 데이터를 원하는 형태로 가공하기 ⇒ (3) 사고 → 파는 시점을 적어두기 ⇒ (4) 종가를 이용해서 수익률을 구하기 ⇒ (5) 이 것을 여러 종목 또는 파라미터를 바꿔서 수행하기

<변동성 돌파전략>

: ⇒ 주식이 막 오르는 것 같다면? 일단 사자! → 그리고 내일 바로 팔자

⇒ 예) k = 0.5 라고 할 때.

1. 어제 삼성전자의 주가가 최고 120,000원 ~ 최저 100,000원 이었다.

2. 오늘 삼성전자의 주가가 105,000원으로 시작했다.

3. 오늘 (120,000 - 100,000) ⇒ 20,000원 x 0.5 = 10,000원 오르면 산다.

   ⇒ 사야하는 가격 = (어제 최고가 - 어제 최저가) * k + 오늘 시작가

4. 여기서 0.5는 k 값이라고 불리는데, 적당히 넣어준다. (통상 0.4~0.6)

5. 즉, 105,000 + 10,000 = 115,000원이 되면 산다. 오르는 분위기 라고 판단.

6. 역시 오르는가 싶더니 오늘 마감 때 130,000원이 됐다.

7. 내일 바로 판다.

→ 수익: 130,000 - 115,000원 =15,000원 → 수익률: 15,000 / 115,000원 = 13%

즉, 어제 변동한 것의 특정 비율만큼 오늘 올랐으면, Buy → 내일 열자마자 Sell

<주가 가져오기>

*라이브러리 : *

from pandas_datareader import data as pdr
import yfinance as yf

yf.pdr_override()

import numpy as np
import pandas as pd

import FinanceDataReader as fdr

df = fdr.DataReader('005930','2018')

df.head()

<사야하는 날, 파는가격 구하기>

• 사는 가격 ⇒ 사야하는 가격 = (어제 최고가 - 어제 최저가) * k + 오늘 시작가 cf. 어제의 High 를 나타낸 열 추가해보기 df['High2'] = df['High'].shift(1)

df = fdr.DataReader('005930','2018')

k = 0.4

df['buy_at'] = (df['High'].shift(1) - df['Low'].shift(1))*k + df['Open']

* 사야하는 날 ⇒ high와 buy_at을 비교한다! high 이하 값에 buy_at이 있어야함!

df['is_buy'] = np.where(df['buy_at'] < df['High'],'buy','')

* 파는 시점 ⇒ 샀으면 다음날 장이 열리자마자 파는 것입니다!(다음날의 open가격) cf. 한칸 땡키키 : shift(-1)

df['sell_at'] = df['Open'].shift(-1)

* 수익률 ⇒ is_buy 있는 행들만 추리기

df = df[df['is_buy'] == 'buy']

⇒ buy_at, sell_at 만 추리기

df = df[['buy_at','sell_at']]

⇒ 수익률 열을 추가해주기(return)열 ⇒ return = sell_at / buy_at

df['return'] = df['sell_at']/df['buy_at']

⇒ 누적곱

df[['return']].cumprod().iloc[-1,-1] -1

<함수:최적의 K값 구하기>

def get_return(code,k):
  df = fdr.DataReader(code,'2018')

  df['buy_at'] = (df['High'].shift(1) - df['Low'].shift(1))*k + df['Open']

  df['is_buy'] = np.where(df['buy_at'] < df['High'],'buy','')

  df['sell_at'] = df['Open'].shift(-1)

  df = df[df['is_buy'] == 'buy']

  df = df[['buy_at','sell_at']]

  df['return'] = df['sell_at']/df['buy_at']

  return df[['return']].cumprod().iloc[-1,-1] -1

*⇒ k가 0.4부터 0.6까지 0.01씩 상승하는걸 반복! *

for k in np.arange(0.4,0.6,0.01):
  print(round(k,2), get_return('005930',k))

⇒ dataframe 만들어서 내림차순 정렬하기

df = pd.DataFrame()
for k in np.arange(0.4,0.6,0.01):
  doc = {
      'k':k,
      'return':get_return('005930',k)
  }
  df = df.append(doc,ignore_index=True)

df.sort_values(by='return',ascending=False)  

<월-금전략>

: 월요일에 사서 금요일에 파는 전략 만들기

* 요일 표기하기

⇒ date값이 처음에 index로 들어가있어서, reset후 재설정 해줘야함

df = fdr.DataReader('005930','2018')

df = df.reset_index()
df = df[['Date','Open']]

⇒ date를 date속성으로 바꾸기

df['Date'] = pd.to_datetime(df['Date'])

⇒ 요일얻기

df['Day'] = pd.to_datetime(df['Date']).dt.day_name()

* 월/금 남기기

cond = (df['Day'] == 'Monday')  | (df['Day'] == 'Friday')

⇒ 월요일로 시작해서 금요일로 끝나게끔 설정

if df.iloc[0,2] == 'Friday': df = df.iloc[1:,:] (첫번째줄 날리기)

if df.iloc[-1,2] == 'Monday': df = df.iloc[:-1,:] (마지막줄 날리기)

cf. 휴일 고려하기

cond = (df['Day'] == 'Monday') & (df['Day'].shift(-1) == 'Monday')
df = df.drop(index = df[cond].index)

cond = (df['Day'] == 'Friday') & (df['Day'].shift(1) == 'Friday')
df = df.drop(index = df[cond].index)

⇒ 월-금요일의 주가를 한 행에 두고, 이름을 바꿔줍니다.

df['Open_fri'] = df['Open'].shift(-1)

df = df[df['Day']=='Monday'].copy()

df = df[['Open','Open_fri']]

df.columns = ['buy_at','sell_at']

⇒ cumprod()
df['return'] = df['sell_at'] / df['buy_at']

df[['return']].cumprod().iloc[-1,-1] - 1

<엣지 케이스 없애기:inf나온다!(무한대)>

⇒ buy_at 이 0인 경우가 있었던 걸까? 0 아닌애들만 가져오기!

cond = (df['sell_at'] != 0) & (df['buy_at'] != 0)
df = df[cond]

df[['return']].cumprod().iloc[-1,-1] - 1

<함수>

 def get_return_mf(code):
  df = fdr.DataReader(code,'2018')

  df = df.reset_index()
  df = df[['Date','Open']]

  df['Day'] = pd.to_datetime(df['Date']).dt.day_name()

  cond = (df['Day'] == 'Friday') | (df['Day'] == 'Monday')

  df = df[cond]

  if df.iloc[0,2] == 'Friday':
    df = df.drop(index = df.index[0])

  if df.iloc[-1,2] == 'Monday':
    df = df.drop(index = df.index[-1])

  cond = (df['Day'] == 'Monday') & (df['Day'].shift(-1) == 'Monday')
  df = df.drop(index = df[cond].index)

  cond = (df['Day'] == 'Friday') & (df['Day'].shift(1) == 'Friday')
  df = df.drop(index = df[cond].index)

  df['Open_fri'] = df['Open'].shift(-1)

  df = df[df['Day']=='Monday']

  df = df[['Open','Open_fri']]

  df.columns = ['buy_at','sell_at']

  df['return'] = df['sell_at'] / df['buy_at']

  cond = (df['sell_at'] != 0) & (df['buy_at'] != 0)
  df = df[cond]

  return df[['return']].cumprod().iloc[-1,-1] - 1

<dart fss 최적화 종목 찾기>

* 종목 가져오기

import dart_fss as dart_fss
import pandas as pd

api_key = 'API키 입력하기'
dart_fss.set_api_key(api_key=api_key)

all = dart_fss.api.filings.get_corp_code()

df = pd.DataFrame(all)

df_listed = df[df['stock_code'].notnull()]

for row in df_listed.sample(10)[['stock_code','corp_name']].itertuples():
  print(row[1], row[2])

* dataframe만들기

 df = pd.DataFrame()
for row in df_listed.sample(10)[['stock_code','corp_name']].itertuples():
  try:
    doc = {
        'name' : row[2],
        'return' : get_return_mf(row[1])
    }
    df = df.append(doc, ignore_index = True)
  except:
    print(f'error - {row[2]}')

df.sort_values(by='return', ascending=False)

과제

5주차 과정 총 정리!

• 1주차: Colab, 파이썬 문법 구글 Colab 이란?: 온라인에서 파이썬 데이터분석을 학습할 수 있는 환경! 파이썬: 가장 직관적인 문법을 가진 언어! 크롤링 기본 코드: requests 로 정보를 가져와서 (enter 치는 라이브러리), BeautifulSoup으로 분석하기 좋게! 만드는 것이랍니다.(잘 솎아내는 라이브러리)

• 2주차: yfinance 활용한 해외주식 분석 Pandas 판다스: 파이썬에서 데이터를 쉽게 다룰 수 있게 해주는 라이브러리 yfinance:yahoo finance를 통해 해외주식 분석 데이터를 모을 빈 DataFrame 만들기> 정보 모아서 딕셔너리 변환> 딕셔너리 형태로 append: df.append(doc,ignore_index = True)

• 3주차: dart-fss 라이브러리 활용한 국내주식 분석 OpenAPI 란?: 데이터를 가져다 쓸 수 있게 서버의 ‘창구’를 열어둔 것! Dart-fss 라이브러리: Dart의 OpenAPI를 쉽게 사용할 수 있도록 만들어둔 코드

• 4주차: 백테스팅 기초(1) : 골든/데드크로스 전략 구현 백테스팅이란?: 이전 주가의 추이에 전략을 대입해보는 것 이동평균선:이전 며칠(3일, 5일, 20일, 50일 등) 간의 가격을 평균하여 움직이는 선!,일수가 커질수록 곡선이 완만해질 수밖에 골든크로스: 단기이평선이 장기이평선 뚫고올라올때! 주가가 높아질 가능성이 있다는 신호 데드크로스: 단기이평선이 장기이평선 뚫고내려올떄! 주가가 낮아질 가능성이 있다는 신호 shift 를 가지고 열을 맞춰보기

• 5주차: 백테스팅 기초(2) : 변동성 돌파 전략 / 월-금 전략 <백테스팅 순서>(1) 원하는 종목의 주가 데이터를 가져오고 (2) 주가 데이터를 원하는 형태로 가공하기 (3) 사고 → 파는 시점을 적어두기 (4) 종가를 이용해서 수익률을 구하기 (5) 이 것을 여러 종목 또는 파라미터를 바꿔서 수행하기 변동성 돌파전략: 주식이 막 오르는 것 같다면? 일단 사자! → 그리고 내일 바로 팔자: 사야하는 가격 = (어제 최고가 - 어제 최저가) * k + 오늘 시작가

: 이전 주가의 추이에 전략을 대입해보는 것

1) 이동평균선이란? ⇒ 이전 며칠(3일, 5일, 20일, 50일 등) 간의 가격을 평균하여 움직이는 선! ⇒ 일수가 커질수록 곡선이 완만해질 수밖에 없겠죠! 2) 골든크로스 : 단기이평선이 장기이평선 뚫고올라올때! 주가가 높아질 가능성이 있다는 신호 ** 데드크로스 ** : 단기이평선이 장기이평선 뚫고내려올떄! 주가가 낮아질 가능성이 있다는 신호

<주가 가져오기: 라이브러리 pandas-datareader 와 finance-datareader>

!pip install yfinance pandas-datareader finance-datareader
from pandas_datareader import data as pdr

import yfinance as yf
yf.pdr_override()

import numpy as np
import pandas as pd

import FinanceDataReader as fdr

df = fdr.DataReader('005930','2018')

df.head()

• Open: 시초가
• High: 고가
• Low: 저가
• Close: 종가
• Volume: 거래량
• Change: 변동

<간단한 그래프 그리기:네이버금융>

1) 주가 그래프 그려보기 .plot(y=['컬럼명'])

df = fdr.DataReader('005930','2018')
df.plot(y=['Close'])

크게그리고, 격자 추가하기

df.plot(y=['Close'],figsize=(15,8),grid=True)

2) 종목 두 개의 최근 100일 주가 변동 그래프 그려보기

df_1 = fdr.DataReader('005930','2018')
df_2 = fdr.DataReader('066570','2018')

df_tot = pd.DataFrame()
df_tot['Samsung'] = df_1[['Change']]
df_tot['LG'] = df_2[['Change']]

df_tot.tail(100).plot(figsize=(15,8))

<이동평균값 만들기 3일> 3일마다 평균 값을 구하기

df.rolling(3).mean()

df = fdr.DataReader('005930','2018')
df = df[['Close']]
df['ma'] = df.rolling(3).mean()

df

<buy sell 표시>

1) shift 를 가지고 열을 맞춰보기

⇒ 사실은 다음 날 값과, ma 값을 비교해야 하는 것! ⇒ 같은 행에 두면 넘었는지 / 안 넘었는지 쉽게 알 수 있겠죠

** ma값을 한칸 내려야하니까 shift(1) 추가하기!**

df = fdr.DataReader('005930','2018')
df = df[['Close']]
df['ma'] = df.rolling(3).mean().shift(1)

2) buy & sell 표기하기 ⇒ 그러면, 넘었으면 buy, 아니면 sell 로 표기할 수 있겠죠!

df['action'] = np.where(df['Close'] > df['ma'], 'buy', 'sell')

<수익률 구하기>

1)실제로 사는 시점 ⇒ buy → buy → buy 이면, 사는 게 아니겠죠!

⇒ 즉, buy와 sell이 바뀌는 순간이 중요!

df['action_temp'] = df['action'].shift(1)

2)사는/파는 순간을 모아볼까요!

cond1 = (df['action'] == 'buy') & (df['action'].shift(1) == 'sell')
cond2 = (df['action'] == 'sell') & (df['action'].shift(1) == 'buy')

df_buy = df[cond1]
df_sell = df[cond2]

3) 마지막은?무조건 팔아야 함! 그래야 수익율을 알 수 있겠죠

df.iloc[-1,-1] = 'sell'

<수익률구하기2>

1) 사고, 파는 시점을 붙이기 ⇒ 마찬가지로 concat 을 이용하면 된답니다

좌우로 붙이려면 ⇒ ,axis=1 를 붙이면 되지요!

df_result = pd.concat([df_buy,df_sell],axis=1)

df_result

2) 전략 세워보기 ⇒ buy 때의 Close와 sell 때의 Close 에 주목하면 되는 것

.reset_index() 붙여서 더 깔끔히보기!

df = fdr.DataReader('005930','2018')

df = df[['Close']]
df['ma'] = df.rolling(3).mean().shift(1)
df['action'] = np.where(df['Close'] > df['ma'], 'buy', 'sell')

df.iloc[-1,-1] = 'sell'

cond1 = (df['action'] == 'buy') & (df['action'].shift(1) == 'sell')
cond2 = (df['action'] == 'sell') & (df['action'].shift(1) == 'buy')

df_buy = df[cond1].reset_index()
df_sell = df[cond2].reset_index()

df_result = pd.concat([df_buy,df_sell],axis=1)
df_result

3) 수익률 구하기 ⇒ 먼저 Close라는 컬럼명을 다르게 수정해줘야 값을 고를 수 있겠죠! ⇒ 그리고 수익률 = 판 값 / 산 값 을 구합니다.

df_buy = df[cond1].reset_index()
df_buy.columns = ['날짜','종가(buy)','이평값','액션']

df_sell = df[cond2].reset_index()
df_sell.columns = ['날짜','종가(sell)','이평값','액션']

df_result = pd.concat([df_buy,df_sell],axis=1)

df_result['수익률'] = df_result['종가(sell)'] / df_result['종가(buy)']

df_result

<수익률구하기3>

수익률 계산하기

⇒ 누적 곱을 볼 수 있어요(마지막값 가져오기)**

df_result[['수익률']].cumprod().iloc[-1,-1]

⇒ 1(원금)을 빼주고 100을 곱해줘야 수익률이겠죠!

(df_result[['수익률']].cumprod().iloc[-1,-1] - 1)*100

함수로 만들기

def get_return(code,n):
  df = fdr.DataReader(code,'2018')

  df = df[['Close']].copy()

  df['ma'] = df.rolling(n).mean().shift(1)

  df['action'] = np.where(df['Close'] > df['ma'], 'buy', 'sell')

  df.iloc[-1,-1] = 'sell'

  cond1 = (df['action'] == 'buy') & (df['action'].shift(1) == 'sell')
  cond2 = (df['action'] == 'sell') & (df['action'].shift(1) == 'buy')

  df_buy = df[cond1].reset_index()
  df_buy.columns = ['날짜','종가(buy)','이평값','액션']

  df_sell = df[cond2].reset_index()
  df_sell.columns = ['날짜','종가(sell)','이평값','액션']

  df_result = pd.concat([df_buy,df_sell],axis=1)

  df_result['수익률'] = df_result['종가(sell)'] / df_result['종가(buy)']

  return df_result[['수익률']].cumprod().iloc[-1,-1] - 1

< 단기/장기이평선 적용하기:rolling의 숫자변경>

def get_return_sl(code, short, long):
  df = fdr.DataReader(code,'2018')

  df = df[['Close']].copy()

  df['ma1'] = df['Close'].rolling(short).mean().shift(1)
  df['ma2'] = df['Close'].rolling(long).mean().shift(1)

  df['action'] = np.where(df['ma1'] > df['ma2'], 'buy', 'sell')

  df.iloc[-1,-1] = 'sell'

  cond1 = (df['action'] == 'buy') & (df['action'].shift(1) == 'sell')
  cond2 = (df['action'] == 'sell') & (df['action'].shift(1) == 'buy')

  df_buy = df[cond1].reset_index()
  df_buy.columns = ['날짜','종가(buy)','이평값1','이평값2','액션']

  df_sell = df[cond2].reset_index()
  df_sell.columns = ['날짜','종가(sell)','이평값1','이평값2','액션']

  df_result = pd.concat([df_buy,df_sell],axis=1)

  df_result['수익률'] = df_result['종가(sell)'] / df_result['종가(buy)']

  df_final = (df_result[['수익률']].cumprod().tail(1) - 1)*100
  df_final['단기'] = short
  df_final['장기'] = long

  return df_final

#과제

한 종목에 대해 최적의 단기/장기이평선을 구해볼까요! ⇒ 단기 며칠 / 장기 며칠이 이 종목에 가장 적절한 전략일까요! 3일10일 / 30일60일

이중 반복문! for in range()

def get_return_sl(code, short, long):
  df = fdr.DataReader(code,'2018')

  df = df[['Close']].copy()

  df['ma1'] = df['Close'].rolling(short).mean().shift(1)
  df['ma2'] = df['Close'].rolling(long).mean().shift(1)

  df['action'] = np.where(df['ma1'] > df['ma2'], 'buy', 'sell')

  df.iloc[-1,-1] = 'sell'

  cond1 = (df['action'] == 'buy') & (df['action'].shift(1) == 'sell')
  cond2 = (df['action'] == 'sell') & (df['action'].shift(1) == 'buy')

  df_buy = df[cond1].reset_index()
  df_buy.columns = ['날짜','종가(buy)','이평값1','이평값2','액션']

  df_sell = df[cond2].reset_index()
  df_sell.columns = ['날짜','종가(sell)','이평값1','이평값2','액션']

  df_result = pd.concat([df_buy,df_sell],axis=1)

  df_result['수익률'] = df_result['종가(sell)'] / df_result['종가(buy)']

  df_final = (df_result[['수익률']].cumprod().tail(1) - 1)*100
  df_final['단기'] = short
  df_final['장기'] = long

  return df_final

--------------------------

dfs = []
for short in range(3,11):
  for long in range(30,61):
    df = get_return_sl('005930',short,long)
    dfs.append(df)

df_result = pd.concat(dfs)
df_result.sort_values(by='수익률', ascending=False)

데이터를 가져다 쓸 수 있게 서버의 ‘창구’를 열어둔 것!

⇒ Dart Open API를 활용하면 공시 정보를 ‘데이터 분석’에 활용할 수 있어요.

⇒ 이제 일일이 공시자료를 보러가지 않아도, 분석을 할 수 있답니다!

⇒ 게다가, 이 모든 것을 쉽게 활용할 수 있게 만든 ‘라이브러리’까지. 🙂

API란?

서버에 접근하는 ‘창구’와 같은 것

키는 왜 발급 받아야 할까? : 은행에도 여러가지 데이터가 있지만, 우리는 ‘창구’를 활용해서 정해진 약속으로 정해진 데이터만 접근 할 수 있어요. 예) 입출금창구에 가서 주민등록증을 보여줘야 → 잔고를 확인할 수 있죠

⇒ 누구에게나 열어둔 ‘창구’이기 때문에, 너무 많은 요청이 오면 서버가 매우 힘들겠죠! ⇒ 그래서 인 당 할당량을 정해서 ‘key’를 발급하는 것이랍니다. 요청할 때 이 것이 늘 필요하죠.

Dart OpenAPI 키 발급

:⇒ 인증키 신청을 누르고 정보를 입력하면, 누구나 쉽게 키를 발급 받을 수 있습니다. ⇒ API 사용 환경은 ‘웹, 앱 모두’로 해주시고, 사용용도는 ‘개인 공부’라고 적어주세요 https://opendart.fss.or.kr/uat/uia/egovLoginUsr.do

<Dart 라이브러리 활용>

Dart-fss 라이브러리는?

Dart의 OpenAPI를 쉽게 사용할 수 있도록 만들어둔 코드입니다. ⇒ 라이브러리를 활용하면 복잡한 개발 가이드(링크) 없이 데이터들을 얻을 수 있답니다.

• dart-fss 깔고 전체 기업목록 불러오는 코드 (아래)

import dart_fss as dart_fss
import pandas as pd

api_key = '여기에 API 키를 입력'
dart_fss.set_api_key(api_key=api_key)

corp_list = dart_fss.get_corp_list()

corp_list.corps

<종목 정리하기>

전체 종목을 보는 코드

all = dart_fss.api.filings.get_corp_code()

all[0]

*df = pd.DataFrame(all) *살펴보기

: stock_code 가 있는 종목은 상장사, 없는 종목은 비상장사를 의미

df_listed = df[df['stock_code'].notnull()]

.notnull(): none이 아니다!

df_non_listed = df[df['stock_code'].isnull()]

.isnull(): none이다!

엑셀로 저장해두기

⇒ .to_excel('파일명.xlsx') 만 붙이면 엑셀로 만들어준답니다. 판다스의 힘!

df_listed.to_excel('상장종목.xlsx')

df_non_listed.to_excel('비상장종목.xlsx')

<dart API 사용해보기>

1) 한 개 종목을 정해서 코드를 찾기

corp_code = df_listed[df_listed['corp_name'] == '삼성전자'].iloc[0,0]

corp_code

2) dart api 를 사용해보기

<사업보고서>

나온 정보중에 모르는것이 있다면? dart open api사이트 - 개발가이드 - 공시정보 - 기업개황 바로가기

1. 기업 정보

   corp_code = df_listed[df_listed['corp_name'] == '카카오'].iloc[0,0]
   dart_fss.api.filings.get_corp_info(corp_code)

2. 미등기임원 보수 총액

   corp_code = df_listed[df_listed['corp_name'] == '카카오'].iloc[0,0]
   data = dart_fss.api.info.unrst_exctv_mendng_sttus(corp_code, '2021', '11011')
   pd.DataFrame(data['list'])

3. 증자(감자)현황

   corp_code = df_listed[df_listed['corp_name'] == '카카오'].iloc[0,0]
   data = dart_fss.api.info.irds_sttus(corp_code, '2021', '11011')
   pd.DataFrame(data['list'])

4. 배당 현황

   corp_code = df_listed[df_listed['corp_name'] == '카카오'].iloc[0,0]
   data = dart_fss.api.info.alot_matter(corp_code, '2021', '11011')
   pd.DataFrame(data['list'])

5.최대주주 현황

corp_code = df_listed[df_listed['corp_name'] == '카카오'].iloc[0,0]
data = dart_fss.api.info.hyslr_sttus(corp_code, '2021', '11011')
pd.DataFrame(data['list'])

⇒ 최대주주 중 몇 명이 주식을 샀는지 / 팔았는지도 알 수 있겠군요!

pd.DataFrame(data['list'])[['nm','bsis_posesn_stock_qota_rt','trmend_posesn_stock_qota_rt']]

6. 임원 사항

   corp_code = df_listed[df_listed['corp_name'] == '카카오'].iloc[0,0]
   data = dart_fss.api.info.exctv_sttus(corp_code, '2021', '11011')
   

pd.DataFrame(data['list'])

7. 직원 현황

corp_code = df_listed[df_listed['corp_name'] == '카카오'].iloc[0,0] data = dart_fss.api.info.emp_sttus(corp_code, '2021', '11011')

pd.DataFrame(data['list'])

8. 이사 보수

corp_code = df_listed[df_listed['corp_name'] == '카카오'].iloc[0,0] data = dart_fss.api.info.hmv_audit_indvdl_by_sttus(corp_code, '2021', '11011')

pd.DataFrame(data['list'])

9. 연봉 top 5

corp_code = df_listed[df_listed['corp_name'] == '카카오'].iloc[0,0] data = dart_fss.api.info.indvdl_by_pay(corp_code, '2021', '11011')

pd.DataFrame(data['list'])

10. 타법인 출자 현황

corp_code = df_listed[df_listed['corp_name'] == '카카오'].iloc[0,0] data = dart_fss.api.info.otr_cpr_invstmnt_sttus(corp_code, '2021', '11011')

pd.DataFrame(data['list'])

### <상장기업 재무정보>

⇒ 재무제표의 3년 치 주요 정보

corp_code = df_listed[df_listed['corp_name'] == '카카오'].iloc[0,0] data = dart_fss.api.finance.fnltt_singl_acnt(corp_code, '2021', '11011')

pd.DataFrame(data['list'])

⇒ 모든 항목

corp_code = df_listed[df_listed['corp_name'] == '카카오'].iloc[0,0] data = dart_fss.api.finance.fnltt_singl_acnt_all(corp_code, '2021', '11011', 'CFS')

pd.DataFrame(data['list'])

> * 참고: CFS:연결재무제표, OFS:재무제표

### <지분공시 종합정보:주주정보>

임원, 주요 주주 소유 보고

corp_code = df_listed[df_listed['corp_name'] == '카카오'].iloc[0,0] data = dart_fss.api.shareholder.elestock(corp_code)

pd.DataFrame(data['list'])

특정 사람

corp_code = df_listed[df_listed['corp_name'] == '카카오'].iloc[0,0] data = dart_fss.api.shareholder.elestock(corp_code)

df_temp = pd.DataFrame(data['list']) df_temp[df_temp['repror'] == '김범수']

---------------------------
### <상장종목 분석하기1:시총 Top 50 社 - 연봉왕 뽑아보기>

1) 한 종목에 대해 뽑아보기

corp_code = df_listed[df_listed['corp_name'] == '카카오'].iloc[0,0] print(corp_code)

def get_salary(name): corp_code = df_listed[df_listed['corp_name'] == name].iloc[0,0] data = dart_fss.api.info.indvdl_by_pay(corp_code, '2021', '11011')

df = pd.DataFrame(data['list']) df = df[['corp_name','nm','ofcps','mendng_totamt']] df.columns = ['기업명','이름','역할','보수']

#보수 내림차순 보기위해 숫자로 만드는 작업 df['보수'] = pd.to_numeric(df['보수'].str.replace(',','')) df = df.sort_values(by='보수',ascending=False)

return df

> #df.dtypes
해당부분 숫자인지(int64) 확인!

### 여러개 종목에 대해 뽑아보기

names = ['삼성전자','LG에너지솔루션','SK하이닉스','NAVER','삼성바이오로직스','삼성전자우','카카오','삼성SDI','현대차','LG화학','기아','POSCO홀딩스','KB금융','카카오뱅크','셀트리온','신한지주','삼성물산','현대모비스','SK이노베이션','LG전자','카카오페이','SK','한국전력','크래프톤','하나금융지주','LG생활건강','HMM','삼성생명','하이브','두산중공업','SK텔레콤','삼성전기','SK바이오사이언스','LG','S-Oil','고려아연','KT&G','우리금융지주','대한항공','삼성에스디에스','현대중공업','엔씨소프트','삼성화재','아모레퍼시픽','KT','포스코케미칼','넷마블','SK아이이테크놀로지','LG이노텍','기업은행']

dfs = []

for name in names: try: df = get_salary(name) dfs.append(df) except: print(f'error - {name}')

#합치기 concat! df_result = pd.concat(dfs) df_result.sort_values(by='보수',ascending=False)

df_result.sort_values(by='보수',ascending=False).head(30)

### <상장종목 분석하기2:최대 주주의 주식 변동 모아보기>

def get_shareholders(corp_code): data = dart_fss.api.info.hyslr_sttus(corp_code, '2021', '11011') df = pd.DataFrame(data['list'])

df = df[['corp_name','nm','relate','bsis_posesn_stock_qota_rt','trmend_posesn_stock_qota_rt','rm']] df.columns = ['회사명','이름','관계','기초지분율','기말지분율','비고']

df = df[df['관계'].notnull()]

df['기초지분율'] = pd.to_numeric(df['기초지분율']) df['기말지분율'] = pd.to_numeric(df['기말지분율'])

return df.sort_values(by='기초지분율',ascending=False).head(3)

### * 상장 종목 중 10개만 추려내기
> ⇒ 하루에 쓸 수 있는 콜 수가 정해져 있답니다.
10개종목 추려서df_listed.sample(10) 증감 큰 순서대로 정렬하기

corp_codes = list(df_listed.sample(10)['corp_code'])

dfs = [] for corp_code in corp_codes: try: df = get_shareholders(corp_code) dfs.append(df) except: print(f'error - {corp_code}')

df_result = pd.concat(dfs)

df_result['증감'] = df_result['기말지분율'] - df_result['기초지분율']

df_result.sort_values(by='증감',ascending=False)

--------------------------
### <상장 종목 분석하기3: '돈 많이 번 회사’를 찾기; 이익잉여금 많아진 회사>

def get_profit(name): corp_code = df_listed[df_listed['corp_name'] == name].iloc[0,0] data = dart_fss.api.finance.fnltt_singl_acnt(corp_code, '2021', '11011') df = pd.DataFrame(data['list'])

cond = (df['fs_div'] == 'CFS') & (df['account_nm'] == '이익잉여금') df = df[cond]

df['name'] = name

df = df[['name','thstrm_amount','frmtrm_amount']] df.columns = ['기업명','당기','전기']

df['당기'] = pd.to_numeric(df['당기'].str.replace(',','')) df['전기'] = pd.to_numeric(df['전기'].str.replace(',',''))

df['증감'] = df['당기'] - df['전기'] df['증감율'] = abs(df['증감'])/abs(df['전기']) return df

> #절대값: abs


### 상장사 10개

names = list(df_listed.sample(10)['corp_name'])

dfs = [] for name in names: try: df = get_profit(name) dfs.append(df) except: print(f'error - {name}')

df_result = pd.concat(dfs) df_result.sort_values(by='증감율', ascending=False) df_result

### <비상장 종목 분석하기: 배당항목으로 당기순이익 확인>
: 비상장 종목은 ‘사업보고서 주요정보’만 분석할 수 있어요**

def get_earning(name): corp_code = df_non_listed[df_non_listed['corp_name'] == name].iloc[0,0] data = dart_fss.api.info.alot_matter(corp_code, '2021', '11011') df = pd.DataFrame(data['list'])

df = df[df['se'] == '(연결)당기순이익(백만원)'] df = df[['corp_name','thstrm','frmtrm','lwfr']] df.columns = ['기업명','2021','2020','2019']

df['2021'] = pd.to_numeric(df['2021'].str.replace(',','')) df['2020'] = pd.to_numeric(df['2020'].str.replace(',','')) df['2019'] = pd.to_numeric(df['2019'].str.replace(',',''))

return df

# 과제

def get_salary(name): corp_code = df_listed[df_listed['corp_name'] == name].iloc[0,0] data = dart_fss.api.info.emp_sttus(corp_code, '2021', '11011')

df = pd.DataFrame(data['list']) df = df[['corp_name','sexdstn','jan_salary_am']]

df_result = pd.DataFrame() doc = { '기업명': name, '연봉(남)':df[df['sexdstn'] == '남'].iloc[-1,-1], '연봉(여)':df[df['sexdstn'] == '여'].iloc[-1,-1] } df_result = df_result.append(doc, ignore_index=True)

df_result['연봉(남)'] = pd.to_numeric(df_result['연봉(남)'].str.replace(',','')) df_result['연봉(여)'] = pd.to_numeric(df_result['연봉(여)'].str.replace(',','')) df_result['차이(남-여)'] = df_result['연봉(남)'] - df_result['연봉(여)'] df_result['평균'] = (df_result['연봉(남)']+df_result['연봉(여)'])/2

return df_result

#-----------------------------------

corp_codes = list(df_listed.sample(10)['corp_name'])

dfs = [] for corp_code in corp_codes: try: df = get_salary(corp_code) dfs.append(df) except: print(f'error - {corp_code}')

df_result = pd.concat(dfs) df_result.sort_values(by="차이(남-여)",ascending=True) ```

: 파이썬에서 데이터를 쉽게 다룰 수 있게 해주는 라이브러리 / 데이터분석 필수사항

import pandas as pd
import numpy as np

: 판다스의 DataFrame 형식을 이용하면 표 형태로 데이터를 볼 수 있다 ⇒ DataFrame은 “딕셔너리” 형태로 표현된 데이터를 표로 바꿔주는 역할 ⇒ 맨 왼쪽은 “index”

data = {
    'name' : ['영수','철수','영희','소희'],
    'age' : [20,15,38,8]
}

df = pd.DataFrame(data)

<Dataframe 기초>

1) 행 추가 (ignore_index=True 해야 밑에추가됨)

doc = {
    'name':'세종',
    'age':14,
}
df = df.append(doc,ignore_index=True)

2) column 추가

df['city'] = ['서울','부산','부산','서울','서울']

3) 특정 column 뽑기 ⇒ 대괄호를 두번 해야 dataframe형식으로 반환된다!

df[['name','city']]

4) 원하는 조건 행 뽑기

df[df['age'] < 20]

5) 특정 행에서 뽑기(많이 사용!)

df.iloc[-1,0] # 마지막 행의 0번째 정보
df.iloc[0,0] # 첫 행의 0번째 정보

<Dataframe 연산>

1) 열 정렬(나이로 ascending오름차순)

df.sort_values(by='age',ascending=True)

2) 조건맞는 열 추가 ⇒ 조건에 맞는 데이터 넣을때 numpy를 쓴다!

df['is_adult'] = np.where(df['age'] > 20,'성인','청소년')

3) 평균/최대값/최소값/개수

df['age'].mean()

df['age'].max()

df['age'].min()

df['age'].count()

⇒ 요약

df['age'].describe()

4) 퀴즈-서울사는사람중 나이가장많은사람은 몇살?

df[df['city'] == '서울']['age'].max()

df[df['city'] == '서울'].sort_values(by='age',ascending=False).iloc[0,1]

<엑셀 가져와서 dataframe으로 읽기>

pd.read_excel('종목데이터.xlsx')
df = pd.read_excel('종목데이터.xlsx')

<일부만 보기>

• 처음5개 df.head()
  • 끝5개 df.tail()
  • 처음20개 df.head(20)
  • 끝20개 df.tail(20)

• 소수점 둘째자리까지 보기

  pd.options.display.float_format = '{:.2f}'.format

<Pandas 실전>

1) 어제 오른 종목들만 골라보기

df[df['change_rate'] > 0]

2) per가 0 인 종목들을 제거하기

df = df[df['per'] > 0]

** 3) 순이익, 종가를 추가하기 ⇒ per = 시가총액/이익 = 주가/주당순이익**

df['earning'] = df['marketcap'] / df['per']
df['close'] = df['per'] * df['eps']

4) date 컬럼을 없애기

del df['date']

5) pbr < 1 & 시총 1조 이상 & per < 20 을 추려보기

cond = (df['marketcap'] > 1000000000000) & (df['pbr'] < 1) & (df['per'] < 20)
df[cond]

⇒ 시총이 큰 순서대로 보기

df[cond].sort_values(by='marketcap', ascending=False)

⇒ 평균, 표준편차 등의 정보를 보기 (함께하기)

df[cond].describe()

<yfinance:yahoo finance를 통해 해외주식 분석>

!pip install yfinance

⇒ !느낌표 꼭 붙여주기

import yfinance as yf

<기업 정보 보기>

company = yf.Ticker('TSLA')
company.info

<yfinance 사용법>

* 전체 사용법 : https://pypi.org/project/yfinance/

1) 기본 정보 얻기(예) 회사명, 산업, 시가총액, 매출)

name = company.info['shortName']
industry = company.info['industry']
marketcap = company.info['marketCap']
revenue = company.info['totalRevenue']

print(name,industry,marketcap,revenue)

2) 재무제표에서 3년치 데이터 얻기(대차대조표, 현금흐름표, 기업 실적)

company.balance_sheet

company.cashflow

company.earnings

3) 그 외 정보(주주정보, 애널리스트 추천 등)

company.institutional_holders

company.recommendations

company.calendar

news = company.news

for n in news:
  print(n['title'])

yahoo finance

• 52주 change / 주소 / beta값 / current price(현재가) / Earning / freeCashflow / trailingPE(PER) / Name / Business Summary / Zip code

: yahoo finance UI와 코드상 항목별name과 상이해서 잘 비교해서 분석해야한다.

yahoo finance둘러보기

cash index만 df형태로 보기 :

company.balance_sheet.loc[['Cash']]

jpMorgan의 recommendations만 필터링해서 정보 보기

df = company.recommendations
cond = df['Firm'] == 'JP Morgam'
df[cond]

<분석: 전략 세우기 - 데이터 모으기 - 모은 데이터 분석하기>

<1. 전략 세우기>

• 종목코드 ⇒ code
• 회사명 ⇒ company.info[’shortName’]
• 산업 ⇒ company.info[’industry’]
• 설명 ⇒ company.info[’longBusinessSummary’]
• 시가총액 ⇒ company.info[’marketCap’]
• 현재 주가 ⇒ company.info[’currentPrice’]
• 1년 후 예상 주가 ⇒ company.info[’targetMeanPrice’]
• PER ⇒ company.info[’trailingPE’]
• EPS ⇒ company.info[’trailingEps’]
• PBR ⇒ company.info[’priceToBook’]
• 매출 (3년치) ⇒ company.earnings ⇒ 3년 치 가져오기
• 순이익 (3년치) ⇒ company.earnings ⇒ 3년 치 가져오기
• 뉴스 ⇒ company.news ⇒ 최근 뉴스 1개 가져오기

company = yf.Ticker('TSLA')

code = 'TSLA'
name = company.info['shortName']
industry = company.info['industry']
marketcap = company.info['marketCap']
summary = company.info['longBusinessSummary']
currentprice = company.info['currentPrice']
targetprice = company.info['targetMeanPrice']

per = company.info['trailingPE']
eps = company.info['trailingEps']
pbr = company.info['priceToBook']

print(code,name,industry,marketcap,summary,
currentprice,targetprice,per,eps,pbr)

⇒ 최근 3년 매출, 순이익 더하기

rev2021 = company.earnings.iloc[-1,0]
rev2020 = company.earnings.iloc[-2,0]
rev2019 = company.earnings.iloc[-3,0]

ear2021 = company.earnings.iloc[-1,1]
ear2020 = company.earnings.iloc[-2,1]
ear2019 = company.earnings.iloc[-3,1]

<2. 데이터 모으기>

데이터를 모을 빈 DataFrame 만들기 정보 모아서 딕셔너리 변환 딕셔너리 형태로 append

doc = {
    'code':code,
    'name':name,
    'industry':industry,
    'bussiness':bussiness,
    'marketCap':marketCap/1000,
    'currentPrice':currentPrice,
    'targetPrice':targetPrice,
    'per':per,
    'eps':eps,
    'pbr':pbr,
    'news':news,
    'rev2021':rev2021/1000,
    'rev2020':rev2020/1000,
    'rev2019':rev2019/1000,
    'ear2021':ear2021/1000,
    'ear2020':ear2020/1000,
    'ear2019':ear2019/1000,
}

df.append(doc,ignore_index = True)

전체 데이터 모으는 함수!

def add_company(code):
  company = yf.Ticker(code)
  name = company.info['shortName']
  industry = company.info['industry']
  bussiness = company.info['longBusinessSummary']
  marketCap= company.info['marketCap']
  currentPrice= company.info['currentPrice']
  targetPrice= company.info['targetMeanPrice']
  per = company.info['forwardPE']
  eps = company.info['forwardEps']
  pbr = company.info['priceToBook']
  rev2021 = company.earnings.iloc[-1,0]
  rev2020 = company.earnings.iloc[-2,0]
  rev2019 = company.earnings.iloc[-3,0]
  ear2021 = company.earnings.iloc[-1,1]
  ear2020 = company.earnings.iloc[-2,1]
  ear2019 = company.earnings.iloc[-3,1]

  doc = {
    'code':code,
    'name':name,
    'industry':industry,
    'bussiness':bussiness,
    'marketCap':marketCap/1000,
    'currentPrice':currentPrice,
    'targetPrice':targetPrice,
    'per':per,
    'eps':eps,
    'pbr':pbr,
    'rev2021':rev2021/1000,
    'rev2020':rev2020/1000,
    'rev2019':rev2019/1000,
    'ear2021':ear2021/1000,
    'ear2020':ear2020/1000,
    'ear2019':ear2019/1000,
  }
  return doc

분석하기2

df = pd.DataFrame()

codes = ['AAPL','ABNB','BIDU','FB','GOOG','MSFT','TSLA','PYPL','NFLX','NVDA']

for code in codes:
  print(code)
    row = add_company(code)
    df = df.append(row, ignore_index = True)

df

이렇게만 입력하면 에러뜨는데, 특정 코드에 데이터가 없는 경우 에러가 뜸. => 에러처리 해줘야함 (아래 코드) : try except 구문!

df = pd.DataFrame()

codes = ['AAPL','ABNB','BIDU','FB','GOOG','MSFT','TSLA','PYPL','NFLX','NVDA']

for code in codes:
  print(code)
  try:
    row = add_company(code)
    df = df.append(row, ignore_index = True)
  except:
    print(f'error - {code}')

df

<3. 모은 데이터 분석하기>

: 관심 종목을 매일 자동으로 모아서, 분석하고 결과까지 내어줄 수 있다!

1) eps 순서대로 정렬해보기

df.sort_values(by='eps',ascending=False)

2) 특정 per 이하만 보기

df[df['per'] < 30].sort_values(by='per',ascending=False)

3) 현재가격 - 1년 후 가격의 비율 차이가 큰 종목들을 추려내기

df[['code','name','currentPrice','targetPrice']]

new_df = df[['code','name','currentPrice','targetPrice']].copy()
new_df['gap'] = new_df['targetPrice'] / new_df['currentPrice'] -1
new_df.sort_values(by='gap',ascending=False)

4) 3년 연속 순수익이 오른 기업을 표기하기

import numpy as np
new_df2 = df[['code','name','ear2021','ear2020','ear2019']].copy()

cond = (new_df2['ear2021'] > new_df2['ear2020']) & (new_df2['ear2020'] > new_df2['ear2019'])

new_df2['is_target'] = np.where(cond,'O','X')

new_df2[new_df2['is_target'] == 'O']

분석하기3

현재가격 - 1년 후 가격의 비율 차이가 큰 종목들을 추려내기

new_df['gap'] = new_df['targetPrice'] / new_df['currentPrice'] -1

• new_df = df[['code','name','currentPrice','targetPrice']].copy() 원본 필터링 후 조작하려면 _*.copy() *_추가해주기!

  ox 표기할 열 만들기

  new_df['is_target'] = np.where(cond,'O','X')

index 숫자찍히도록 0부터시작 초기화(?)

df.reset_index(drop=True)

# 과제

#소수점 둘째자리까지 표기하기
pd.options.display.float_format = '{:.2f}'.format

#과제
company = yf.Ticker('AAPL')

df = company.balance_sheet.loc[['Cash']]
df.columns = ['2021','2020','2019','2018']
df['name'] = company.info['shortName']

new_df =  df[['name','2021','2020']].copy()
new_df['diff'] = new_df['2021'] - new_df['2020']

new_df.reset_index(drop=True)

**<구글 Colab 이란?> ** : 온라인에서 파이썬 데이터분석을 학습할 수 있는 환경!

(실행: ctrl Enter) (1) 내 컴퓨터에 파이썬을 설치 할 필요 없고, (2) 인터넷만 되면 어디서든 접근 가능하고, (3)내 컴퓨터보다 빠르답니다!

<파이썬> : 가장 직관적인 문법을 가진 언어!

1) 변수 & 기본연산

⇒ 변수(숫자,문자): 값을 담아두는 박스

a = 3      # 3을 a에 넣는다
b = a      # a를 b에 넣는다
a = a + 1  # a+1을 다시 a에 넣는다
num1 = a*b # a*b의 값을 num1이라는 변수에 넣는다
num2 = 99 # 99의 값을 num2이라는 변수에 넣는다

[자료형] 숫자, 문자 말고도.. 여러가지 문자열들이 순서에 의해 묶여있는 list!

2) 리스트, 딕셔너리 형

⇒ 리스트 형 : 순서가 중요!

a_list = ['사과','배','감','수박']

⇒ Dictionary 형 : { key : value } 형태가 중요!

a_dict = {'name':'bob','age':21}
요소 추가 a_dict['height'] = 178 

⇒ Dictionary 형과 List 형의 조합

people = [{'name':'bob','age':20},{'name':'carry','age':38}]

• people[0]['name']의 값은? 'bob'
• people[1]['name']의 값은? 'carry'

person = {'name':'john','age':7}
people.append(person)

• people의 값은? [{'name':'bob','age':20},{'name':'carry','age':38},{'name':'john','age':7}]
• people[2]['name']의 값은? 'john'

3) 함수

⇒ 수학에서의 함수와 살짝 다르답니다! ⇒ 프로그래밍에선 정해진 일을 하게끔!

파이썬에서 def 콜론 엔터친다음에 들여쓰기가 중요!

def f(x):
    return 2*x+3

result = f(2)
result? 7

4) 조건문

if:/else: ⇒ 무엇을 하라라는 꾸러미가 있다면 들여쓰기를 해라!(함수처럼)

def is_adult(age):
  if age > 20:
        print('성인')
  else:
        print('청소년')

is_adult(30)

5) 반복문

⇒ ★반복문은 항상 list 꺼내서 함께쓴다

a_list = ['사과','배','감','귤']

for a in a_list:
  print(a)

** ⇒ 조건문 + 함수 + 반복문을 한번에 사용해보기 (4번 조건문 함수와 함께 적용한다면,)**

ages = [20,30,15,5,10]

for age in ages:
    is_adult(age)

<스크래핑 실습: 업무자동화1>

• 웹스크래핑

  • 웹페이지의 동작 방식 :URL을 넣고 엔터를 치면 → 정보를 가져와서 → 보여주는 게 브라우저의 역할! :HTML 이라고 하는 “뼈대”로 구성

<크롤링 기본 코드>

⇒ requests *로 정보를 가져와서 *(enter 치는 라이브러리) → BeautifulSoup으로 분석하기 좋게! 만드는 것이랍니다.(잘 솎아내는 라이브러리)

import requests
from bs4 import BeautifulSoup

headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://search.naver.com/search.naver?where=news&ie=utf8&sm=nws_hty&query=삼성전자',headers=headers)

soup = BeautifulSoup(data.text, 'html.parser')

⇒ select_one **과, select 만 기억하면 됩니다! → html태그 안에 있는 요소들 불러오는 것!**

a = soup.select_one('#sp_nws1 > div.news_wrap.api_ani_send > div > a')
a['href']
a.text

<스크래핑 실습: 업무자동화2>

(colab 칸 지우기: ctrl m+d)

⇒ requests.get(f. 하고 {중괄호부분에 keyword},) → get_news(keyword) 하면 스크래핑 됨!

def get_news(keyword):
  headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
  data = requests.get(f'https://search.naver.com/search.naver?where=news&ie=utf8&sm=nws_hty&query={keyword}',headers=headers)

  soup = BeautifulSoup(data.text, 'html.parser')
  lis = soup.select('#main_pack > section > div > div.group_news > ul > li')

  for li in lis:
    a = li.select_one('a.news_tit')
    print(a.text, a['href'])

<엑셀 다루기: 업무자동화1>

*openpyxl * ⇒ 엑셀 다루는 라이브러리

<openpyxl 기본 코드>

from openpyxl import Workbook

wb= Workbook()
sheet = wb.active

sheet['A1'] = '안녕하세요!'

wb.save("샘플파일.xlsx")
wb.close()

<openpyxl 엑셀 읽기>

import openpyxl
wb = openpyxl.load_workbook('샘플파일.xlsx')
sheet = wb['Sheet']

#두번째행부터 불러오기(list로 만들어서!)
rows = list(sheet.rows)[1:]

for row in rows:
  if row[2].value < 300:
    print(row[0].value,row[1].value,row[2].value)

#tip> 런타임-초기화 하면 날아감! Colab 환경은, “저장소”가 아닙니다. 즉, 다시 들어오면 파일은 사라지고 없으니, 작업 용도로만 사용하셔야 한다는 점을 기억해주세요!

<엑셀 다루기: 업무자동화2>

<스크래핑 결과를 엑셀에 넣기>: sheet.append(row)

<파이썬 날짜 가져오기>

from datetime import datetime
datetime.today().strftime("%Y-%m-%d")
wb.save(폴더명/~)
폴더명이라는 폴더에 쌓여라!

<파일다운로드: 업무자동화>

#tip> Colab에선 파일을 올리는 것은 쉬운데, 내려 받는 것이 살-짝 까다로워요! 기본적으로 Colab은 “파일을 모아두는 용도”가 아니기 때문에, 파일을 “묶어주고” → “다운로드” 받는 것이 보통이랍니다.

파일 묶어주기:

!zip -r /content/files.zip /content/news

<파일명바꾸기: 업무자동화>

name = '2022-05-15_NAVER.xlsx'
new_name = name.split('.')[0]+'(뉴스).xlsx'

이렇게 바꾸는 게 기초! os.rename사용하기

import os

path = '/content/news'
names = os.listdir(path)

for name in names:
  new_file = name.split('.')[0] + '(뉴스).xlsx'
  os.rename(path+'/'+name,path+'/'+new_file)

<이미지 다운로드: 업무자동화>

import urllib.request

url = '여기에 URL을 입력하기'
urllib.request.urlretrieve(url, "test.jpg")

과제

#관리종목 엑셀파일 이미지 다운로드
import urllib.request
import openpyxl

wb = openpyxl.load_workbook('관리종목.xlsx')
sheet = wb['종목']

new_rows = list(sheet.rows)[1:]

for row in new_rows:
  url = f'https://ssl.pstatic.net/imgfinance/chart/item/area/year3/{row[1].value}.png'
  urllib.request.urlretrieve(url, f"imgs/{row[0].value}.png")

#이미지 압축 후 한번에 다운로드 받기
!zip -r /content/imgs.zip /content/imgs

Filezilla 가비아

<버킷리스트 POST연습-기록>

1. 요청 정보 : URL= /bucket, 요청 방식 = POST
2. 클라(ajax) → 서버(flask) : bucket
3. 서버(flask) → 클라(ajax) : 메시지를 보냄 (기록 완료!)

단! 서버에서 한 가지 일을 더 해야합니다.

→ 번호를 만들어 함께 넣어주는 것. 그래야 업데이트가 가능하겠죠!

<버킷리스트 GET연습>

1. 요청 정보 : URL= /bucket, 요청 방식 = GET
2. 클라(ajax) → 서버(flask) : (없음)
3. 서버(flask) → 클라(ajax) : 전체 버킷리스트를 보여주기

<버킷리스트 POST연습-완료>

1. 요청 정보 : URL= /bucket/done, 요청 방식 = POST

2. 클라(ajax) → 서버(flask) : num (버킷 넘버) 3. 서버(flask) → 클라(ajax) : 메시지를 보냄 (버킷 완료!)

<내프로젝트를 서버에 올리기>

• 웹서비스 런칭에 필요한 개념

• 웹 서비스를 런칭하기 위해 클라이언트의 요청에 항상 응답해줄 수 있는 서버에 프로젝트를 실행시켜줄 거에요.

• 언제나 요청에 응답하려면, 1) 컴퓨터가 항상 켜져있고 프로그램이 실행되어 있어야하고, 2) 모두가 접근할 수 있는 공개 주소인 공개 IP 주소(Public IP Address)로 나의 웹 서비스에 접근할 수 있도록 해야해요.

• 서버는 그냥 컴퓨터라는거 기억나시죠? 외부 접속이 가능하게 설정한 다음에 내 컴퓨터를 서버로 사용할 수도 있어요.

• 우리는 AWS 라는 클라우드 서비스에서 편하게 서버를 관리하기 위해서 항상 켜 놓을 수 있는 컴퓨터인 EC2 사용권을 구입해 서버로 사용할 겁니다.

cf) OS로 리눅스의 Ubuntu를 설치 - AWS EC2 https://ap-northeast-2.console.aws.amazon.com/ec2/v2/home?region=ap-northeast-2

** EC2 서버 종료하는 방법 (1년 후 자동결제 방지!) ** 대상 인스턴스에 마우스 우클릭 > '인스턴스 상태' 를 클릭합니다. 중지 또는 종료 중 하나를 클릭하면 명령을 실행합니다.

<EC2에 접속하기>

• SSH(Secure Shell Protocol)

  • 다른 컴퓨터에 접속할 때 쓰는 프로그램입니다. 다른 것들 보다 보안이 상대적으로 뛰어납니다.
  • 접속할 컴퓨터가 22번 포트가 열려있어야 접속 가능합니다. AWS EC2의 경우, 이미 22번 포트가 열려있습니다.

• Window: ssh가 없으므로, git bash라는 프로그램을 이용!

  • gitbash를 실행하고, 아래를 입력!

    ssh -i 받은키페어를끌어다놓기 ubuntu@AWS에적힌내아이피

<리눅스 명령어>
리눅스는 쉘 명령어를 통해 OS 조작 가능(마우스 역할)

• ls: 내 위치의 모든 파일을 보여준다.
• pwd: 내 위치(폴더의 경로)를 알려준다.
• mkdir: 내 위치 아래에 폴더를 하나 만든다.
• cd [갈 곳]: 나를 [갈 곳] 폴더로 이동시킨다.
• cd .. : 나를 상위 폴더로 이동시킨다.
• cp -r [복사할 것] [붙여넣기 할 것]: 복사 붙여넣기
• rm -rf [지울 것]: 지우기
• sudo [실행 할 명령어]: 명령어를 관리자 권한으로 실행한다.
• sudo su: 관리가 권한으로 들어간다. (나올때는 exit으로 나옴)

<EC2 한방에 세팅하기>

python3 -> python

sudo update-alternatives --install /usr/bin/python python /usr/bin/python3 10

pip3 -> pip

sudo apt-get update sudo apt-get install -y python3-pip sudo update-alternatives --install /usr/bin/pip pip /usr/bin/pip3 1

port forwarding

sudo iptables -t nat -A PREROUTING -i eth0 -p tcp --dport 80 -j REDIRECT --to-port 5000

pip3 설치

sudo apt-get update sudo apt-get install -y python3-pip

pip3 대신 pip 라고 입력하기 위한 명령어

sudo update-alternatives --install /usr/bin/pip pip /usr/bin/pip3 1

포트포워딩 (80포트 → 5000포트)

80포트로 들어오는 요청을 5000포트로 넘겨주는 명령어

sudo iptables -t nat -A PREROUTING -i eth0 -p tcp --dport 80 -j REDIRECT --to-port 5000

<Flask 서버 실행>

• AWS에서 5000포트를 열어주기
  • EC2 서버(=가상의 내 컴퓨터)에서 포트를 따로 설정하는 것 외에도, AWS EC2에서도 자체적으로 포트를 열고/닫을 수 있게 관리를 하고 있습니다. → 그래서 AWS EC2 Security Group에서 인바운드 요청 포트를 열어줘야 합니다.

80포트: HTTP 접속을 위한 기본포트

↓

<포트 번호 없애기 - 기본 개념>

• 지금은 5000포트에서 웹 서비스가 실행되고 있습니다. 그래서 매번 :5000 이라고 뒤에 붙여줘야 하죠. 뒤에 붙는 포트 번호를 없애려면 어떻게 해야할까요?
• http 요청에서는 80포트가 기본이기 때문에, 굳이 :80을 붙이지 않아도 자동으로 연결이 됩니다.
• 포트 번호를 입력하지 않아도 자동으로 접속되기 위해, 우리는 80포트로 오는 요청을 5000 포트로 전달하게 하는 포트포워딩(port forwarding) 을 사용하겠습니다.
• 리눅스에서 기본으로 제공해주는 포트포워딩을 사용할 것입니다. 그림으로 보면 아래와 같습니다.

<nohup설정> ssh접속 끊어도 서버 계속 돌게하기 Git bash 또는 맥의 터미널을 종료하면 (=즉, SSH 접속을 끊으면) 프로세스가 종료되면서, 서버가 돌아가지 않고 있습니다. 그러나 우리가 원격접속을 끊어도, 서버는 계속 동작해야겠죠?

서버 돌아가게 하기 nohup python app.py &

서버 강제종료하기 ps -ef | grep 'python app.py' | awk '{print $2}' | xargs kill

<og태그>

static 폴더 아래에 이미지 파일을 넣고, 각자 프로젝트 HTML의 ~ 사이에 아래 내용을 작성하면 og 태그를 개인 프로젝트에 사용할 수 있습니다.

• 이미지를 바꿨는데 이전 ogimage가 그대로 나와요! 👉 그것은 페이스북/카카오톡 등에서 처음 것을 한동안 저장해놓기 때문입니다.

  • 페이스북 og 태그 초기화 하기: https://developers.facebook.com/tools/debug/
  • 카카오톡 og 태그 초기화 하기: https://developers.kakao.com/tool/clear/og

메모

Filezilla 설치하기: 파일 보낼수있는 프로그램(클라우드에 올리기)

가비아 가입하기 & 도메인 구입하기

sparta-mini.shop/ ns.gabia.co.kr 211.234.118.50 ns1.gabia.co.kr 121.78.117.39 ns.gabia.net 110.45.166.50

<버킷리스트> 프로젝트 세팅/뼈대준비

[POST] 지금까지 과제와 다른점은 서버에서 한가지 일을 더 해야한다. 리스트별 번호를 만들어 함께 데이터 넣어주는 것!(그래야 완료여부 등 업데이트 가능)

. done 값 0->1로 만들기 . 업데이트 : db.users.update_one({'name':'bobby'},{'$set':{'age':19}}) . 숫자를 클라이언트로부터 받아왔으면 숫자로 받아주는 작업 필요(서버처리지) --> int()

<내서비스가 인터넷에서 계속 살아있으려면?> 내프로젝트를 서버에 올리고...(서버=컴퓨터)

컴퓨터가 항상 켜져있고 프로그램 실행되어 있어야하고 모두가 접근할 수 있는 공개IP주소로 내 웹서비스에 접근할 수 있도록! -> 요즘은 클라우드 환경 이용(EX. AWS EC2 사용권)

<AWS 서버 구매하기> 윈도우 맥OS가 아니라, 리눅스 OS -> 원격접속:명령어로 실행(Git Bash)

. mkdir sparta : sparta폴더생성 . ls : 폴더들어가기 . cd sparta : sparta폴더접속 . cd .. : 폴더나가기 (Tab키 자동완성) (화살표 윗키 : 내가 마지막으로 썼던 것)

인스턴스 시작(컴퓨터 on) 인스턴스 중지(컴퓨터 off) 인스턴스 종료(컴퓨터 반납)

<서버 세팅하기> EC2 한방에 세팅하기(git bash에 한줄씩 입력) 파일질라 실행(좌: 내 컴퓨터 / 우: 내가 빌린 컴퓨터)

<flask서버 실행하기> 파일질라에서 app.py & templates & static 업로드 git bash 필요한 인터프리터 다운(flask, pymongo, dnspython) python app.py 실행

ip주소 복사+:5000 입력 & **AWS 보안 탭 > 보안그룹 클릭 > 인바운드규칙편집 > 규칙추가 (+80도 규칙추가!!!)

http://52.79.233.43:5000/ http://52.79.233.43

* 리눅스 기본제공 포트포워딩 외부요청들 -> 80포트 -> 우리서버 -> 5000포트로 -> 도달

: sudo iptables -t nat -A PREROUTING -i eth0 -p tcp --dport 80 -j REDIRECT --to-port 5000

원격접속 종료하더라도 서버 계속 들어갈 수 있게

nohup python app.py & ctrl + c : 끄기

<nuhup 강제종료> ps -ef | grep 'python app.py' | awk '{print $2}' | xargs kill

• 파이참 작업 배포시
• 파일질라에서 static templates app.py 올리기
• git bash 에서 nohup으로 켜기 nohup python app.py

<도메인 연결하기>

가비아 - dns설정

<og태그>

• 휴대폰 공유 시, 링크만 뜨는게 아니라 이미지도 같이 뜨도록 태그설정 og:image og:title og:description

• nohup 끄고 app.py파일 수정배포하기! (nohup 종료실행코드 > 파일질라 해당파일 삭제 > 다시배포)

• 카카오톡에서 저장된 og태그 삭제하기 :수정된 og태그 불러올수있게! https://developers.kakao.com/tool/clear/og

결과물

http://sparta-mini.shop/

<정리> 기본적으로 웹서비스를 만든다고 하면 필요한 것

1) 내눈에 보이는 것: HTML CSS Javascript 2) 내눈에 보이는 것을 건네줄 존재: 서버

파이썬: 서버를 만들 수 있는 언어

서버 만들고, 인터넷 환경에 배포하기까지!

• 로컬개발환경

• 클라우드환경

Flask 프레임워크: 서버를 구동시켜주는 편한 코드 모음. 서버를 구동하려면 필요한 복잡한 일들을 쉽게 가져다 쓸 수 있습니다.

• flask 서버를 돌리는 파일은 app.py라고 이름 짓습니다!

• html 파일 불러오기 : flask 내장함수 render_template를 이용합니다.

from flask import Flask, render_template

GET, POST 방식

• GET → 데이터 조회(Read) 요청할 때 예) 영화 목록 조회

  → 데이터 전달할 때 : 
  URL 뒤에 물음표를 붙여 key=value로 전달

  ) google.com?q=북극곰

• POST → 데이터 생성(Create), 변경(Update), 삭제(Delete) 요청할 때 예) 회원가입, 회원탈퇴, 비밀번호 수정

   → 데이터 전달할 때 : 
   바로 보이지 않는 HTML body에 key:value 형태로 전달

• 화성땅 공동구매 - POST

1. 요청 정보 : URL= /mars, 요청 방식 = POST
2. 클라(ajax) → 서버(flask) : name, address, size
3. 서버(flask) → 클라(ajax) : 메시지를 보냄 (주문 완료!)

• 화성땅 공동구매 - GET

1. 요청 정보 : URL= /mars, 요청 방식 = GET
2. 클라(ajax) → 서버(flask) : (없음)
3. 서버(flask) → 클라(ajax) : 전체 주문을 보내주기

* META 태그란? URL만 입력했는데, 자동으로 불러와지는 부분들 : 'meta'태그를 크롤링 함으로써 공통적으로 얻을 수 있다.

• 스파르타피디아 - POST

1. 요청 정보 : URL= /movie, 요청 방식 = POST
2. 클라(ajax) → 서버(flask) : url, star, comment
3. 서버(flask) → 클라(ajax) : 메시지를 보냄 (포스팅 완료!)

• 스파르타피디아 - GET

1. 요청 정보 : URL= /movie, 요청 방식 = GET
2. 클라(ajax) → 서버(flask) : (없음)
3. 서버(flask) → 클라(ajax) : 전체 영화를 보내주기

메모

mongoDB / HTML CSS JS / 서버를 만든다! -> 내 컴퓨터에서 만들고 내컴퓨터에서 테스트해본다 = 로컬개발환경

flask 프레임워크 : 서버를 만들수있는 프레임워크 (서버를 구동시켜주는 편한 코드 모음)

@app.route('/') def home(): return 'This is Home!'

@app.route('/mypage') def mypage(): return 'This is mypage!!!'

localhost:5000/mypage

<flask 기본 폴더구조> [세팅 루틴: (프로젝트 폴더안에 항상 이렇게 세팅하고 시작)]

• 파일-새프로젝트 폴더 설정

• 폴더 내 경로(directory) 생성:

• • . static(이미지, css 파일 넣어둠) . templates(html 파일 담아두고 불러오는 역할)**

• 폴더 내 파이썬 파일 생성: *. app.py *

• templates 경로 내** index.html **생성

• 파일-설정-프로젝트-python-인터프리터-+-패키지 설치 . flask . pymongo . dnspython

<서버에 html보내기> render_template return render_template('index.html') 하면 templates폴더 내의 html을 읽어서 서버에 보내준다

<localhost:5000 VS 파이참 우측상단 크롬 버튼?> . localhost:서버가 보여주는 것 . 우측상단 크롬: 내 컴퓨터 파일 열어서 보는것과 같은 개념

< api > get : ** 데이터 조회 . url뒤에 ?key=value **post : 데이터 생성 변경 삭제 . html body에 key:value

cf. 프론트엔드 html쪽, 백엔드 flask/서버쪽

** <과제들>**

[화성땅공동구매]

• dbprac파일 참고하여 작성 cf) 새로고침: window.location.reload()

• 주문하기 / 정보 서버에 주기(post) / 버튼클릭 시 완료

• 버튼누르면 save_order function 실행되고

• name,address,size정보를 Jquery로 가져와서 실어보냄

• 미리약속한대로(창구에) -> app.py에서 약속한대로 받음(post)

• 창구에서 db에 저장하고 -> 주문완료라고 return 값 보내면

• 메시지가 받아서 alert 로 보여주고 -> window reload

• 주문 보여주기 / 로딩완료 시 자동조회(get)

[스파르타피디아-movie]

• 조각 기능 : 프로젝트 구현전 필요한 기능들을 먼저 구현

• 크롤링 연습 - meta 태그 ex) 네이버 영화 : html head 부분에 og:image, og:title...

• 뼈대 준비하기 API 만들기(POST) . 무엇을 만들기 파악하기 . 서버만들기(app.py)-클라이언트만들기(html)-확인하기

• mongo DB에 저장한 값 화면에 보여주기(GET)

[팬명록 완성 과제] 서버만들고 클라이언트 만드는 것 까지 잘 한 것 같은데, 데이터 입력 후 mongo DB에 저장 및 화면에 적재되는 게 계속 오류가 났다.

※ 오류코드: name_receive = request.form['name_give'] File "상세 파일위치\바탕 화면\sparta\projects\homework\venv\lib\site-packages\werkzeug\datastructures.py", line 375, in getitem raise exceptions.BadRequestKeyError(key)

werkzeug.exceptions.BadRequestKeyError: 400 Bad Request: The browser (or proxy) sent a request that this server could not understand.

KeyError: 'name_give'

--> 해결완료! (04/20) POST 쪽에 name_give 정의를 안해줬었다..^^;

      function save_comment() {
        let name = $('#name').val()
        let comment = $('#comment').val()

        $.ajax({
            type: 'POST',
            url: '/homework',
            data: {name_give:name, comment_give: comment},
            success: function (response) {
                alert(response['msg'])
                window.location.reload()
            }
        })
    }

파이썬을 설치한다?

→ 일종의 번역팩을 설치한다고 생각하면 됩니다. 컴퓨터는 101010001 과 같은 언어만 알아듣는다고 했지요? 파이썬 문법으로 된 것을 101010001로 변환해줄 수 있도록, 번역 패키지를 설치하는 것입니다.

* 변수 & 기본연산 a = 3 # 3을 a에 넣는다 b = a # a를 b에 넣는다 a = a + 1 # a+1을 다시 a에 넣는다

num1 = ab # ab의 값을 num1이라는 변수에 넣는다 num2 = 99 # 99의 값을 num2이라는 변수에 넣는다

* 자료형1(숫자, 문자형) name = 'bob' # 변수에는 문자열이 들어갈 수도 있고, num = 12 # 숫자가 들어갈 수도 있고,

is_number = True # True 또는 False -> "Boolean"형이 들어갈 수도 있습니다. 그리고 List, Dictionary 도 들어갈 수도 있죠.

* 자료형2(리스트헝(Javascript의 배열형과 동일)) a_list = [] a_list.append(1) # 리스트에 값을 넣는다 a_list.append([2,3]) # 리스트에 [2,3]이라는 리스트를 다시 넣는다

a_list의 값은? [1,[2,3]] a_list[0]의 값은? 1 a_list[1]의 값은? [2,3] a_list[1][0]의 값은? 2

• 자료형3(Dictionary 형 (Javascript의 dictionary형과 동일)) a_dict = {} a_dict = {'name':'bob','age':21} a_dict['height'] = 178

a_dict의 값은? {'name':'bob','age':21, 'height':178} a_dict['name']의 값은? 'bob' a_dict['age']의 값은? 21 a_dict['height']의 값은? 178

* 함수

#수학문제에서 f(x) = 2*x+3 y = f(2) y의 값은? 7

#참고: 자바스크립트에서는 function f(x) { return 2*x+3 }

#파이썬에서 def f(x): return 2*x+3

y = f(2) y의 값은? 7

* 조건문(if/else) def oddeven(num): # oddeven이라는 이름의 함수를 정의한다. num을 변수로 받는다. if num % 2 == 0: # num을 2로 나눈 나머지가 0이면 return True # True (참)을 반환한다. else: # 아니면, return False # False (거짓)을 반환한다.

result = oddeven(20)

• 반복문(for in) 파이썬에서의 반복문은, 리스트의 요소들을 하나씩 꺼내쓰는 형태입니다. 무조건 리스트와 함께 쓰입니다!

fruits = ['사과','배','배','감','수박','귤','딸기','사과','배','수박']

count = 0 for fruit in fruits: if fruit == '사과': count += 1

print(count) #사과의 갯수를 세어 보여줍니다.

패키지? 라이브러리?

Python 에서 패키지는 모듈(일종의 기능들 묶음)을 모아 놓은 단위입니다. 이런 패키지 의 묶음을 라이브러리 라고 볼 수 있습니다.

1. 가상 환경(virtual environment) 이란? - 프로젝트별로 패키지들을 담을 공구함 같은 시스템에서 실행되는 다른 파이썬 응용 프로그램들의 동작에 영향을 주지 않기 위해, 파이썬 배포 패키지들을 설치하거나 업그레이드하는 것을 가능하게 하는 격리된 실행 환경 입니다.

2. pip(python install package) 사용 - requests 패키지 설치해보기 앱을 설치할 때 앱스토어/플레이스토어를 가듯이, 새로운 프로젝트의 라이브러리를 가상환경(공구함)에 설치하려면 pip 를 이용하게 됩니다.

태그 안의 텍스트를 찍고 싶을 땐 → 태그.text 태그 안의 속성을 찍고 싶을 땐 → 태그['속성']

beautifulsoup 내 select에 미리 정의된 다른 방법을 알아봅니다

#선택자를 사용하는 방법 (copy selector) soup.select('태그명') soup.select('.클래스명') soup.select('#아이디명')

soup.select('상위태그명 > 하위태그명 > 하위태그명') soup.select('상위태그명.클래스명 > 하위태그명.클래스명')

#태그와 속성값으로 찾는 방법 soup.select('태그명[속성="값"]')

#한 개만 가져오고 싶은 경우 soup.select_one('위와 동일')

#크롬 개발자도구를 참고할 수도 있습니다.

1. 원하는 부분에서 마우스 오른쪽 클릭 → 검사
2. 원하는 태그에서 마우스 오른쪽 클릭
3. Copy → Copy selector로 선택자를 복사할 수 있음

DB 데이터베이스 종류

RDBMS(SQL)

행/열의 생김새가 정해진 엑셀에 데이터를 저장하는 것과 유사합니다. 데이터 50만 개가 적재된 상태에서, 갑자기 중간에 열을 하나 더하기는 어려울 것입니다. 그러나, 정형화되어 있는 만큼, 데이터의 일관성이나 / 분석에 용이할 수 있습니다. ex) MS-SQL, My-SQL 등

No-SQL 딕셔너리 형태로 데이터를 저장해두는 DB입니다. 고로 데이터 하나 하나 마다 같은 값들을 가질 필요가 없게 됩니다. 자유로운 형태의 데이터 적재에 유리한 대신, 일관성이 부족할 수 있습니다. ex) MongoDB

DB는 간단하게, 우리가 쓰는 프로그램과 같은 것이랍니다. 즉, 내 컴퓨터에 게임도 설치하고, PPT도 설치하고, DB도 설치할 수 있는 것이죠. 이 마저도 요새는 Cloud 형태로 제공해주는 곳들이 많답니다.

• 유저가 몰리거나 / DB를 백업해야 하거나 / 모니터링 하기가 아주 용이하기 때문이죠!

_pymongo 라이브러리의 역할 _

예를 들어, MS Excel를 파이썬으로 조작하려면, 특별한 라이브러리가 필요하지 않겠어요?

마찬가지로, mongoDB 라는 프로그램을 조작하려면, 특별한 라이브러리, pymongo가 필요하답니다!

from pymongo import MongoClient client = MongoClient('여기에 URL 입력') db = client.dbsparta

pymongo 사용법. 코드 요약

#저장 - 예시 doc = {'name':'bobby','age':21} db.users.insert_one(doc)

#한 개 찾기 - 예시 user = db.users.find_one({'name':'bobby'})

#여러개 찾기 - 예시 ( _id 값은 제외하고 출력) all_users = list(db.users.find({},{'_id':False}))

#바꾸기 - 예시 db.users.update_one({'name':'bobby'},{'$set':{'age':19}})

#지우기 - 예시 db.users.delete_one({'name':'bobby'})

메모

<파이썬 기초> (변수) (자료형) list = [''], dict = {'':'', '':''}

(함수) def sum(a,b): return a+b

(조건문) if 조건: 결과 else: 결과

• : tab(들여쓰기) 다음부터는 나의 내용물입니다.

(반복문) 리스트와 함께 쓴다 for in

( 예제 1 ) count = 0 for fruit in fruits: if fruit == '사과': count += 1 print(count)

( 예제 2 ) for ppp in people: if ppp['age'] > 20: print(ppp['name'])

<라이브러리> 라이브러리 = 패키지 묶음 패키지 = 모듈(기능묶음)을 모아놓은 단위

venv (virtual environment, 가상환경) = 프로젝트별로 패키지들을 담을 공구함 (프로젝트마다 쓰는 라이브러리 버전이 다를수도 있기떄문에!)

pip (python install package)

Ajax 같은 역할을 하는 패키지 requests 를 깔았다! -> import requests

<웹스크래핑=크롤링> 패키지 추가설치 beautifulsoup4

크롤링을 하려면 두가지를 한다. requests를 해서 html을 가져오는 것 특정값 찾게해주는 라이브러리 = beautifulsoup4

패키지 beautifulsoup4 를 깔았다! -> from bs4 import BeautifulSoup

headers = 코드에서 콜 날리듯이, 브라우저에서 콜 날린것처럼 (사람인것처럼) 해주려고 쓰는 용도 headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'} data = requests.get('url',headers=headers)

<bs4 쓰는 방법> 링크 내 특정값 - 오른쪽마우스 검사 - copy - copy selector

bs4 결과값 볼 때 태그에서 값을 텍스트로만 보려면 print(title.text) 경로(?) 보려면 print(title['href'])

같다 == 아니다 != , is not

**<데이터베이스> ** 데이터를 잘 가져오게하는 프로그램이다 db에는 index라는 순서로 데이터들이 정렬되어있다!

RDBMS(SQL) : 행/열의 생김새가 정해진 엑셀에 데이터를 저장하는 것과 유사합니다. 데이터 50만 개가 적재된 상태에서, 갑자기 중간에 열을 하나 더하기는 어려울 것입니다. 그러나, 정형화되어 있는 만큼, 데이터의 일관성이나 / 분석에 용이할 수 있습니다. ex) MS-SQL, My-SQL 등 : 정형화되어있고, 빨리 찾을수있으나 유연한 대처가 어려움

No-SQL (Not only SQL) : 딕셔너리 형태로 데이터를 저장해두는 DB입니다. 고로 데이터 하나 하나 마다 같은 값들을 가질 필요가 없게 됩니다. 자유로운 형태의 데이터 적재에 유리한 대신, 일관성이 부족할 수 있습니다. ex) MongoDB

-> 유저가 몰리거나 / DB를 백업해야 하거나 / 모니터링 하기가 아주 용이하기 때문에 컴퓨터에 까는것 보다 클라우드 형태로 이용하는게 트랜드! ex) mongoDB Atlas 클라우드 환경에서 mongoDB가 제공해주는 서비스 : 그때그때 쌓이기때문에 유연하게 대처할수있다(초기서비스에 유용)

패키지 추가설치 pymongo, dnspython

data 넣고 mongoDB 에서 데이터가 잘 들어갔는지 보기 : browse collections

<mongoDB 사용방법> 파이썬이라는 프로그래밍 언어로 데이터베이스에 데이터를 넣거나 가져오거나 수정하거나 삭제하거나!

#저장 - 예시 doc = {'name':'bobby','age':21} db.users.insert_one(doc)

#한 개 찾기 - 예시 user = db.users.find_one({'name':'bobby'})

#여러개 찾기 - 예시 ( _id 값은 제외하고 출력) all_users = list(db.users.find({},{'_id':False}))

#바꾸기 - 예시 db.users.update_one({'name':'bobby'},{'$set':{'age':19}})

#지우기 - 예시 db.users.delete_one({'name':'bobby'})

<웹스크래핑 결과 저장하기>

• db연결을 위한 즐겨찾기 from pymongo import MongoClient client = MongoClient('mongodb+srv://test:sparta@cluster0.mswdg.mongodb.net/cluster0?retryWrites=true&w=majority') db = client.dbsparta

https://cloud.mongodb.com/

<정리>

• 웹서비스를 만들기위해 필요한 것 2가지 1) 눈에보이는 것을 만드는 HTML, CSS, Javascript 2) 눈에보이는 것을 주는 서버

• 서버를 만들수있는 프로그래밍 언어: 파이썬 / (db)

.strip() : 여백없애기

jQuery를 이용해 Javascript로 HTML을 쉽게 제어하고, Ajax를 이용해 다시 서버에 데이터를 요청하고 받아보겠습니다.

jQuery는 Javascript와 다른 특별한 소프트웨어가 아니라 미리 작성된 Javascript 코드입니다. 전문 개발자들이 짜둔 코드를 잘 가져와서 사용하는 것임을 기억해주세요! (그렇게 때문에, 쓰기 전에 "임포트"를 해야합니다!)

JSON은, Key:Value로 이루어져 있습니다. 자료형 Dictionary와 아주- 유사하죠

• GET → 통상적으로! 데이터 조회(Read)를 요청할 때

                       예) 영화 목록 조회

• POST → 통상적으로! 데이터 생성(Create), 변경(Update), 삭제(Delete) 요청 할 때

                       예) 회원가입, 회원탈퇴, 비밀번호 수정

Ajax는 jQuery를 임포트한 페이지에서만 동작 가능합니다.

• Ajax코드해설 $.ajax({

  type: "GET", // GET 방식으로 요청한다.

  url: "http://spartacodingclub.shop/sparta_api/seoulair", // 요청할 url

  data: { param: 'value', param2: 'value2' }, // POST 요청하면서 함께 줄 데이터, (GET 요청시엔 비워두세요)

  success: function(response){ // 서버에서 준 결과를 response라는 변수에 담음

  console.log(response) // 서버에서 준 결과를 이용해서 나머지 코드를 작성 } })

• 이미지 바꾸기 : $("#아이디값").attr("src", 이미지URL);
• 텍스트 바꾸기 : $("#아이디값").text("바꾸고 싶은 텍스트");

메모

<jQuery란>

HTML 요소들을 조작하는 Javascript를 미리 작성해둔 라이브러리 (누군가가 짜둔 css = 부트스트랩)

• CSS 의 CLASS 처럼, JQUERY 에선 ID !

$('#url').val('입력값') id=url에다가 jquery 적용 그곳에 입력하는 값 = .val('입력값') 입력값을 알기위해서는 = $('#url').val('')

$('#post-box').hide() = 숨기기 $('#post-box').show() = 보여주기

let temp_html = 물결표시 shift키 누르지않은키 $('#cards-box').append(temp_html) cards-box에다가 temp_html의 값을 html화 하겠다

$('#cards-box').empty() 지우고 호출(?)

display: none; = 초기화면에 노출안함

console.log(txt.includes('@')) console창에서 @포함여부 확인해보기 (true/false)

if (txt.includes('@') == true) { alert(txt.split('@')[1].split('.')[0]) } else { alert('이메일이 아닙니다.') }

<json이란>

서버로부터 데이터를 받아오는것 서버-클라이언트 통신 이해하기

• 클라이언트가 요청할때 타입이라는 것이 있다

• GET: 데이터 조회(Read) 요청 ? : 여기서부터 전달할 데이터가 작성됨 & : 전달할 데이터가 더 있다는 뜻

• POST: 데이터 생성(Create), 변경(Update), 삭제(Delete) 요청

<Ajax란>

브라우저에서 엔터치는것과 같이 자바스크립트에서 어떻게 데이터를 요청하느냐

• json형식 딕셔너리와 리스트가 합쳐진 형태로 보임

• 기본골격 $.ajax({ type: "GET", url: "여기에URL을입력", data: {}, success: function(response){ console.log(response) }

    })

• 이미지 바꾸기 $("#아이디값").attr("src", 이미지URL);

텍스트 바꾸기 : $("#아이디값").text("바꾸고 싶은 텍스트");

우리가 보는 웹페이지는 모두 서버에서 미리 준비해두었던 것을 "받아서", "그려주는" 것입니다. 즉, 브라우저가 하는 일은 1) 요청을 보내고, 2) 받은 HTML 파일을 그려주는 일 뿐이죠. 서버가 만들어 놓은 "API"라는 창구에 미리 정해진 약속대로 요청을 보내는 것이랍니다.

HTML은 뼈대, CSS는 꾸미기! HTML은 구역과 텍스트를 나타내는 코드로, CSS는 잡은 구역을 꾸며주는 것으로 생각합니다. CSS를 잘 사용할 줄 아는 것과, '예쁘게' 만드는 것은 다른 영역이기 때문에(붓을 잡을 줄 아는 것과 그림을 잘 그릴 줄 아는 것의 차이), 많은 경우 웹디자이너나 퍼블리셔에게 의존하게 됩니다.

HTML은 크게 head와 body로 구성된답니다.

• head안에는 페이지의 속성 정보를, body안에는 페이지의 내용을 담습니다.
• head 안에 들어가는 대표적인 요소들: meta, script, link, title 등
• body 안에 들어가는 대표적인 요소들! h1 : 제목 span 특정구역꾸며주기 a 하이퍼링크 href img 이미지태그 src

  ctrl+alt+L (맥은 cmd+alt+L) 로 자동정렬 기능

CSS는 ~ 안에 로 공간을 만들어 작성합니다. mytitle라는 클래스를 가리킬 때, .mytitle { ... } 라고 써줘야 하는 것을 꼭! 기억하세요!

• margin은 바깥 여백을, padding은 내 안쪽 여백
• width를 주고, margin: auto를 사용하자! 그래도 안되면? display:block을 추가!

부트스트랩이란? 예쁜 CSS를 미리 모아둔 것 CSS를 다룰 줄 아는 것과, 미적 감각을 발휘하여 예쁘게 만드는 것은 다른 이야기이기 때문에, 현업에서는 미리 완성된 부트스트랩을 가져다 쓰는 경우가 많습니다.

모바일에서는 "가로 사이즈"가 가장 문제 어디서나 500px 로 맞춰라 (width: 500px) 화면 폭 500px 전에는 95%로 맞추다가, 넘으면 500px으로 보여줘 라고 할 수 있다면?

width: 95%; max-width: 500px;

자바스크립트란 프로그래밍 언어 중 하나로, 브라우저가 알아들을 수 있는 언어입니다. 클라이언트가 서버에 요청하면, 서버가 클라이언트에게 HTML+CSS+Javascript를 준다.. 모든 브라우저는 기본적으로 Javascript를 알아듣게 설계되어있고, 모든 웹서버는 HTML+CSS+Javascript를 주게 되어있죠.

윈도우: F12 "마우스 오른쪽 클릭 → 검사 → console"도 가능! console.log(변수)

메모

토글 열고닫기 : ctrl alt t 개발일지 작성(티스토리, 미디엄, 벨로그)

서버 네이버컴퓨터 브라우저 네이버컴퓨터에 요청 후 가져와서 보여줌 새로고침 새로 가져옴