VS Code에서 python에 사용할 linter로 pylint를 설정 해주었는데 아래 사진과 같은 import error 가 발생했다.

구글링을 해보니 pylint에 path와 관련된 문제였다. pylint를 가상환경에서 설치하였기 때문에 pylint가 다른 디렉터리에 있는 모듈을 인식할 수 없는것이었다.

그럼 문제를 알았으니 해결해보자.

Let's Do It

pylint에 init-hook을 설정해주면 되는데 이게 뭘까 찾아보았다. 구글링을 해보는데 Import error에 대한 해결 방법으로 init-hook을 설정해주면 된다라는 내용은 많이 있었는데 구체적인 내용은 찾기가 힘들었다.

계속 구글링을 해보다 보니 init-hook은 initialization hooks를 의미하고 pylint가 초기실행(initialize)될 때 파이썬 코드를 실행시켜주는 옵션이다. 주로 sys.path를 설정하는데 사용된다. 이번 문제도 path와 관련된 문제로 pylint에게 모듈이 있는 path를 알려주면 pylint가 모듈을 찾을 수 있게 되고 import를 정상적으로 할 수 있게 되는 것이다.

init-hook 설정은 .vscode 폴더 안에 settings.json 에 다음과 같은 설정을 추가해 주면 된다.

"python.linting.pylintArgs": [
    "--init-hook",
    "import sys; sys.path.append('path to folder your module is in')"
]

append() 안에 자신의 모듈이 있는 디렉터리를 적어주면 끝!

이제 import error가 보이지 않는다!

One More Thing...

PEP 328에 따르면 모듈은 절대경로를 사용하여 import를 해야 한다고 명시하고 있다. 그 이유로 파이썬의 라이브러리가 확장되고 여러 패키지들이 소개되면서 같은 이름의 모듈이 생겨나게 되었고 그냥 import foo를 하게 되면 이게 어떤 foo를 말하는 것인지 알기 어려워지는 상황이 되었기 때문이다.

As Python's library expands, more and more existing package internal modules suddenly shadow standard library modules by accident. It's a particularly difficult problem inside packages because there's no way to specify which module is meant.

구글에서도 오픈소스 프로젝트를 위한 코드 스타일 가이드를 제시하고 있는데 Python Style Guide 에서도 마찬가지로 절대경로를 사용하여 import하라고 명시하고 있다.

Do not use relative names in imports. Even if the module is in the same package, use the full package name. This helps prevent unintentionally importing a package twice.

이러한 사실들을 적용하면 pylint에 import error를 다른 방법으로도 해결할 수 있다.

바로 import 하려는 모듈들을 절대경로를 사용하여 import 하면 pylint 에서도 다른 설정 없이 모듈을 읽을 수 있게 된다.

from 패키지 import 모듈

하지만 이렇게 하면 python 패키지/모듈.py 방식으로 파이썬을 실행하면 ModuleNotFoundError: No module named '모듈' 이라는 에러 메세지를 받게 될것이다. python 실행시 패키지 디렉터리를 sys.path 제일 첫번째에 (sys.path[0]) 지정하게 되기 때문에 이미 그 패키지 디렉터리 안에 들어와 있는 상황이니 해당 패키지를 찾을 수 없는 것이다. 따라서 파이썬 실행을 python -m 패키지.모듈 방식으로 해주어야 한다.

Reference

• PEP 328 – Imports: Multi-Line and Absolute/Relative

• Google Python Style Guide

• Absolute imports in python not working, relative imports work

• pylint false positive E0401 import errors in vscode while using venv

• Pylint configuration

• Call Python script from pylint init-hook

문제의 시작...

맥에서 Streamlit을 사용하여 웹앱을 만들고있는데 streamlit run app.py 명령어를 칠 때마다 위 사진과 같은 경고창이 뜬다.

매번 '허용' 눌러주기가 귀찮아서 해결방법을 인터넷에 찾아보았다.

그러다 이 블로그 글을 발견하고 문제를 해결할 수 있었다.

Streamlit을 사용할 때 해결법은 아니지만 파이썬도 하나의 프로그램이니까 접근방식은 똑같았다.

Let's Do It

우선 왜 이런 경고창이 계속 뜨는지 알아보자.

맥에서 잘모르는 앱에 대해서 네트워크 접근을 막으려는 보안정책 때문에 streamlit 앱을 실행시킬때 마다 방화벽에 걸려 경고창을 날리는것 같다.

그래서 위에 블로그에서 나온 해결방법이 해당 응용프로그램에 코드서명을 추가하여 맥이 해당 앱을 안전하다고 판단하게 만다는것이다.

인증서 생성

'키체인 접근' > 인증서 지원 > 인증서 생성

인증서 생성 정보

이름은 아무거나 원하는걸로 설정해주자.

계속

일련번호도 원하는걸로 설정.

원하는 정보를 입력하고 이후부턴 모두 '계속'으로 진행하면 된다.

인증서 생성 완료!

인증서를 생성하였으니 인증서를 적용할 응용프로그램이 있는 위치를 알아보자.

파이썬 경로 확인

각자 파이썬이 설치되어있는 경로를 찾으면 된다. 근데 맥은 기본적으로 파이썬이 내장되어있기도 하고 Homebrew나 pyenv로 설치하기도 하고 참 여러 경로를 통해 설치될 때가 있다... 그리고 파이썬 설치 경로를 찾는 법도 여러 방법이 있을것이다. 나는 방화벽 문제니깐 방화벽 설정에 들어가봤을 때 아래 사진처럼 python3.10이 딱 등록되어있길래 우클릭해서 'Finder에서 보기'로 찾았다.

코드 서명

생성한 인증서와 파이썬 경로를 집어 넣어 코드 서명을 해준다.

코드 서명 (sign)

$ codesign -s "인증서이름" -f /코드서명할프로그램경로

인증 (verify)

$ codesign -vvv /코드서명할프로그램경로

Result

이제 streamlit 앱을 실행시키면 마지막으로 한번 경고창이 뜨고 그 이후에는 다시 뜨지 않는다!

Closing Words

아직 배우는 입장에서 개발의 세계는 참 넓다..

Reference

• Do you want the application to accept incoming network connections?
• 'Do you want the application "main" to accept incoming network connections?' pop up while running Go applications
• 코드 서명
• 맥OS 앱 코드사인 및 공증하기

처음 파이썬으로 프로그래밍을 시작했을 때 여러 디렉터리에서 작업을 했고 그때 그때 필요한 패키지들을 막 설치하곤 했는데 그러다 보니 프로젝트별 패키지 관리가 엉망 이었다. 특히 특정 프로젝트에 필요한 패키지들을 나열하기 위해 requirements.txt를 생성하고 Github에 push 하려는데 참 난감했다. 프로젝트 마다 패키지들을 관리할 수 있는 어떤 좋은 방법이 없을까?

정답은 '가상환경'!

가상환경을 사용하면 프로젝트마다 별도의 환경에서 작업을 할 수 있게 된다. 파이썬 버전도 따로 설정할 수 있고 패키지도 필요한 패키지들만을 적절하게 설치해서 사용할 수 있다. 이렇게 하면 requirements.txt를 생성하는것도 깔끔하게 해결된다.

Let's Do It

터미널을 열고 가상환경을 생성 해보자. 파이썬3 부터 가상환경 설정을 위해 venv라는 라이브러리를 제공하는데 만약 파이썬2 라면 virtualenv를 사용하면 된다. (본글은 Mac OS를 기준으로 작성하였음을 알린다)

$ cd [디렉터리]
$ python -m venv [가상환경이름]
$ source [가상환경이름]/bin/activate

위와 같이 해주면 가상환경이 생성되고 이제 마음껏 패키지들을 설치하면 된다.

가상환경을 비활성화 하려면 아래와 같이 해주면 된다.

$ deactivate

One More Thing...

VS Code, PyCharm 같은 에디터에서 python interpreter를 생성한 가상환경으로 설정해주면 가상환경에서 작업할 수 있게 된다.

Reference

• Installing packages using pip and virtual environments

SEC는 Securities and Exchange Commission의 약자로 미국 증권거래위원회다. SEC EDGAR 는 미국 증시에 상장되어있는 회사들이 자신들의 공시자료를 올리는 시스템이다. 한국에 전자공시시스템 DART 같은곳이다.

이곳에서 EDGAR 시스템에 있는 데이터를 사용할 수 있게 공식 API를 공개하기 시작했는데 따로 API key를 발급 받지 않아도 사용이 가능하다.

유로 API가 있긴 있다. 개발자 등록을 하고 API key를 받고 사용할 수 있고, Companies, Core Financials, Insider Trades, Institutional Ownership, Desciptions 데이터셋을 제공하고 있다. 자세한 사항은 이곳에서 확인할 수 있다.

Let's Have A Look!

사이트에 설명을 보면 회사들이 제출한 공시 자료들과 여러 재무 정보가 담겨있는 XBRL 형식의 문서에서 추출한 데이터들을 REST API 형태로 제공한다.

Submissions by company and extracted XBRL data are available via RESTful APIs on data.sec.gov, offering JSON formatted data.

Currently included in the APIs are the submissions history by filer and the XBRL data from financial statements (forms 10-Q, 10-K,8-K, 20-F, 40-F, 6-K, and their variants).

XBRL 이란 기업 재무 정보를 표준화된 방식으로 보고할 수 있도록 만들어진 XML 형식의 기업보고용 언어이다. SEC 뿐만 아니라 다른 국가에서도 기업이 재무 정보를 보고할 때 XBRL을 사용하여 보고한다.

Extensible Business Markup Language (XBRL) is an XML-based format for reporting financial statements used by the SEC and financial regulatory agencies across the world.

Data Offered

SEC에서는 현재 4가지 정도의 데이터를 제공 하고 있다.

CIK##########.json 이란것이 계속해서 나오는데 CIK 는 Central Index Key의 약자로 10개의 숫자로 구성된 회사마다 부여되는 유니크한 번호다. 예를들어 애플의 CIK는 0000320193 이다.

그런데 해당 회사의 데이터를 불러오려면 이 CIK를 알아야 하는데 어떻게 알 수 있을까? 방법은 여러가지가 있지만 가장 간단하게는 SEC 사이트에서 원하는 회사 이름으로 검색하면 알 수 있다.

다른 방법은 지금 소개하는 API에 포함되진 않지만 SEC에서 제공하는 또다른 방식으로 모든 등록된 회사의 CIK, 티커, 거래소 데이터를 가져올 수도 있다. 자세한 사항은 이곳에서 확인할 수 있다.

파이썬으로 가져와 보자

import requests

url = 'https://www.sec.gov/files/company_tickers_exchange.json'
headers = {'User-Agent': 'Mozilla'}
res = requests.get(url, headers=headers)
cik_list = res.json()

추가로 dictionary로 되어있는 cik_list를 pandas dataframe으로 만들어서 사용하면 손쉽게 검색이 가능해진다.

import pandas as pd

cik_df = pd.DataFrame(cik_list['data'], columns=cik_list['fields'])

Closing Words

API를 제공하기 시작한게 그렇게 오래 되지 않은것으로 알고 있는데 그래서인지 아직은 부족한 부분이 있는것 같다.

그리고 이 데이터들은 모두 회사의 재무와 관련된 데이터들 이어서 재무회계와 US-GAAP에 능통한 분들과 같이 사용하면 데이터에 가치를 최대치로 끌어올릴 수 있을것 같다.

Reference

• Accessing EDGAR Data
• Developer Resources
• XBRL이란?

파이썬으로 주가 데이터를 사용하려 할 때 yfinance나 financeDataReader와 같은 좋은 패키지를 사용하면 간단하게 주가 데이터를 불러올 수 있다. 하지만 이번 포스팅에선 간단하게 네이버 금융에서 직접 주가 데이터를 불러와 보고자 한다. 재밌으니깐 ㅎㅎ

Let's Have A Look

네이버 금융에 접속한 후 검색창에서 삼성전자를 검색하고 결과 페이지에서 '차트' 탭을 누르면 삼성전자의 주가 차트를 볼 수 있다. 제발 가즈아!

여기서 크롬으로 개발자 도구를 열고 네트워크에서 Fetch/XHR을 누르면 브라우저가 서버와 실시간으로 주고 받은 데이터들을 확인할 수 있다. 주가 차트가 다 불러와진 상태에서는 불러온 데이터를 볼 수 없으므로 개발자 도구를 열어둔 상태에서 새로고침을 해보면 뭔가 줄줄이 생기는걸 볼 수 있다.

이것들 중 주가 데이터를 담고 있는것은 siseJson.naver?로 시작하는것으로 Headers에 요청보낸 URL을 확인하고 이 URL로 GET request를 보내면 데이터를 불러올 수 있다.

Let's Code!

import ast
import pandas as pd
import requests

url = 'https://api.finance.naver.com/siseJson.naver'
params = {
    'symbol': '005930',  # 삼성전자
    'requestType': 1,  # 무엇인지 모르겠음
    'startTime': '20220101',
    'endTime': '20220122',
    'timeframe': 'day',  # 'week', 'month'
}

날짜 범위는 YYYYMMDD 형식으로 해주고 파라미터 중 하나라도 빠지면 데이터가 불러와지지 않으니 다 채워넣어 주자.

이제 GET request를 보내고 응답코드가 200이 반환되면 성공적으로 데이터를 불러온 것이다.

res = requests.get(url, params=params)
print(res)  # or print(res.status_code)
# Output: <Response [200]>

print(res.text)

응답 받은 데이터를 쓸만한 데이터로 만들으려면 추가적으로 전처리 과정이 필요하다.

Cleaning Time

먼저 응답 받은 문자열 데이터에서 구두점들을 제거해주고 데이터프레임으로 변환해 주었다.

data = res.text.strip()
stock = ast.literal_eval(data)  # 문자열을 배열로 변환
stock = pd.DataFrame(stock, columns=stock[0])
stock.drop(0, inplace=True)

그리고 각 Column 마다 알맞은 데이터 타입으로 변환해 주었다.

stock['날짜'] = pd.to_datetime(stock['날짜'])
ohlcv = ['시가', '고가', '저가', '종가', '거래량']
stock[ohlcv] = stock[ohlcv].apply(pd.to_numeric)
stock['외국인소진율'] = stock['외국인소진율'].astype('float64')

Result

Closing Words

이렇게 불러온 주가 데이터는 실시간 데이터가 아니기 때문에 트레이딩에 사용하기에는 적합하지 않고 시계열 분석이나 백테스팅 목적으로 사용할 수 있을것이다. 그리고 비공식적인 방법으로 데이터를 불러오는 것이기 때문에 개인적인 목적 외에 사용하는 것은 권장하지 않는다.

[UPDATE 🔔]

• 현재 확인해 본 바로는 investing.com 에서 Request를 날려 데이터를 불러오는 방식을 막아 놓은 것으로 보입니다. 참고
• 기존 방식으로 주가 데이터를 크롤링하는것은 어려울것으로 보이네요..

데이터 소스

investing.com은 미국은 물론 전세계의 주식 정보를 제공해주는 사이트다. 한국어로도 서비스 하고 있다!

investpy와 FinanceDataReader 같은 패키지 들이 investing.com 으로 부터 주가 데이터를 불러와서 파이썬에서 간단하게 주가 데이터를 사용할 수 있게 해준다.

주가 데이터를 가져오기 위해선 위에서 언급한 좋은 패키지들이 있고 *"Don't reinvent the wheel"* 이라는 말이 있지만, 같은 wheel 에도 여러 디자인이 있는것 처럼 한번 직접 코딩 해 보는것도 재밌으니깐 ㅎㅎ

Let's Have A Look!

크롤링 하는 방법을 자세히 알아보자. investing.com 에서 애플(AAPL)을 검색한 후 Historical Data 탭을 누르면 과거 주가 테이블이 나온다.

여기서 원하는 날짜 범위를 설정해줄 수 있다.

날짜 범위를 설정하기 전에 크롬 개발자 도구를 열고 Network 탭으로 이동해 놓고 날짜를 설정해 주자.

날짜를 설정하면 테이블이 리로딩 되면서 네트워크 탭에 HistoricalDataAjax 라는 이름의 request를 확인 할 수 있다.

Request URL을 확인할 수 있다.

Payload 탭에서 어떤 파라미터 값이 request에 전달되었는지 보면 여러가지가 나오는데 여러 request를 보내봤을 때 필요한건 curr_id, st_date, end_date, interval_sec, action 정도 였다. 다른건 다 뭔지 알겠는데 curr_id가 무엇인지 정확히는 모르겠지만 아마 investing.com에서 종목 마다 부여한 고유번호인것 같다.

그럼 원하는 종목의 주가 데이터를 크롤링 하려면 해당 종목의 curr_id를 알아야 하는데 이건 검색을 통해 알아낼 수 있었다.

아까와 동일하게 개발자 도구의 Network 탭을 열어놓은 상태에서 investing.com 검색창에 원하는 종목의 티커/심볼/종목코드 를 검색하면

Network 탭에 SearchTopBar 이라는 request가 보인다. Request URL을 확인하고 Payload 탭에 내용을 확인하고

Preview 탭을 눌러보면 Response 받은 데이터를 확인해 볼 수 있다. 이게 검색창에 종목 코드를 검색 했을때 응답으로 받은 데이터인 것이다.

티커/심볼/종목코드를 정확히 검색 하였다면 결과 리스트에 첫번째 항목이 찾고자 하는 종목일 것이다.

여기서 종목의 curr_id를 찾을 수 있는데, quotes 에 첫번째 item을 눌러보면 해당 검색결과의 간단한 정보가 담겨있고 pair_id라는 것이 담겨있는데 이것이 curr_id와 동일한 것이다. (왜 이름이 다른지는 모르겠지만 구글링을 통해 두개가 같은것 이라는 것을 확인함)

이제 어떻게 주가 데이터를 크롤링 해야할 지 알았으니 코드를 짜보자!

Let's Code!

애플(AAPL)의 주가 데이터를 크롤링 해보자!

우선 애플의 curr_id를 추출해야 한다. 위에서 언급한것 처럼 검색창을 통해 curr_id를 추출한다. POST 방식으로 request를 보내주는데 request header에 User-Agent 와 X-Requested-With 을 설정해 주어야 한다. (X-Requested-With에 관한 것은 링크 참고)

import requests
import pandas as pd

ticker = 'AAPL'
url = 'https://www.investing.com/search/service/searchTopBar'
headers = {
    'User-Agent': 'Mozilla',
    'X-Requested-With': 'XMLHttpRequest',
}
form_data = {
    'search_text': ticker,
}
res = requests.post(url, data=form_data, headers=headers)
data = res.json()
first_quote_result = data['quotes'][0]
curr_id = first_quote_result['pairId']  # curr_id = 6408

자 이제 curr_id를 알았으니 주가 데이터를 크롤링 해보자. 날짜 형식이 %m/%d/%Y 이니깐 주의하자.

st_date = '01/06/2022'
end_date = '02/06/2022'
form_data = {
    'curr_id': curr_id,
    'st_date': st_date,
    'end_date': end_date,
    'interval_sec': 'Daily',
    'action': 'historical_data',
}
url = 'https://www.investing.com/instruments/HistoricalDataAjax'
res = requests.post(url, data=form_data, headers=headers)

응답 받은 데이터를 확인해보자.

HTML 코드다. 실제로 개발자 도구에서 Response 를 보면 HTML 이고 <table> 태그를 확인할 수 있다.

파이썬에선 HTML 코드에서 데이터를 추출하는 대표적인 방법으론 BeautifulSoup 와 pandas 가 있다. 여기선 pandas를 사용할 것인데 왜냐하면 pandas.read_html 을 사용하면 간단하게 HTML 테이블을 pandas.DataFrame 으로 바꿀 수 있기 때문이다! (그저 빛✨)

이어서 코드를 짜보자. pd.read_html 은 HTML에 있는 모든 <table> element를 추출하기 때문에 리스트를 반환한다. 반환값을 확인해 보았을 때 인덱스 0 에 들어 있는 값이 주가 데이터 값 이었다.

data = res.text
tables = pd.read_html(data)
historicl_price = tables[0]

Result

historical_price 에 과거 주가 데이터가 잘 담겨있다.

Closing Words

이 코드를 클래스나 함수로 만들면 여러 종목을 검색할 때 코드 재사용율을 높일 수 있다. 여기선 패스..