1. 웹크롤링

• crawling(크롤링)이란?
• 웹사이트를 돌아다니며 contents를 수집하는 행위로, crawler(크롤러)라고 하는 봇을 이용합니다. 크롤링은 웹상의 위치를 찾는 것을 말하고, 그 위치의 데이터 중 필요한 데이터만 뽑아내는 것을 pharsing(파싱)이라고 합니다. 파싱은 주로 HTML, CSS 등으로 추출합니다.

python에서는 requests와 beautifulsoup이라는 패키지로 웹크롤링을 쉽게 할 수 있습니다. 코드와 주석을 보면서 설명하겠습니다.

from bs4 import BeautifulSoup
import requests
#요청과 응답을 위한 request 패키지와
#웹크롤링을 위한 BeautifulSoup 패키지를 import

url = "https://velog.io/"
response = requests.get(url) #url 주소로 요청 보내고
soup = BeautifulSoup(response.text, 'html.parser') #BeautifulSoup라는 함수를 이용하여
#요청 받은 값을 특정 형식에 저장.
rank = 1

results = soup.findAll('h4')
#velog의 게시물 제목만 모으기 위해서 제목에 공통으로 들어간
#h4태그만을 results에 모두 저장

for result in results:
    print("velog", rank, "번째 글 ", result.get_text())
    rank+= 1

2.API 사용

1. {"취미는 무엇인가요?" : "테니스입니다" , "특기는 무엇입니까" : "농구입니다"} 이런 식으로 1개의 dictionary에 모든 데이터를 저장할 수도 있고

total_dictionary = {}

while True:
    question = input("질문을 입력해주세요 : ")
    if question == "q":
        break
    else:
        total_dictionary[question] = ""

for i in total_dictionary:
    print(i)
    answer = input("답변을 입력해주세요 : ")
    total_dictionary[i] = answer
print(total_dictionary)

2.[{"질문" : "취미는 무엇입니까?", "답변" : "테니스입니다"}, {"질문" : "특기는 무엇입니까?", "답변" : "농구입니다"}] 이렇게 dictionary를 list로 구성하는 방법도 있다.

total_list = []

while True:
    question = input("질문을 입력해주세요 : ")
    if(question == "q"):
        break
    else:
        total_list.append({"질문" : question, "답변" : ""})

for i in total_list:
    print(i["질문"])
    answer = input("답변을 입력해주세요 : ")
    i["답변"] = answer
print(total_list)

현재 상영 중인 영화 중에 어떤 영화를 볼 지 랜덤으로 선택해주는 프로그램입니다.

영화 목록을 추가할 수도 있고, 삭제할 수도 있으며, 추가와 삭제가 끝나면 목록 중에 하나를 랜덤으로 선택해주는 프로그램입니다.

주석을 통해 코드를 상세히 리뷰했습니다.

import random #랜덤으로 뽑는 함수를 사용하기 위해 
import time #랜덤으로 뽑을 때 텀을 두기 위한 함수를 사용하기 위해

movie = ["미니언즈2", "헤어질 결심", "탑건2"]   #list

while True: #무한 루프
    print(movie)
    item = input("영화를 추가해주세요 : ") #사용자로부터 입력받음
    if(item == "q"):    #q 입력시 영화 추가 종료
        break
    else:   #list에 추가할 때는 .append 함수 사용
        movie.append(item)

print(movie)
set_movie = set(movie)  #삭제 기능을 구현하기 위해 list -> set으로 변환

while True:
    print(set_movie)
    item = input("영화를 삭제해주세요 : ")
    if(item == "q"):
        break
    else:
        set_movie = set_movie - set([item]) 
        #차집합 연산은 집합끼리만 할 수 있는데, 입력은 문자열로 받았기 때문에
        #item 변수를 set으로 바꿔줌

print(set_movie, "중에서 선택됩니다")

#5초를 세아림
print("5")
time.sleep(1)
print("4")
time.sleep(1)
print("3")
time.sleep(1)
print("2")
time.sleep(1)
print("1")
time.sleep(1)

#random.choice는 list 중에서 랜덤으로 뽑는 함수이므로
#set_movie를 list로 바꾼 후에 random.choice로 뽑음
print(random.choice(list(set_movie)))

#기본 자료형 - list와 dictionary

#list는 [] 대괄호로 표현합니다.
information_list = ["대구, 서울, 부산"]

#dictionary는 {} 중괄호로 표현합니다.
#key값 : value값 대응으로 표현합니다.
information_dictionary = {"상호명" : "도리집", "위치" : "경대북문", "혼밥가능" : "yes"}

#반복문의 여러 형태

#list와 dictionary 출력
print(information_list)
print(information_dictionary)

기본적으로 list와 dictionary를 출력하면 그대로 통째로 출력이 됩니다. 반복적으로 출력하고 싶을 때 python 역시 for문을 사용하는데, c언어와 형식이 조금 다릅니다. c언어에서는 세미콜론(;)으로 문장을 구분하는 데 반해 python에서는 들여쓰기로 문장을 구분합니다.

for x in range(3):
    print(information_list)

이런 식으로 범위(3번)을 정해서 반복할 수도 있지만

for x in information_list:
    print(x)

python에서는 이렇게 list나 dictionary가 끝날 때까지 반복하는 것을 쉽게 명령할 수 있습니다.

다만 dictionary은 for문 사용이 조금 다릅니다.

for x, y in information_dictionary.items():
    print(x)
    print(y)

key값과 value값 두개를 출력해야 하므로 두 개의 변수 x,y가 필요합니다.

#dictionary 능숙하게 다루기 dictionary는 자주 쓰이는 자료형입니다.

val = {"이름" : "김철수", "성별" : "남"}

이런 식으로 대응 관계를 나타낼 때 유용하죠.

dictionary에 항목을 추가하고 싶을 때는

val[사는곳] = '청주'

이런 식으로 추가할 수 있고 (list에서는 val.append("청주") 이런식으로 함수로 추가) +val[가족] = ["엄마", "아빠", "동생"] 이런 식으로 value 값을 list형식으로 추가할 수도 있습니다.

del a[사는곳]

이런 식으로 삭제가 가능합니다.

또한 자주 쓰이는 dictionary함수로

val.get("사는곳")

을 사용하면 value 값만 따로 뽑아낼 수 있습니다.

#집합 list의 경우에는 항목이 여러 개가 저장될 때, 중복된 항목을 구분하지 못합니다. 그런 경우에 수학에서 사용되는 집합을 python에서 그대로 사용 가능합니다.

local = ["서울", "부산", "대구", "서울"]
local_set = set(local)
print(local)
print(local_set)

다음과 같이 집합으로 만들면, 중복된 항목은 제외하고 출력이 됩니다. + 또한 집합은 항목의 순서를 보장하지 않습니다.

이어서 집합의 여러 연산을 살펴보겠습니다. -합집합

local1 = set(["서울", "부산", "대구", "서울"])
local2 = set(["서울", "부산", "경주", "여수"])
local3 = local1 | local2
print(local3)

다음과 같이 중복된 항목은 1번만 입력이 됩니다.

-교집합

local1 = set(["서울", "부산", "대구", "서울"])
local2 = set(["서울", "부산", "경주", "여수"])
local3 = local1 & local2
print(local3)

교집합 연산 역시 수학에서 배운 그대로입니다.

-차집합

local1 = set(["서울", "부산", "대구", "서울"])
local2 = set(["서울", "부산", "경주", "여수"])
local3 = local1 - local2
print(local3)

#함수 함수는 c언어와 다소 유사합니다

def func1():
    print("함수입니다")

func1()

이런 식으로 def 함수이름(): 함수내용 으로 정의하고 사용하면 됩니다.

그 외 문법들은 대부분 c언어와 유사하여 언급하지 않겠습니다.