nani

파트 7. 기타

Mon, 17 Jul 2023 02:39:23 GMT

1) for문과 if문을 한번에

mylist = [3, 2, 6, 7]
answer = [num**2 for num in mylist if num % 2 == 0]

2) flag 대신 for-else 사용

import math

if __name__ == '__main__':
    numbers = [int(input()) for _ in range(5)]
    multiplied = 1
    for num in numbers:
        multiplied *= num
        if math.sqrt(multiplied) == int(math.sqrt(multiplied)):
            print('found')
            break
    else:
        print('not found')

3) 두 변수의 값 바꾸기 - swap

a = 3
b = 'abc'

a, b = b, a # 참 쉽죠?

4) 이진 탐색하기 - binary search

import bisect
mylist = [1, 2, 3, 7, 9, 11, 33]
print(bisect.bisect(mylist, 3))

5) 클래스 인스턴스 출력하기 - class의 자동 string casting 파이썬에서는 str 메소드를 사용해 class 내부에서 출력 format을 지정할 수 있습니다.

class Coord(object):
    def __init__ (self, x, y):
        self.x, self.y = x, y
    def __str__ (self):
        return '({}, {})'.format(self.x, self.y)

point = Coord(1, 2)

6) 가장 큰 수, inf 코테를 풀다보면, 최솟값을 저장하는 변수에 아주 큰 값을 할당해야 할 때가 있다. 이때 사용하기 좋은 것이 inf다.

min_val = float('inf')
min_val > 10000000000

inf에는 음수 기호를 붙이는 것도 가능하다.
max_val = float('-inf')

7) 파일 입출력 간단하게 하기.

with open('myfile.txt') as file:
    for line in file.readlines():
        print(line.strip().split('\t'))

파트6. Itertools / Collections 모듈

Mon, 17 Jul 2023 02:04:50 GMT

1) 곱집합 구하기 - product 예시) 두 스트링 'ABCD', 'xy' 의 곱집합은 Ax Ay Bx By Cx Cy Dx Dy

보통 사람들은 for문을 이용해 두 iterable 원소를 하나씩 곱하지만, itertools.product를 이용하면, for 문을 사용하지 않고 곱집합을 구할 수 있다.

import itertools

iterable1 = 'ABCD'
iterable2 = 'xy'
iterable3 = '1234'
print(list(itertools.product(iterable1, iterable2, iterable3)))

2) 2차원 리스트를 1차원 리스트로 만들기 - from_iterable

my_list = [[1, 2], [3, 4], [5, 6]]

# 방법 1 - sum 함수
answer = sum(my_list, [])

# 방법 2 - itertools.chain
import itertools
list(itertools.chain.from_iterable(my_list))

# 방법 3 - itertools와 unpacking
import itertools
list(itertools.chain(*my_list))

# 방법 4 - list comprehension 이용
[element for array in my_list for element in array]

# 방법 5 - reduce 함수 이용 1
from functools import reduce
list(reduce(lambda x, y: x+y, my_list))

# 방법 6 - reduce 함수 이용 2
from functools import reduce
import operator
list(reduce(operator.add, my_list))

3) 순열과 조합 combinations와 permutations를 이용하면 쉽게 풀 수 있음!

from itertools import *

def solution(mylist):
    answer = sorted(list(permutations(mylist)))
    return answer

<참고>
import itertools

pool = ['A', 'B', 'C']
print(list(map(''.join, itertools.permutations(pool)))) # 3개의 원소로 순열 만들기
print(list(map(''.join, itertools.permutations(pool, 2)))) # 2개의 원소로 순열 만들기

4) 가장 많이 등장하는 알파벳 찾기 - collections의 Counter (참고 : hjseo-dev.log)

answer = collections.Counter(mylist)
values = [i for i in answer.values()]
items = [i for i in answer.items()]

파트 5. Sequence Types 다루기

Mon, 17 Jul 2023 00:49:14 GMT

1) sequence 멤버 하나로 이어붙이기 - join 시퀀스의 멤버들을 하나의 string으로 이어붙여야 할 때, 보통 for문을 이용해 원소를 하나씩 이어 붙이지만 파이썬에서는 str.join(iterable)을 사용하면 편리하다

my_list = ['1','100','33']
answer = ''.join(my_list)

2) sequence type의 * 연산 - 삼각형 별찍기

n = 어쩌고
answer = 'abc' * n

또는

n = 어쩌고
answer= [123, 456] * n

파트 4. Iterable 다루기

Mon, 17 Jul 2023 00:31:58 GMT

<참고>
원본의 순서는 변경하지 않고, 정렬된 값을 구하려면? sort 함수 가능!
list1 = [3, 2, 5, 1]
list2 = [i for i in list1] # 또는 copy.deepcopy를 사용
list2.sort()

list1 = [3, 2, 5, 1]
list2 = sorted(list1)

1) 2차원 리스트 뒤집기 다음을 만족하는 함수, solution을 완성해주세요.

solution 함수는 이차원 리스트, mylist를 인자로 받습니다
solution 함수는 mylist 원소의 행과 열을 뒤집은 한 값을 리턴해야합니다. 예를 들어 mylist [[1, 2, 3], [4, 5, 6], [7, 8, 9]]가 주어진 경우, solution 함수는 [[1, 4, 7], [2, 5, 8], [3, 6, 9]] 을 리턴하면 됩니다.

def solution(mylist):
    answer = list(map(list,zip(*mylist)))
    return answer

zip을 이용하라!

<예시 #1>
list1 = [1,2,3,4]
list2 = [10,20,30,40]
list3 = [5,6,7,8]
answer = []
for num1, num2, num3 in zip(list1,list2,list3):
    print(num1+num2+num3)

<예시 #2>
animals = ['cat','dog','lion']
sounds = ['meow', 'woof', 'roar']
answer = dict(zip(animals,sounds)) # {'cat': 'meow', 'dog': 'woof', 'lion': 'roar'}

2) i번째 원소와 i+1번째 원소 - zip 보통은 len과 index를 이용해 각 원소에 접근한다. 하지만 zip을 이용하면 index를 사용하지 않고 각 원소에 접근할 수 있다.

def solution(mylist):
    answer = []
    for i in range(len(mylist)-1):
        answer.append(abs(mylist[i] - mylist[i+1]))
    return answer

if __name__ == '__main__':
    mylist = [83, 48, 13, 4, 71, 11]    
    print(solution(mylist))

대신

def solution(mylist):
    answer = []
    for number1, number2 in zip(mylist, mylist[1:]):
        answer.append(abs(number1 - number2))
    return answer

if __name__ == '__main__':
    mylist = [83, 48, 13, 4, 71, 11]    
    print(solution(mylist))

3) 모든 멤버의 type 변환하기 - map 보통 for문을 이용해 원소의 타입을 하나씩 바꾼다.

list1 = ['1', '100', '33']
list2 = []
for value in list1:
    list2.append(int(value))

대신 map을 이용하면 for문을 사용하지 않고도 일괄 변환할 수 있다.

list1 = ['1', '100', '33']
list2 = list(map(int, list1))

응용 예시

def solution(mylist):
    answer = list(map(len,mylist))
    return answer

파트 3. str 다루기

Sun, 16 Jul 2023 14:11:11 GMT

1) 문자열 정렬하기 문자열 s와 자연수 n이 입력으로 주어집니다. 문자열 s를 좌측 / 가운데 / 우측 정렬한 길이 n인 문자열을 한 줄씩 프린트해보세요.

s, n = input().strip().split(' ')
n = int(n)

print(s.ljust(n))
print(s.center(n))
print(s.rjust(n))

2) 알파벳 출력하기 입력으로 0이 주어지면 영문 소문자 알파벳을, 입력으로 1이 주어지면 영문 대문자 알파벳을 사전 순으로 출력하는 코드를 짜세요.

import string
num = int(input().strip())
if num == 0:
    print(string.ascii_lowercase)
elif num == 1:
    print(string.ascii_uppercase)

<참고>
import string 

string.ascii_lowercase # 소문자 abcdefghijklmnopqrstuvwxyz
string.ascii_uppercase # 대문자 ABCDEFGHIJKLMNOPQRSTUVWXYZ
string.ascii_letters # 대소문자 모두 abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ
string.digits # 숫자 0123456789

파트 2. 정수 다루기

Sun, 16 Jul 2023 14:10:33 GMT

1) 몫과 나머지 숫자 a, b가 주어졌을 때 a를 b로 나눈 몫과 a를 b로 나눈 나머지를 공백으로 구분해 출력해보세요.

a,b = map(int,input().strip().split(' '))
print("{0} {1}".format(a//b,a%b))

혹은 divmod 사용시 큰 숫자를 다룰 때 더 빠르다.

a,b = map(int,input().strip().split(' '))
print(*divmod(a,b))

2) n진법으로 표기된 string을 10진법 숫자로 변환하기 base 진법으로 표기된 숫자를 10진법 숫자 출력해보세요.

num, base = map(int, input().strip().split(' '))
num = str(num)
answer = int(num,base)

print(answer)

파트 1. Python 꿀팁

Sun, 16 Jul 2023 13:57:34 GMT

파이썬 기초체력이 없음을 느꼈따. 이 간극을 위해 파이썬을 파이썬답게를 들어보기로 한다.

iterable: 자신의 멤버를 한 번에 리턴할 수 있는 객체. list, str, tuple, dict 등이 여기에 속함. sequence: int 타입 인덱스를 통해, 원소에 접근할 수 있는 iterable. list, str, tuple이 여기에 속함.

def solution(mylist):
    return list(map(len, mylist))

요즘 많이 보는 수학정리 사이트

Mon, 04 Apr 2022 05:13:23 GMT

공돌이의 수학정리노트 : https://angeloyeo.github.io/

웹개발 종합반 7주차 (3.7)

Mon, 28 Feb 2022 13:22:39 GMT

(앞으로 해야할 것) ~~1. select에 따라 해당하는 오름 카드들만 나오게~~ ~~2. 코멘트 달기~~ ~~3. 웹페이지 배포~~ 4. 지도 만들기 5. 코멘트 꾸며주기 6. 카드 리스트 이름 순으로 정렬해주기

1) app.py

from flask import Flask, render_template, request, jsonify
import requests
app = Flask(__name__)

from pymongo import MongoClient
import certifi
ca = certifi.where()
client = MongoClient('mongodb+srv://test:sparta@cluster0.4n13d.mongodb.net/Cluster0?retryWrites=true&w=majority', tlsCAFile=ca)
db = client.dbsparta

headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://gis.jeju.go.kr/rest/JejuOleumVRImg/getOleumRDetailList',headers=headers)

d = data.json()
oleums = d["resultSummary"]

@app.route('/')
def home():
    return render_template('index.html')

@app.route("/oleums", methods=["POST"])
def jejuoleum_post():
    for oleum in oleums:
        name = oleum['oleumKname']
        address = oleum['oleumAddr']
        altitude = oleum['oleumAltitu']
        x = oleum['x']
        y = oleum['y']
        explan = oleum['explan']
        img = oleum['imgPath']
        doc = {
            'name': name,
            'address': address,
            'altitude': altitude,
            'x': x,
            'y': y,
            'explan': explan,
            'img': img
        }
        db.oleums.insert_one(doc)

@app.route("/oleums", methods=["GET"])
def jejuoleum_get():
    oleum_list = list(db.oleums.find({}, {'_id': False}))
    print(oleum_list[0])
    return jsonify({'oleums': oleum_list})

@app.route("/comment", methods=["POST"])
def comment_post():
    comname_receive = request.form['comname_give']
    star_receive = request.form['star_give']
    comment_receive = request.form['comment_give']

    doc = {
        'comname' : comname_receive,
        'star' : star_receive,
        'comment' : comment_receive
    }

    db.comment.insert_one(doc)
    return jsonify({'msg': '저장 완료!'})
@app.route("/commentlist", methods=["POST"])
def comment_get():
    comname_receive = request.form['comname_give']
    comment_list = list(db.comment.find({'comname':comname_receive}, {'_id': False}))
    print(comment_list)
    return jsonify({'comments': comment_list})

if __name__ == '__main__':
    app.run('0.0.0.0', port=5000, debug=True)

index.html

 
 
 

 
 
 

 
 
 

 

 제주 오름 지도

 
 




    제주 오름 지도
    제주의 기온 : 00.0도


    당신의 경험을 공유하세요

    
        
            
            오름 이름
        
        
            난이도
            
        
        
            
            코멘트

3) 현재 페이지 상태

웹개발 종합반 6주차 (기획안)

Tue, 15 Feb 2022 12:50:23 GMT

먼저, 내가 생각하고 있는 웹페이지는 제주도에 있는 오름들의 위치를 알려주는 지도와 함께, 오름의 위치를 클릭하면 오름의 이름과 함께 고도, 코멘트를 알려준다. 또 위쪽 오른편에는 제주의 현재 날씨를 알려주는 배너(?)를 띄워놓을 것. 추가 기능으로는 웹페이지를 사용하는 사람들이 오름에 대한 코멘트를 달고 서로 볼 수 있게 할 것이다. 이전까지 배웠던 것들을 실행에 옮겨 내 웹페이지를 만드는 것이기 때문에 최대한 앞에서 배웠던 것들을 활용해 볼 계획이다.

(이용할 openAPI) https://www.jejudatahub.net/data/view/data/811

(1주차 멘토링 피드백) 지도를 구현하는게 꽤나 복잡해서 시간 내에 하는게 어려울 거라는 피드백을 받아서 대신에 리스트 형태로 바꾸고 동서남북 혹은 동서 정도만 나눠 표시해준다. 그리고 다음 시간까지 HTML, CSS , mongoDB 저장까지 해가기루 했다.

웹개발 종합반 5주차 (hw)

Sun, 13 Feb 2022 14:46:35 GMT

도메인 http://sparta-nani.shop/
보이는 것

웹개발 종합반 5주차 (study)

Sun, 13 Feb 2022 14:44:44 GMT

(5주차 목표) 나의 버킷리스트로 복습, 팬명록을 클라우드 환경에 배포

Filezilla : 우리가 클라우드 환경에 뭔가를 올리는데 (파일을 보내는데) 그 뭔가를 올릴 수 있게 해주는 것. Gabia : 도메인 + 웹호스팅

복습 ! 버킷리스트

① 뼈대 준비하기 - app.py

from flask import Flask, render_template, request, jsonify
app = Flask(__name__)

@app.route('/')
def home():
    return render_template('index.html')

@app.route("/bucket", methods=["POST"])
def bucket_post():
    sample_receive = request.form['sample_give']
    print(sample_receive)
    return jsonify({'msg': 'POST(기록) 연결 완료!'})

@app.route("/bucket/done", methods=["POST"])
def bucket_done():
    sample_receive = request.form['sample_give']
    print(sample_receive)
    return jsonify({'msg': 'POST(완료) 연결 완료!'})

@app.route("/bucket", methods=["GET"])
def bucket_get():
    return jsonify({'msg': 'GET 연결 완료!'})

if __name__ == '__main__':
    app.run('0.0.0.0', port=5000, debug=True)

② 뼈대 준비하기 - index.html




    
    
    

    
    
    

    

    인생 버킷리스트

    
    



    나의 버킷리스트


    
        
        
    


    
        ✅ 호주에서 스카이다이빙 하기
        
    
    
        ✅ 호주에서 스카이다이빙 하기
    
    
        ✅ 호주에서 스카이다이빙 하기

③ POST 연습 (기록하기)

- 요청 정보 : URL = /bucket, 요청 방식 = POST
- 클라이언트(ajax) → 서버(flask) : bucket
- 서버(flask) → 클라이언트(ajax) : 메시지를 보냄 (기록 완료!)

단! 서버에서 번호를 만들어 함께 넣어주어야 업데이트가 가능하다!

1) 클라이언트와 서버 연결 확인하기
2) 서버부터 만들기
- ① 번호 만들기 이전에 DB에 저장
* num, bucket, done(완료 여부)가 DB에 저장되어야 함.

@app.route("/bucket", methods=["POST"])
def bucket_post():
    bucket_receive = request.form['bucket_give']

doc = {
    'num' : 0,
    'bucket': bucket_receive,
    'done': 0 # 아직 안했으면 0, 했으면 1

}
db.bucket.insert_one(doc)
return jsonify({'msg': '등록 완료!'})

- ② 번호를 붙인다.
이때 db에 있는 모든 데이터를 가져온 후 그 전체 길이로 번호를 매겨줌.

bucket_list = list(db.bucket.find({}, {'_id':False}))
count = len(bucket_list) + 1

3) 클라이언트 만들기
function save_bucket() {
        let bucket = $('#bucket').val()

        $.ajax({
            type: "POST",
            url: "/bucket",
            data: {bucket_give: bucket},
            success: function (response) {
                alert(response["msg"])
                window.location.reload()
            }
        });
}
4) 완성 확인하기
잘 됐으면 db에 잘 쌓여있을 것임.

④ GET 연습 (보여주기)

- 요청 정보 : URL = /bucket, 요청 방식 = GET
- 클라이언트(ajax) → 서버(flask) : (X)
- 서버(flask) → 클라이언트(ajax) : 전체 버킷리스트를 보여주기

1) 클라이언트와 서버 연결 확인하기
2) 서버부터 만들기
@app.route("/bucket", methods=["GET"])
def bucket_get():
    bucket_list = list(db.bucket.find({}, {'_id': False}))
    return jsonify({'bucket': bucket_list})

3) 클라이언트 만들기
* 먼저 데이터를 확인하는것이 우선! console.log(response['bucket'])으로 콘솔에서 확인하기!
function show_bucket() {
        let rows = response['buckets']
        for (i = 0; i < rows.length; i++){
            let bucket = rows[i]['bucket']
            let num = rows[i]['num']
            let done = rows[i]['done']

            let temp_html = ``
            if (done == 0){
                temp_html = `
                                ✅ ${bucket}
                                
                            `
            } else {
                temp_html = `
                                ✅ ${bucket}
                            `
            }
            $('bucket-list').append(temp_html)
        }

        $.ajax({
            type: "GET",
            url: "/bucket",
            data: {},
            success: function (response) {
                alert(response["msg"])
            }
        });
    }
4) 완성 확인하기

⑤ POST 연습 (완료하기)

- 요청 정보 : URL = /bucket/done, 요청 방식 = POST
- 클라이언트(ajax) → 서버(flask) : num (버킷 넘버)
- 서버(flask) → 클라이언트(ajax) : 메시지를 보냄 (버킷 완료!)

1) 클라이언트와 서버 연결 확인하기
2) 서버부터 만들기
@app.route("/bucket/done", methods=["POST"])
def bucket_done():
    num_receive = request.form['num_give']
    db.bucket.update_one({'num': int(num_receive)},{'$set':{'done':1}}) # 숫자를 client로부터 받아왔으면 숫자로 바꿔줘야함. int(num_receive)
    return jsonify({'msg': '버킷 완료!'})

3) 클라이언트 만들기
function done_bucket(num) {
        $.ajax({
            type: "POST",
            url: "/bucket/done",
            data: {num_give: num},
            success: function (response) {
                alert(response["msg"])
                window.location.reload()
            }
        });
    }
4) 완성 확인하기

내 프로젝트를 서버에 올리기 누구나 내 서비스를 사용할 수 있게 하기 위해!

언제나 요청에 응답하려면 
→ 컴퓨터가 항상 켜져있고 프로그램이 실행되어 있어야 하며
→ 모두가 접근할 수 있는 공개 IP주소로 나의 웹 서비스에 접근할 수 있어야 한다
→ 서버는 그냥 컴퓨터! 우리는 24시간 켜놓을 수 있는 컴이 없음. 그럼 어캄?
→ 외부 접속이 가능하게 설정한 다음 내 컴퓨터를 서버로 사용할 수 있는데,
→ 우리는 AWS 라는 클라우드 서비스에서 편하게 서버를 관리하기 위해 
  항상 켜 놓을 수 있는 컴퓨터인 EC2 사용권을 구입해 서버로 사용할 것

(장점)
- mongoDB도 클라우드 환경이어서 트래픽 대비가 쉬운 장점이 있는데, 이도 같다.
- 여러가지 서비스를 붙이기도 쉬워진다.

① AWS 서버 (리눅스라고 하는 OS를 가진 컴퓨터) 구매하기

1) 서버 구매하기 - 아래 url로 들어가서 햐
https://ap-northeast-2.console.aws.amazon.com/ec2/v2/home?region=ap-northeast-2

인스턴스 > 인스턴스 시작 > Ubuntu Server 20.04 > 검토 및 시작 > 시작하기 > 새 키 페어 생성 
> 키 페어 이름 : 아무거나 > 키 페어 다운로드해서 바탕 화면에 두고 > 인스턴스 시작 > 인스턴스 보기

* 인스턴스 상태 : '실행 중' 이면 컴퓨터가 켜진 것이다
* 인스턴스 중지 : 컴퓨터를 끈 상태
* 인스턴스 종료 : 컴퓨터를 반납한 상태

2) 원격 접속하는 법 - 터미널 켜
sudo chmod 400 키페어끌어다놓으샴
enter
맥 비밀번호 입력

ssh -i 키페어끌어다놓으샴 ubuntu@54.180.94.195  # 마지막거 퍼블릭 IPv4 주소임
enter
yes
enter

3) 아래는 몇 가지 명령어 - 수백개여. 늘상 쓰는 것 말고는 외우지 못함
mkdir sparta  # sparta라는 폴더를 만든다. enter를 했는데 아무 일도 안일어나면 리눅스에서는 잘 된것.
ls  # 내 지금 위치에서 폴더들을 보자
cd sparta  # sparta로 들어가 보자
cd ..  # 지금 있는 폴더 밖으로 나가고 싶어

② 서버 세팅하기

우리는 막! 컴퓨터를 구매한 상태다. 여기에 이런저런 세팅들(업그레이드, DB설치, 명령어 통일 등)을 해줘야 본격적으로 이용할 때 편리하다.
* 리눅스는 마우스가 없음. 모든 것을 명령어로 쳐야함.


1) 메모장에 붙여서 '#' 있는 줄 빼고 다 터미널에 붙여서 실행
# python3 -> python (귀찮으니까 python3 말고 python이라고 치고 명령할게)
sudo update-alternatives --install /usr/bin/python python /usr/bin/python3 10

# pip3 -> pip (패키지 깔때도 구찮으니까 pip3 말고 pip라고 명령할게)
sudo apt-get update
sudo apt-get install -y python3-pip
sudo update-alternatives --install /usr/bin/pip pip /usr/bin/pip3 1

# port forwarding (5000을 떼는 명령어)
sudo iptables -t nat -A PREROUTING -i eth0 -p tcp --dport 80 -j REDIRECT --to-port 5000


2) FileZilla 실행 ↓ - 왼쪽이 내컴, 오른쪽이 새로 산컴

* 내가 산 컴퓨터를 오른쪽에 띄우려면
사이트 관리자 열기 > New site > 이름 알아서 정해(강의에선 myec2) 
> 프로토콜 : SFTP > 호스트 : 54.180.94.195(퍼블릭 IPv4 주소), 포트 : 22 
> 로그온 유형 : 키 파일, 사용자 : ubuntu, 키 파일 : 아까 다운 받은거 넣어줘 > 연결 > 확인

3) test.py 만들고 새컴에 넣은 후 테스트 하는 법 - 터미널에서 쳐
cd sparta
ls
python test.py
하면 test.py 안에 넣었던 내용물도 보이고 잘 들어 갔다는 것을 알 수 있음

③ Flask 서버를 실행해보기

내 컴에서 app.py, templates, static 을 끌어다가 새 컴에 올린다

1) 터미널에서 확인
ls  # 다 잘 들어온 것을 확인할 수 있음

2) flask, pymongo, dnspython 설치
pip install flask
pip install pymongo
pip install dnspython

3) app.py 실행
python app.py

4) :5000으로 열 수 있는 구멍 만들어주기
인스턴스 > 보안 > 보안 그룹 > Edit inbound rules > 규칙 추가 
> 유형 : 사용자 지정 TCP, 포트 범위 : 5000, 소스 : Anywhere
> 유형 : 사용자 지정 TCP, 포트 범위 : 80, 소스 : Anywhere
> 규칙 저장

5) 접속해보기
http://54.180.94.195:5000/
http://54.180.94.195/

* 왜 둘다 되냐?
https://www.naver.com/은 사실 :80이 숨겨져 있는 건데,
우리의 전략은 80으로 들어와서 5000으로 바꿔주는 전략 (port forwarding)

④ nohup 설정하기

터미널을 끄면 접속이 끊긴다.
그렇다면 터미널을 꺼도 어떻게 접속이 끊기지 않게 할 수 있을까?
(다음을 터미널에 입력하면 됨) nohup python app.py &

(그렇다면 다시 이걸 끄는 방법은?) ps -ef | grep 'python app.py' | awk '{print $2}' | xargs kill

⑤ 도메인 연결하기

https://dns.gabia.com/ > 샀던 도메인 클릭 > DNS 설정 
> 호스트 이름 : @, IP 주소 : 54.180.94.195 > 확인 > 저장

이제 도메인을 치면 연결된 것을 볼 수 있다.

⑥ og 태그 (카톡 등에 공유했을 때 예뿌게 보이기)

즉당한 곳에 아래 코드스니펫 붙여넣기




보통 카카오톡(페이스북도 마찬가지)에서는 한번 공유된 것은 크롤링을 반복해서 하지 않게 그대로 저장해놨다가 보여주는데,
og 태그를 바꾸고 싶다면 바꾼 후
카카오톡 og 태그 초기화하기 : https://developers.kakao.com/tool/clear/og
> 원하는 url 집어넣고 > 초기화

(5주차 소감) 일단 숙제가 했던 도메인을 그대로 올리는 거여서 너모 신났고,, 사실 지금까지 달려온 과정들이 잘 생각은 안나지만 강사님이 해준 말이 위안이 되었음. 이제 프로젝트를 하는데 뚝딱뚝딱 재밌게 맹글어봐야것다.

* 핵심은 지금 코드를 보고 쓸 수 있을 정도의 이해도를 갖추는 것이다

(주의해야겠다고 생각한 점) 생각없이 하게 될때도 있는데, 왜 하는지?에 대한 목적성을 잃어버리지 않아야겠다고 생각했다.

(5주동안의 써머리) 1,2 주차 (내 눈에 보이는 애) - HTML, CSS, Javascript 3 주차 (서버를 만들 수 있는 언어) - Python 4,5 주차 (내 눈에 보이는 애를 건네줄 친구) - Server

MATLAB 09

Tue, 08 Feb 2022 18:08:49 GMT

Debugger is accessible from Editor (EDITOR > Breakpoints)

Breakpoint

1) After running

① stops at breakpoint (at the beginning of the line)
② examine or modify any variable at K>>
or use datatip (position the cursor on variable name)

command+⇧+O : run step by step (step)
command+⇧+I : same as stemp but enters inside functions (step in)
command+⇧+U : (step out)
command+option+R : run to the next breakpoint (continue)

2) Quit

EDITOR > Quit debugging
command window > fn+F5

3) Conditional Breakpoint (yellow dot)

조건문 안에 마우스를 클릭한 후 > EDITOR > Breakpoints > 조건 설정
: allows to give a condition to stop for the first time

File input & output(I/O)

3 steps for general file I/O (부제 : 파일은 공책과 비슷하다)

open a data file → fopen
read or write data → fscanf, fprintf
close the file → fclose

1) fopen : open a file

fid = fopen('datafile.txt','r') % 파일명을 계속 반복해서 부르기 귀찮으니 매트랩은 파일명에 고유 번호를 붙여준다
fid: file ID (-1 when there is an error)

2) permission

r : read (file must exist)
w : write (create or overwrite)
wt : same as w but in text form (use wt not w)
a : append (create or append)
r+ : read/write (file must exist)
w+ : read/write (create or overwrite)
a+ : read/write (create or append)

3) fclose : close a file

fclose(fid)

4) fprintf : write to a file

fprintf(fid,'string containing format',variable,...)
without fid, output is written to the monitor

* format (can specify # of digits after decimal point)
%e : floating point
%f : fixed point
%d : integer
%s : string
%07.2f, %03d   - zero padding in front

* Ex
x = 0 : 0.05 : 0.2;
y = [ x', exp(x')];
fid = fopen('exp.txt','w');
fprintf( fid, 'Exponential function\n\n' );
fprintf( fid, '%7.2f %12.5f\n, y);
    ** 그른데 여기서 잠깐! 저장된 file을 보면 y값이 엉망진창인 것을 알 수 있다.
    ** 이유 : Conflict b/w column major and row major
    ** data in memory - column major, data in a file - row major
    ** 해결 방법 : correct y → y'
close(fid);

5) fscanf

read from a file
a = fscanf( fid, 'format', size)

* file position indicator (다음 읽을 위치 추적)
  : Matlab keeps track of "where to read next" for fscanf

* format
no need to specify data width when reading data separated by spaces
%c : characters
%d : integers
%f, %e : real numbers

* Ex
fid = fopen( 'exp.txt', 'r' );
t = fscanf( fid, '%c', 20 );
A = fscanf( fid, '%f', [5,2] );  % correct this : 애초에 전치된 행렬로 저장 후 뒤집어라 여기선 [2,5] 한 후 A = A'
fclose( fid );
A

6) fscanf without size

a = fscanf( fid, '%c' )
  ⟹ reads all remaining part as string

a = fscanf( fid, '%e' )
  ⟹ reads only numbers in remaining part  % 문자를 마주치기 전 숫자 부분만 읽는다. 설령 문자 뒤에 숫자가 있더라도.

웹개발 종합반 4주차 (hw)

Tue, 08 Feb 2022 16:13:10 GMT

1. app.py

from flask import Flask, render_template, request, jsonify
app = Flask(__name__)

from pymongo import MongoClient
import certifi
ca = certifi.where()
client = MongoClient('mongodb+srv://test:sparta@cluster0.4n13d.mongodb.net/Cluster0?retryWrites=true&w=majority', tlsCAFile=ca)
db = client.dbsparta

@app.route('/')
def home():
    return render_template('index.html')

@app.route("/homework", methods=["POST"])
def homework_post():
    name_receive = request.form['name_give']
    comment_receive = request.form['comment_give']

    doc = {
        'name': name_receive,
        'comment': comment_receive
    }
    db.homework.insert_one(doc)
    return jsonify({'msg':'저장 완료!'})

@app.route("/homework", methods=["GET"])
def homework_get():
    homework_list = list(db.homework.find({}, {'_id': False}))
    return jsonify({'msg':homework_list})

if __name__ == '__main__':
    app.run('0.0.0.0', port=5000, debug=True)

2. index.html




    
    
    

    
    
    

    초미니홈피 - 팬명록

    
    
    



    곽진언(Gwak) 팬명록
    현재기온: 36도


    
        
        닉네임
    
    

        응원댓글

3. 구현

웹개발 종합반 4주차 (study)

Tue, 08 Feb 2022 16:08:14 GMT

(4주차 목표) 서버를 만드는 것

* API (application programming interface) * : which is a software intermediary that allows two applications to talk to each other. Each time you use an app like Facebook, send an instant message, or check the weather on your phone, you're using an API.

Flask is a micro web framework written in Python

서버를 구동시켜주는 편한 코드 모음.
서버를 구동하려면 필요한 복잡한 일들을 쉽게 가져다 쓸 수 있다!
3분 요리/소스 세트라고 생각하면 된다!

1) Flask 시작하기 - 서버 만들기

① 인터프리터 설치
flask, dnspython, pymongo, certifi
  * 크롤링이 필요할 때는 - requests, bs4 추가 설치

② projects > prac > app.py 라는 파이썬 파일에 아래와 같이 입력 후 실행
from flask import Flask
app = Flask(__name__)

@app.route('/') # 여기서 '/'이후 부분은 주소창의 '/'이후 부분과 같음.
def home():
   return 'This is Home!'

if __name__ == '__main__':  
   app.run('0.0.0.0',port=5000,debug=True)

③ 주소창에 localhost:5000/ 입력 후 엔터를 치면 서버가 만들어 진 것을 확인할 수 있다
  # localhost : 내 컴퓨터에서 내가 개발하고 있고, 내 컴퓨터에서 내가 접속하고 있어. 그러니까 이건 local 개발환경이야.

2) Flask 시작하기 - HTML 파일 주기

① 기본적으로 만들고 시작할 것
directory > templates
directory > templates > index.html # app.py 에서 함수 안에 return 값으로 입력해도 실행되긴 하지만 그걸 언제 다 쓰냐,, html 파일을 따로 만들어서 쓰는게 굿.
directory > static

② HTML 파일 주기
from flask import Flask, render_template
app = Flask(__name__)

@app.route('/')
def home():
   return render_template('index.html') # index.html 파일을 읽어와서 줌.

if __name__ == '__main__':
   app.run('0.0.0.0',port=5000,debug=True)

3) Flask 시작하기 - 본격 API 만들기

① GET/POST 리마인드
GET : 통상적으로, 데이터 조회(read)를 요청할 때
      예) 영화 목록 조회
      데이터 전달 방식 : URL 뒤에 물음표를 붙여 key=value로 전달
      예) google.com?q=북극곰

POST : 통상적으로, 데이터 생성/변경/삭제 요청할 때
       예) 회원가입, 회원탈퇴, 비밀번호 수정
       데이터 전달 방식 : 바로 보이지 않는 HTML body에 key:value 형태로 전달

② JQuery 임포트


③ GET 요청 확인 Ajax 코드 - index.html 의 
    

    

    선착순 공동구매

    
    




    화성에 땅 사놓기!
    가격: 평 당 500원
    
        화성에 땅을 사둘 수 있다고?

        앞으로 백년 간 오지 않을 기회. 화성에서 즐기는 노후!
    
    
        
            이름
            
        
        
            주소
            
        
        
            평수
            
        
        
    
    
        
        
            이름
            주소
            평수
        
        
        
        
            홍길동
            서울시 용산구
            20평
        
        
            임꺽정
            부산시 동구
            10평
        
        
            세종대왕
            세종시 대왕구
            30평
        
        
    




③ POST 연습 (주문 저장)
- 요청 정보 : URL = /mars, 요청 방식 = POST
- 클라이언트(ajax) → 서버(flask) : name, address, size
- 서버(flask) → 클라이언트(ajax) : 메시지를 보냄 (주문 완료!)

-1) 클라이언트와 서버 연결 확인하기
-2) 서버부터 만들기 - app.py에다가
@app.route("/mars", methods=["POST"])
def web_mars_post():
    name_receive = request.form['name_give']     # 데이터를 받아서
    address_receive = request.form['address_give']
    size_receive = request.form['size_give']

    doc = {
        'name': name_receive,
        'address': address_receive,
        'size': size_receive
    }
    db.mars.insert_one(doc)    # 서버에 넣어준다
    return jsonify({'msg': '주문 완료!'})

-3) 클라이언트 만들기
function save_order() {
        let name = $('#name').val()    # $('name') - id값
        let address = $('#address').val()
        let size = $('#size').val()

        $.ajax({
            type: 'POST',
            url: '/mars',
            data: { name_give : name, address_give : address, size_give : size },    # 위에서 서버가 name_give ... 이런 이름으로 가져오랬으니까
            success: function (response) {
                alert(response['msg'])    # 'msg' 내용만 alert로 보여줌
                window.location.reload()    # 다 되면 새로고침해주게
            }
        });
    }
-4) 완성 확인하기

④ GET 연습 (주문 보여주기)
- 요청 정보 : URL = /mars, 요청 방식 = GET
- 클라이언트(ajax) → 서버(flask) : (X)
- 서버(flask) → 클라이언트(ajax) : 전체 주문을 보내주기

-1) 클라이언트와 서버 확인하기
-2) 서버부터 만들기 - db에서 모든 주문을 가져와야함
@app.route("/mars", methods=["GET"])
def web_mars_get():
    order_list = list(db.mars.find({}, {'_id': False}))
    return jsonify({'orders': order_list})

-3) 클라이언트 만들기 - index.html에다가
 function show_order() {
        $.ajax({
            type: 'GET',
            url: '/mars',
            data: {},
            success: function (response) {
                let rows = response['orders']
                for (let i = 0; i < rows.length; i++){
                    let name = rows[i]['name']
                    let address = rows[i]['address']
                    let size = rows[i]['size']

                    let temp_html = `
                                        ${name}
                                        ${address}
                                        ${size}
                                    `
                    $('#order-box').append(temp_html)    # 붙이고 싶은 곳에 id = "order-box"
                }

            }
        });
    }
-4) 완성 확인하기

이름	주소	평수
홍길동	서울시 용산구	20평
임꺽정	부산시 동구	10평
세종대왕	세종시 대왕구	30평

예제 2) 스파르타피디아

① URL에서 페이지 정보 가져오기 (meta태그 스크래핑)
  : 메타 태그는,  부분에 들어가는, 눈으로 보이는 것(body) 외에 사이트의 속성을 설명해주는 태그들이다.
    예) 구글 검색 시 표시 될 설명문, 사이트 제목, 카톡 공유 시 표시 될 이미지 등

import requests
from bs4 import BeautifulSoup

url = 'https://movie.naver.com/movie/bi/mi/basic.naver?code=191597'

headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get(url,headers=headers)

soup = BeautifulSoup(data.text, 'html.parser')

title = soup.select_one('meta[property="og:title"]')['content']
image = soup.select_one('meta[property="og:image"]')['content']
desc = soup.select_one('meta[property="og:description"]')['content']

print(title,image,desc)

② app.py 기본 코드
from flask import Flask, render_template, request, jsonify
app = Flask(__name__)

@app.route('/')
def home():
    return render_template('index.html')

@app.route("/movie", methods=["POST"])
def movie_post():
    sample_receive = request.form['sample_give']
    print(sample_receive)
    return jsonify({'msg':'POST 연결 완료!'})

@app.route("/movie", methods=["GET"])
def movie_get():
    return jsonify({'msg':'GET 연결 완료!'})

if __name__ == '__main__':
    app.run('0.0.0.0', port=5000, debug=True)

③ index.html 기본 코드




    
    

    
    
    

    스파르타 피디아

    

    
    




    내 생애 최고의 영화들
    


    
        
        영화URL
    
    
        별점
        
    
    
        
        코멘트
    
    
        
        
    


    
        
            
                
                
                    영화 제목이 들어갑니다
                    여기에 영화에 대한 설명이 들어갑니다.
                    ⭐⭐⭐
                    나의 한줄 평을 씁니다
                
            
        
        
            
                
                
                    영화 제목이 들어갑니다
                    여기에 영화에 대한 설명이 들어갑니다.
                    ⭐⭐⭐
                    나의 한줄 평을 씁니다
                
            
        
        
            
                
                
                    영화 제목이 들어갑니다
                    여기에 영화에 대한 설명이 들어갑니다.
                    ⭐⭐⭐
                    나의 한줄 평을 씁니다
                
            
        
        
            
                
                
                    영화 제목이 들어갑니다
                    여기에 영화에 대한 설명이 들어갑니다.
                    ⭐⭐⭐
                    나의 한줄 평을 씁니다
                
            
        
    





④ POST 연습 (포스팅하기)
- 요청 정보 : URL = /movie, 요청 방식 : POST
- 클라이언트(ajax) → 서버(flask) : url, star, comment
- 서버(flask) → 클라이언트(ajax) : 메시지를 보냄 (포스팅 완료!)

-1) 클라이언트와 서버 연결 확인하기
-2) 서버부터 만들기
@app.route("/movie", methods=["POST"])
def movie_post():
    url_receive = request.form['url_give']
    star_receive = request.form['star_give']
    comment_receive = request.form['comment_give']

    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
    data = requests.get(url_receive, headers=headers)

    soup = BeautifulSoup(data.text, 'html.parser')

    title = soup.select_one('meta[property="og:title"]')['content']
    image = soup.select_one('meta[property="og:image"]')['content']
    desc = soup.select_one('meta[property="og:description"]')['content']

    doc = {
        'title': title,
        'image': image,
        'desc': desc,
        'star': star_receive,
        'comment': comment_receive
    }
    db.movies.insert_one(doc)
    return jsonify({'msg': '저장 완료!'})

-3) 클라이언트 만들기
function posting() {
        let url = $('#url').val()
        let star = $('#star').val()
        let comment = $('#comment').val()

        $.ajax({
            type: 'POST',
            url: '/movie',
            data: {url_give : url, star_give : star, comment_give : comment},
            success: function (response) {
                alert(response['msg'])
                window.location.reload()
            }
        });
    }
-4) 완성 확인하기

⑤ GET 연습 (보여주기)
- 요청 정보 : URL = /movie, 요청 방식 = GET
- 클라이언트(ajax) → 서버(flask) : (X)
- 서버(flask) → 클라이언트(ajax) : 전체 영화를 보내주기

-1) 클라이언트와 서버 확인하기
-2) 서버부터 만들기
@app.route("/movie", methods=["GET"])
def movie_get():
    movie_list = list(db.movies.find({}, {'_id': False}))
    return jsonify({'movies': movie_list})

-3) 클라이언트 만들기
function listing() {
        $.ajax({
            type: 'GET',
            url: '/movie',
            data: {},
            success: function (response) {
                let rows = response['movies']
                for (i = 0; i < rows.length; i++){
                    let comment = rows[i]['comment']
                    let title = rows[i]['title']
                    let desc = rows[i]['desc']
                    let image = rows[i]['image']
                    let star = rows[i]['star']

                    let star_image = '⭐'.repeat(star)

                    let temp_html = `
                                        
                                            
                                            
                                                ${title}
                                                ${desc}
                                                ${star_image}
                                                ${comment}
                                            
                                        
                                    `

                    $('#cards-box').append(temp_html)
                }
            }
        })
    }
-4) 완성 확인하기

웹개발 종합반 3주차 (hw)

Wed, 02 Feb 2022 06:19:02 GMT

1. 코드

import requests
from bs4 import BeautifulSoup

headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://www.genie.co.kr/chart/top200?ditc=M&rtm=N&ymd=20210701',headers=headers)

soup = BeautifulSoup(data.text, 'html.parser')

musics = soup.select('#body-content > div.newest-list > div > table > tbody > tr')

for music in musics :
    rank = music.select_one('td.number').text[0:2]
    title = music.select_one('td.info > a.title.ellipsis').text.strip()
    singer = music.select_one('td.info > a.artist.ellipsis').text

print(rank,title,singer)

2. 구현

웹개발 종합반 3주차 (study)

Wed, 02 Feb 2022 06:14:18 GMT

(3주차 목표) Python basic, Web scraping basic, mongoDB/pymongo

파이썬 기초

1) 숫자 더하기

a = 2
b = 3
print(a+b) % 5

2) 문자열 더하기

a = 'yejin'
b = 'shin'
print(a+b) # yejinshin

3) List

a_list = ['사과','배','감']
print(a_list[1]) # 배, python은 0부터 시작.

a_list.append('수박')
print(a_list) # ['사과','배','감','수박']

4) Dictionary

a_dict = {
    'name' : 'bob',
    'age' : 27
}
print(a_dict['name']) # bob

5) Function

def sum(a,b) :
    print('더하자!')
    return a+b    
result = sum(1,2)
print(result) 
# 더하자! 
# 3

def is_adult(age) :
    if age > 20 :
        print('성인입니다')
    else :
        print('청소년입니다')
is_adult(15)
# 청소년입니다

6) For

fruits = ['사과','배','배','감','수박','귤','딸기','사과','배','수박']
for aaa in fruits :
    if aaa == '사과':
        count += 1    
print(count)
# 2

people = [{'name': 'bob', 'age': 20}, 
        {'name': 'carry', 'age': 38},
        {'name': 'john', 'age': 7},
        {'name': 'smith', 'age': 17},
        {'name': 'ben', 'age': 27}]
for person in people :
    if person['age'] > 20 :
    print(person['name'])
# carry 
# ben

* 패키지 사용해보기*

import requests # requests 라이브러리 설치 필요

r = requests.get('http://spartacodingclub.shop/sparta_api/seoulair')
rjson = r.json()

rows = rjson['RealtimeCityAir']['row']

for row in rows :
    gu_name = row['MSRSTE_NM']
    gu_mise = row['IDEX_MVL']
    if gu_mise < 60 :
        print(gu_name)
    # 한 줄씩 찍히게 됨

설명 : requests라는 라이브러리를 쓰고 싶어서,
네가 쓰라는데로 r = requests.get ... rjson ... 썼어.
이제 rjson을 가지고 내가 요리를 해볼게.

크롤링/웹스크래핑 기초

크롤링 : 크롤링을 위해 개발된 소프트웨어를 크롤러(crawler)라 한다.
크롤러는 주어진 인터넷 주소(URL)에 접근하여 관련된 URL을 찾아내고,
찾아진 URL들 속에서 또 다른 하이퍼링크(hyperlink)들을 찾아 분류하고 저장하는 작업을 반복함으로써 
여러 웹페이지를 돌아다니며 어떤 데이터가 어디에 있는지 색인(index) 을 만들어 데이터베이스(DB)에 저장하는 역할을 한다


스크래핑 : 크롤링과 유사 개념으로 소프트웨어를 통해 대상 웹사이트와 같은 데이터 소스에서 
데이터 자체를 추출하여 특정 형태로 저장하는 스크레이핑(scraping)이 있다. 
빅데이터 분석에서는 크롤링을 통해 필요한 데이터가 어디 있는지 알아내고, 
이를 스크레이핑을 통해 수집, 저장하여 분석에 사용하는 것처럼 두 기술을 결합하여 사용하기도 한다.

* 출처 : [네이버 지식백과] 크롤링 [crawling] (용어로 알아보는 우리시대 DATA)

1) 크롤링 기본 셋팅

import requests
from bs4 import BeautifulSoup

headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
# header에서 call을 날리는데, 마치 browser에서 콜을 날린 것처럼(사람인 것처럼) 해주는 것. 
# 아래 headers=headers 참고.
data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20210829',headers=headers)

soup = BeautifulSoup(data.text, 'html.parser')
print(soup)

2) beautifulsoup 쓰는 방법

beautifulsoup(bs4) : html은 가져왔는데 그 안에서 내가 찾는 제목을 쉽게 찾기 위한 라이브러리

* 원하는 곳 > 검사 > copy > copy selector 

* 네이버 영화 페이지에서 제목 가져오기
예시 1 - 하나만)
title = soup.select_one('copy selector 복사한 값')
print(title) # 그 태그가 찍힘
print(title.text) # 그 태그에서 우리가 원하는 텍스트 부분 나옴
print(title['(예를 들어) href']) # href 안에 값이 나옴

예시 2 - 여러개)
movies = soup.select('#old_content > table > tbody > tr') # 중복되는 앞부분
for movie in movies : 
    a = movie.select_one('td.title > div > a') # 중복되는 뒷부분
    if a is not None : # a == None 
        print(a.text) # 영화 제목들이 순서대로 나옴

* 네이버 영화 페이지에서 순위, 평점, 제목 가져오기
앞에서 봤던 것과 마찬가지로 검사를 누르고 print()로 확인하면서 원하는 값들을 뽑아내면 된다.
movies = soup.select('#old_content > table > tbody > tr')

for movie in movies :
    a = movie.select_one('td.title > div > a')

    if a != None : # = a is not None
        title = a.text
        rank = movie.select_one('td:nth-child(1) > img')['alt'] # 앞에서 이미 붙인 부분을 제외한 뒷부분을 넣어주고 print(rank) 했더니 원하는 값이 'alt'에 들어있었기 때문에, ['alt']를 해준다.
        star = movie.select_one('td.point').text # 앞에서 이미 붙인 부분을 제외한 뒷부분을 넣어주고 원하는 부분인 text만 뽑아줌.
        print(rank, title, star)

Data Base(DB) 개괄

1) 들어가기 전에

Q1 : DB는 왜 쓰는 것일까?
A1 : 나중에 잘 찾기 위해서

Q2 : 교보문고에 가서 책을 찾는다고 하면?
A2 : 꽂혀진 방법대로 찾아야 쉽게 찾을 수 있겠쥬? (섹션 → 출판사 → 제목)
따라서, DB에도 Index라는 순서로 데이터들이 정렬되어 있다

2) DB의 두 가지 종류

SQL : 칸을 정해놓고 순서대로 쌓는 것
NoSQL : 칸이 정해져 있지 않고 들어오는 대로 쌓는 것
 * standard language for storing, manipulating and retrieving data in databases

NoSQL의 대표적인 것이 mongoDB

3) DB의 실체에 관하여

DB는 특별한 컴퓨터일까?
NO! 아주 간단하게, 우리가 쓰는 프로그램과 같은 것이다.
즉, 내 컴퓨터에 게임을 설치하는 것처럼 DB도 설치할 수 있는 것이다.

그런데 이마저도 요새 cloud 형태로 제공해주는 곳들이 많은데,
유저가 몰리거나/ DB를 백업해야 하거나/ 모니터링 하기가 쉽기 때문이다
그래서, 우리도 최신 클라우드 서비스인 'mongoDB Atlas'를 사용해 볼 것!

mongoDB/pymongo

pymongo 라이브러리의 역할
: mongoDB 라는 프로그램을 조작하려면, 특별한 라이브러리인 pymongo가 필요하다!

1) 패키지 설치하기

pymongo, dnspython

2) mongDB 연결하기

from pymongo import MongoClient
import certifi
ca = certifi.where()
client = MongoClient('mongodb+srv://test:sparta@cluster0.4n13d.mongodb.net/Cluster0?retryWrites=true&w=majority', tlsCAFile=ca)
db = client.dbsparta

# 나같은 경우에는 맥북이어서인지 보안 때문에 certifi를 추가적으로 설치해줘야 실행되었음.

3) pymongo로 DB 조작하기

# 저장 - 예시
doc = {'name':'bobby','age':21}
db.users.insert_one(doc)

# 한 개 찾기 - 예시
user = db.users.find_one({'name':'bobby'})

# 여러개 찾기 - 예시 ( _id 값은 제외하고 출력)
all_users = list(db.users.find({},{'_id':False}))

# 바꾸기 - 예시
db.users.update_one({'name':'bobby'},{'$set':{'age':19}})

# 지우기 - 예시
db.users.delete_one({'name':'bobby'})

4) 웹스크래핑 결과 저장하기

import requests
from bs4 import BeautifulSoup

from pymongo import MongoClient
import certifi
ca = certifi.where()
client = MongoClient('mongodb+srv://test:sparta@cluster0.4n13d.mongodb.net/Cluster0?retryWrites=true&w=majority', tlsCAFile=ca)
db = client.dbsparta

headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20210829',headers=headers)

soup = BeautifulSoup(data.text, 'html.parser')

movies = soup.select('#old_content > table > tbody > tr')

for movie in movies :
    a = movie.select_one('td.title > div > a')

    if a != None : # = a is not None
        title = a.text
        rank = movie.select_one('td:nth-child(1) > img')['alt']
        star = movie.select_one('td.point').text
        doc = {
            'title':title,
            'rank':rank,
            'star':star
        }
        db.movies.insert_one(doc)

5) 웹스크래핑 결과 이용하기

① 영화제목 '가버나움'의 평점 가져오기
movie = db.movies.find_one({'title':'가버나움'})['star']

② '가버나움'의 평점과 같은 평점의 영화 제목들을 가져오기
all_movies = list(db.movies.find({'star':movie},{'_id':False}))
  for movie in all_movies:
      print(movie['title'])

③ '가버나움' 영화의 평점을 0으로 만들기
db.movies.update_one({'title': '가버나움'}, {'$set': {'star': '0'}})

(3주차 소감) mongoDB에 데이터를 저장하고 싶은데 계속 실행이 안되서 헤맸었다. 하지만 슬랙에 물어보니 친절하게 답변해주셔서 쉽게 해결할 수 있었음! 애용해야겠다.

(참고 사이트)

크롤링/웹스크래핑 몹시 헷갈릴 때 : https://kamang-it.tistory.com/entry/PythonCrawlingScraping%ED%81%AC%EB%A1%A4%EB%A7%81%EA%B3%BC-%EC%8A%A4%ED%81%AC%EB%9E%98%ED%95%91-%EA%B7%B8%EB%A6%AC%EA%B3%A0-%EC%9B%90%EB%A6%AC1

MATLAB 08-2 (debugging)

Tue, 01 Feb 2022 12:57:24 GMT

Debugging To create is God, To error is human

1) program bug (error)

bug that is detected by Matlab (syntax error) → easy to find
bug that gives wrong answer → not easy to find
debugging : process of finding bugs and fixing them (* step by step)

2) Debugging takes a major portion of programming

3) No.1 rule of debugging

check values of variables (ex, remove ';' at the end)

Style

4) makes program script easy to understand

5) does not affect computation, but very important

① put comments(%) as many as possible
    begginning of program → summary of what program does

② indent dependent statements (if, for, while)
    if (i<0.5)
        i = i + 3;
        end

        if (i<0.5)
            i = i + 3;
        end

③ put blank line between sections

④ one equation (command) in one line

Comment / Uncomment

command+/ (comment) : insert comment marker in front
command+option+/ (uncomment) : remove comment marker from front

MATLAB 08-1

Tue, 01 Feb 2022 12:17:25 GMT

1) Local variable of function

variables generated in main program are stored in workspace
variables generated in function disappear when function is over

clear
a = 20
b = 30
y = fn_local(3)
whos

* function이 끝나면 바깥 세상에서는 사라진다

2) Global variable of function ("official" IO channel for function)

function [ out1, out2, ... ] = fn_name( in1, in2, ...)
----------------
----------------

global variable → allows "unofficial" IO channel for function
type fn_global
z = fn_global(3,5) % 여기까지 실행하면 z = []로 나옴. A B C를 안줬기 때문
global A B C % do not use comma to define multiple global vars
A = 7, B = 3, C = 5
z = fn_global(3,5)
A

who global % global vars만 보여줌
clear global % global vars 삭제, clear로 삭제해도 fn_global(2,3)을 입력했을 때 값이 보이는 이유는 
         % base workspace에서는 삭제되었지만 global workspace에서는 살아있기 때문. 따라서 clear global 해야 완전 삭제.

3) Function handle (어떤 함수의 이름이다)

try : 
y = cos(3)
a = 'cos'
y = a(3) % ans = 's'. is this same as y = cos(3)?

* fhandle & feval *
a = @cos % function handle
whos a
y = a(3) % same as y = cos(3)
y = feval(a,3) % The feval function follows the same scoping and precedence rules as calling a function handle directly.

4) Exercise : function handles

function can take function names as input

let's change main_func1 into a function (fn_func1)
    input : x0 (initial guess), function names
        output : x (solution), i (# of iterations)
        [x, i] = fn_func1(x0,fn)

Conflict of Names

5) conflict b/w names of

% 우선순위 (matlab은 이름 가지고 구분을 못한다)
variables
commands/functions
files (both Matlab & Simulink)

rand = 13; % built-in function인데, 우리가 변수로 설정해버리면 망함. rand(1,3) 안됨.
clear rand % 변수로 설정했을때 지워주는 명령.

main_func1 = 4; %file
clear main_func1

6) precedence among names

variables
files in the directories specified by MATLAB's search path

MATLAB 07

Tue, 01 Feb 2022 02:51:17 GMT

1) sound

load handel
sound(y,Fs)
which handel.mat

2) ddang.m

draw 2 cards
each card : number of 1 to 10
38 광땡 → train sound : load train; sound(y,Fs)
땡 → gong sound : load gong; sound(y,Fs)
망통 → laughter sound : load laughter; sound(y,Fs)

Early iteration stop (see and run : testbreak.m)

3) break

terminates loop
In nested loops, BREAK exits from the loop that it belongs to

4) continue

passes control to the next iteration

5) return

causes a return to the invoking function or to the keyboard

General Form of Function

6) function maxij (finding maximum element)

Find max value and its location from input matrix
function [amax, i, j] = maxij(a)
a : input matrix
amax : max value of a
i,j : row and col index of amax in a
use [vmax, i] = max(v)

7) Newton's method for solving f(x) = 0

% myNewton.m
%
% This program finds a root of function func1().

x = input('Type initial guess --> ');
fx = func1(x);
dx = 1e-8;
i = 0; % 몇 번 도는지 보기 위함

while abs(fx) > 1e-10 % 내가 생각하기에 충분히 작은 수. ~=로 대체하면 무한 루프가 되어버림.

    i = i+1
    fx = func1(x);
    dfx = ( func1(x+dx) - func1(x) ) / dx;
    x = x - fx/dfx;

end