위 링크의 영상은 llama를 기준으로 설명하고 있으나, 큰 틀에서 LLM을 구성하는 방식에 대해서 설명하고 있다.

LLM 구성은 생각보다 단순함 파라미터 파일, 실행 파일로 이루어짐

1. 파라미터 파일 : 매개변수를 저장하고 있는 파일.
2. 실행 파일 : 파라미터 모델을 신경망 모델에서 실행하는 파일.

훈련이란? 엄청난 양의 텍스트를 수집한 후 압축하는 과정으로 이 과정을 통해 '파라미터 파일'을 생성함,

LLM에서의 텍스트 생성 신경망에서 파라미터에 따라 다음 단어를 예측하는 것. LLM은 텍스트를 "꿈"꾸듯 생성함. 그럴듯한 틀에 맞춰서 데이터 세트를 모방함. 100% 학습에 사용 된 내용을 따라하진 않지만 흡사한 무언가를 제공하는 형태임. 특히 일련번호 같은 경우, 그 일련번호가 맞는지는 상관 없고 '어떤 형태'로 존재하는지 정도는 따라함(주민번호처럼 보이는 무언가를 만들 순 있지만, 가상의 숫자 시퀀스를 만드는 형태)

텍스트 생성은 어떻게 이루어지는가? 흔히 transformer라고 불리는 것을 사용함. 매개변수를 활용해 다음 단어를 뱉게하는 최적화는 가능하지만, 실제 모든 매개변수가 어떤 영향을 주고 있는지는 정확히 알지 못함. 아쉽게도 LLM이 동작하지만 완벽히 어떻게 동작하는지는 모르는 상태임. 대부분 경험적으로 다루어지고 있음.

LLM에서의 데이터 특정 정보를 '저장'하고 있는 형태는 아님. 특정 정보를 얻기 위한 '방향'이 정해져 있음.(reverse curse)

AI 언어모델 구축 단계

사전학습(Pretraining)

1. 많은 양의 텍스트를 수집(10TB ~ )
2. 학습을 시작할 GPU 클러스터 셋업
3. 텍스트를 신경망이 이해할 수 있는 형태로 변환
4. 기본 모델(base model)을 획득

단, 훈련에 사용되는 텍스트는 온전히 압축되는 것이 아닌 손실 압축됨. 흔히 이 과정에서 많은 비용이 들어감.

미세조정(Finetuning)

1. 라벨링 지침 작성
2. 고품질의 Q&A 응답, 비교 레이블 준비
3. 파인튜닝
4. 보조 모델(assistant model)을 획득
5. 평가
6. 배포
7. 모니터링, 잘못된 응답 수집 (잘못된 응답에 대한 올바른 응답 준비)
8. step 1으로 이동해서 반복

• 훈련된 모델을 목적에 맞게 학습하는 과정을 뜻함.
• 이 과정은 앞선 '훈련'보다는 훨씬 저렴하며 데이터의 양보다는 '질'이 중요함. 사전 학습에 사용된 엄청난 양의 인터넷 문서가 아닌, 필요에 따라 만들어진 Q&A 같은 데이터 셋임.

강화학습

비교 답변을 통해 성능을 끌어올리는 방법임. 미세조정 된 보조 모델들을 통해 답변을 생성하고, 더 좋은 답변을 선택하여 학습시키는 방법임. 인간과 모델의 협업을 통해서 이루어짐. 요즘은 모델이 생성한 답변만을 가지고 강화학습하는 추세.

다만, password가 단순 텍스트로 저장되고 있는 점이 문제였는데 이 부분을 bcrypt를 활용하여 해싱해보자

간단하다 아직 없다면 깔아주고

pip install bcrypt

가져다 쓸 때는

import bcrypt

기존에 구현했던 sign-up을 가져와서 password를 bcrypt를 이용해서 해싱하고 저장하자

@app.route('/sign-up', methods=['POST'])
def sign_up():
    new_user = request.json
        new_user['password'] = bcrypt.hashpw(
        new_user['password'].encode('utf-8'), bcrypt.gensalt()
        )

        new_user_id = insert_user(new_user)
        check_user = str(new_user_id)

        if check_user is None :
            return 'fail', 400

        return check_user, 200

변경한 코드로 회원가입

password 상태

확실히 안전해졌다.

+추가 bcrypt가 하는 일은 다음과 같다

+salting : 음식에 간을 더 하듯 랜덤한 데이터를 더 해서 해싱한다. 어찌저찌하여 데이터를 추출하더라도 어디서부터 어디까지가 기존 데이터인지 알 수 없게 한다. 일련의 해시 데이터를 쭉 넣어서 공격하는 rainbow attack에 효과적이다.

+key streching 기존 단방향 해시 알고리즘의 실행 속도가 너무 빠르다는 취약점을 보완하기 위해서 N번의 해싱을 반복하는 것이 키 스트레칭이다. 물론 애초에 알고리즘 실행속도가 매우 빠르기 때문에 인증 실패를 적절하게 제한하여 사용하면 좋다.

도식화하면

1. salt data + password

2. N times hashing

3. Hash result (+ 접근 횟수 제한 = 별도 구현)

database에 접근하는 방법을 구현했으니, 회원가입 함수를 구현하고 테이블에 회원 정보를 저장해보자

created_app 내부에 다음과 같이 sign-up route를 만들어주자.

@app.route('/sign-up', methods=['POST'])
def sign_up():
    new_user = request.json
    new_user_id = insert_user(new_user)
    check_user = str(new_user_id)

    if check_user is None :
        return 'fail', 401

    return check_user, 200

위 함수가하는 일은 간단하다. 아래에 구현하겠지만 요청에 담겨온 json을 읽고 insert_user에 던져준다.

insert_user에서 정상적으로 user를 insert하게 되면 insert한 유저의 uid를 리턴 받고, 성공 여부를 리턴하는 함수다.

def insert_user(user):
    return current_app.database.execute(text("""
        INSERT INTO users(
            name,
            email,
            profile,
            hashed_password
        ) VALUES (
            :name,
            :email,
            :profile,
            :password
        )
    """) user).lastrowid

요렇게 구성하면 다음과 같이 리턴을 받아볼 수 있다.

이건 DB 상태

간단하게 회원가입을 구현하기 위해 다음과 같은 users 테이블을 하나 만든다.

회원가입을 하기 위해서 여러 검증과정을 거쳐야 하지만 여기서는 다음과 같이 간단히 구현해본다.

1. name, email, password, profile 정보를 입력 받는다.

2. 이 때, email 은 중복이 불가능하다.

3. request가 요구사항에 맞으면, 회원가입을 완료하며 유저 테이블에 insert한다.

위 내용을 위해 app.py에서 생성한 database에 접근할 수 있도록 config.py에 관련 내용을 정리한다.

config.py에는 다음과 같은 정보를 넣는다

db = {
    'user' : 'db 설정시 입력한 user',
    'password' : '설정한 비밀번호',
    'host' : 'localhost', (dev이기 때문에)
    'port' : 설정한 포트 넘버,
    'database' : '만든 database 이름'
    }

DB_URL = f"mysql+mysqlconnector://{db['user']}:{db['password']}@{db['host']}:{db['port']}/{db['database']}?charset=utf8"

config.py를 app.py에서는 다음과 같이 호출한다.

def create_app(config):
    app = Flask(__name__)

    if config is None:
         app.config.from_pyfile("config.py")


     database = create_engine(app.config['DB_URL'], encoding='utf-8', max_overflow=0)
     app.database = database

     return app

flask를 이용한 api 구성에 mysql을 사용할 것이므로 mysql를 다운로드한다.

window 버전이므로..

https://dev.mysql.com/downloads/windows/installer/8.0.html

위 링크에서 용량 많은걸 받아본다.

그대로 쭉 설치해주면 OK

+추가

잘 설치한 후에 터미널에서 mysql 명령어를 입력해도 먹히지 않은 경우... 보통 환경변수 추가를 하지 않아서 일어난다.

환경변수를 추가해주자!

http 프로토콜은 기본적으로 request와 response 구조를 가지고 있다.

백엔드 api를 구현할 때 이런 구조적 특성이 반영되어 http 요청을 input으로, 응답을 output으로 가져간다.

이런 구조에서 각각의 http 통신은 '독립적'이며 그전에 처리 된 통신에 대해서는 알지 못 한다.

그렇기때문에 stateless라는 특성을 가지게 된다.

이런 특성 덕분에 http 통신들의 상태를 서버에서 저장할 필요가 없어지고 서버 디자인이 훨씬 간단해지는 장점을 가질 수 있다.

단점은.. 서버는 각 요청의 상태를 모르기 때문에 로그인 여부라던지 이런 상태 값을 클라단에서 잘 관리해줘야 한다. (session, cookie 등)

필요한 상태, 로그인 여부 등을 클라에서 잘 관리하고 있다가 서버 통신을 요청할 때 잘 넣어서 보내주면 된다.

결론 : 요청을 잘 받고, 응답 값을 잘 돌려주면 된다.

cmd에서도 flask run을 실행하는 방법

mac os 기준으로는

FLASK_APP=name.py FLASK_DEBUG=1(optional) flask run

정도로 정리가 가능하다.

windows cmd 는 조금 다르다. set 명령어를 통해 어떤 flask 기반의 .py 파일을 구동할 것인지 설정해줘야한다.

set FLASK_APP=name.py app.py

이 경우

python name.py

cmd에서 구동되는 방식하고는 조금 다르게 flask run을 구성할 수 있다.

코드는 아래와 같이 구성된다.

from flask import Flask

app = Flask(__name__)

@app.route('/ping', methods=['GET'])
def ping():
    return "pong"

아래 코드가 없어도 정상적으로 구동

if __name__ == '__main__':
    app.run()

flask run

httpie를 통한 통신

간단히 서버에 ping을 보내고, pong을 응답으로 받는 것을 구현해본다.

from flask import Flask

app = Flask(__name__)

@app.route('/ping', methods=['GET']
def ping():
    return "pong", 200

if __name__ = '__main__':
    app.run()

심플하다 flask 를 기반으로 app을 생성하고, endpoint에 해당하는 '/ping'의 루트를 정의해준다.

외부에서 endpointsurl/ping 을 호출하면, pong이라는 텍스트를 리턴한다.

cmd에서 app.py를 실행해보자.

localhost:5000/ping

성공적으로 호출 및 응답