필자는 23년 7월부터 좋아하는 가수의 AI 모델을 만들고 커버곡을 생성하여 유튜브에 업로드하는 활동을 6개월간(글 작성시점 - 24년 1월) 이어오고 있다.

조회수가 1만회를 돌파한 영상이 처음으로 탄생했고, 일명 '신청곡'을 실제 가수가 아닌 나에게 부탁하는 댓글이 달리기 시작했다. 내가 작업해서 업로드한 '신청곡'이 해당 가수의 팬의 마음에 들면 댓글에 하트를 한가득 붙여서 나한테 고마움을 전한다. (마음에 들지 않으면 냉정하게 별로라고 댓글을 달기도 한다.)

AI 음악을 소비하는 사람들과 이러한 묘한(?) 방식으로 직접 소통하던 필자는, 목소리 변환 AI의 성능을 따지는 것 외에도 컨텐츠 측면에서 탐구할 흥미로운 부분이 많다는 것을 느꼈다.

"000가 커버하는 XXXX을 듣고 싶어요!"

가장 자주 달리는 댓글이다.

많은 사람들이 본인이 좋아하는 가수가 어떤 곡을 부를 때 이렇게 표현하지 않을까? 라는 상상을 한다. 그리고 AI 모델로 이를 현실감있게 실현하였을 때 대리만족을 느끼는 모습을 관찰할 수 있다.

단순히 노래를 잘 하는 AI가 만든 음악을 듣고 싶은게 아니다. 내가 좋아하는 '바로 그 가수'가 직접 부른 듯한 노래를 듣고 싶은 것이다.

큰 사랑을 받는 아티스트들은 음악 외적인 측면에도 확실한 정체성이 있다. 가수로 성공하기까지 역경을 극복한 스토리, 또는 외형적인 매력, 또는 미디어에 노출된 사람으로서의 매력, 또는 일명 스타성/무대장악력이라고 표현되는 무대 위의 퍼포먼스 등등등.

가수의 음색, 곡 해석능력, 표현능력, 무대매너 등의 음악적 역량이 큰 비중을 차지하겠지만 특정 아티스트를 사랑하는 팬의 마음은 위에 언급한 노래 외적인 것들이 종합적으로 스며있을 것이다. 이것이 아티스트의 '브랜드'이고, AI 커버곡들의 흥행 (높은 조회수)을 결정 짓는 것은 바로 이 '브랜드'가 사람들의 머릿속에 자동적으로 그려지게 하는가의 여부이다.

아티스트는 살아있는 GroundTruth

AI Cover 생성 모델은 특정 아티스트와 최대한 똑같이 곡을 표현해야한다는 임무를 갖고 학습을 거친다.

그런데 AI 모델에 학습 데이터를 제공할 수 있는 출처는 유일무이하게 바로 그 아티스트뿐이다. 특정한 한 사람만이 독점적으로 자신의 생득적인 음색과 창법을 AI 모델에 학습자료로 제공할 수 있다.

기존 AI의 대표적인 사례는 사람의 인지능력을 모방하는 것이 많았다. 물체인식, 음성인식, text 해석 등의 작업을 수행하고 이때 AI가 내놓는 결과물은 객관적으로 참/거짓 여부를 판별할 수 있는 류의 것이다.

반면 커버곡 생성 AI는 이와 다르다. AI 커버곡이 학습을 타겟으로 한 아티스트와 얼마나 유사한지는 해당 아티스트의 리스너들이 1차적으로 판단한다. 내 유튜브 채널에 달리는 댓글 피드백들을 보면 어떤 이들은 만족하고 어떤 이들은 실제 아티스트 같지 않다고 아쉬움을 표한다. 즉 각각의 사람들이 조금씩 다르게, 주관적으로 상상하던 '정답'이 복수로 존재하는 것이다.

만약 실제 아티스트가 등판하여 AI로 생성되었던 곡을 본인이 직접 부른다면? AI 커버곡들은 바로 무용지물이 될 것이다. 사람들이 마음속에 상상만 하던 것이 실현되었는데 그저 '흉내'낼 뿐인 AI 커버곡을 더 이상 들을 이유가 없지 않겠는가. 그리고 아마도 실제 아티스트의 커버곡을 기준으로 AI 커버곡들을 채점하며 얼마나 유사한지에 따라 점수가 매겨질 것이다.

결론 : 아티스트의 가치는 더더욱 높아질 것

가수들이 AI 커버곡들을 보며 당혹스러워하는 리뷰 영상을 종종 본다. 본인들이 얼마나 많이 노력하고 연습해서 가수가 되었는데, AI는 이렇게 쉽게 해버린다며 현타를 느끼는 듯 보였다.

그러나 AI가 정말 간절히 원하는 학습데이터를 본인의 생득적인 능력을 기반으로 독점적으로 제공할 수 있다는 것은 현시대에 엄청난 메리트이다. AI가 따라하고자 하는 살아있는 GroundTruth 존재는 아무나 될 수 있는 것이 아니다. 요즘 세상에 대부분의 사람들은 AI에게 가치있는 대상이 아니다. AI가 제발 당신을 따라하고 싶으니 학습데이터 좀 달라고 요청하는 사람은 극소수일 것이다.

현 시점에서는 특정 모델이 어떤 가수의 목소리와 곡을 기반으로 학습되었는지 추적하는게 쉽지 않다. 그러나 앞으로는 분명히 이미지 파일의 워터마크와 같이 데이터 출처를 각인시킬 수 있는 기술과 제도가 등장할 것이다. 이후에는 사람의 생득적인 특성에 부여되는 새로운 형태의 저작권이 적용될 것이다.

짧은 견해이지만, 아티스트들은 AI 커버곡이 대중화되는 것이 본인들에게 큰 기회라고 생각하면 될 것 같다. AI로 대체되기는 커녕 오히려 본인의 차별화된 목소리와 음악적 재능에 더 큰 가치가 매겨지고 자본이 모이는 파이가 확대되지 않을까? 사방팔방에서 당신의 목소리를 AI 학습데이터로 사용하고 싶다고 하는데 말이다.

불확실성을 견디는 참을성

(110p) 기획의 실마리를 잡기 전에는 다양한 자극에 노출하는 등 느긋하게 힘을 빼고 이완해야 한다. 하지만 실마리가 잡힌 다음에는 집중해서 아이디어와 씨름해야 한다. 큰 아이디어는 수많은 작은 아이디어들로 구성되어 있기 때문이다. 큰 아이디어를 채워나가기 위해서는 고단한 작업의 과정이 필요하다. 뉴턴이나 아르키메데스와 케쿨레가 느긋하게 이완하면서 아이디어에 대한 힌트를 얻었다고 하지만 이들은 평소에 해답을 찾는 데 골몰하고 있었음이 틀림없다.

(112p) ...우어반의 설명에서 놀라운 점은 참을성이라는 요소가 창의력 구성요소에 포함되어 있다는 사실이었다. 내가 만났던 뛰어난 PC들에게 참을성이라는 공통적 특성이 있었다는 것도 생각났다. 창의력이란 낯설고 새로운 것을 시도하고 주변의 시선에 담담할 수 있는 용기라고도 풀어쓸 수 있다.

(116p) 불확실성을 견디는 참을성이라는 요소는 창의력이 반짝거리는 아이디어만으로만 만들어지지 않는다는 사실을 보여준다. 기획자는 새로운 아이디어를 냈을 때 부젼 사람들의 차가운 반응을 견뎌야 하며, 아이디어가 뿌리를 내리기까지 걸리는 시간을 이겨내야 한다.

"작은 것부터 시작하자, 뭐라도 해보자" 규모가 어떻든 목표를 달성하고자 하는 의지와 책임감

https://github.com/Gbintree/DevForDuck-LUCY/tree/main

• youtube_api_module.py : video 리스트 요청 & csv 저장
• index.html : github.io 페이지 GUI 와 csv 파일 데이터 연동

Step 1

Youtube API 로 video id, title, url, thumbnail image url 을 요청한다.

from googleapiclient.discovery import build

# YouTube API 키 설정
API_KEY = input("Enter your YouTube API key: ")

# YouTube API 클라이언트 생성
youtube = build('youtube', 'v3', developerKey=API_KEY)

search_keyword = input("Enter Search Keyword: ")
max_results = 10

search_response = youtube.search().list(
    q=search_keyword,
    type='video',
    part='id,snippet',
    maxResults=max_results,
    order='viewCount'
).execute()

videos = []
for search_result in search_response.get('items', []):
    video_id = search_result['id']['videoId']
    video_title = search_result['snippet']['title']
    video_url = f'https://www.youtube.com/watch?v={video_id}'
    thumbnail_url = search_result['snippet']['thumbnails']['high']['url']

    videos.append([video_id,video_title, video_url, thumbnail_url])

Step 2

결과 리스트를 csv 파일로 저장한다.

with open('Resources/videos.csv', 'w',encoding='utf-8', newline='') as csvfile:
  csv_writer = csv.writer(csvfile) # (csvfile,quoting=csv.QUOTE_NONE, escapechar='\\')
  csv_writer.writerow(['Video ID','Title', 'URL', 'Thumbnail URL'])
  csv_writer.writerows(videos)

Step 3

csv 파일을 git repo에 업로드 후 GitHub에서 제공하는 REST API 기능을 활용하여 DB처럼 접근한다.

공식 문서 : Get repository content

GET /repos/{owner}/{repo}/contents/{path}

javascript에서 URL로 호출하는 방법 https://raw.githubusercontent.com/{owner}/{repo}/{branch}{path}

// CSV 파일 URL
const csvFileURL = 'https://raw.githubusercontent.com/Gbintree/DevForDuck-LUCY/main/Resources/videos.csv';

fetch(csvFileURL)
    .then(response => response.text())
    .then(data => {
        const lines = data.split('\n');

        for (let i = 1; i < lines.length; i++) {
              const cells = lines[i].split(/,(?=(?:(?:[^"]*"){2})*[^"]*$)/); 
                  if (cells.length === 4) {
                      const [video_id,title, url, thumbnail] = cells;

                      // GUI 요소와 video_id, title, url, thumbnail 연동
                   }
    })

결과물

셀프 개발한 덕질용 페이지 링크 https://gbintree.github.io/DevForDuck-LUCY/

참고 https://computer-science-student.tistory.com/297

from infer.modules.vc.modules import VC

변환할 오디오 추가

.pth와 .index 의 집파일 다운로드

 import subprocess
 zipfile_path = './zips/' + "MODELNAME"
 url = 구글드라이브 공유 URL
 subprocess.run(["gdown", url, "--fuzzy", "-O", zipfile_path])

변환

def vc_single(
        self, # 디폴트 0 
        sid,  # ??
        input_audio_path,# 처리할 오디오 폴더의 경로
        f0_up_key, # 키 올림 내림. int. 12 -> 1옥타브
        f0_file, # 피치 관련인듯. 걍 디폴트 0
        f0_method, #  "pm", "harvest", "crepe", "rmvpe" 중 하나
        file_index, # ""
        file_index2, # .index 파일 경로
        index_rate, # 뭔진 모르겠으나 0.66 디폴트
        filter_radius, # 뭔진 모르겠으나 3 디폴트
        resample_sr, # 뭔진 모르겠으나 0 디폴트
        rms_mix_rate, # 뭔진 모르겠으나 0.21 디폴트
        protect, # 뭔진 모르겠으나 0.33 디폴트
    ) 

Google Colab에서 무료 이용자에게 gradio UI 사용을 내용으로 새로운 제한사항을 추가하였다. 따라서 Easy GUI 또한 이에 영향을 받아 유료 사용자가 아닌 이상 graio UI 기반으로 사용할 수 없게 되었다. 이 변동사항에 대응하여 colab에서 수동으로 코드를 직접 실행할 수 있게끔 하는 노트북을 추가하였다.

처음에는 당황했는데 오히려 UI 뒤에 가려져있던 전체 코드가 깔끔한 형식으로 공개되어 RVC 모델 공부에 도움이 되었다.

기존 EasyGUI https://colab.research.google.com/drive/1r4IRL0UA7JEoZ0ZK8PKfMyTIBHKpyhcw#scrollTo=FFfC9x239kC1

Colab 기반으로 RVC 실행할 수 있게 해놓은 또다른 기여자

https://github.com/ardha27/AI-Song-Cover-RVC

00.Setup

• drive.mount는 찝찝하므로 주석처리하고 if not os.path.exists('/content/drive'): print("Your drive is not mounted. Creating Fake Drive.") 조건문 타고 들어가도록 처리
• 온갖 설치가 이뤄지는 단계. 엄청나게 긴 로그가 3분가량 줄줄 출력되다가 Success 버튼이 뿅 나타난다.

  %cd /content
  #from google.colab import drive
  #drive.mount('/content/drive')
  from IPython.display import clear_output
  from ipywidgets import Button
  import os
  if not os.path.exists('/content/drive'):
    print("Your drive is not mounted. Creating Fake Drive.")
    os.makedirs('/content/drive/MyDrive')
  if not os.path.exists('/content/drive/MyDrive/project-main'):
    !wget https://huggingface.co/Rejekts/project/resolve/main/project-main.zip -O '/content/project-main.zip' && unzip 'project-main.zip' -d /content/drive/MyDrive
  !cd '/content/drive/MyDrive/project-main' && python download_files.py && pip install -r 'requirements-safe.txt'
  !rm /content/project-main.zip
  !rm -r /content/sample_data
  !mkdir -p /content/dataset
  clear_output()
  Button(description="\u2714 Success", button_style="success")

01.Preprocess Data

• model_name 입력해준다
• /content/dataset/ 에 학습용 데이터 업로드한다
• /content/drive/MyDrive/project-main Starting... 로그 한줄 뜨고 동일하게 Success 버튼 뿅 나타난다

  %cd /content/drive/MyDrive/project-main
  model_name = 'My-Voice' #@param {type:"string"}
  #@markdown <small> Enter the path to your dataset, or if you want just upload the audios using the File Manager into the 'dataset' folder.
  dataset_folder = '/content/dataset' #@param {type:"string"}
  while len(os.listdir(dataset_folder)) < 1:
    input("Your dataset folder is empty.")
  !mkdir -p ./logs/{model_name}
  with open(f'./logs/{model_name}/preprocess.log','w') as f:
    print("Starting...")
  !python infer/modules/train/preprocess.py {dataset_folder} 40000 2 ./logs/{model_name} False 3.0 > /dev/null 2>&1
  with open(f'./logs/{model_name}/preprocess.log','r') as f:
    if 'end preprocess' in f.read():
        clear_output()
        display(Button(description="\u2714 Success", button_style="success"))
    else:
        print("Error preprocessing data... Make sure your dataset folder is correct.")
  

## 2.Extract Features
- `"pm", "harvest", "rmvpe", "rmvpe_gpu"`  중에서 하나 선택
- 동일하게 Success 버튼 뿅 나타난다

f0method = "rmvpe_gpu" # @param ["pm", "harvest", "rmvpe", "rmvpe_gpu"] %cd /content/drive/MyDrive/project-main with open(f'./logs/{model_name}/extract_f0_feature.log','w') as f: print("Starting...") if f0method != "rmvpe_gpu": !python infer/modules/train/extract/extract_f0_print.py ./logs/{model_name} 2 {f0method} else: !python infer/modules/train/extract/extract_f0_rmvpe.py 1 0 0 ./logs/{model_name} True !python infer/modules/train/extract_feature_print.py cuda:0 1 0 0 ./logs/{model_name} v2 with open(f'./logs/{model_name}/extract_f0_feature.log','r') as f: if 'all-feature-done' in f.read(): clear_output() display(Button(description="\u2714 Success", button_style="success")) else: print("Error preprocessing data... Make sure your data was preprocessed.")

 ## 03.Train Index
 - 동일하게 Success 버튼 뿅 나타난다

import numpy as np import faiss %cd /content/drive/MyDrive/project-main def train_index(exp_dir1, version19): exp_dir = "logs/%s" % (exp_dir1) os.makedirs(exp_dir, exist_ok=True) feature_dir = ( "%s/3_feature256" % (exp_dir) if version19 == "v1" else "%s/3_feature768" % (exp_dir) ) if not os.path.exists(feature_dir): return "请先进行特征提取!" listdir_res = list(os.listdir(feature_dir)) if len(listdir_res) == 0: return "请先进行特征提取！" infos = [] npys = [] for name in sorted(listdir_res): phone = np.load("%s/%s" % (feature_dir, name)) npys.append(phone) big_npy = np.concatenate(npys, 0) big_npy_idx = np.arange(big_npy.shape[0]) np.random.shuffle(big_npy_idx) big_npy = big_npy[big_npy_idx] if big_npy.shape[0] > 2e5: infos.append("Trying doing kmeans %s shape to 10k centers." % big_npy.shape[0]) yield "\n".join(infos) try: big_npy = ( MiniBatchKMeans( n_clusters=10000, verbose=True, batch_size=256 * config.n_cpu, compute_labels=False, init="random", ) .fit(big_npy) .cluster_centers_ ) except: info = traceback.format_exc() logger.info(info) infos.append(info) yield "\n".join(infos)

np.save("%s/total_fea.npy" % exp_dir, big_npy)
n_ivf = min(int(16 * np.sqrt(big_npy.shape[0])), big_npy.shape[0] // 39)
infos.append("%s,%s" % (big_npy.shape, n_ivf))
yield "\n".join(infos)
index = faiss.index_factory(256 if version19 == "v1" else 768, "IVF%s,Flat" % n_ivf)
infos.append("training")
yield "\n".join(infos)
index_ivf = faiss.extract_index_ivf(index)  #
index_ivf.nprobe = 1
index.train(big_npy)
faiss.write_index(
    index,
    "%s/trained_IVF%s_Flat_nprobe_%s_%s_%s.index"
    % (exp_dir, n_ivf, index_ivf.nprobe, exp_dir1, version19),
)

infos.append("adding")
yield "\n".join(infos)
batch_size_add = 8192
for i in range(0, big_npy.shape[0], batch_size_add):
    index.add(big_npy[i : i + batch_size_add])
faiss.write_index(
    index,
    "%s/added_IVF%s_Flat_nprobe_%s_%s_%s.index"
    % (exp_dir, n_ivf, index_ivf.nprobe, exp_dir1, version19),
)
infos.append(
    "成功构建索引，added_IVF%s_Flat_nprobe_%s_%s_%s.index"
    % (n_ivf, index_ivf.nprobe, exp_dir1, version19)
)

training_log = train_index(model_name, 'v2') for line in training_log: print(line) if 'adding' in line: clear_output() display(Button(description="\u2714 Success", button_style="success")) ```

04. Train Model

• 맨처음 입력했던 것과 동일한 model_name 입력
• 아래처럼 epoch 로그 출력되면 Train 시작된 것

INFO:yuri:Train Epoch: 1 [0%] INFO:yuri:[0, 0.0001] INFO:yuri:loss_disc=4.686, loss_gen=2.666, loss_fm=14.291,loss_mel=40.714, loss_kl=9.000 INFO:yuri:====> Epoch: 1 [2023-09-20 12:36:45] | (0:00:34.700875) INFO:yuri:====> Epoch: 2 [2023-09-20 12:36:50] | (0:00:05.268260)

%cd /content/drive/MyDrive/project-main
from random import shuffle
import json
import os
import pathlib
from subprocess import Popen, PIPE, STDOUT
now_dir=os.getcwd()
#@markdown <small> Enter the name of your model again. It must be the same you chose before.
model_name = ''#@param {type:"string"}
#@markdown <small> Choose how often to save the model and how much training you want it to have.
save_frequency = 25 # @param {type:"slider", min:5, max:50, step:5}
epochs = 200 # @param {type:"slider", min:10, max:1000, step:10}
#@markdown <small> ONLY cache datasets under 10 minutes long. Otherwise leave this unchecked.
cache = False #@param {type:"boolean"}
# Remove the logging setup

def click_train(
    exp_dir1,
    sr2,
    if_f0_3,
    spk_id5,
    save_epoch10,
    total_epoch11,
    batch_size12,
    if_save_latest13,
    pretrained_G14,
    pretrained_D15,
    gpus16,
    if_cache_gpu17,
    if_save_every_weights18,
    version19,
):
    # 生成filelist
    exp_dir = "%s/logs/%s" % (now_dir, exp_dir1)
    os.makedirs(exp_dir, exist_ok=True)
    gt_wavs_dir = "%s/0_gt_wavs" % (exp_dir)
    feature_dir = (
        "%s/3_feature256" % (exp_dir)
        if version19 == "v1"
        else "%s/3_feature768" % (exp_dir)
    )
    if if_f0_3:
        f0_dir = "%s/2a_f0" % (exp_dir)
        f0nsf_dir = "%s/2b-f0nsf" % (exp_dir)
        names = (
            set([name.split(".")[0] for name in os.listdir(gt_wavs_dir)])
            & set([name.split(".")[0] for name in os.listdir(feature_dir)])
            & set([name.split(".")[0] for name in os.listdir(f0_dir)])
            & set([name.split(".")[0] for name in os.listdir(f0nsf_dir)])
        )
    else:
        names = set([name.split(".")[0] for name in os.listdir(gt_wavs_dir)]) & set(
            [name.split(".")[0] for name in os.listdir(feature_dir)]
        )
    opt = []
    for name in names:
        if if_f0_3:
            opt.append(
                "%s/%s.wav|%s/%s.npy|%s/%s.wav.npy|%s/%s.wav.npy|%s"
                % (
                    gt_wavs_dir.replace("\\", "\\\\"),
                    name,
                    feature_dir.replace("\\", "\\\\"),
                    name,
                    f0_dir.replace("\\", "\\\\"),
                    name,
                    f0nsf_dir.replace("\\", "\\\\"),
                    name,
                    spk_id5,
                )
            )
        else:
            opt.append(
                "%s/%s.wav|%s/%s.npy|%s"
                % (
                    gt_wavs_dir.replace("\\", "\\\\"),
                    name,
                    feature_dir.replace("\\", "\\\\"),
                    name,
                    spk_id5,
                )
            )
    fea_dim = 256 if version19 == "v1" else 768
    if if_f0_3:
        for _ in range(2):
            opt.append(
                "%s/logs/mute/0_gt_wavs/mute%s.wav|%s/logs/mute/3_feature%s/mute.npy|%s/logs/mute/2a_f0/mute.wav.npy|%s/logs/mute/2b-f0nsf/mute.wav.npy|%s"
                % (now_dir, sr2, now_dir, fea_dim, now_dir, now_dir, spk_id5)
            )
    else:
        for _ in range(2):
            opt.append(
                "%s/logs/mute/0_gt_wavs/mute%s.wav|%s/logs/mute/3_feature%s/mute.npy|%s"
                % (now_dir, sr2, now_dir, fea_dim, spk_id5)
            )
    shuffle(opt)
    with open("%s/filelist.txt" % exp_dir, "w") as f:
        f.write("\n".join(opt))

    # Replace logger.debug, logger.info with print statements
    print("Write filelist done")
    print("Use gpus:", str(gpus16))
    if pretrained_G14 == "":
        print("No pretrained Generator")
    if pretrained_D15 == "":
        print("No pretrained Discriminator")
    if version19 == "v1" or sr2 == "40k":
        config_path = "configs/v1/%s.json" % sr2
    else:
        config_path = "configs/v2/%s.json" % sr2
    config_save_path = os.path.join(exp_dir, "config.json")
    if not pathlib.Path(config_save_path).exists():
        with open(config_save_path, "w", encoding="utf-8") as f:
            with open(config_path, "r") as config_file:
                config_data = json.load(config_file)
                json.dump(
                    config_data,
                    f,
                    ensure_ascii=False,
                    indent=4,
                    sort_keys=True,
                )
            f.write("\n")

    cmd = (
        'python infer/modules/train/train.py -e "%s" -sr %s -f0 %s -bs %s -g %s -te %s -se %s %s %s -l %s -c %s -sw %s -v %s'
        % (
            exp_dir1,
            sr2,
            1 if if_f0_3 else 0,
            batch_size12,
            gpus16,
            total_epoch11,
            save_epoch10,
            "-pg %s" % pretrained_G14 if pretrained_G14 != "" else "",
            "-pd %s" % pretrained_D15 if pretrained_D15 != "" else "",
            1 if if_save_latest13 == True else 0,
            1 if if_cache_gpu17 == True else 0,
            1 if if_save_every_weights18 == True else 0,
            version19,
        )
    )
    # Use PIPE to capture the output and error streams
    p = Popen(cmd, shell=True, cwd=now_dir, stdout=PIPE, stderr=STDOUT, bufsize=1, universal_newlines=True)

    # Print the command's output as it runs
    for line in p.stdout:
        print(line.strip())

    # Wait for the process to finish
    p.wait()
    return "训练结束, 您可查看控制台训练日志或实验文件夹下的train.log"
%load_ext tensorboard
%tensorboard --logdir ./logs
training_log = click_train(
    model_name,
    '40k',
    True,
    0,
    save_frequency,
    epochs,
    7,
    True,
    'assets/pretrained_v2/f0G40k.pth',
    'assets/pretrained_v2/f0D40k.pth',
    0,
    cache,
    True,
    'v2',
)
print(training_log)

Train 진행 로그

정상적으로 진행중

epoch 100 번째 INFO:yuri:loss_disc=3.579, loss_gen=3.896, loss_fm=14.513,loss_mel=21.135, loss_kl=0.846

epoch 230번째. 학습 종료

.pth 파일와 .index 파일 생성

1편 포스트에서 소개했던 Easy GUI 일단 저번에 찾지 못했던 개발자 repo를 발견했다. https://github.com/luisesantillan/project

23년 9월 12일 버젼으로 업데이트가 있었는데
Easy GUI 가 어쩌면 유료화하려고 각을 재고 있는건지도 모르겠단 생각이 든다. 그 이유는 아래와 같은데,

• Donation 링크가 23년 6월 24일 버젼에선 없었지만 23년 8월 18일 버젼부터 등장
• 아래처럼 UI가 확 바뀜
• 사용자 급증으로 인한 트래픽 문제인지 아니면 개발자 본인이 일부러 트래픽 제한을 걸어둔건지 (보통 빠른 응답을 원하면 결제하라고 유도하지 않나) 는 모르겠지만 이전에는 발생하지 않던 업로드 관련과 connection 끊기는 에러가 자주 나타난다. colab 로컬 환경이라 외부 서버와 연결된게 없는 줄 알았는데 일단 gradio 자체를 잘 모르기도 하고 좀더 알아봐야 할 것 같다.
• colab 터미널에서 출력되는 메시지가 훨씬 많아지고 실행시작까지 걸리는 시간이 길어짐
• 일단 라이센스는 아래와 같이 MIT로 원본 repo랑 동일하다.

버젼별 코드

23년 8월 18일 버젼

#@markdown Check to load models from your Google Drive RVC folder
import os, zipfile, shutil, tarfile
import ipywidgets as widgets
from IPython.display import clear_output
backup = {
        'hubert_base.pt':'https://drive.google.com/file/d/1tHNmjoSHJj7G2xX_Knz4zZ8Mg7g-VhAW/view?usp=sharing',
        'pretrained_v2/D40k.pth':'https://drive.google.com/file/d/1BJ3TKdn2xAK9VbV8UIDoo_9K4Yyfjs7-/view?usp=sharing -O pretrained_v2/D40k.pth',
        'pretrained_v2/G40k.pth':'https://drive.google.com/file/d/1BJ3TKdn2xAK9VbV8UIDoo_9K4Yyfjs7-/view?usp=sharing -O pretrained_v2/G40k.pth',
        'pretrained_v2/f0D40k.pth':'https://drive.google.com/file/d/1A33v5MT1L_-v4iP550ibl5givEqgDus1/view?usp=sharing -O pretrained_v2/f0D40k.pth',
        'pretrained_v2/f0G40k.pth':'https://drive.google.com/file/d/1mMEOosc4FO3QRhYxIhHr-GVCxF05tjwV/view?usp=sharing -O pretrained_v2/f0G40k.pth',
        'rmvpe.pt':'https://drive.google.com/file/d/1ABwfoHKBlUsyGIy-f_axaHM6vcXxZzQU/view?usp=drive_link'
}
def aria_backup(missing_file):
  url = backup[missing_file]
  !gdown --fuzzy $url
gdrive=False#@param {type:"boolean"}
tensorboard=False#@param {type:"boolean"}
f_key = 'WebUI'
e_key = 'E' + 'V' + 'C'
success=widgets.Button(description="\u2714 Success.",disabled=True, button_style="success")
if not "installed" in locals():
  !wget https://github.com/777gt/{e_key}/raw/main/wav2lip-HD.tar.gz
  !wget https://github.com/777gt/{e_key}/raw/main/wav2lip-cache.tar.gz
  import tarfile, os
  with tarfile.open('/content/wav2lip-cache.tar.gz', 'r:gz') as tar:
    for member in tar.getmembers():
      target_path = os.path.join('/', member.name)
      try:
        tar.extract(member, '/')
      except:
        pass
  with tarfile.open('/content/wav2lip-HD.tar.gz') as tar:
    tar.extractall('/content')
  if gdrive:
    from google.colab import drive
    drive.mount('/content/drive')
    if os.path.exists('/content/drive'):
      !mkdir -p /content/drive/MyDrive/RVC_Packages
      if not os.path.exists('/content/drive/MyDrive/RVC_Packages/Packages.tar.gz'):
        !wget https://github.com/777gt/{e_key}/raw/main/Packages.tar.gz -O /content/drive/MyDrive/RVC_Packages/Packages.tar.gz
      with tarfile.open('/content/drive/MyDrive/RVC_Packages/Packages.tar.gz', 'r:gz') as tar:
        for member in tar.getmembers():
          target_path = os.path.join('/', member.name)
          tar.extract(member, '/')
    else:
      !wget https://github.com/777gt/{e_key}/raw/main/Packages.tar.gz -O /content/Packages.tar.gz
      with tarfile.open('/content/Packages.tar.gz', 'r:gz') as tar:
        for member in tar.getmembers():
          target_path = os.path.join('/', member.name)
          tar.extract(member, '/')
  else:
    !wget https://github.com/777gt/{e_key}/raw/main/Packages.tar.gz -O /content/Packages.tar.gz
    with tarfile.open('/content/Packages.tar.gz', 'r:gz') as tar:
      for member in tar.getmembers():
        target_path = os.path.join('/', member.name)
        tar.extract(member, '/')
  !pip install -q gTTS torchcrepe
  !pip install gradio --upgrade
  %cd /content
  !git clone https://github.com/777gt/-EVC-
  %cd /content/-EVC-
  !wget https://huggingface.co/lj1995/VoiceConversion{f_key}/resolve/main/rmvpe.pt
  !wget https://huggingface.co/lj1995/VoiceConversion{f_key}/resolve/main/hubert_base.pt
  !wget https://huggingface.co/lj1995/VoiceConversion{f_key}/resolve/main/pretrained_v2/D40k.pth -O /content/-EVC-/pretrained_v2/D40k.pth
  !wget https://huggingface.co/lj1995/VoiceConversion{f_key}/resolve/main/pretrained_v2/G40k.pth -O /content/-EVC-/pretrained_v2/G40k.pth
  !wget https://huggingface.co/lj1995/VoiceConversion{f_key}/resolve/main/pretrained_v2/f0D40k.pth -O /content/-EVC-/pretrained_v2/f0D40k.pth
  !wget https://huggingface.co/lj1995/VoiceConversion{f_key}/resolve/main/pretrained_v2/f0G40k.pth -O /content/-EVC-/pretrained_v2/f0G40k.pth
  for file in list(backup.keys()):
    if not os.path.exists(file): aria_backup(file)
  installed=True
  clear_output()
  display(success)
if gdrive:
  if os.path.exists('/content/drive/MyDrive/RVC'):
    %cd /content/drive/MyDrive/RVC
  else:
    !mkdir -p /content/drive/MyDrive/RVC
    %cd /content/drive/MyDrive/RVC
  !mkdir -p /content/unzips
  for file in os.listdir():
    if file.endswith('.zip'):
      file_name=file.split('.')[0]
      zip_path = f'/content/drive/MyDrive/RVC/{file}'
      with zipfile.ZipFile(zip_path, 'r') as zip_ref:
        for member in zip_ref.infolist():
          if member.filename.endswith('.pth'):
            extraction_dir=f'/content/unzips/{file_name}'
            file_size = member.file_size
            if file_size < 100 * 1024 * 1024:
              with zip_ref.open(member) as file:
                if len(file.read()) < 100 * 1024 * 1024:
                  zip_ref.extract(member, path=extraction_dir)
                  !find /content/unzips/{file_name} -name '*.pth' -exec mv {{}} /content/-EVC-/weights/{file_name}.pth \;
          if member.filename.endswith('.index'):
            extraction_dir=f'/content/unzips/'
            with zip_ref.open(member) as file:
              zip_ref.extract(member, path=extraction_dir)
              !mkdir -p /content/-EVC-/logs/{file_name}
              os.chdir(f"/content/-EVC-/logs/{file_name}")
              !find /content/unzips -name *.index -exec mv {} . \;
if os.path.exists('/content/unzips'):
  shutil.rmtree('/content/unzips')
  pass
if tensorboard:
  %load_ext tensorboard
  %tensorboard --logdir /content/-EVC-/logs
%cd /content/-EVC-
!mkdir -p ./audios
!python3 GUI.py --colab --pycmd python3

23년 9월 12일 버젼

tensorboard=True#@param {type:"boolean"}
if not "installed" in locals():
    from IPython.display import clear_output
    from ipywidgets import Button
    %cd /content
    !git clone https://github.com/luisesantillan/project
    %cd /content/project
    !pip install -r requirements.txt
    !python download_files.py
    clear_output()
    Button(description="\u2714 Success", button_style='success')
    installed=True
%cd /content/project
if tensorboard:
  %load_ext tensorboard
  %tensorboard --logdir ./logs
!python app.py --colab

2편 결론

개인적으로 해당 툴을 매우 잘 활용하고 있지만 버젼 업데이트가 되면서 여러 에러와 이슈들이 새로 생긴 부분이 아쉽다. 개인 repo에 fork 해서 디버깅이나 세부 기능을 추가하는 방식으로 기여해보고 싶다. 다행히 나는 해당 프로젝트가 언젠가 비공개 코드로 전환되고 유료화될 수도 있다는 생각에 개인 저장소에 사본은 저장해놨다. 초반 코드부터 분석하면서 내 덕질용 니즈와 입맛에 맞게 커스터마이징 하는 것도 재밌을 것 같다.

코드를 보면 우선 첫번째로 눈에 띄는게 https://github.com/777gt 와 https://huggingface.co/lj1995 에서 wget으로 중요해 보이는 파일을 받아온다는 것이다.

일단 이런 기본적인 분석부터 시작해서 커스터마이징을 시작할 수 있는 지점을 찾아야 겠다.

AI 커버곡 생성 알고리즘 RVC ( Retrieval-based-Voice-Conversion ) 을 사용하기 시작한지 한달이 되어 간다. 그동안 순수하게 덕질 목적으로 좋아하는 보컬들 AI 커버곡을 만드는데 열중했는데, 사용하다 보니 개발자 입장에서 RVC 모델 자체와 오픈소스 커뮤니티에 대해 흥미롭게 공부할 부분이 보이기 시작했다.

한달 간 직접 RVC 모델을 사용하며 정리한 내용을 아래와 같이 공유한다.

RVC 오픈소스 프로젝트

RVC 오픈소스 프로젝트는 아래와 같이 MIT License 정책하에 있다.

덕분에 RVC 오픈소스 프로젝트에서 GUI 개선을 위한 기여가 활발히 이뤄지고 있고 훌륭한 결과물들을 누구나 공유할 수 있다. 그 중에서 아래의 Mangio-RVC-Fork가 커뮤니티 내에서 큰 주목을 받고 있다.

그리고 이를 한차례 더 발전시켜서 Colab환경에서 gradio UI 기반으로 실행가능하게 개선한 Easy GUI 가 등장했다. donation 링크에서 기여자의 개발 id가 @lesantillan 인것까진 확인했는데 git 에서 개인 repo를 아직 못 찾앗다.

굵직굵직한 기여 흐름을 요약하면 아래와 같다.

<원본 프로젝트 repo> Retrieval-based-Voice-Conversion-WebUI ↓ Mangio-RVC-Fork ↓ Easy GUI by @lesantillan

나는 @lesantillan 가 Colab에 공개한 버젼으로 RVC 모델을 학습시키고 또 해당 모델로 곡 변환하는 작업을 해왔다. 덕질한다고 나름 헤비하게 사용하고 이것저것 돌려본 경험에 기반했을 때, Colab이 무료로 기본 제공하는 GPU 리소스 할당량으로도 RVC 모델을 학습시키에 충분하다.

@lesantillan 가 현재진행형으로 활발히 기여하고 있는 것으로 보인다. 내가 처음 사용 시작한 버젼은 6/24/23 이고 글을 작성하는 시점에서 가장 최근 버젼은 9/08/23 이다. 그동안 새로운 버젼을 확인할 때마다 아래와 같이 개인 Colab 저장소에 복사본을 옮겨놨다.

RVC Easy GUI 실행화면

@lesantillan 버젼의 RVC Easy GUI를 colab에서 실행하면 아래와 같은 화면을 브라우저에서 확인할 수 있고 세개의 탭이 있다.

1. Train

• 내가 학습시키고자 하는 가수의 목소리가 담긴 고음질 음원을 업로드하고 몇가지 설정값을 입력하면 바로 Train 이 가능하다.
• Train이 완료되면 해당 모델을 두개의 파일 형태로 다운받을 수 있는데 각각의 파일 확장자는 .index와 .pth 이다.

2. Download Model

• 1번에서 다운받은 두개의 파일을 하나의 압축파일로 만들어서 구글 드라이브에 업로드하고, 다시 해당 압축파일을 구글 드라이브로부터 colab 실행 환경에 다운로드하는 탭이다.
• 구글 드라이브에서 파일 공유용 링크를 복사해서 첫번째 텍스트 박스에 붙여넣기 한 뒤 Download 버튼을 누르면 자동으로 위 작업이 실행된다.

3. Inference

• colab 실행 환경에 다운로드된 Trained Model에 변환하고 싶은 노래를 input으로 제공하고 이에 대한 변환 결과 파일을 생성/다운로드하는 탭이다.
• 이때 변환하고 싶은 노래는 .mp3 .wav 등의 일반 음악 파일을 업로드하면 되는데, 마이크 녹음 기능도 제공하고 있기 때문에 본인이 노래에 자신있으면 직접 부르면 된다.
• 실험삼아 내가 직접 노래 흥얼거리고 바로 변환을 시켜봤는데 내 최애 가수들을 음치로 만들어버리는 결과였다 ㅠ

1편 결론

RVC Easy GUI 버젼을 통해 누구나 비용 안들이고 AI Cover곡을 만들 수 있다.

• GPU 장비 하나 없어도 OK! Colab 무료 GPU 할당량으로 모델 학습 충분
• 낮은 진입 장벽 ! 코드 작업이 전혀 없기에 개발 모르는 사람들도 누구나 사용 가능
• RVC 오픈소스 프로젝트는 MIT License 를 따른다. 현재 진행형으로 고퀄리티의 기여 결과물들이 파생되어 나오고 있다.

✨덕후의 니즈 ✨

✔ 콘서트를 다녀온 덕후는 고화질 근접 직캠으로 콘서트를 다시보고 싶었습니다. ✔ 물론 Youtube 에 직접 접속해서 검색해도 되지만, 덕후의 입장에서는 썸네일들을 배치하는 UI와 알고리즘이 띄워주는 검색결과 자체가 아쉽게 느껴집니다.

✨ 셀프로 도출한 솔루션 ✨

✔ 팬들이 영혼을 갈아넣어 이쁘게 뽑은 썸네일들이 Grid에 맞춰 공백 없이 화면을 채워야 한다. ✔ 조회수가 높은 순으로 맨위에 배치되게 정렬한다.

✨ 개발 결과 미리보기 ✨

01.Youtube API Key 발급받기

• Google Cloud Platform (https://cloud.google.com) 신규 가입자는 $300의 무료 크레딧을 받고 이를 바탕으로 전체적인 API를 3개월 간 무료 체험할 수 있다.
• YouTube Data API v3를 사용신청을 하면 아래와 같은 페이지를 통해 Youtube API Key를 확인할 수 있다.
• $300의 무료 크레딧 정책 하에 부여받은 API 사용 할당량 또한 확인할 수 있다. ( 할당량 계산 페이지 )

02.Youtube API 로 동영상 리스트 받아오기

youtube.search().list (공식 다큐먼트)

아래와 같이 매개변수 쿼리를 적용하여 키워드에 맞는 동영상 리스트를 받아오고 원하는 기준으로 정렬할 수 있다.

search_response = youtube.search().list(
        q=search_keyword,
        type='video',
        part='id,snippet',
        maxResults=max_results,
        order='viewCount'  # 조회수 높은 순으로 정렬
    ).execute()

03.썸네일 배치 UI

ver 1 ) 챗 GPT에 웹 브라우저에 썸네일들을 배치하는 UI 만들어달라 라고 대충 요청해보았다.

ver 2) 챗 GPT에게 UI를 좀더 세련되게 만들어줘 라고 요청했다. 개떡같이 모호하게 '세련되게' 라는 조건을 요구했는데 이걸 또 찰떡같이 알아들어서 UI를 이쁘게 다듬어 줬다.

ver 3) 내가 궁극적으로 원하던 느낌은 넷플릭스 UI 이다. 그래서 냅다 넷플릭스 UI 알지? 그 느낌나게 UI 개선해줘 라고 챗 GPT에게 요청했다. 근데 그걸 또 해냈다.

04. 다음에 추가하고 싶은 기능

• 넷플릭스에서 영화 썸네일을 클릭하면 썸네일 카드가 확대되고 그 옆에 영화 소개 글이 주저리 주저리 뜬다. 이런 느낌으로 썸네일 클릭시 좋아요 수가 가장 많은 댓글 3~5개 정도를 불러와 확대된 썸네일 카드 우측에 배열되게 하고 싶다.
• 덕질의 효율성을 극대로 올리기 위해 '가장 많이 다시 본 구간' 으로 바로가기 할 수 있는 버튼을 만들고 싶다. 될까 싶지만 일단 API는 찾아 보기로.

아래 colab 프로젝트로 이동 https://colab.research.google.com/drive/1r4IRL0UA7JEoZ0ZK8PKfMyTIBHKpyhcw#scrollTo=Sb5fzhzEXK8X

코드실행하면 url이 생성되고 브라우저에서 열면 된다.

기본 UI가 gradio 기반이다. 학습에 쓰일 음성파일을 업로드하거나 학습이 마무리된 모델을 로컬로 다운받는 등의 작업을 간단한 UI를 통해 손쉽게 할 수 있다.

코딩을 아예 모르는 사람도 다른 동영상 가이드 등을 따라하기만 하면 원하는 결과물을 낼 수 있다.

우선 포토샵의 기본 중의 기본 기능 - 잘라내기

1. 원본 사진

2. 전선과 소나무를 잘라내고 뭉게구름한 한가득 한 이미지를 위해, 우선 Erase로 해당 영역을 슥슥 밀어준다.

3. 프롬프트에 명령어 입력 Complete picture with natural cloud

4. 나름 만족스러운 결과물

한발 더 나아가서 뭔가 파스텔 톤의 반짝이는 무지개 빛이 구름 사이사이로 일렁이는 그림을 보고 싶었다.

그래서 아래와 같은 명령어 입력 Pastel tone rainbow glowing around cloud

_그치만 이런 결과물을 기대한 건 아니야 _

그래서 표현하고 싶은 이미지 효과를 구현하려면 다른 방법을 찾아야 했다.

야심차게 Midjourney Discord에 접속해서 첫 명령어를 날렸는데..

이러기 있냐..

역시 오픈소스는 사용자 풀 커지고 donation 부터 시작해서 전면 유료 서비스로 가는구나..

플랜 정책은 아래와 같다

Generative AI Tables

생성형 AI란 기존 데이터의 패턴을 학습함으로써 텍스트, 사진 등의 새로운 내용을 생성하는 AI를 뜻한다. MindsDB는 이를 확장하여 생성형 AI 테이블 개념을 도입한다. 궁극적으로, 간단한 SQL 문법으로 생성형 AI에 응답을 요청하고 응답내용을 받아와 DB에 저장할 수 있다는 개념이다.

샘플코드 - AI Table 쿼리

SELECT 
  response   -- AI generated output 
FROM 
  ai_response_model  -- A generative AI model as a virtual table
WHERE 
  customer_message = "Dear Team, I spilled water on the computer I bought on June 1st 2024, order #3418276, and it is no longer working, what should I do?"

WHERE 문에 챗 GPT 프롬프트 사용하는 방식과 유사하게 질문을 서술하면 된다.

• FOSSsms 소프트웨어 이상이다. 각 프로젝트는 사람들이 사람들을 위해 만든다. 사람들이 프로젝트를 사용하고 프로젝트에 기여하고 프로젝트를 후원한다.

자유소프트웨어의 기원

• 하드웨어 중심 -> 소프트웨어 중심으로 이행
• 1983년 GNU프로젝트의 시작. 완전히 자유롭게 사용하고 수정하고 배포할 수 있는 컴포넌트로 구축된 유닉스 호환 운영체제 개발을 목표로 함.
• 1985년 GNU선언문

• 프로그램을 어떠한 목적을 위해서라도 실행할 수 있는 자유

• 소프트웨어 소스 코드를 공부하고 이를 자신의 필요에 맞게 변경할 수 있는 자유

• 소프트웨어를 복사하고 배포할 수 있는 자유

• 소프트웨어를 개선하고 이를 공유할 수 있는 자유

오픈소스의 기원

• 자유 소프트웨어 지지자들이 오픈 방식 소프트웨어 개발의 범위와 기여자 확대를 바라며 자유소프트웨어 운동을 좀 더 기업 입맛에 맞게 만드는 방법 고안 -> 오픈소스라는 용어를 새로 고안함
• OSI 창립
• 소스를 공개하면 사유(소스가 감춰진) 소프트웨어로는 불가능한 수준의 혁신이 가능하다고 신념

라이센스

• 라이센스 파일이 없는 코드와 프로젝트는 누구나 사용할 수 있게 기증되더라도 오픈소스가 아니다.
• 어떤 프로젝트가 오픈소스라고 스스로 주장하는데 OSI승인 라이센스로 출시되지 않는다면 그 프로젝트는 오픈소스라고 부를 수 없다.
• 저작권법과 제도를 이용하면 꼼꼼한 라이센스를 통해 소프트웨어가 늘 자유롭게 남아 있을 수 있다는 믿음
• 저작권 소유자로서 저작권을 부여받으면 그 저작물의 사용법을 제어할 권리가 생긴다.
• 제어권은 저작물 라이센스를 통해 행사할 수 있다.
• 라이센스는 사람이나 법인에게 저작권이 있는 자료를 사용할 수 있도록 허가해주는 데 쓰이는 법률 문서다.
• “All Right Reserved” 문구가 있다면, 다른사람이 자신의 저작물을 재사용하거나 개작할 수 없다는 의미. 오직 창작자만 재사용 또는 개작 권리를 보유함
• 어떤 프로젝트가 오픈소스가 되려면 LICENSE 파일을 통해서만 가능. 해당 파일에 그 프로젝트를 접적으로 사용, 수정, 배포할 수 있다고 명시해야 한다.

라이센스 종류

카피 레프트 (copyleft)

• copyright 의 언어유희..
• 사용자에게 본래 보장된 권리와 자유를 어떤 식으로든 없애거나 약화시키는 또 다른 라이센스로 공개되지 않도록 한다.
• 한번 자유로운 저작물은 영원히 자유롭게 남을 수 있다.
• 파생 저작물은 카피레프트 라이센스 저작물과 같은 조건과 조항으로 공개되어야 한다.
• 호혜성 : 당신의 창작물이 카피레프트 라이센의 저작물의 혜택을 받았다면 당신의 창작물을 사용하는 누군가도 같은 혜택을 받아야 한다.
• 대표 : GPL라이센스, LGPL, Mozilla Public License

  방임형 (permissive)

• 소프트웨어를 변경해 재배포하는 사람은 조건과 조항을 바꿔서 새로운 배포본을 사용하는 사람에게 제공할 수 있다.
• 개발자는 파생 저작물의 라이센스를 원 저작물과 다르게 할 수 있다.
• 공개된 저작물을 사유저작물로도 활용할 수 있다.
• 대표 : 아파치 라이센스, MIT 라이센스

본인이 무슨 일을 하고 있는지 스스로도 모르면서 개발하는 프로그래머들이 생각외로 많다.

<자가진단 질문 리스트>

• 내 코드에 등장하는 모든 단어와 부호를 아는가
• 내가 쓰는 함수의 문서를 모두 꼼꼼히 읽고 완전히 이해했는지
• 소프트웨어 개발의 기본 원칙을 이해하고 있는가
• 각 컴퓨터 부품이 어떻게 작동하는데, 함께 어우러질 때 또 어떤 방식으로 작동하는지 이해하고 있는가
• 컴퓨터의 역사나 미래 발전상에 대해 아는가? 내 코드가 미래에 등장할 컴퓨터에서 어떻게 작동할 지 이해하는가?
• 프로그래밍 언어의 역사에 대해 하는가. 자신이 쓰는 언어가 어떻게 진화했음 왜 현재 그런 방식으로 작동하게 되었는지 아는가
• 내가 쓰는 것과 다른 프로그래밍 언어, 방법론, 컴퓨터의 종류에 대해 아는가. 작업에 따라 실제 가장 적합한 도구가 무엇인지도 아는가

공식 튜토리얼

진행사항

일단 이걸 따라하려면 선행되어야 하는 작업이 몇단계 있다.

1. 트위터 개발 계정이 필요함
2. MindsDB 계정을 만들어야 한다.

트위터 개발 계정 만들기

• https://developer.twitter.com/en 에 들어가서 내가 트위터 API로 뭔 프로젝트를 할건지 적어서 제출했다. 제출하고 하루 이틀 이상 기다리면 승인 메일을 받는 걸로 알고 있는데, 난 그냥 Developer Portal에서 내가 신청한 프로젝트랑 key를 다 확인 할 수 있는 것 같다 (뭐지?)

MindsDB 공식 문서에서 필요하다고 가이드한 트위터 개발 계정 key가 아래와 같이 5개인데, 내 트위터 개발 포털 대쉬보드에서 다 확인가능하다. (뭐지?)

CREATE DATABASE my_twitter_v2
WITH
  ENGINE = 'twitter',
  PARAMETERS = {
   "consumer_key": "your twitter App API key",
   "consumer_secret": "your twitter App API key secret",
   "bearer_token": "your twitter App bearer TOKEN",
   "access_token": "your twitter App Access Token",
   "access_token_secret": "your twitter App Access Token Secret"
  };

MindsDB

MindsDB SQL Editor

MindsDB 계정 만들기

첫번째로, MindsDB SQL Editor 로 이동한다.

• first name, email, 비번 입력하면 간단하게 sign up 된다.
• 나는 일단 무료 demo 버젼으로. 유료버젼은 0.7$ per hour 이다.

sign up 이후 아래와 같은 인터페이스를 확인할 수 있다.

GPT 모델 생성

GPT 모델 생성하는 예제 코드

PREDICT response
USING
engine = 'openai',
-- api_key = 'your openai key', -- in MindsDB cloud accounts we provide a default key 
model_name = 'gpt-4', -- you can also use 'text-davinci-003' or 'gpt-3.5-turbo'
prompt_template = 'respond to {{text}} by {{author_username}}'; 

각 명령어가 수행하능 기능

• CREATE MODEL mindsdb.gpt_model : gpt_model 이라는 이름의 머신 러닝 모델 생성
• PREDICT response : 모델이 prompt에 기반하여 응답을 예측하도록 함
• USING engine = 'openai' : OpenAI 엔진을 사용하도록 함
• prompt_template : GPT의 응답양식 지정

결과화면

생성한 GPT 모델에 응답을 요청해보자

1. 튜토리얼 문서와 동일한 질문 "why is gravity so different on the sun?"

   SELECT response
   FROM mindsdb.gpt_model
   WHERE author_username = "mindsdb"
   AND text = "why is gravity so different on the sun?";
   

결과화면 - 공식 튜토리얼와 동일한 결과를 확인할 수 있다.
![](https://velog.velcdn.com/images/g_bintree/post/f88cefda-8832-4d25-be78-a490696f9d51/image.png)

2. 개인 테스트용 질문들
"Explain about cubic bezier curve"
결과 화면
![](https://velog.velcdn.com/images/g_bintree/post/1610b3ab-d860-4d66-96aa-76f110644c99/image.png)

### 트위터 Dev Account와 연동

```CREATE DATABASE my_twitter_v2
WITH
  ENGINE = 'twitter',
  PARAMETERS = {
   "consumer_key": "your twitter App API key",
   "consumer_secret": "your twitter App API key secret",
   "bearer_token": "your twitter App bearer TOKEN",
   "access_token": "your twitter App Access Token",
   "access_token_secret": "your twitter App Access Token Secret"
  };

버그 MindsDB 공식 리포의 버그 리포트링크텍스트

Twitter의 Elevated Access 정책이 업데이트 되며 튜토리얼 문서대로 하면 아래와 같은 이슈를 만나게 된다.

Can't connect to db: 403 Forbidden
When authenticating requests to the Twitter API v2 endpoints, you must use keys and tokens from a Twitter developer App that is attached to a Project. You can create a project via the developer portal.

해당 이슈는 "bearer_token" 을 제거하면 해결된다는 결론과 함께 closed 상태이다. 하지만 나는 동일한 에러 메시지를 만나고 있다... 추가 문의를 위한 comment 를 남겼으니 내부 기여자들의 답변을 기다리는 수밖에.

MindsDB 커뮤니티 기여 방안들

Here is what you can do:

Go ahead and try out MindsDB by following our tutorials, and in case of problems, you can always report an issue here.

Are you familiar with Python? You can then help us out in resolving open issues. At first, have a look at issues labeled with the good first issue tag, as these should be easy to start.

You can also help us with documentation and tutorials. Here is how you can contribute by writing documentation and tutorials. Don’t forget to follow the style guide.

Share with your friends and spread the word about MindsDB.