오늘은 IT 업계에서 사용되는 POC/Pilot/Production 개념에 대해 자세히 살펴봅니다🌼

어제 ML Ops 강의를 듣다가 POC/Pilot 개념이 잠시 소개되었는데, 가볍게 설명하고 훅 지나간 탓에 제대로 머리에 남지 않아 따로 찾아보았습니다.

POC(Proof Of Concept; 개념 증명)

POC 단계의 요점은 솔루션 및 솔루션의 주요 기능에 대한 타당성 증명입니다. 일반적으로 아래 질문을 통해 POC가 이루어집니다.

• 이 기술로 요구사항 충족이 가능한가?
• 이 제품은 광고된대로 작동하는가?
• 궁극적인 솔루션이 될 수 있는가?

그리고 POC가 성공적으로 이루어지기 위해 다음 단계로 나누어집니다.

1. 성공 기준 정의
2. 제안된 솔루션의 엔지니어링
3. 성공 기준에 대한 솔루션 평가
4. 향후 진행 여부 결정

👉POC = 기존에 없던 솔루션을 프로젝트에 도입하기 앞서 검증을 하는 단계

Pilot

Pilot 단계는 배포 규모에 따라 몇 주에서 몇 달까지 과정에 걸쳐 단계별 접근 방식으로 구현됩니다. 일반적으로 다음과 같은 사항이 진행되어 성공으로 간주되면 환경을 Production으로 이동합니다.

• 비즈니스 및 기술 요구사항 평가 기반 세부 아키텍처 설계
• 환경 구축 및 구성
• 장애 조치, 높은 가용성 및 확장성 검증을 위한 인프라 테스트
• UX 최적화를 위한 사용자 테스트 및 반복적 피드백
• Pilot 사용자 및 help desk를 위한 문서와 교육

👉Pilot = 소규모로 진행하는 시험 프로젝트 단계

Production

"Production"의 의미는 다양하게 해석될 수 있는데, 여기서의 "Production"은 환경에서 제공하는 서비스가 핵심 업무 역할을 제공하는 데 사용되도록 모든 사용자에게 배포된다는 개념입니다. 일반적으로 다음과 같은 사항이 진행되어야 합니다.

• end user 및 help desk 지원을 위한 공식 교육
• 새로운 시스템으로의 전환을 위한 공식 일정 및 커뮤니케이션
• 공식적인 운영 및 지원 조직 / 프로세스에 환경 배치
• 비즈니스 sign off(승인)

👉Production = 사용에 있어 정상적인 상태(steady state)를 유지하는 단계

대략적으로만 이해했던 개념을 비교해보며 살펴보니 더욱 머릿속에 각인이 되는 것 같습니다🥰

각 개념에 대한 내용은 아래 사이트를 참조하여 출처를 남깁니다. 출처 : POC vs. Pilot vs. Production

작년, Pytorch를 이용하여 논문 연구를 무사히 마무리했던 저는 'Pytorch도 참 좋은데, Tensorflow 2.x 버전은 어떨까?' 하는 궁금증이 생겼습니다🔍 목표 없이 공부하는 것보단 작은 목표라도 세우려고 관련 과제를 찾다가 Tensorflow Developer Certificate에 대해 알게 되었습니다. 자격증에 대해 간단히 살펴보면,

• Google에서 만든 시험
• Tensorflow 2.x을 이용한 딥러닝 문제 해결능력 인증이 목표
• 자격 기간 3년
• 응시료 100달러😭
• 시험 시간 5시간, 총 5문제, 문제당 5점 만점
• 온라인 진행, 오픈북 시험!

저는 사실 3년 전쯤 Tensorflow 1.x을 공부하다가 슬며시 놓은 적이 있어서 자격 취득은 겸사겸사, Tensorflow 2.x을 익히는 것이 목표였고 회사에서 교육비 관련 지원❣을 해 주시기 때문에 취득하였지만 결론적으로 아주 추천!은 아닙니다.

첫번째 이유는 오픈북이며 시험 문제가 아래 강좌의 연습문제에서 출제되기 때문에 쉽다는 것입니다. 그러므로 해당 자격의 가치가 다소 떨어진다고 판단했습니다. 그런데, 아래 강좌는 정말 좋은 강좌였기 때문에 아주 추천!합니다. 명료하고 직관적인 설명을 통해 Tensorflow 2.x의 기본 사용법을 알려주십니다. 👉Coursera DeepLearning.AI TensorFlow 개발자 전문 자격증 📌강좌는 무료 기간(5일)이 초과되는 즉시 다음달에 부과되니 꼭 5일 내에 모두 수강하시길 바랍니다.

두번째 이유는 첫번째 이유였던 해당 자격에 대한 가치에 비해 턱없이 높게 책정된 응시료입니다. 저는 이번 기회에 Tensorflow 2.x에 대해 꼼꼼히 기초부터 다시 훑고 다지는 데 많은 도움이 되었지만, 굳이 100달러라는 거금을 들여 취득만을 목표로 하시는 것은 비추천 입니다😂

자격 취득 과정

1. Tensorflow Developer Certificate 자격증 홈페이지에서 시험 등록 및 결제 등록에는 주민등록증이 필요합니다! 결제해두고 후에 응시할 수 있으니 미리 결제를 추천드려요.
2. Pycharm 설치 후 개발 환경 세팅 개발 환경은 주기적으로 업데이트하니 꼭 자격증 홈페이지에서 확인하셔야 합니다😉
3. Pycharm에서 시험 시작 버튼을 누르고, 구글 로그인 후 시험 진행

시험은 시작하면 5문제가 한번에 주어지고, 5시간 동안 각 문제에 해당하는 모델을 제출하면 됩니다. 이때, 소스코드를 제출하는 것이 아니기 때문에 편한 환경에서 모델을 만들어와서 제출해도 됩니다. 저는 주피터 노트북과 VS Code를 사용하기 때문에 모델을 제출하는 방식이 좋았습니다💃 모델 제출은 여러번 가능하며, 저의 경우는 3번 모두 5점이 나오면 다음 문제로 넘어갔습니다.

자격 취득 결과

5문제별 모델을 모두 제출하고, 시험을 끝내면 곧바로 메일로 시험 결과를 알려줍니다. 자격증은 2주 내에 메일로 보내준다고 합니다.

시험 난이도는 어렵지 않았으나 그와 상관없이 오랜만에 자격증을 취득한 것이 기쁘고 뿌듯합니다. 자격증과는 별개로 위의 강의는 Tensorflow 2.x 기초 다지기에 참 좋으니 짬짬이 보셔도 좋을 것 같습니다😚

'[Tensorflow Developer Certificate] 자격 취득 후기2'에서는 시험을 진행하면서 발생했던 오류와 해결방법에 대해 정리해보는 시간을 가질 예정입니다✍

매일매일 30분씩, 회사 점심시간을 이용해서 꾸준히 강의를 들었어요. 처음에는 점심 먹고 한창 졸릴 시간에 강의를 듣는 게 꽤 힘들었습니다. 그러나 점점 적응이 되면서(역시 인간은 적응하는 존재입니다) 3월에서 4월, 2개월 동안 스페인어 기초 강의를 완강했습니다! 아래는 공부 인증샷이에요✍

이번에 아주 초급 단계이지만 스페인어를 배우며 깨달은 점을 정리해보면 다음과 같습니다.

1. 발음하기 어려운 단어가 거의 하나도 없다.
2. 한국어와 비슷한 점이 많아 쉽게 받아들여진다.
3. 생각보다 우리 생활 속에 스페인어가 많았다.
4. 성수일치 개념이 아직도 완벽히 받아들여지긴 어렵다. (스페인어는 단어에도 성별이 있어요..🙄)

요즘 넷플릭스로 다양한 국적의 드라마와 영화를 쉽게 접할 수 있는데요. 한번이라도 '스페인어 발음 멋있는데?' 라는 생각을 했던 사람이라면 스페인어 배우기 추천드립니다. 아주 매력적인 발음이 많아요✨

"반복문" 하면 for문이 먼저 생각나시나요? 아니면 while문?😁

반복해야 하는 횟수가 있을 때, 물론 for문을 사용할 수 있습니다.

cnt = int(input())

for i in range(cnt) :
         ...

while문을 이용해볼까요?

cnt = int(input())

while cnt > 0 :
      ...
      cnt -= 1

_xsrf' argument missing from POST 에러 해결 방법💚

jupyter_notebook_config.py 에서 아래 부분을

NotebookApp.token = '<generated>'

이렇게 수정해주고 저장하면 해결 완료!

NotebookApp.token = ''

*jupyter_notebook_config.py 파일은 터미널에서 아래 명령을 통해 경로를 찾을 수 있다.

jupyter notebook --generate-config

📌[[BOJ]1712 : 손익분기점(https://www.acmicpc.net/problem/1712) *결괏값을 차례로 분류하여 결과를 다르게 출력하는 문제

1. 자연수 거르기

계산한 결과는 실수입니다. 그 중에서 자연수인 것만을 추려내기 위해서 소수점이 없고(math.ceil(f) == f) 절댓값이 같은지(abs(f) == f) 확인합니다.

2. 양의 실수 거르기

자연수를 거른 수 중에서 양의 실수를 추려냅니다. 절댓값이 같은지(abs(f) == f) 확인하면 되겠지요?

최종 코드는 아래와 같습니다🔍

import math
a,b,c = map(int, input().split())

try : 
    f = -a/(b-c)
    if math.ceil(f) == f and abs(f) == f :    
        print(int(f+1))
    elif abs(f) == f:    
        print(int(math.ceil(f)))
    else :
        print(-1)    
except :
    print(-1)

str_test = 'dddaayyyaannn'
print(set(str_test))

#{'a', 'd', 'n', 'y'}

2. join 사용(순서X)

str_unq = ''.join(set(str_test))
print(str_unq)

#anyd

3. OrderedDict 사용(순서O)

from collections import OrderedDict

str_odr =''.join(OrderedDict.fromkeys(str_test))
print(str_odf)

#dayn

import os

#현재 파일 이름
print(__file__)

#현재 파일 실제 경로
print(os.path.realpath(__file__))

#현재 파일 절대 경로
print(os.path.abspath(__file__))

2.현재 파일의 디렉토리 경로

import os

#현재 폴더 경로; 작업 폴더 기준
print(os.getcwd())

#현재 파일의 폴더 경로; 작업 파일 기준
print(os.path.dirname(os.path.realpath(__file__)))

3.현재 디렉토리의 파일 리스트

import os
print(os.listdir(os.getcwd()))

4.작업 디렉토리 변경

import os
os.chdir("/home/dada/test/")

이제껏 기초 단계라 코드 자체는 그리 복잡한 문제는 없었지만 기록해두면 좋을 문제들은 꽤 있었던 터라 하나씩 기록해보고자 합니다.

오늘 8단계에 진입했습니다 만렙까지 고고!!💪

저는 알고리즘 문제를 풀 때와 실무 단계에서 서비스 기능 설계를 할 때 _뇌의 비슷한 부분_이 쓰이는 것을 종종 느낍니다. 이는 데이터가 흘러가는 플로우를 설계하고 기능의 시뮬레이션을 할 때도 마찬가지입니다.

서비스를 설계하는 업무와 알고리즘을 짜는 일은 일의 순서를 정확히 알고 빠진 부분없이 꼼꼼히, 설계한 모든 경우의 합이 1이 되는지 확인하는 과정이 아주 닮았습니다.

코딩 테스트나 알고리즘 개발과 같은 뚜렷한 목표를 위해서도 물론이지만 알고리즘 문제풀기는 기본적인 논리성을 기르기에도 참 좋은 것 같습니다👍

Pandas의 데이터프레임으로 데이터를 분석할 때, 대화 데이터의 경우 하나의 셀에 내용이 아주 긴 경우도 있어 하나씩 값을 확인하려면 번거로운 경우가 있지요. 그럴 때는 pd.set_option을 사용한답니다.

import pandas as pd

#데이터프레임의 모든 column의 폭 최대화
pd.set_option('display.max_colwidth', -1)

#데이터프레임의 row 500(물론 column 값도 지정가능합니다)
pd.set_option('display.max_row', 500)

다른 옵션들도 많지만, 저는 주로 위의 두 옵션을 사용하고 있습니다😊

1. 연구로서 가치가 있는가?

'가치'가 있는 연구란 어떤 연구일까요? 일반적으로 다른 연구자들이 연구하지 않은 분야에서 효시가 되는 연구이거나 많은 연구자들이 연구하고 있는 분야에서 뛰어난 성과를 내는 연구를 떠올릴 수 있습니다.

그러나 알도 못 깐 병아리🐣 수준인 저는 이러한 연구를 목표로 하기엔 현실적으로 불가능이지요😂

가치있는 연구를 하자! → (나의 수준에서의) 가치있는 연구를 하자!

조금 시각을 바꾸어, 저의 수준에서 가치있는 연구의 기준을 세워보았습니다. 먼저 아무도 시도하지 않은 연구까지는 아니라도 아무도 실험하지 않은 분야여야 하는데, 이를 위해서는 최대한 최신의 알고리즘을 활용해야 한다고 생각했습니다.

2018년 이후로 NLP 분야에서는 혜성처럼 등장한 BERT, GPT 등의 Transformer 기반의 모델이 뛰어난 성능을 보이고 있었습니다. 마침 Transformer라는 아키텍처에 대해 막 기본적인 공부를 끝냈고 더 깊게 공부하고 싶은 마음이 가득하던 때라, Transformer 기반의 모델을 활용하는 연구를 진행하기로 했습니다.

다음은 제가 구축하는 시스템이나 알고리즘이 공익에 기여할 수 있는 토대의 작은 모래알 정도라도 되었으면 좋겠다는 것이었습니다. 물론 회사에서 곧바로 활용할 수 있거나 단순히 흥미로운 주제도 좋겠지만, 공익을 실천할 수 있는 분야의 연구가 가치있다고 늘 생각해왔기 때문에 이와 관련이 있는 연구를 진행하고 싶었습니다.

2. 현실적으로 가능한 연구인가?

현실적으로 가능한 연구인지를 따져보기 위해서, 아래 세가지 측면에서의 현실성을 고려해보았습니다.

먼저 GPU 사용 등의 비용적인 측면에서는 이미 결단을 내린 상태였습니다.

어차피 한번 뿐인 석사 논문, 비용 생각할 시간에 실험을 한 번 더 하자!😎

다른 어려움도 걸림돌도 많은데, 예산까지 걸림돌이 된다면 정말 슬플 것 같아서 비용적인 부분은 과감한 결단을 내렸습니다. 몇 달 뒤면 청내공 만기라 호기로웠지요👌

다음은 데이터 수급 가능성입니다. 애초에 온전하고 깨끗한 데이터를 얻을 수 있기란 하늘에 별따기이므로 Selenium으로 크롤링한 데이터를 사용할 생각이었습니다. 크롤링해도 무방한, 저작권 문제가 발생하지 않는, 공익적 목적의 데이터를 사용하는 연구를 진행하기로 했습니다.

마지막으로 시간적 제약입니다. 회사에서 진행해보았던 프로젝트는 장기 프로젝트가 많았습니다. 이에 비해 개인적으로 진행해보았던 프로젝트는 귀여울 정도로 작았지요. 실험을 진행하고 논문까지 작성하는 데에는 1년이 안되는 시간이 주어집니다.

~ 4월 : 논문 방향 및 주제 선정 5월 ~ 9월 : 실험 및 성능 평가 10월 ~ 11월 : 논문 작성

대략 위와같이 시간을 분배했을 때 실질적으로 연구를 할 수 있는 시간은 5~6개월 정도입니다. 2학년 내내 논문을 써야지, 이지만 실제로는 반년 정도의 시간이 주어지는 것이지요. 게다가 설계한 연구가 생각대로 착착 진행될 리가 없겠지요?(그랬다면 얼마나 좋았을까요😭) 수많은 시행착오와 수정을 염두에 두고, 주어진 시간 내에 진행할 수 있는 연구의 범위를 생각했습니다.

3. 1년 내내 들여다봐도 즐거울 주제인가?

위의 두 가지 사항이 물리적인 부분이라면 이 문제는 정말 정신적인 부분입니다. 물론 두가지 모두 중요하지만 저는 이 부분이 가장 크리티컬하다고 생각했습니다. (실제로도 가장 중요하게 작용했습니다🤩)

왜냐하면, 아무리 좋은 주제와 모델이 주어지고 끝없는 예산과 시간이 있어도 내가 하기 싫으면 말짱 도루묵 입니다. 아무 의미가 없지요. 1년이라는 시간이 짧다면 짧고, 길다면 긴 시간이라 스트레스를 엄청 받아가며 진행하면 한없이 힘든 시간이 될 것이고 즐겁고 신나게 한다면 아쉽도록 짧은 시간일 것이기 때문입니다.

그래서 어떤 주제로 연구하면 내내 지치지 않고 마음을 불태울 수 있을까를 생각했습니다. 특히 NLP 분야에서 데이터 정제는 애증이 가득한 존재이기 때문에 매일같이 데이터를 마주해야하는 인고의 시간이 필수적이지요.

저는 국어국문학을 전공했기 때문에, 우리말과 우리 문학에 아주 깊은 애정이 있습니다. 그래서 저는 우리말이나 우리 문학과 관련한 주제로 연구한다면 정제를 하는 시간도 행복할 것이라 생각했습니다🥰 (🧡사랑하는 것은 보고 또 봐도 좋지요🧡)

이렇게 연구 방향을 설정하는 데에 꽤 긴 시간을 보냈습니다. 그래서 결국 어떤 주제로 논문을 쓰게 되었을까요? 다음 글에서는 주제 선정에 대해 말씀드리겠습니다. 주말 잘 보내세요👋

1.prompt() 함수

먼저 살펴볼 함수는 알림창을 통해 사용자의 입력을 받을 수 있는 prompt() 함수입니다.

서비스 제공에 있어 사용자의 입력, 즉 데이터를 수집하는 것은 필수적인 단계인데요. 아래와 같이 prompt 창의 텍스트 필드 안에 기본 값을 표시하여 예시 답변을 줌으로써 사용자가 답변을 작성하는 것을 도와준다면 보다 많은 답변을 유도할 수 있겠네요👌

2.alert() 함수

다음은 알림창을 통해 간단한 알림 내용을 표시하는 alert() 함수입니다. 사용 방법은 prompt() 함수와 마찬가지로 소괄호 안에 원하는 내용을 따옴표로 감싸주면 됩니다. ```

인공지능을 구현하는 구체적인 접근 방식 중 하나로, 수행 방법을 코드로 하나하나 만들던 기존의 방식(if~ if~ if···)과는 다르게 대량의 데이터를 학습한 모델을 통해 판단 또는 예측을 하는 방식입니다.

머신(기계) = 주체 러닝(데이터를 통한 학습) = 주체의 행위

누구나 이해하기 쉽도록 예를 하나 들어보겠습니다😉

"너무 아름다운 장면이야! 이 장면을 그려서 간직하고 싶어."

저는 길을 가다 너무 아름다운 노을을 보게 되었습니다. 이를 그림으로 그려 간직하고 싶습니다.

"흠.. 이것보단 밝았던 것 같은데...? 이것보다는 붉었고.."

물감으로 비슷한 색을 만들어 아까 봤던 노을의 색과 비교하고(조금 어둡네) 다른 색을 섞어 아까 봤던 노을의 색과 비교하고(조금 푸르네) 다른 색을 섞어 아까 봤던 노을의 색과 비교하고(너무 붉네) 다른 색을 섞어 아까 봤던 노을의 색과 비교하고(너무 밝네) · · · 아주 많은 시도 끝에 아까 봤던 노을의 색을 재현하는 데 성공!

즉, 기존의 프로그래밍은 규칙과 데이터를 입력하여 해답을 출력하는 형태라면 머신러닝은 해답(기억속 노을의 색)과 데이터(수많은 물감의 조합)를 입력하여 규칙(실제 노을의 색)을 출력하는 형태라고 할 수 있습니다.

결론적으로 이러한 머신러닝을 통해 학습 데이터로 모델의 학습을 진행하고, 학습된 모델에 새로운 데이터가 입력되면 모델은 예측값을 출력하게 됩니다🙂

*부산정보산업진흥원에서 진행한 <딥러닝기반 자연어처리> 강의를 들으며 정리한 내용을 바탕으로 작성하였습니다. 문제시 삭제하겠습니다.

2020년은 논문의, 논문에 의한, 논문을 위한 한 해였습니다. 깨달은 것도, 뉘우친 것도 많았기에 메모해놓았던 내용을 하나씩 정리하려 합니다🙌

1학년 2학기 기말고사가 끝이 났을 때, 시험이라는 작은 봉우리를 넘은 기쁨은 논문이라는 거대한 산을 넘어야 한다는 걱정에 가볍게 날아가버렸습니다. 덕분에 2개월의 겨울방학이 이틀처럼 느껴지는 마법을 경험했지요.

저의 연구 분야는 NLP(Natural Langauge Processing; 자연어처리)입니다. 먼저, 연구 방향 설정에 있어 고려해야 할 사항을 질문으로 만들어보았습니다.

1. 연구로서 가치가 있는가?

2. 현실적으로 가능한 연구인가?

3. 1년 내내 들여다봐도 즐거울 주제인가?

처음에는 이것도 중요해보이고, 저것도 중요해보여서 기준을 세우기가 어려웠습니다. 그러나 이상형 월드컵(?)처럼 토너먼트식으로 하나씩 지우니 어떤 것이 진짜 중요한 것인지 점점 뚜렷해졌습니다😊

다음 글에서는 위의 세가지 질문에 대해 하나씩 답변해보며 가야 할 방향을 세운 이야기를 들려드릴 생각입니다.

2021년 첫 목표는『Doit! 웹 프로그래밍을 위한 자바스크립트 기본편』으로 자바스크립트 기본 익히기🙂 아주 기초부터 차근차근 포스팅할 예정입니다.

HTML 문서에서의 자바스크립트 소스 작성

HTML 문서 안에서 아래와 같이 script 태그를 이용하여 소스 코드를 작성합니다. 이 태그는 HTML 어디서나 사용가능하지만 주로 문서 내용이 끝나는 </body> 앞에 작성합니다. 한 문서 안에 여러 script 태그가 있을 수 있고, 각 소스는 해당 위치에서 실행됩니다.

<script>
    var cat = prompt("고양이 이름이 무엇이에요?");
    document.write("<b><big>" + cat + "</big></b>이라니, 예쁘네요.");
</script>

외부 스크립트 파일 연결

효율과 확장성을 위해 일반적으로 HTML 문서와 자바스크립트 소스를 분리하여 사용합니다. HTML 문서에서 자바스크립트 소스를 삽입하고 싶은 곳에 아래와 같이 소스 코드가 있는 경로를 작성합니다. 이때, 연결하는 소스 파일의 위치는 해당 HTML 파일이 저장된 디렉토리거나 하위 디렉토리이면 더 편리합니다.

<script src="binoo/dada.js"></script>

'dada.js' 에는 아래와 같이 script 태그 안의 내용만 있습니다. 태그는 필요없습니다.

var cat = prompt("고양이 이름이 무엇이에요?");
document.write("<b><big>" + cat + "</big></b>이라니, 예쁘네요.");

16일 뒤면 2021년이 열린다. 새 마음 새 뜻으로 1월 1일부터 블로그를 시작해볼까, 생각도 해봤지만 역시 생각났을 때 그 자리에서 곧바로 시작하는 것이 최고인 것 같다.

하루에 하나씩 기록해야지, 라는 마음으로 블로그를 시작하는 사람들이 얼마나 많을까요. 저 또한 크게 다르지 않아 수많은 블로거 분들이 내뿜었던 열정의 대를 잇고 있습니다.

사실 걱정이 되는 것은 자주 이야기를 기록하지 못할까가 아니라, 중구난방이 되어버리는 것입니다. 관심있는 것도, 하고있는 것도 다양해서 이야깃거리는 넘쳐납니다만 그들이 이어져있진 않기 때문입니다.

그러나 중구난방도 많이 써야 가능한 이야기지요. 그러니 한번 꾸준히 기록해보도록 하겠습니다😉