시간 개념 없이 항상 정신 없는 삶을 살고 있지만 한주씩 돌아보면 생각보다 많은걸 한것 같아 뿌듯하다.

1. LG Aimers 3기 모집

사실 이건 이번주에 내가 한건 아니다.

올해 초 에이머스 2기에 참가했었는데, 이번에 3기를 모집한다고 하여 공유하고자 한다.

사실 내가 참여할 당시 나는 인턴 중이기도 했고, 시간이 없어서 핑계 맞습니다 열심히 참여하지는 못해서 항상 아쉬움이 있었는데, 이번 방학때 리뷰해보고자 한다.

신청 링크: https://www.lgaimers.ai/ 현제 소속중인 딥러닝 스터디 Deep Daiv. 팀원들과도 공유했는데, 많은 사람들이 참여를 해서 다 같이 공부할 기회가 있으면 좋을것 같다. 특히 2기때 해커톤을 열심히 참여 못한게 아쉬워서 다시 참가할 기회가 주어진다면 좋을것 같다. 왜 항상 지나고 후회를 하는지.... 2기 당시 정리했던 러닝 노트.

2.SQLD 공부

지난주와 비슷하다.

6월 10일에 시험이지만 아주 찔금찔금 공부를 하고 있다.

이번주에도 조금 공부를 했다.

3.GPT-4 내용 정리

현재 참여하고 있는 딥러닝 스터디에서 NLP 공부를 하고 있다. 매주 돌아가면서 한 사람씩 맡아서 리서치 내용을 대표로 발표하고 있는데, 부득이하게 이번주는 내 발표 차례였다.

나는 이번 스터디를 통해서 NLP를 처음 공부해보는거이기도 하고, 조금 식상하지만 그렇다고 딱히 많은 사람들이 깊게 파고들어보지 않은것 같은 GPT-4에 관해서 리서치하고 발표해봤다.

해당 내용은 여기 velog 링크를 통해 볼 수 있다.

좀 부담스럽고 부끄럽지만, 정리한 블로그 내용을 링크딘에도 공유해봤다. 링크딘이란... 너무 어려운것... 하지만 너무 중요한것...

4. 한 학기 숙제 몰아서하기

사실 나는 열심히 막 사는 성격은 아닌것 같다. 그냥 일만 벌려놓는걸 좋아한다.

따라서 학교 과제도 열심히 하지 않았다. 교수님이 deadline을 연장해주시면, 시간이 있던 말던 새로 연장된 deadline까지 쳐다도 안본다. 교수님 죄송합니다 읽지 마세요 근데 설마 읽으시겠어?

따라서 이번학기 밀린 숙제가 꽤 있다. 이번주에 조금이나마 이걸 해결해보고자 했다.

5. 음성기반 시각보조 레스토랑 내비게이션 앱 UI 구축

놀랍게도 (?) 나는 사실 UXUI 관련 전공이다.

따라서 이번에 "인터넷 프로그래밍" 수업의 기말 팀플 과제에서 앱 제안서를 할때 UI를 담당해서 구축해봤다.

이번 기말과제의 조건은 Mobile Mash-up Architecture를 이용한 앱 만들기였는데, (지역) 산업사회의 문제 혹은 사회적 약자를 위한 편의를 증진하는 앱이면 가산점을 받는다. 내가 속한 팀은 음성기반 시각보조 레스토랑 네비게이션앱을 만들기로 하였다.

UI를 구축하기에 앞서, 시각장애인/저시력자에 관한 문서 및 논문을 읽으며 user research를 하고, 유사 서비스 benchmarking research를 통하여 프로토타입을 만들어봤다. 아래는 제안서 내용의 일부이며, 앞으로 2-3주간 서비스를 직접 개발하며 계속 바꿔갈 예정이다.

6. AWS Online Conference 참가 신청

지난번 SKYCC 해커톤을 하면서 만들었던 슬랙 커뮤니티에서 아직 멘토님들이 공부 자료와 소식을 올려주신다. 지금까지 신경써주시는게 정말 너무 감동적이고 감사할따름이다.

이번에는 AWS Online Conference 내용을 올려주셨는데, 나도 참가 신청을 했다.

“OpenAI가 성능으로 GPT-4로 보여준 부분도 있지만 저는 MS와의 협력을 보여준 첫번째 사례라는 점이 제일 크다고 생각합니다. 현재 MS는 엔비디아(NVIDIA)와의 협력관계를 맺고 있으며 최신 딥러닝 전용 GPU인 H100을 제공받아 데이터센터를 짓고 있습니다. 불과 몇일 전에 Azure는 H100 VM을 공개했습니다. 이에 비해 딥러닝으로 특화되어 있다고 평가받는 Google Cloud는 감감무소식입니다. 즉 현재 OpenAI-MS-NVIDIA가 협력체제를 구축해 Google을 압박하고 있는 모양새입니다.” - 모두의 연구소, 이영빈

GPT 1에서 2에서 3에서 4까지

_ 출처: hitech.co.kr_

출처: modulabs.co.kr

GPT 4에 관해서

이번 GPT-4는 기존 모델보다도 더욱더 complex 하고 nuanced 시나리오에서 이용될 수 있음. 즉, 더욱 많은 일상 생활의 다양한 상황에서 쓰일 수 있음.

이것을 확인하기 위해 “사람을 위해 디자인된” 시험들을 GPT에 테스트해봤음. 그 결과 아주 좋은 성과를 내었는데, 특히 미국 변호사 시험에는 무려 상의 10%의 기록을 받음. 기존 하위 10%에서 놀라운 발전!

출처: OpenAI

GPT-4의 가장 큰 특징은 택스트 뿐만 아니라 이미지 입력도 받을 수 있는 ‘멀티모달(multimodal)’ 모델이라는 점. 아래와 같이 유머 이미지 또한 이해할 수 있음.

*현제 이미지 입력을 포함한 GPT-4 기능은 Chat GPT pro를 사야지 이용할 수 있다고 함. 참고로 구글 바드는 오늘 (2023.05.24) 부터 이미지 서치가 가능하다고 함!!

많이 발전했지만 아직 갈 곳이 많은 GPT-4… 크게 3가지 challenge가 있음.

1. not fully reliable (e.g. “hallucinations)
2. limited context window
3. does not learn from exprience

전반적으로 기본 GPT 모델들의 한계점과 비슷하지만, 점점 더 학습해야될 데이터가 많아지고 업데이트 해야될 부분이 많아지다 보니, 그만큼 더 한계점들의 중요성과 비중이 커지고 있다고 함.

이중에서 가장 대표적인것은 hallucination (환각) 현상인데, GPT는 주어진 prompt를 바탕으로 가장 그럴듯한문장을 생성할 뿐, 생성된 텍스트가 ‘맞는 말’인지 검증하지는 못함.

그래도 꾸준히 계속 개선되고 있음! OpenAI 내부의 사실 검증 테스트로 평가한 결과 이런 환각 현상에 관해서 GPT-4는 최신 버전의 ChatGPT보다 19%p 높은 점수를 얻었다고 함.

이는 RLHF (Reinforcement Learning from Human Feedback) 덕분.

여기서 잠깐! RLHF이 그래서 뭔데?!

사람이 직접 피드백을 주는 방식으로 언어모델을 최적화하는 기법.

*현재 몇몇 기능들은 ChatGPT에서는 사용하지 못하고 추후 GPT-4 API를 사용할 수 있음.

• GPT-3에서 RLHF를 추가해서 만든게 GPT-3.5
• GPT-3.5에서 멀티모달 + 더 많은 글자수 추론 추가한게 GPT-4

1시간동안 900번 혼나서 (human feedback 받아서) 완벽화된 로봇 백플립. 아래 코드를 이용했다고 함. 출처: openai.com

*이거에 관해서 더 읽고 싶다면 OpenAI의 Learning from human preferences를 읽어보면 좋음.

“OpenAI와 MS의 협업 프로세스가 만들어졌고 이 협업 프로세스가 잘 돌아갔는지에 대한 실험으로 GPT-3.5가 나왔습니다. 실험이 끝나고 OpenAI는 본격적으로 GPT-4를 훈련시키기 시작했고 안정적으로 실험이 되었으며 훈련 성능을 미리 예측할 수 있었다고 합니다. 거대 규모의 언어모델을 학습할때 훈련 성능을 예측가능한 건 이번 GPT-4가 최초입니다.” - 모두의 연구소, 이영빈

ㅇㅋㅇㅋ 그래서 GPT-4가 뭐?

RLHF는 텍스트가 사용자의 의도에 맞게 생성되도록 하는 데 큰 도움이 되었지만, 안전과 윤리적 문제를 만듬.

예) 위험한 화학물을 만드는 방법에 관해서 물어봤을때 GPT의 대답… 출처: OpenAI

이런 문제를 해결하기 위해, OpenAI는 RLHF 학습에 안전성과 관련된 더 많은 prompt를 포함시켰고, Rule-Based Reward Model(RBRM)이라는 기법을 도입했음.

“RBRM은 여러 개의 zero-shot GPT-4 classifier로 구성되어 있는데, 유해한 내용을 걸러내거나 무해한 내용을 걸러내지 않았을 때 GPT-4 policy model에 reward signal을 제공한다고 합니다. RBRM은 GPT-4 policy model의 output과 사람이 만든 평가 지표 (생성된 텍스트를 걸러내는 이유에 관한 문항들), 그리고 때때로 prompt까지 입력받습니다. 그 다음, 답변에 적절하지 않은 내용이 포함된 경우 거절 답변을 대신 생성하는 쪽에 reward를 부여합니다.” - 모두의 연구소

…RBRM은 또 뭐야?

그건 말이지, 아래 Bradley–Terry model (1952) 공식을 사용해서…

음 수학 빼고 개념만 보자면: 출쳐: Instruction finetuning and RLHF lecture from Hyung Won Chung (Open AI 연구원)

다시. GPT-4로 돌아가서

결과적으로 결론적으로 결과적으로:

GPT-4는 ChatGPT에 비해 안전하지 않은 답변을 생성하는 빈도가 더 적었다고 함

• RealToxicityPrompts 데이터셋으로 실험한 결과
  • GPT-4는 0.73%의 경우에서만 적절하지 않은 텍스트를 생성
  • 기존 결과는 6.48%...!!!!

하지만 아직 Open AI는 이른바 ‘jailbreak’라고 불리는 방법들로 가이드라인을 무력화하고 위험한 답변을 생성하는 방법이 아직 존재한다는 것을 인지하고 있고, 모니터링 등을 통한 안전성 강화의 중요성을 강조하고 있다고 함.

• GPT-4의 100페이지 중에서 15 페이지 빼고 다 system card에 관한 내용인데, 여기서 GPT-4가 적절하지 않은 prompt(폭력적/선정적인 내용, 혐오 발언, 범죄 관련 내용 등)를 어떻게 걸러내도록 학습되었는지 설명들을 수 있음.

GPT-4 모델의 scaling

마지막으로.

워낙 GPT-4 학습 모델이 크기 때문에 OpenAI가 GPT-4 프로젝트를 진행하면서 중점적으로 생각했던 부분이 바로 scaling이 잘 되는 모델을 구현하는 것이었다고 함.

• scaling: 학습 시간이 GPT-4의 1/1000, 1/10000인 작은 모델의 성능 데이터로도 GPT-4의 성능이 정확하게 예측되도록 하는 것.

원래 모델의 크기가 커질수록 성능이 감소함. 하지만 GPT-4는 가장 많은 파라미터를 가지고 있음에도 불구하고 다른 모델에 비해 높은 정확도를 보였음

어떻게?

안알려줌.

지금 AI 툴에 관해서 너무 큰 경쟁구도 때문에 OpenAI는 technical report에서 모델의 구조/크기, 하드웨어 정보, 데이터셋 구성 방법, 모델 학습 방법과 같은 정보는공개하지 않겠다고 함.

더 알아가고 싶다면?

GPT-4에는 사실 기술적인 부분을 안알려줘요 ㅜㅜ 만약 기술적인 부분을 조금 더 집중해서 보고 싶다면 아래 자료를 보는걸 추천드립니다!! (저도 아직 자세히 보지는 못했지만 ㅜㅜ)

MIT 박사이자 Open AI 연구원이 일주일 전 (!!!) 소셜미디어에 올린 GPT fine tuning lecture 내용.

읽어보면서 궁굼했던점 Q&A

아래 내용은 딥다이브 딥러닝 논문 스터디에서 제가 속한 3IS 팀원들이 다 같이 정리해본 further questions와 그에 관한 대답들입니다 :)

1. GPT-4가 GPT-3.5에 비해 훨씬 느린 이유

GPT-4가 GPT-3.5보다 느릴 수 있는 여러 가지 이유가 있습니다. 일단, 아래의 점들을 고려해야 합니다:

1. 모델의 크기: GPT-4는 GPT-3.5보다 크기가 훨씬 크기 때문에, 연산이 더 많이 필요합니다. 이는 모델을 실행하고 입력을 처리하는 데 더 많은 시간이 걸릴 수 있습니다.
2. 복잡한 연산: GPT-4는 더 복잡한 연산을 수행할 수 있기 때문에, 더 많은 시간이 필요할 수 있습니다. 이는 더 정교한 결과를 가져오지만, 이를 달성하기 위해 더 많은 시간이 필요합니다.
3. 하드웨어 제한: 모델이 실행되는 하드웨어의 성능에 따라 속도가 달라질 수 있습니다. 모델이 더 크고 복잡해질수록, 더 강력한 하드웨어가 필요합니다.
4. 최적화: GPT-4는 아마도 GPT-3.5보다 최적화가 덜 되었을 수 있습니다. 이는 새로운 기능과 개선사항을 포함하는 데 중점을 둔 새로운 모델에서 흔히 볼 수 있는 문제입니다.

따라서 GPT-4의 느린 속도는 이러한 이유로 인해 발생할 수 있습니다. 그러나 이러한 문제는 보통 새로운 버전의 소프트웨어가 출시됨에 따라 개선됩니다.

2. GPT-4에서 다른 언어에 대한 학습 방식?

GPT-4, 그리고 OpenAI의 GPT 시리즈에 해당하는 다른 모델들은 'transformer'라는 아키텍처를 사용하는 언어 모델입니다. 이 모델들은 웹상의 텍스트 데이터를 활용해 학습되며, 이 텍스트 데이터는 다양한 언어들을 포함하고 있습니다.

GPT-4와 이전 버전의 모델들은 자연스럽게 다른 언어들을 학습하는 것이 가능합니다. 이는 모델이 입력으로 제공된 텍스트 데이터에서 언어의 구조와 문법을 자동으로 학습하기 때문입니다. 다시 말해, 이 모델들은 특정 언어에 대해 명시적으로 프로그래밍되지 않았으며, 대신 텍스트의 패턴을 학습하고 이를 기반으로 새로운 텍스트를 생성하거나 질문에 대답하는 능력을 가지게 됩니다.

그러나 이러한 방식은 완벽하지는 않습니다. 모델이 다른 언어들을 처리하는 능력은 그 언어의 데이터가 학습 데이터셋에 얼마나 많이 포함되어 있는지에 크게 의존합니다. 즉, 영어와 같이 웹상에 많은 데이터가 있는 언어는 잘 처리할 수 있지만, 다른 언어는 상대적으로 덜 정확하게 처리할 수 있습니다. 또한, 모델이 언어간 번역 능력을 갖추기 위해서는 대량의 양방향 번역 쌍이 학습 데이터셋에 포함되어야 할 것입니다.

그럼에도 불구하고, 이러한 언어 모델들은 대체로 여러 언어에 대해 상당한 이해력을 보이며, 많은 언어에서 효과적으로 작동할 수 있습니다.

3. 환각 현상 (hallucination) 을 어떻게 극복하고 있는지?

GPT-4 모델과 그 이전 버전들은 결국 텍스트를 기반으로 학습하는 모델들입니다. 이러한 모델들이 '환각 현상'을 처리하는 방법은 아직 완벽하게 해결된 것은 아닙니다.

환각 현상이란 AI가 학습 데이터에 존재하지 않는 정보나 패턴을 '만들어내는' 현상을 말합니다. 예를 들어, 모델이 실제 세계에서는 일어나지 않은 일을 기술하거나, 존재하지 않는 사실을 주장하는 경우입니다. 이런 현상은 AI 모델이 제한된 학습 데이터를 기반으로 전체 세계를 이해하려고 시도할 때 발생합니다.

GPT-4와 이전 모델들은 명시적으로 환각 현상을 해결하는 메커니즘이 내장되어 있지는 않습니다. 대신, 이러한 현상을 완화하는 방법 중 하나는 학습 데이터의 품질과 다양성을 향상시키는 것입니다. 이렇게 하면 모델이 더욱 정확한 패턴과 정보를 학습할 수 있게 됩니다.

또 다른 방법은 학습 프로세스를 보완하는 것입니다. 예를 들어, GPT-4가 '자기 감독 학습'과 '감독 학습'을 결합하는 방식을 채택했다면, 이는 모델이 과도한 환각을 줄이도록 돕습니다. 자기 감독 학습에서는 모델이 큰 데이터셋에서 패턴을 학습하고, 감독 학습에서는 사람이 제공하는 특정 피드백을 사용하여 모델의 출력을 보정합니다.

그러나, 이러한 방법들도 환각 현상을 완전히 해결하지는 못합니다. 이 문제는 여전히 AI 연구에서 활발히 연구되고 있는 주제입니다.

대학교 3학년이지만 처음으로 대면학기를 하고 있고, 기존에 학교생활을 열심히 하지 못한 탓으로 (대외 활동은 많이 했지만) 이번학기 만큼은 무작정 이것저것 배우는거에 가장 많은 시간을 투자하고자 했는데, 그건 잘 이루고 있는것 같아 뿌듯하다.

1. SKYCC 해커톤

이번주/이번달의 하이라이트는 SKYCC 해커톤이 아닐까 싶다. 이번해 Pairing Hackathon은 서연고컴퓨터동아리 연합에서 주최한 첫 연합 해커톤으로, AWS, Slack, Elastic 등의 후원을 받고 AWS 서울 본사에서 진행됬다.

처음 나가는 해커톤이기도 했고, 프론트엔드를 처음 배운지 3개월도 안되서 프론트엔드 리드 팀원으로 출전을 한거라 많이 떨렸는데, 같이 출전한 팀원들이 너무 많은 도움을 줘서 무사히 마칠 수 있었다. 사실 말만 프론트엔드 리드지 내가 과연 리드를 했는지는 모르겠다.

후원사 중 하나인 ElasticSearch에게 특별상을 받기도 했다.

해당 프로젝트에 관한 디테일은 아래 링크에서 확인해볼 수 있다: https://lnkd.in/gBNJfFHT

이번 해커톤에서 처음 배운 것: React, 백앤드 API 요청하기, 클라우드 전반적인 내용, AWS/ElasticSearch 쓰는 법, 등

2. AWS 클라우드 공부

해커톤의 심사조건 중 하나가 후원사의 툴을 잘 이용하는거였는데, 덕분에 클라우드에 관해 많이 공부해보게 되었다.

특히 후원사들 측에서 진행한 사전교육 덕분에 쉽고 빠르게 많은걸 배울 수 있었던것 같다.

해커톤이 끝난이후 추후에 대학생 창업을 진행하는 학생들이 따로 연락하면 크레딧/상담을 지원해주겠다고 하셨는데, 마침 내가 설립하고 현재 Technological Product Manager를 맡고 있는 창업팀이 이커머스 개발을 진행중이라 해당 기술에 관해서 더 많이 공부하고 이용할 예정이다.

이번 여름 방학에는 ElasticSearch, AWS에서 제공하는 솔루션들로 토이프로젝트도 해보고, Certificate도 도전해볼 예정이다.

3. SQLD

배우고 싶은게 너무 많아서인지, 배울게 너무 많아서인지, 항상 나는 무언가를 시작하면 찍먹을 하는 기분이다.

인공지능회사 인턴 / LG AImers활동을 했을때 딥러닝에 관해서도, 학교 디자인 수업에서 Adobe 툴에 관해서도, 이번 해커톤에서 클라우드에 관해서도... 아는건 많은데 (사실 이것도 모르겠다) 제데로 아는건 하나도 없는듯 하다.

그래서 이번에는 무엇이라도 제데로 깊게 파고들어보자 SQLD 국가공인자격증을 보기로 했다. SQL은 워낙 많은데서 필수로 필요한 지식이기도 하고, 데이터베이스에 관해서 깊게 공부해보고 싶어서 무작정 시험등록하게 되었다. 사실 무엇보다 인터넷 후기에서 한달안에 충분히 공부할 수 있다고 해서 공부해보기로 했다

이번주에도 조금 공부를 했다. 제데로된 공부는 벼락치기로

4. 트렌스포머 논문읽기

딥러닝도 마찬가지로 이때까지 배운걸 쉬지않고 꾸준히 배우고 싶어서 Deep Daiv. 스터디팀에 합류하게 되었다. 강제로 안시키고 혼자하면 절대 안할 사람이기 때문에

본래 배우던 내용은 Object-Detection, Computer Vision과 관련된 내용이였는데, 이번에는 NLP에 관해서 배우고 있다. 그냥 딥러닝이면 뭐든 배워보고 싶다는 마음에 팀원들에게 주제를 정하는걸 맡겼지만, 트렌스포머 논문을 읽고 NLP에 더욱 더 깊은 관심이 생겼다. 논문에 관한 더 자세한 내용은 곧 올려보겠다.

!youtube[SZorAJ4I-sA]

Deep Daiv. 는 처음으로 합류한 대학 연합 활동이기도 한데, 다양한 백그라운드와 경험을 가진 사람들과 만나며 공통된 관심사에 관해 공유하는게 생각보다 재미있다. 무엇보다 모두 하나하나 너무 열심히 사시는것 같아서 나도 계속 달려야겠다는 동기부여가 된다. 사실 이 블로그도 이번 활동을 하며 시작하게 된건데, J 성격을 지니신 리더 덕분에 P형 인간인 내가 조금 힘들다 많이 정리된 삶을 살게되어서 뿌듯하다.

이쯤에서 글 정말 못쓴다고 생각이 든다면... 맞습니다. 초등학교 3학년 이후로 한국어로 글 쓸 일이 없었습니다. 대학교/인턴/장학금 면접 가서도 한국어 다 틀렸다고 면접관한테 한마디씩 듣는 사람이에요.

5. 아두이노 공부

현재 인터랙션 디자인 수업 프로젝트의 일환으로 아두이노 센서 input을 받고 interactive art 작품을 만드는 과제를 하고 있다. 아직 프로젝트에 관한 자세한 내용을 공유하긴 이르지만, 나는 이번 프로젝트에서 Arduino + TouchDesigner 코딩을 맡고 있다.

초등학교 3학년 이후로 처음 만져보는 아두이노지만, 꽤 재미있다. 근데 이거 들고다니면 와 너는 이런것도 할 줄 아는구나 그러면서 말시키는데 사실 나도 잘 모르기때문에 그만 물어봤으면 좋겠다.