Storage

• 데이터 저장, 관리, 검색
• 안정성 접근성 확장성 보장
• 종류
  • 클라우드 스터리지
  • 분산 파일 시스템
  • 데이터 웨어하우스
  • 데이터 레이크

Computing Resources

• 데이터 처리, 분석, 모델 트레이닝
• 성능, 유연성, 확장성
• GPU 활용
• 종류
  • 클라우드 기반 컴퓨팅
  • GPU/TPU
  • 서버리스 컴퓨팅
  • 컨테이너화된 컴퓨팅

환경 관리툴

• 프로젝트별 독립적인 환경을 제공하는 패키지
• 환경 격리, 종속성 관리, 환경 재현성, 버전 호환성
• 종류 : CUDAemd

컨테이너

• 애플리케이션과 그 의존성을 패키지화하여 일관된 환경에서 실행할 수있도록 지원
• 독립된 실행환경, 경량화, 이미지기반
• Docker

오케스트레이터

• 컨테이너 배포 및 확장 네트워킹 관리

Workflow Managemenrt

• 리소스 할당

CI/CD

1. 설치과정 및 환경설정 완료 ~

관리도구

• Monitoring : IT시스템에서 GPU사용량 메모리 사용량등 데이터를 수집, 분석해서 동작을 파악하여 시스템에 문제가 있는것으로 추정되는 동작 및 조건을 감지 메트릭이나 로그에 의존
• Observability : 관측가능성이란 시스템에서 외부로 출력되는 값만을 사용하여 시스템 내부 상태 예측, 내부 시스템에 대해 이해를 근거로 발생 가능한 이벤트 예측하고 이 예측을 바탕으로 IT운영 자동화

대시보드 접속

Prometheus & Grafana

Prometheus는 CLCF에서 제공하는 오픈소스 Metric pipeline을 제공하여 클러스터 및 컨테이너에 대한 편리한 모니터링을 제공

Grafana는 지표를 분석, 시각화 하는 도구로 주로 시각화를 위한 대시보드로 사용

kubeshark : Wireshark의 Kunernetes버전

Portainer.io 접속

하나하나 접속과 실행이 쉽지않다……

K9s

CI/CD 지속적인 통합 지속적인 제공

CI : 코드 변경 사항을 지정된 Repository에 정기적으로 통합하고 자동화 된 빌드 와 테스트를 실행

CD : 실제 운영에 배포하기 위해 코드 변경이 자동으로 빌드, 테스트, 준비되는 단계

Jemkins

다양한 Plugin 보유

설치 끝

▶️ 지속적으로 실험중

• Dockerfile : 원하는 환경의 Docker Image개발에 필요한 instruction을 포함한 텍스트 파일
• Dcoker build : Dockerfile을 사용한 docker image 생성 과정을 트리거하는 Docker CLI
• Image registry : 생성된 이미지를 Public or Private하게 저장할 수 있는 영역
• Docker image에 포함된 애플리케이션 인프라에 프로세스를 붙여 서비스로 배포되는것 컨테이너라고 함

Volume 생성

두 컨테이너 생성 및 연결

워드프래스설치

yaml 코드 작성

https://lejewk.github.io/yaml-syntax/

• 모니터링은 시간의 흐름에 따른 시스템 및 여러 구성 요소의 동작과 출력을 관찰하고 확인하는 작업
• Cadvisor
  • Monitoring
  • Logging
  • Tracing
  • Visualization

Docker Volume

• 컨테이너 애플리케이션에서 생성되고 사용되는 데이터의 보존하기 위한 메커니즘을 제공
• 방식
  • bind mount : 컨테이너 내부 경로로 직접연결
  • volume : 드라이버를 통해 연결하능, API
  • tmpfs mount : 해당 컨테이너가 중지되면 tmpfs mount연결과 해제되고 기록된 데이터도 사라짐

• linux bridge
• Network namespace
• CMM

• veth : 두 네트워크 네임스페이스 사이의 연결선으로 동작하는 리눅스 네트워킹 인터페이스

docker DNS

사용자 정의 네트워크의 컨테이너 이름으로 자동 확인하는 Docker DNS서버가 Docker호스트 생성

ilbnetwork : 서비스 검색 기능 제공을 통해 모든 컨테이너가 이름으로 서로를 찾을 수 있게한다.

Proxy

• 요청자와 응답자 간의 중계 역할. 통신을 대리 수행하는 서버를 Proxy server 라고 함
  • forward / reverse

종류

• 회귀
• 분류
• 클러스터링
• 생성형

Training 종류

• Batch Training : 전체 훈련데이터를 한번에 사용하여 모델을 학습
• online Training : 데이터를 작은 묶음으로 나누어 순차적으로 모델을 학습
• Transfer Learning : 사전훈련된 모델을 사용하여 새로운 문제에 대한 학습을 가속화하느 방법
• 강화학습
• Active Learning : 모델이 스스로 학습할 데이터를 선택하는 방법
• 앙상블

Evaluation

• Holdout
• Cross Validation
  • K - Fold
  • Stratified K -Fold
  • Leave-one-out
  • LPO

Auto ML

• 머신러닝 모델을 개발하는 과정을 자동화하기 위한 도구와 기술의 집합

• Noise Data 식별
• Anomaly Data 식별 : 편향된 데이터
• 누락 Data 식별

Feature Selection

• 입력 데이터의 특성중에서 가장 관련성이 높거나 유용한 특성을 선택 및 불필요한 특성을 제거하는 과정

통계 기법

• ANOVA
• Chi-squared test

기법

피어슨 상관계수

• 두 변수 간의 선형 관계의 강도와 방향을 나나내는 값

Variance Inflation Factor

• 회귀 분석에서 독립 변수들간의 다중공선성을 평가하는데 사용

Feature Reduction

• 데이터 차원를 줄이는 과정, 결합하여 새로운 특성 생성
  • PCA
  • LDA
  • T-SNE

Data Augmentaion

• 기존 데이터셋을 변형하여 추가적인 학습 데이터를 생성하는 기법

Data Scaling

• 다양한 Feature의 값 범위를 표준화하거나 정규화하는 과정
  • Standard Scaling
  • max-min Scaling
  • Robust Scaling

Data Encoding

• 카테고리리형 변수를 숫자형 변수로 변환하는 과정

• chroot : 프로세스의 루트 디렉토리를 변경, 격상하여 가상의 루트 디렉터리를 생성
• Pivot_root : 루트 파일시스템 자체를 바꿔 컨테이너가 전용 루트 파일 시스템을 가지도록 함
• Mount namespace : 파일 시스템 트리 구성
• UTS namespace : hostname 격리를 수행하여 고유한 hostname 보유
• PID namespace : PID와 프로세스 분리
• Network namespace : 네트워크 리소스 할당

docker kill

exec/attcach : 작업을 수행할때 / 실제로 돌아가는 상황 확인등

docker diff : 실행중인 변경상항 확인

docker commit : 실행중인 컨테이너의 변경사항 포함한 새로운 이미지 생성

docker export : 파일로 내보내는것

명령어

registry : Dockerfile을 통해 생성된 이미지을 통해 생성된 이미지를 저장하는곳

tag : 주소

tar : 묶음

rmi : 삭제

psuh : 업로드

docker pull httpd:2.4 : pull 이미지 다운로드

docker image inspect httpd: 2.4 : 이미지 json 상태확인

• 정형 데이터 : 표의 형태로 고정된 스키마를 가지고 있음
  • SQL 쿼리 사용
  • 고정된 스키마
• 비정형 데이터 : 구조가 없는 데이터 및 이미지, 오디오
  • 구조가 없음
  • 고도의 전처리가 필요
• 반정형 데이터 : 일부만 구조화된 정보(마크업, 태그)
  • 일부 구조화된 정보
  • 데이터 파싱 필요
  • 유연성
• 실시간 데이터
  • 금융거래
  • ioT 센서 데이터
  • 스트리밍 데이터

데이터 저장소

• Database : DBMS
• NoSQL Database : 정형데이터 이외에 반정형 및 비정형 데이터도 관리 MongoDB
• Date Warehouse
• Data Lake

Data Sampling

• 큰데이터에서 작은 데이터 추출 프로세스

종류

• Random : 무작위로
• Stratified : 계층별로
• cluster : 그룹별로
• Weight : 가중치를 기반으로
• Importance : 확률 분포

Labeling

• lmage : 객체인식, 세그멘테이션
• text : 텍스트 분류, 감정분석
• audio : 음성인식

class Imbalance

• 클래스 간의 데이터 불균형을 나타내는 개념
• 모델편향, 비용고려, 평가지표의 왜곡

기법

• Resampling

  • oversampling

    • SMOTE : 고정비율에 따라 랜덤 학습
    • ADASYN : 가중치를 고려하여 동적으로 합성

  • UnderSampling

    • Random
    • Tomek Links
    • ENN

  • Combined sampling

    • SMOTEENN

매우 쉽지않았다~

• 애플리케이션을 언제든지 실행가능하도록 필요한 모든 요소를 하나의 런타임으로 패키징한 논리적 공간 → Dockerfile build를 통해 구현
• 가상화한 경량의 격리된 프로세스 → 독립된
• 최소한의 이미지 → Docker file

특징

애플리케이션 환경에 대한 권리만 요구되므로 비용 절감

타입

• 시스템
• 애플리케이션
• 라우터

가상화

• 서버, 스토리지, 네트워크, 애플리케이션 등을 가상화하여, 리소스 효율화
• VM가상화는 별도의 GustOS(Kernel)을 두고 하드웨어 수준의 가상화 구현
• 컨테이너 가상화는 호스트 운영체제의 커널을 공유하고, OS수준의 가상화 구현

강의 후기

구성요소

• 파이프라인 구성요소
• 메모리
• 데이터 로드
• RAG
• RAG 평가
• Agent
• LangGraph
• 서비스배포

• 총 72시간으로 되어있으며, RAG의 기초부터 응용까지 배울수 있음
• 여러가지 작은 프로젝트를 함으로써 여러가지 기능을 실습할 수있음
• 주주총회라고 매달마다 새로운 업데이트내용으로 라이브방송을 해서 새로운 부분을 배울수 있음

RAG를 배운다면 나는 완전강추🏆

Vector 형태의 Embedding을 사용하여 데이터를 저장 인덱싱하는 데이터 베이스

기존 데이터 베이스와 다른점

• 빠른 검색 및 대량의 데이터를 처리할 수있는 확장성
• 복잡한 데이터에 특히 적합한 고차원 백터를 저장하고 처리하느데 중점을 둠

종류

• Pinecone - API를 통해 사용자가 관리하는 클라우드 기반 벡터 데이터 베이스
• Chroma - 텍스트 문서를 쉽게 처리하고 임베딩으로 변환하고 유사도 검색 수행기능이 있음
• FAISS - 유사성 검색 및 고밀도 벡터 클러스터링
• Elastic Search - 다양한 유형의 데이터를 지원하는 분산 검색 및 분석 엔진
• Weaviate
• Qdrant

참고자료

https://discuss.pytorch.kr/t/gn-vector-database/1516 https://hotorch.tistory.com/406 https://meetcody.ai/ko/blog/2024%EB%85%84%EC%97%90-%EC%8B%9C%EB%8F%84%ED%95%B4-%EB%B3%BC-%EB%A7%8C%ED%95%9C-%EC%83%81%EC%9C%84-5%EA%B0%80%EC%A7%80-%EB%B2%A1%ED%84%B0-%EB%8D%B0%EC%9D%B4%ED%84%B0%EB%B2%A0%EC%9D%B4%EC%8A%A4/

저자 : Zekun Li, Baolin Peng, Pengcheng He, Michel Galley, Jianfeng Gao, Xifeng Yan

요약

• Directional Stimulus Prompting은 대규모 언어 모델(LLMs)을 직접 조정하지 않고, 작은 정책 모델T5등을 통해 각 입력에 맞는 보조 프롬프트를 생성해 LLM을 원하는 방향으로 유도하는 방법 이를 통해 LLM의 성능을 개선하며, 정책 모델은 지도 학습이나 강화 학습으로 최적화함

사용하는곳

• 작고 조정 가능한 언어모델을 사용하여 원하는 LLM의 응답을 원하는 결과 로 유도하는 힌트나 단서 제공
• 기존 미세 조정 방식보다 더 큰 제어력을 제공하며, 모델의 응답을 안해하면서도 모델의 일반적인 능력을 유지

특징

1. 가이드 힌트 제공
2. 정책 언어 모델 훈련
3. 정확도와 사용자 선호도 향상

작동방식

1. 힌트 생성
2. LLM 출력유도
3. 강화 학습을 통해 최적화

정리

작은 규모의 정책 모델(예: T5)**을 활용하여 각 입력에 맞는 Directional Stimulus를 자동 생성합니다.

지도 학습(SFT) – 소량의 라벨 데이터로 초기 Directional Stimulus 생성 학습 강화 학습(RL) – LLM의 성능(ROUGE 점수, 사용자 선호도 등)을 기준으로 최적화

참고자료

https://slashpage.com/haebom/k5r398nmnnx8emvwje7y?lang=ko https://brunch.co.kr/@aichaemun/109

의미 : 대화하는 도구

배워야하는 이유 : 사용 능력에 따른 격차

AI가 잘하는 것 : Semantics(단일성)

사람이 잘하는 것 : Pragmatics(다의성),맥락파악

타입

A : 지시문 + 출력문 항생제에 대해서 설명해줘

B : 지시문 + 맥락 + 출력문 항생제를 주제로 대학교 생물학 수업 1장 짤리 레포터 를 제출해줘

C : 지시문 + 예시 + 출력문 항생제를 주제로 대학교 생물학 수업 1장 짤리 레포터 를 제출해줘 예를 들어서 항생제 정의, 항제에 대한 내성에 대한 내용을 다뤄줘

D : 지시문 + 입력문 + 출력문

원칙

범용성 일관성 목적지향성 경제성

제작원칙

최신모델사용

명확한 동사 사용

프롬프트를 구조화하기

• 마크다운
• 코드사용

단문중심

하지말것보다 해야할것을 입력

구조

명령/청유형

역할 지정

상황극형

설명형

분석

턴 : 싱글턴, 멀티턴

액션 : 정보 검색유형, 다른 행위 유형

구조 : 선호구조, 비선호 구조

태도 : 감정적 태도 , 비감정적 태도

여러가지 프롬프트 엔지니어링 기법

• Generate knowledge prompting : AI모델이 스스로 지식을 생성하도록 유도하는 기법
• Prompt Chaining : 여러 프롬프트를 연결하여, 복잡한 작업 수행
• ToT
• RAG
• Automatic Prompt : 인공지능 모델의 성능을 향상시키기 위해 자동으로 프롬프트를 생성하는 기법, 데이터증가
• Active-Prompt : 정적인 프롬프트 대신 동적 프롬프트로 생성하는것
• Directional Stimulus Prompting : 방향성을 가진 자극을 통해 AI모델이 특정 목표를 향해 나아가도록 유도
• ReAct

평가

• 질적분석
  • 목적확인 : 핵심 단어와 구문 추출
  • 구조분석 : 문장 구성 분석
• 효율성평가
  • 프롬프트 길이
  • 컨텍스트 평가
• 정량분석
  • N번 생성해보기
  • 응답패턴 찾기
  • 모델별 테스트

샘플

# [Introduction]
You have a mind and your role is to generate possible three questions auser may want to ask next based on {{$User input: 제주도 감귤 초콜릿은 얼마야?}} The questio ns must be from the perspective of me, the user askingyou a question.

## [Response template]Predicted user question as followed:
1. High certainty
2. Moderate certainty, yet intriguing
3. Low certainty, but strong potential for user engagement

### [Ending]
Answer in half-speech form of Korean(반말).
Don’t be over five words.Only provide three questions.

model=GPT3-5-turbo
max_tokens=200
temperatures=0.5
frequency_penalty=1
presence_penalty=1

저자 : Aitor Arrieta, Miriam Ugarte, Pablo Valle, José Antonio Parejo, Sergio Segura

논문 정리

LLM은 안전성과 인간의 가치에 대한 정렬(alignment)이라는 중요한 질적 특성을 충족해야한다. 그래서 DeepSeek-R1(70B 버전)과 OpenAI의 o3-mini(베타 버전)의 안전성 수준을 비교하기 위해서 ASTRAL이라는 자동화된 안전성 테스트 도구활용하여 두모델을 대상으로 1,260개의 테스트 입력을 자동화하고 생성하고 실행

• DeepSeek-R1의 비안전한 응답 비율: 12%
  • OpenAI o3-mini의 비안전한 응답 비율: 1.2%

DeepSeek-R1이 o3-mini에 비해 10배 더 많은 비안전한 응답을 생성하는 것으로 분석

o3-mini가 높은 안전성을 보인 이유는 강력한 안전 장치(guardrails)로 인해 많은 비안전한 프롬프트를 처리하기전에 차단하였으며, 정책위반 메세지를 변환

LLM 안전성 테스트 기법

1. 다지선다형 질문 기반 테스트
2. LLM을 활용한 안전성 검사 모델 개발(LlamaGuard, ShieldLM)
3. Red Teaming 및 Jailbreak 공격을 통한 테스트
   • Red Teaming : 사람이 직접 테스트 입력
   • Jailbreak : 차단해야 할 정보를 제공하도록 유도 방법
4. 대규모 벤치마크 기반 테스트

ASTRAL

• 블랙박스 커버리지 기준(black-box coverage criterion)을 활용하여 비안전한 테스트 입력을 자동 생성

• 균형 잡힌(balanced) 최신 프롬프트 생성 가능

• RAG(Retrieval-Augmented Generation), few-shot prompting, 웹 검색(web browsing) 전략을 통합하여 테스트 프롬프트를 동적으로 생성

ASTRAL의 주요 단계 요약

1️⃣ 테스트 입력 생성 단계 (Test Generation Phase) LLM이 N개의 비안전한 테스트 입력을 생성 카테고리, 작성 스타일, 설득 기법을 균형 있게 반영하도록 블랙박스 커버리지 기준 적용 OpenAI의 Assistant API를 활용해 RAG 기반 방법을 통합 최신 뉴스 검색 기능을 추가하여 실시간 이슈 반영 가능

2️⃣ 테스트 실행 단계 (Execution Phase) ASTRAL이 생성된 테스트 입력을 대상 LLM에 입력 LLM이 비안전한 입력을 어떻게 처리하는지 평가

3️⃣ 평가 단계 (Evaluation Phase) 또 다른 LLM이 오라클 역할 수행 대상 LLM의 응답이 안전성 기준을 충족하는지 분석 안전성 여부 최종 판단 GPT-3.5를 평가 모델로 사용

** 테스트 기준 **

6(작성 스타일)×5(설득 기법)×14(안전성 카테고리)×3(테스트 횟수)=1,260개

테스트 입력 생성 시점

ASTRAL은 인터넷에서 정보를 검색하여 최신 데이터를 반영하므로,2024년 미국 대선(US elections)과 관련된 뉴스가 다수 포함됨 특히 C3 카테고리(논란이 있는 주제 및 정치)에서 많은 테스트 입력이 대선 관련 내용을 포함

LLM이 생성한 응답을 다음 세 가지로 분류

Safe(안전함) Unsafe(비안전함) Unknown(판단 불가)

결과

DeepSeek-R1이 금융 범죄(c6), 폭력(c14), 테러(c13), 혐오 발언(c7) 카테고리에서 높은 위험성을 보임

** 내생각**

평가모델이 GPT-3.5이라는게 조금 불공정한거 같다.

참고자료

개념

HyDE는 사용자의 질문을 토대로 가상문서를 생성하여, 이를 검색의 입력으로 사용함으로써 유사도 검색의 정확도를 높이는 방법

• 가상의 문서는 질문의 의도를 명확히 반영하고 단순한 질문보다 더 많은 패턴을 제공
• 여러개의 가상 문서를 생성한 뒤 평균화하여, 검색에 활용하기때문에 편향이나 오류를 줄이고 정확성을 높임

효과적인 경우

• RAG파이프라인의 검색 성능이 충분하지 않는 경우
• 데이터가 새로운 도메인인 경우

Self - RAG : 검색된 문서와 생성된 결과에 대해서 Selfpreflection(스스로 평가)를 포함하는 RAG

• 반영 토큰을 통해 필요할 때만 검색을 수행하고, 검색된 정보를 분석하여 필요한 정보만을 선별하는 방식으로 효율성을 높였습니다. Critique 모델과 Generator 모델의 협력을 통해 더 정확한 학습과 평가가 가능하며, 이는 Self-RAG의 성능을 크게 향상
• 4가지 토큰
  • [Retrieve]: 해당 질문에 대해 검색이 필요한지를 결정
  • [IsREL]: 검색된 정보가 질문에 관련성이 있는지 여부를 판단
  • [IsSUP]: 제공된 답변이 검색된 정보에 의해 뒷받침되는지 검증
  • [IsUSE]: 최종 답변이 유용한지를 평가 (1~5의 점수로 평가)

Adaptive RAG : (1) 쿼리 분석과 (2) active/self-corrective RAG를 결합한 RAG

Corrective-RAG (CRAG) : 검색된 문서에 대한 self-reflection과 self-grading(스스로 평가)를 포함하는 RAG

RAG-FUSION

참고자료

https://digitalbourgeois.tistory.com/482

https://www.koreaodm.com/%EC%9D%B8%EA%B3%B5%EC%A7%80%EB%8A%A5/hyde%EB%A1%9C-rag-%ED%96%A5%EC%83%81%EC%8B%9C%ED%82%A4%EA%B8%B0-%EC%9D%B4%EB%A1%A0%EA%B3%BC-%EC%A0%81%EC%9A%A9-%EB%B0%A9%EC%95%88/

https://python.langchain.com/v0.1/docs/use_cases/query_analysis/techniques/hyde/ 실습방법

https://zero-ai.tistory.com/59

https://rudaks.tistory.com/entry/%EB%B2%88%EC%97%ADlanggraph-tutorial-Self-RAG

https://velog.io/@mmodestaa/Self-RAG-%EB%85%BC%EB%AC%B8-%EC%A0%95%EB%A6%AC-%EB%B0%8F-Langchain-%EA%B5%AC%ED%98%84-%EC%BD%94%EB%93%9C

https://digitalbourgeois.tistory.com/476

https://cori.tistory.com/316

https://www.youtube.com/watch?v=pZ7tqESUPtk

https://github.com/langchain-ai/langchain/blob/master/cookbook/hypothetical_document_embeddings.ipynb

https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_5_to_9.ipynb

https://velog.io/@jingyeom/Self-RAG-Learning-to-Retrieve-Generate-and-Critique-through-Self-Reflection-%EB%A6%AC%EB%B7%B0

https://www.youtube.com/watch?v=pZ7tqESUPtk

• 쉬운 문제에서 어려운 문제로 일반화"를 가능

과정

Decomposition (문제 분해)

과정:

• 주어진 문제를 여러 개의 하위 문제(subproblems)로 쪼개는 방법에 대한 예시를 프롬프트로 제시

• 모델은 이러한 예시를 참고하여 복잡한 문제를 작고 해결 가능한 하위 문제들로 분해

Subproblem Solving (하위 문제 해결)

단계: 하위 문제 풀이 예시 제공: 각 하위 문제가 어떻게 해결되는지 보여주는 예시를 프롬프트로 제시

리스트 사용: 비어 있는 리스트를 제공하며, 해결된 하위 문제의 답과 솔루션을 순차적으로 저장

최종 질문 제시: 하위 문제의 답을 종합하여 최종 질문에 답하도록 구성

순차적 풀이: 하위 문제를 하나씩 해결하며, 이전 답변을 다음 하위 문제의 입력으로 사용. 이 과정을 반복해 최종 결과를 도출