입력 방법이 병렬처리가 되어 있다 => 성능을 높일 수 있다.

성능 향상하는 방법

1. skip connection
2. layer nomalization

특징

1. 기계번역 task에서 기존의 연구들보다 성능적으로 우수
2. 병렬적으로 처리가 가능한 모델 -> time complexity 감소
3. 이후에 사용되는 bert, gpt 모델에서 일반화에 강점이 있다는 것이 확인

positional encoding

자연어 데이터의 특징

tabular dataset

• 각각의 데이터 샘플들이 구성하고 있는 features는 독립적

이미지

• 이미지 안의 의미있는 정보는 위치에 무관
• convolution 연산은 위치에 무관한 지역적인 정보를 추출하기 좋은 연산

반연 자연어 데이터의 경우

• 문장을 구성하고 있는 단어들의 위치가 변해서는 안됨
• 단어들 간의 관계가 중요하고 하나의 단어만 바뀌거나 추가되어도 전혀 다른 의미를 가질 수 있음

summary

• GPT를 구성하고 있는 모델은 TRANSFORMER에서 가져온 것이다.
• bert, gpt의 경우 특히 자연어 데이터에 특화된 프레임워크이다.
• 자연어 데이터는 단어와 단어들 사이의 순서와 관계가 중요하다,
• 문장이 갖고 있는 문맥을 알고리즘이 이해할 수 있게 하는 것이 어렵다.

자연어 처리 task

하나의 문장을 여러 개로 나누고 나눈 토큰들의 결합분포로 문장에 대해서 확률을 계산

p(W) = p(w1, w2, w3)

기존연구

문장은 순서를 가지고 있으니, 문장의 처음부터 끝까지 순서대로 입력을 받아서 최종적으로 벡터를 생성하자

RNNs

단점

• 중요한 단어들이 처음 부분에 있다면 정보를 잃어 버리지 않을까?

rear occupant alert 차량 내에 장착하여 후석 승객 유무를 감지

in-cabin 모니터링 시스템에서는 카메라, 압력 센서, 초음파, 레이더 등 여러가지 센서 기술들이 사용하고 있다.

SBR

5명의 탑승자 위치를 정확하게 파악하는 기술

레이더 공정 예시

1. ICT

PCB의 테스트 포인트를 통해 SMT ( SURFACE MOUNT TECHNOLOGY) 된 각 부품의 RLC값을 확인하여 불량을 검출

2. F/W down (펌웨어 다운로드)

레이더 제품의 메모리에 펌웨어를 넣는 공정

3. DC Test

모듈이 제대로 동작하는지 입력 전원을 넣어 기본 기능을 확인

4. routing

커팅 방법에 따라 레이저/ 브레이드 방식 정밀한 가공 이물질 유입 방지 ic의 데미지를 주는 공정에는 레이저 공정을 이용

5. TIM ( thermal interface material )

도면 면적, 도포량에 따라 발열 성능에 영향을 미치는 주요 공정

6. press-Fit

케이스 혹은 커넥터에 있는 PIN과 PCB를 연결하는 공정

7. SCREW 체결

주요 관리 포인트 : SCREW 높이, 토크

8. SEALANT 도포

케이스 밀폐를 위해 진행하는 공정

9. CALIBRATION EOL

공정 및 부품 특성을 반영하여 제품 성능에 영향이 없는지 최종 점검

미래 모빌리티 메가 트렌드의 핵심 키워드 C : connectivity A : autonomous S : shared E : electrification

- 때로는 ACE라고 부름
- A : autonomous driving
- C : connectivity
- E : electrification

A = 운전자 개입없이 스스로 안전하게 주행이 가능한 자율주행 고도화 C = 고도화된 연결형 자율주행을 통한 탑승자의 안전 및 교통관리 효과성 극대화 E = 높은 에너지 효율성 기반 1회 충전으로 최대 주행거리 확보

센서 pod

카메라, 레이더, 라이다 등 인지를 위한 센서들의 일체형 통합 모듈

자율주행 센서 방향

camera

• 장거리 및 인식률 개선을 위한 고화소화/픽셀 사이즈 소형화 / 저조도 개선
• 고온 동작의 품질 확보를 위한 lens / housing 구조 최적화

radar

• 고해상도 4D imaging radar 구현을 위한 안테나 및 신호처리 S/W 기술 발전
• perception SW 고도화로 사물의 형상구분 및 상황예측까지 성능 발전

lidar

• ADAS용 lidar는 차량신뢰성, 디자인, cost 우선 순위로 진화

센서 pod 성장할 것

센서 integration validation 효율성

1. Query
2. causal diagram
3. data

-> causal inference engine 인과추론 알고리즘을 통해서 계산한다.

adjustment formular

인과 효과를 구하는 식

back-door

더 일반화한 방식

x와 y의 전체 상관성은 두 가지, 직접 연결 관계 그리고 교란 변수에 의한 연결 관계 - 데이터에 나타나는 상관성에서 교란에 의한 상관성을 제거하고자 하는 것

어떤 규칙에 의해 조건부 독립만족 -> 확률을 다른 확률로 변경시킬 수 있다

효율적으로 환경과 인터렉션 하는 것을 연구

causal effect - causal discovery - causal decision making 서로를 돕는 역할

베이지안 네트워크

확률적 그래피컬 모델에 대한 기본적 지식

인과성에 대한 소개와 인과적 추론을 하기 위한 기본 개념

인과성이란? 하나의 어떤 무엇인가가 다른 무엇을 생성함에 있어 영향을 미치는 것

AI, 데이터사이언스와 인과성은 무슨 관계일까?

1. 강화학습 : 주어진 환경에서 어떤 행동을 취할지 학습 환경에 변화를 줘서 원하는 상태로 변화시키는 인과관계로 해석 가능하다.

2. 기계학습 : 데이터의 상관성 학습

3. 데이터사이언스 : 풀고자하는 질문에 따라 다르겠지만 데이터를 수집하고 그것을 처리하고 분석하고, 이 결과를 어떻게 커뮤니케이트할 것인가하는 많은 부분에서 상관성과 인과성을 모두 복합적으로 고려한다.

인과계층

level 1. 관측 계층

이를 통해 시스템을 구성하고 있는 어떤 변수들의 상관성을 알 수 있다. - 단순하게 비교하는 것들이 level 1의 목적

level 2. 실험 계층

주어져 있는 연구를 하고자하는 시스템을 중재라고 하는데 중재를 함으로써 나오는 결과에 관심

level 3. 반사실적 계층

관측값과 실험에 의한 값을 동시에 고려하는 계층.

simpson;s paradox

인과계층의 레벨1과 레벨2를 구별하는 예시 - 신장결석 환자 > 환자를 진찰, 처방 > 처방에 따른 결과 리포트 > 헬스케어 데이터

인과적인 분석을 하기 위해서는 주어진 데이터뿐만 아니라 각 변수들이 가지는 인과적 관계에 대한 자세한 이해가 필요하다는 것. 그리고 변수들 간의 인과적 관계가 다르게 도출될 수도 있다는 것

데이터를 분석하고자 할 때 고려해야하는 두 가지!

1. 주어진 데이터가 상관성을 지니고 있는지 아니면 인과성을 지니고 있는지
2. 우리가 알고자 하는 그 질문이 그냥 단순히 조건부 확률같은 상관성에 관한 것인지, 인과성에 관한 것인지

계층을 넘나드는 추론을 하는 방법

black box system

structural causal models

인과추론을 할 때에는 우리가 주어진 데이터가 있고 이 데이터는 상관성만을 지니고 있고 그리고 우리는 causal diagram이라는 것을 가정으로써 갖게 되는데 결국은 우리가 원하는 causal effect라는 것을 계산하기 위해서는 이 causal diagram에 내포되어 있는 모든 정보를 이용을 해서 인과 효과를 계산해야한다.

openCV 영상 데이터 자료형과 numpy 자료형 비교

일반적으로 첫번째 줄의 표시를 주로 사용한다. cv2.CV_16F는 딥러닝에서 많이 사용된다.

숫자 3은 3차원을 의미한다.

XAI 기법

• 모델 & 데이터셋의 오류 색출
• 모델이 얼마나 편향되어 있는지 확인 가능

XAI

사람이 모델을 쓸 때 그 동작을 이해하고 신뢰할 수 있게 해주는 기계 학습 기술

XAI 분류하는 방법

- intrincsic: 모델의 복잡도를 훈련하기 이전부터 설명하기 용이하도록 제안한 뒤 학습을 시켜서 그 후 학습된 모델을 가지고 설명하는 방법
- post-hoc: 임의 모델의 훈련이 끝난 뒤에 이 방법을 적용해서 그 모델의 행동을 설명하는 방법

simple gradient method

입력에 대한 모델의 gradient로 설명을 제공

gradient라는 것이 각 픽셀의 값이 조금 바뀌었을 때 이 함수의 출력 값이 얼마나 빨리 변하는지를 구하는 값

단점: 구한 설명들이 매우 noisy할 수 있다!

smoothgrad

a simple method to address the noisy gradients

CAP ( CLASS ACTIVATION MAP)

saliency map 기반의 설명 가능 방법

• global average pooling이라는 특정한 레이어를 만들고 그것을 활용하여 설명을 제공하는 방법

GAP레이어는 각 activation map의 모든 activation들의 평균을 내는 연산을 뜻한다.

어떤 activation map에 activation이 크게 된다는 것은 map이 주어진 입력과 관련이 많다는 뜻이고 또한 그것을 결합하는 w가 크다는 것도 최종 분류에 큰 영향을 주는 activation이라는 뜻이므로 그것을 결합하면 입력에 대한 예측을 잘 설명하는 방식이 되는 것.

• GAP-FC model 클래스 c에 대한 아웃풋 y를 구하는 방식

CAM의 응용분야

• OBJECT DETECTION
• Semantic segmentation

장단점

strngth

• it clearly shows what objects the model is looking at

weakness

• model-specitic : it can be applied only to models with limited architerture
• it can only be obtained at the last convolutional layer and this makes the interpretation resolution coarse

Grad-CAM

CAM의 단점을 극복하기 위한

CAM을 gradient 정보를 활용해서 확장한 설명 방법

global average pooling 없는 모델에도 activation을 결합하는 방식을 보완

어떤 w가 특정 모델 구조를 가지고 학습된 w를 사용하는 것이 아니라 어느 activation map에서도 그 activation map의 gradient를 구한 다음에 그것의 global average pooling값으로 w를 적용한다는 뜻

학습된 모델이 제대로 학습하고 있는지 또는 이 모델의 예측에 편향성이 존재하지 않는지도 알아낼 수도 있다.

장단점

strngth

• model agnostic : can be applied to various output models

  weakness

• average gradient sometimes is not accurate

gradient 값이 크다는 것은 해당 activation에 대한 출력 값의 민감도가 크다는 말이지만 그것이 반드시 그 activation이 최종 결과를 게산하는 데 있어서 중요도를 정확히 반영하지는 않는 뜻

pertubation-based

입력 데이터를 조금씩 바꾸면서 그에 대한 출력을 보고, 그변화에 기반해서 설명

LIME

어떤 분류기가 딥러닝 모델처럼 매우 복잡한 비선형적 특징을 가지고 있더라도 주언진 데이터 포인트들에 대해서는 아주 LOCAL하게는 다 선형적인 모델로 근사화가 가능하다는 관찰에서 출발하고 있다.

주어진 데이터를 조금씩 교란해 가면서 그 교란된 입력 데이터를 모델에 여러 번 통과시킴으로써 나오는 출력을 보고 이렇게 나온 입출력 pair들을 간단한 성형 모델로 근사함으로써 설명을 얻어내는 방법

Black-box

딥러닝 모델뿐 아니라 주어진 입력과 그에 대한 출력만 얻을 수 있다면 어떤 모델에 대해서도 다 적용할 수 있는 설명 방법

단점

• computationally expensive
• hard to apply to certain kind of models
• when the underlying model is still locally non-linear 모델의 구조를 알지 못하는 black-box방법이 어쩔 수 없이 가지게 되는 한계

RISE

lime과 비슷하게 여러번 입력을 perturb해서 설명을 구하는 방법

여러 개의 랜덤 마스킹이 되어 있는 입력에 대한 출력 스코어를 구하고 그 스코어 그러니깐 확률들을 이용해서 이 마스크들을 가중치를 둬서 평균을 냈을 때 나오는 것이 설명 map인 것

XAI

주어진 모델이 어떤 training set으로부터 학습한 것이므로 그 데이터셋에 있는 training image들의 함수라고 볼 수 있고 각 테스트 이미지를 분류하는데 가장 큰 영향을 미친 training image가 해당 분류에 대한 설명이라고 제공을 하는 것

• influence function

평가 방법

1. XAI 방법들이 만들어낸 설명을 보고 비교 평가

ex) AMT test

2. human annotation

some metrices employ human annotations as a ground truth and compare them wuth interpretation

• pointing game

    - bounding box를 활용해서 평가하는 방법
    - 각 이미지마다 가장 정확도가 높은 픽셀을 활용

• weakly supervised semantic segmentation

    - 어떤 이미지에 대해서 classification label만 주어져 있을 때 그것을 활용하여 픽셀별로 객체의 label을 예측하는 semantic segmentation을 수행하는 방법

weakly supervised라고 하는 이유?
: 픽셀별로 정답 label이 다 주어져 있지 않기 때문이다.

loU ( intersection over union)

정답 map과 이렇게 만들어낸 segmentation map이 얼마나 겹치는지를 평가하는 metric

3. pixel perturbation

• AOPC (area over the MORF pertubation Curve )
  • 주어진 이미지에 대해서 각각의 XAI기법이 설명을 제공하면 그 제공한 설명의 중요도 순서대로 각 픽셀들을 정렬할 수 있을 것이고 그 순서대로 픽셀을 교란하였을 때 과연 원래 예측한 분류 스코어 값이 얼마나 빨리 바뀌는지를 측정하는 것

insertion and deletion

ROAR (remove and retrain)

ROAR removes some portion of pixels in train data in the order of high interpretation values of the original model, and retrains a new model

장단점

장점 - 조금 더 객관적이고 정확한 평가를 할 수 있다 단점 - 픽셀을 지우고 나서 매번 재학습해야한다

XAI 신뢰성 확인하는 방법

sanity checks

interpretation = edge detector?

데이터를 몇 개의 클러스터로 나누어서 비교적 비슷한 특징을 가지는 각각의 클러스터로 모으는 것을 목표

PCA

디멘션을 줄이기 위한 기법

• EIGENVALUE DECOMPOSITION과 동일한 방식

전통적 머신러닝

1. low dimensional data
2. simple concepts
3. reliable- cluster validation is a must

cluster validation

숫자적으로 의미가 있는지 꼭 확인 필요

전통적 머신러닝에서의 unsupervised learning 상당히 좋은 문제나 연구가 많이 진행이 되긴 했지만, 실제 엡에 사용하기에 걱정이 되는 상황

deep learning

딥러닝의 기원 perceptron 같이 단순한 알고리즘을 쓸 때는 데이터 자체의 정보라는 것은 perceptron 같은 단순한 알고리즘으로 좋은 성능을 바로 내기가 어렵기 때문에 raw 데이터(input 데이터) 에서 인간이 가공을 해서 hand cordweight를 통과시키든지 프로그램을 만들어서 그걸 통과시키든지 인간이 수작업을 통해서 중요한 정보들을 잘 정리해주고 이를 충분히 간단한 정보를 중간 layer에 넣어주면, 맨 위에 부분에 있는 perceptron 알고리즘이 좋은 일을 할 수 있다.

feature engineering

필드에서 푸는 문제들에 중요

인간이 하는 것이 아닌 알고리즘이 스스로 중요한 정보를 스스로 잘 정리를 해서 y라는 정보를 다시 뽑아내는데 큰 어려움 없이, 마지막에는 linear layer만 집어넣어도 linear한 방식으로 뽑아내는 것이 딥러닝

feature engineering vs representation learning

feature engineering

• by human
• domain knowledge & creativity
• brainstorming

representation learning

• by machine
• deep learning knowledge & coding skill
• trial and error

high dimensional data

• difficult concepts
  • not well understood, but surpringly good performance
• deep learning
  • unsupervised represntation learning

REPRESENTATION

어떤 X라는 개념이 있을 때, 수학적인 기호로 표현하는 RULE들

순환신경망 - 활설화 신호가 입력에서 출력으로 한 방향으로 흐르는 피드포워드 신경망 - 순환 신경망은 뒤쪽으로 연결하는 순환 연결이 있음 - 순서가 있는 데이터를 입력으로 받고 - 변화하는 입력에 대한 출력을 얻음

메모리셀

순환 뉴런의 출력은 이전 시간의 모든 입력에 대한 함수이므로 이를 메모리 형태라고 말할 수 있음 타임스텝에 걸쳐서 어떤 상태를 보존하는 신경망의 구성 요소를 메모리셀

sequence- to - vector 형태

출력을 시퀀스가 아니라 벡터로 출력

인코더-디코더

RNN의 한 셀의 모양

simpe RNN의 단점

1. 입력 데이터가 길어지면 학습 능력이 떨어진다.( LONG-TERM DEPENDENCY 문제)
2. 현재의 답을 얻기 위해 과거의 정보에 의존해야 하는 RNN이지만, 과거 시점이 현재와 너무 멀어지면 문제를 풀기 어렵다.

LSTM

cell state

LSTM의 핵심 아이디어이다!

cell state를 제어하는 gate

forget gate

input gate

update cell state

output gate

이미 사용하고 있거나 개발한 알고리즘의 간단한 확장

• Supervised learning task에서 성능을 올릴 수 있는 방법

Ensemble = 함께, 동시에, 한꺼번에 협력하여라는 의미

머신러닝에서 알고리즘의 종류에 상관 없이 서로 다르거나, 같은 매커니즘으로 동작하는 다양한 머신러닝 모델을 묶어 함께 사용하는 방식

장점:

1. 예측 성능을 안정적으로 향상

다양한 여러 개의 model의 결정으로 최종 예측 결과를 제공을 하기 때문에 noise 등으로부터 보다 안정적

2. 쉽게 구현이 가능

여러개의 model을 학습하고 거의 직접적으로 연합하여 적용을 하기 때문에 간편하게 사용을 할 수가 있다.

3. 모델 파라미터의 튜닝이 많이 필요없다

bagging & boosting

bagging

• 학습 과정에서 training sample을 랜덤하게 나누어 선택해 학습

보다 lowervariance의 안정적인 성능을 제공하는데 유용한 방법

Bootstrapping

다수의 sample data set을 생성해서 학습하는 방식

• 같은 model을 사용한다면 model parameter가 서로 달라져야 할 것이기 때문에 sample을 random하게 선택해야할 것. but!! 서로 다른 model이라면 어차피 서로 다른 model형태로 다르게 동작하기 때문에 같은 sample을 이용해도 될 것

Boosting

사용된 결과가 연속적으로 다음 클래스에 사용된다.

weak classifie : Bias가 높은 classifier - strong classifier에 비해서 성능이 낮아서 혼자서는 무엇을 하기 어려운 모델

Random Forest

bagging과 boosting을 활용하는 대표적인 알고리즘

• improving decision tree
  • by bagging -> random forest
  • by boosting -> gradient boosting machine as generalized adaboost

model 성능을 평가 evaluation하는 방식

accuracy 측정

model의 정확도

confusion matrix

각 경우에 대해 오차가 얼마 있었는지 표현하는 방법

ROC curve

서로 다른 classifier의 성능을 측정하는데 사용하는 커브 왼쪽으로 휘어질 수록 성능이 좋다.

recall

본래 내가 가진 실제 Positive 중에서 얼마나 내 알고리즘이 진짜를 잘 찾았는지의 비율을 의미

F1 스코어

Precision과 Recall의 조화평균이 F1 스코어

Precision-Recall Curve

x축은 Recall이 되고, y축은 Precision이 된다. 그리고 그 아래의 면적이 ACU-PR이 된다

• 자기 자신을 출력으로 나오게 한다.
  • 자기 자신이 비교 대상

train_x, train_x를 fit한 걸로 보아 train_x가 입출력하게 학습시키고 있다.

그럼 결과 역시 자기 자신이 나온다는 것을 의미한다.

CNN을 활용해보기

DANSE 64 부분이 특성, code라고 할 수 있다.

t-SNE

• 고차원의 벡터를 저차원으로 옮겨서 시각화에 도움을 주는 방법
• t Stochastic Nearest Neghbor
• k-Means가 각 클러스터를 계산하기 위한 단위로 중심과 각 데이터의 거리를 측정한다면
• t-SNE는 각 데이터의 유사도를 정의하고 원래 공간에서의 0사도와 저차원 공간에서의 유사도가 비슷해지도록 학습시킴
• 유사도가 수학적으로 확률로 표현

DATA로부터 내재된 패턴을 학습하는 과정

SUPERVISED LEARNING ( LABELDE DATA)

regression & classification의 차이점

출력이 연속 변수인지 이산변수인지에 따라서 구분

learning pipeline

sl 머신러닝은 model output과 정답과의 차이인 error를 통해서 그 error를 줄여가면서 학습이 진행

단계

feature selection, model selection, optimization 과정을 거치게 된다.

model selection

• 풀고자 하는 문제에 가장 적합한 model을 선택하는 과정

model generalization

머신러닝은 그 자체로 data의 결핍으로 인한 불확실성을 포함하고 있다.

• model이 학습 과정에서 우리가 관찰을 하지 못한 sample에 대해서도 바로 우수한 성능을 제공을 할 수가 있어야 한다.

error

에러는 각 샘플 별로 pointwise로 계산 label에서 y는 정답

대표적인 에러셋은 squared error - model 출력과 정답과의 차이를 제곱하여 계산

binary error - 내부의 logic을 판별하여 맞으면 0 틀리면 1인 함수

data sample에서 발생하는 모든 sample들의 pointwise error를 합쳐서 overall error를 계산 : loss function & cost function

E train

model을 주어진 data set에 맞추어 학습하는데 사용하는 error

• 주어진 sample에서 model parameter를 최적화하도록 사용

E test

전체 data set에서 일부 sample을 따로 빼서 test sample을 정의 이 sample에서 나타나는 error가 E test

성공적인 목표

1. E test == E train
   • failure: overfitting -> high variance
   • cure : regularizetion, more data
2. E train == 0
   • failure : underfitting -> high bias
   • cure : optimization, more complex model

model 정확도를 높이는 방법

1. bias를 낮춘다.
2. model 일반성
3. variance를 낮춘다.

• 서로 상반된 해결책이 필요 Trade off

시간 t에 관계없이 원래의 평균 수명과 동일. 즉, 지수분포를 따르는 제품은 작동하는 동안에는 늘 새것과 같음.

• 이러한 성질을 망각성이라고 함.

지수분포의 무기억성

이산형에서 기하분포가 무기억성을 갖는 것처럼 연속형 분포에서는 지수분포가 무기억성을 가짐

relation to the Poisson process

지수분포는 일반적으로 사건이 1건 발생하는데 걸리는 시간에 대한 분포로 사용

- 포아송분포 : 발생 빈도에 따라 단위시간동안 발생하는 시간의 수가 확률변수
- 지수분포 : 발생빈도에 따라 1개의 사건이 발생하는데 걸리는 시간이 확률 변수

theorem

지수분포의 장점 및 사용

Drenick의 정리 : 여러 개의 다른 형태의 부품으로 구성되어 만들어진 복잡한 기기나 시스템의 수명 분포는 비교적 넓은 조건하에서 근사적으로 지수분포를 따름. 수학적으로 다루기 쉬우며, 전기 및 전자부품 고장의 모형화에 많이 사용됨.

감마 분포

와이블 분포

확률변수 X가 다음의 확률밀도함수를 가질 때, 와이블분포를 따른다.

특징

• 신뢰성 데이터 분석에 가장 널리 사용되는 분포
• 형상모수에 의해 분포의 형태가 달라지고 다른 분포로 변환

최약연결의 법칙

• 독립적이고 동일한 분포를 따르는 여러 개의 비음의 확률변수들이 있을때, 이 중 최소한 확률변수의 분포는 와이블분포를 따르게 된다.

적용 사례

• 기계 부품, 주요 고장 메커니즘이 화확 반응일 경우

지수분포와 와이블분포의 차이점

• 지수분포는 어셈블리와 시스템의 수명분포를 나타내는데 주로 사용
• 와이블분포는 부품의 수명분포

정규분포

정규분포의 PDF는 중심이 υ이고, 좌우대칭인 종 모양의 형태를 가짐

n이 충분히 크다면 표본 평균 근사적 정규 분포

대수정규분포

Definition

• 다양한 형태의 분포를 표현할 수 있기 때문에 고장데이터 등을 모형화하는 경험적 모형으로 폭넓게 사용됨.
• 곱셈형 충격의 누적효과로 인해 고장이 발생하는 현상에 대해서 대수정규분포가 유도됨을 보일 수 있음.

필요한 모듈을 불러와보자!

import torch
import torch.nn as nn
import torch.nn.functional as F 
import torch.optim as optim
from torchvision import datasets, transforms
from matplotlib import pyplot as plt
%matplotlib inline

cuda가 가능하면 cuda 아니면 cpu 설정

is_cuda = torch.cuda.is_available()
device = torch.device('cuda' if is_cuda else 'cpu')

print('current cuda device is', device)

current cuda device is cuda 현재 cuda가 가능하다고 뜬다.

피라미터 설정

batch_size = 50
learning_rate = 0.0001
epoch_num = 15

mnist 데이터 불러오기

train_data = datasets.MNIST(root = './data',
                            train = True,
                            download= True,
                            transform = transforms.ToTensor())
test_data = datasets.MNIST(root = './data',
                           train = False,
                           transform = transforms.ToTensor())

print('number of traing data:',len(train_data))
print('number of test data:', len(test_data))

image, label = train_data[0]

plt.imshow(image.squeeze().numpy(), cmap ='gray')
plt.title('label: %s' % label)
plt.show()

미니 배치 구성

train_loader = torch.utils.data.DataLoader(dataset = train_data,
                                            batch_size = batch_size, shuffle = True)
test_loader = torch.utils.data.DataLoader(dataset = test_data,
                                          batch_size = batch_size, shuffle = True)

first_batch = train_loader.__iter__().__next__()

class CNN(nn.Module):
    def __init__(self):
        super(CNN, self).__init__()
        self.conv1 = nn.Conv2d(1,32,3,1,padding='same')
        self.conv2 = nn.Conv2d(32,64,3,1,padding='same')
        self.dropout = nn.Dropout2d(0.25)
        self.fc1 = nn.Linear(3136,1000) # 7*7*64=3436
        self.fc2 = nn.Linear(1000,10)

    def forward(self,x):
        x = self.conv1(x)
        x = F.relu(x)
        x = F.max_pool2d(x,2)
        x = self.conv2(x)
        x = F.relu(x)
        x = F.max_pool2d(x,2)
        x = self.dropout(x)
        x = torch.flatten(x,1)
        x = self.fc1(x)
        x = F.relu(x)
        x = self.fc2(x)
        output = F.log_softmax(x, dim=1)
        return output

model = CNN().to(device)
optimizer = optim.Adam(model.parameters(), lr = learning_rate)
criterison = nn.CrossEntropyLoss()

model.train()
i = 1
for epoch in range(epoch_num):
    for data, target in train_loader:
        data = data.to(device)
        target = target.to(device)
        optimizer.zero_grad()
        output = model(data)
        loss = criterison(output, target)
        loss.backward()
        optimizer.step()
        if i % 1000 == 0:
            print('train step: {}\t loss: {:.3f}'.format(i, loss.item()))

        i += 1

train step: 1000 loss: 0.048 train step: 2000 loss: 0.128 train step: 3000 loss: 0.013 train step: 4000 loss: 0.065 train step: 5000 loss: 0.049 train step: 6000 loss: 0.029 train step: 7000 loss: 0.156 train step: 8000 loss: 0.031 train step: 9000 loss: 0.010 train step: 10000 loss: 0.007 train step: 11000 loss: 0.018 train step: 12000 loss: 0.010 train step: 13000 loss: 0.001 train step: 14000 loss: 0.122 train step: 15000 loss: 0.003 train step: 16000 loss: 0.000 train step: 17000 loss: 0.003 train step: 18000 loss: 0.000

train step별 loss의 값을 볼 수 있다.

model.eval()
correct = 0
for data, target in test_loader:
    data = data.to(device)
    target = target.to(device)
    output = model(data)
    prediction = output.data.max(1)[1]
    correct += prediction.eq(target.data).sum()

print('test set : accuracy:{:.2f}%'.format(100. * correct / len(test_loader.dataset)))

test set : accuracy:99.24%

accuracy가 99%까지 나온다,,!!

이렇게 해서 jupyter notebook에서 pytorch MNIST 데이터를 가지고 데이터 분석을 해보았다.!

커뮤니티를 보니깐,,강의 내용을 캡처하면 안된다고 되어 있다..으아 그래서 앞으로는 부수적인 사진 자료를 참고할 수 없을 것 같다.!아쉽구만

신뢰성의 정의

주어진 작동 환경에서 주어진 시간 동안 시스템이 고유의 기능을 수행할 확률 [출처: 산업자원부기술표준원]

품질의 분포 : 이형분포, 정규 분포 신뢰성의 분포 : 지수분포, 와이블 분포, 대수정규 분포

신뢰성 분석의 필요성

고장의 원인

취약한 설계

제품이 초기부터 취약하게 설계되었거나 설계 오류 내지 부적합한 설계로 인한 고장의 원인

과부하

제품이 사용되는 과정에서 설계된 강도로는 견딜 수 없을 정도의 부하가 가해지도록 하는 고장의 원인

강도와 부하의 산포

강도가 부하보다 더 높게 설계되었다고 하더라도 생산 혹은 사용 과정에서 강도 및 부하에 산포가 발생하여 부하가 강도보다 크게 되는 고장 원인

마모

초기에 충분한 강도로 설계된 제품이 사용에 따라 마모되어 고장을 유발하게 되는 원인

시간 매커니즘

배터리의 방전, 장시간 고온 노출 및 인장 부하에 의한 변형 등 시간의 경과에 따라 발생하는 고장 원인

잠재된 오작동

모두 정상의 부품으로 제대로 조립된 제품이 특정 순서나 패턴으로 동작시킬 경우에만 발생하는 고장 원인

오류

설계 오류, 소프트웨어 코딩 오류 등 각종 오류에 기안된 고장 원인

신뢰성 척도

1. 신뢰도
2. 순간 고장율
3. 평균 고장율
4. 평균 고장시간
5. 평균 고장간격
6. 보전도
   • 고장난 시스템이 주어진 조건 하에서 규정된 시간 내에 수리 완료할 확률
7. 가용도

신뢰성 데이터

수명데이터

• 의도된 기능을 제대로 수행하고 있거나 고장인지의 여부로 판정
• 가속수명시험

성능데이터

• 시간 경과에 따른 제품의 성능을 측정
• 가속열화 시험

품질 4.0과 스마트 품질 경영

전사적 품질 관리

소비자들의 요구사항 증가 -> 많은 기업들은 여전히 전통적인 방식의 품질 관리 및 경영기법에 머물러 있다.

• 제품 복잡도 및 다양성 증가, 제품주기 단축, 세계화 및 규제 변화 등은 효과적인 품질경영 수행을 어렵게 만드는 요인들

품질 4.0

ICT 융합을 통해 종전의 사후검사 및 보증에서 벗어나 사전에 수집, 분석된 빅데이터를 활용하여 선제적 불량예지 및 보전 중심으로 진화된 품질 경영시스템

• 사물 인터넷, 빅데이터 분석 기술 등이 결합된 신개념

스마트 공장

환경을 고려하고 안전성을 확보하면서 빠르고 역동적인 시장 변화에 대하여 능동적으로 대응할 수 있는 지능형 디지털 시스템

• 디지털 변환은 통신기술을 비롯한 디지털 기술을 활용하여 사회와 개인, 그리고 기업을 변화시키는 총제적 활동

• 사물인터넷을 중심으로 더욱 발전

• 실시간 데이터를 이용하여 혁신적으로 공정이나 비즈니스 최적화를 도출해 나가는 경영활동

품질관리 개선 영역

예방적 품질 관리

• 제품 개발부터 시장 출시에 이르는 전 과정 상에서 제품의 품질을 보장하기 위해 설계된 프로세스
• 최고의 품질을 이루기 위해서는 가치사슬의 첫단계인 개념정의 및 제품설계부터 품질관리가 시작되어야 함

반응적 품질 관리

• 제품 판매 이후의 품질관리
• 고장 및 수리 처리 시간 : KPI 신속하게 처리해야 된다.

빅데이터

크기

• 기존 시스템에서는 이미 개량보전 및 에방보전 이력, 품질관련 이벤트 등 대량의 거래 데이터를 보유
• 향후 IOT를 기반으로 설비, 디바이스 등으로부터 대량의 데이터가 시스템에 유입 될 것

다양성

• 기존의 정형 데이터뿐만 아니라 센서 및 텍스트 데이터 등 비정형 데이터 등 다양한 형태의 데이터가 존재

속도

정확성

ANALYTICS

설명적 애널리틱스

데이터로부터 과거에 무엇이 발생했는지를 분석하기 위한 기법

• 상관관계를 모니터링하고 분석

진단적 애널리틱스

과거의 축적된 데이터를 바탕으로 인과관계를 찾아내어 왜 특정 품질관리 이벤트가 발생했는지를 밝히기 위한 분석기법

예측적 애널리틱스

통계학적 모델들을 활용하여 미래에 어떠한 사건이 어느 정도의 확률로 발색할 지를 예측하는 분석긱법

• 머신러닝이 주로 쓰인다.

  처방적 혹은 규범적 애널리틱스

  예측되는 이벤트를 위해 무엇을 하면 좋을지를 처방하는 것

스마트 품질경영 혁신방안

1. 실시간 커뮤니티 피드백을 제공하는 방안

2. 원격진단 및 유지 보수

• 원격 진단 기술은 센서들을 활용하여 근본 원인분석을 수행하고 사물인터넷을 기반으로 여러 설비의 센서 피드백을 결합하여 새로운 형태의 설비데이터를 확보
• 원격 진단을 통한 데이터를 기반으로 고객이 문제가 있음을 인식하기 이전에 품질문제를 해결하는 데 활용할 수 있다면 서비스 품질을 크게 향상

3. 고도화된 공급망 품질관리

• 공급업체 성과지표와 공장 및 공급양 수준의 사고 데이터 등 주요 데이터들을 적극적으로 취득하는 것이 중요
• 지능형 알고리즘이나 애널리틱스는 사례기반 추론 뿐만 아니라 경험적 방법을 활용하여 지속적으로 데이터를 분석

SPC의 정의

SPC의 장점과 단점

SPC의 적: 품질변동

개선하는 방법

해결해야 할 문제의 개선방향 파악

변동원인의 개선과 관리도

품질개선도구(QC) 7가지 도구

품질은 4M, 재료, 장비, 작업방법, 작업자를 대상으로 지속적인 개선이 요구

• 적은 데이터로부터 가능한 한 신뢰성이 높은 객관적인 정보를 얻는데 가장 유효한 수단

• 품질 관리를 하는데 있어서 가장 필수적인 통계적 방법

  • 파레토 차트
  • 특성요인도
  • 체크시트
  • 히스토그램
  • 산점도
  • 그래프
  • 관리도

QC 7 TOOL의 용도

QC 7 TOOL의 특징

1. 쉽게 작성
2. 쉬운 이해
3. 누구나 사용가능
4. 넓은 적용 범위
5. 높은 유용성

특성 요인도

크게 4M으로 나눈다

히스토그램

전체 데이터의 분포상태 파악 1번 그림이 정규분포를 따르고 있고 공정의 중심이 잘 맞추어져 있다고 볼 수 있다.

산점도

결과와 원인사이의 관계가 어느 정도인지 대략적으로 파악하는데 이용

관리도

관리도의 분류

관리 대상의 데이터 특성에 따라서 계량형과 계수형 구분

• 계량형 관리도
  • 연속형 측정데이터 기반
• 계수형 관리도
  • 이산형 품질특성치를 관리하기 위한 관리도

작성방법

품질

품질의 개념

• 전통적 품질관리에서의 품질 : "규격에 부합하는 것"

  품질을 보는 5가지 관점

1. 선험적 관점

   • 품질을 정의할 수는 없더라도 무엇인지 고객이 인지

2. 제품 관점

   • 바람직한 성분이나 속성의 함량 차이가 곧 품질의 차이

3. 사용자 관점

   • 용도 적합성

4. 제조 관점

   • 요구사항에 부합되는 정도

5. 가치 관점

   • 품질은 실제 용도와 판매가격의 최적 상태

품질의 구성요소

1. 제품 특징
   • 시장점유율의 확대나 보다 높은 가격을 통하여 주로 '판매수익의 증대'에 기여하는 요소
2. 무결함
   • 재작업, 폐기처분 고객불만 등의 감소를 통한 '원가절감'에 기여하는 요소

품질의 유형

1. 요구 품질
   • 제품, 서비스를 사용하는 사람의 입장에서 요구하는 품질
   • 정량적인 수치로 측정하거나 규정할 수 없는 추상적 개념의 품질
2. 설계품질
   • 기업의 품질방침 및 장비, 시설, 기능, 인력 등의 제조역량을 고려하여 추상적 요구품질을 구체적으로 설계도면 등에 명문화한 품질

     주요 고려사항

   1. 고객의 요구품질을 구체화하는 기술수단.
   2. 비용 - 시장에 판매할 가격과 제품생산에 필요한 비용을 고려하여 회사의 품질방침에 맞는 설계방침을 결정해야함.

품질의 8가지 차원

1. 성능 - 제품의 기본적 운용특성
2. 특징 - 성능의 부차적,보완적 특성
3. 신뢰성 - 사용환경에 규정된 기간동안 고장없이 작동될 성능
4. 적합성 - 설정된 표준이나 규격에 부합되는 정도
5. 내구성 - 제품의 사용수명
6. 서비스성 - 수리 용이성과 신속성
7. 심미성 - 제품의 외관, 느낌, 소리 등과 같은 선호도 특성
8. 인지품질 - 관고,이미지 등에 의해 형성된 지각품질

품질로 인한 상승효과

품질 비용의 영향

품질비용의 종류

예방비용

• 처음부터 불량이 발생하지 않도록 하는 데 소요되는 비용
• 품질계획 비용, 검사 및 시험계획 비용, 공정관리 비용, 설계, 검토 비용 등

평가비용

• 소정의 품질 수준을 유지하는 데 드는 비용
• 공정검사 비용, 수입검사 비용, 완제품 검사비용, 검사 및 시험장비 유지 및 보수 등

품질비용의 새로운 개념

def sigmoid(x):
    return 1.0 / (1.0 + np.exp(-x))

W = 2*np.random.random((1,3)) -1
W

array([[-0.35626925, -0.54131108, 0.80274536]]) 확인할 수 있다.가중치를 랜덤하게 선택했기에 원래는 학습이 완료된 가중치를 사용해야 한다.

추론 결과

n=4
for k in range(n):
    x = X[k, :].T
    v = np.matmul(w,x)
    y = sigmoid(v)

    print(v)

값을 확인할 수 있었다. 하지만 문제!!

랜덤하게 잡았기 때문에 추론 결과는 아무런 의미가 없거나 틀렸다

이제 가중치가 정답을 맞추도록 학습을 시켜야 한다.

D = np.array([
    [0],[0],[1],[1]
])

그래서 우선 정답을 먼저 입력해주자

def calc_output(W,x):
    v = np.matmul(w,x)
    y = sigmoid(v)

    return y

오차율 계산

def calc_error(d,y):
    e = d-y
    delta = y*(1-y) * e

    return delta

def delta_GD(W,X,D,alpha):
    for k in range(4):
        x = X[k,:].T
        d=D[k]

        y = calc_output(W,x)
        delta = calc_error(d,y)

        dW = alpha*delta*x
        W = W+dW
    return W

그림과 같이 학습을 시키도록 할 것이다.

W =2*np.random.random((1,3))-1

alpha = 0.9
for epoch in range(10000):
    W = delta_GD(W,X,D,alpha)
    print(W)

이렇게 하면 결과가 너무 많이 나와서,,몇개만 적어보자면

[[ 21.87266777 -26.76735849 -60.37668481]] [[ 21.94403079 -26.85096037 -60.56602104]] [[ 22.01539381 -26.93456225 -60.75535728]] [[ 22.08675684 -27.01816413 -60.94469351]] [[ 22.15811986 -27.10176601 -61.13402975]] [[ 22.22948288 -27.18536789 -61.32336599]] [[ 22.3008459 -27.26896977 -61.51270222]] [[ 22.37220893 -27.35257165 -61.70203846]] [[ 22.44357195 -27.43617353 -61.8913747 ]] [[ 22.51493497 -27.51977541 -62.08071093]]

등의 결과가 만개 나온다.

N=4
for k in range(N):
    x = X[k, :].T
    v = np.matmul(W,x)
    y = sigmoid(v)

    print(v)

w

결과 확인 [0.01020176] [0.00829464] [0.99324188] [0.99168508]

XOR을 활용해서 더 알아보기

X = np.array([
    [0,0,1],
    [0,1,1],
    [1,0,1],
    [1,1,1]
])

D= np.array([
    [0],[1],[1],[0]
])

W = 2*np.random.random((1,3)) -1

alpha = 0.9
for epoch in range(1000):
    W = delta_GD(W,X,D,alpha)

N = 4
for k in range(N):
    x = X[k,:].T
    v = np.matmul(W,x)
    y = sigmoid(v)

    print(y)

[9.87437471e-68] [1.17742856e-88] [2.1557588e-113] [2.57054453e-134]

def calc_output(W1,W2,x):
    v1 = np.matmul(W1,x)
    y1 = sigmoid(v1)
    v = np.matmul(W2,y1)
    y = sigmoid(v)

    return y,y1

출력층의 델타 계산

def calc_delta(d,y):
    e = d-y
    delta = y*(1 - y) * e

    return delta

은닉층의 델타 계산

def calc_delta1(W2,delta,y1):
    e1 = np.matmul(W2.T, delta)
    delta1 = y1 * (1-y1) * e1

    return delta1

역전파 코드

def backprop_XOR(W1, W2, X, D, alpha):
    for k in range(4):
        x = X[k, :].T
        d = D[k]

        y, y1 = calc_output(W1, W2, x)
        delta = calc_delta(d,y)
        delta1 = calc_delta1(W2,delta, y1)

        dW1 = (alpha * delta1).reshape(4, 1) * x.reshape(1, 3)
        W1 = W1 +dW1

        dW2 = alpha * delta * y1
        W2 = W2 +dW2

    return W1, W2,

X = np.array([
    [0,0,1],
    [0,1,1],
    [1,0,1],
    [1,1,1]
])

D= np.array([
    [0],[1],[1],[0]
])

W1 = 2 * np.random.random((4,3)) - 1
W2 = 2 * np.random.random((1,4)) - 1

alpha =0.9
for epoch in range(1000):
    W1, W2 = backprop_XOR(W1, W2 ,X, D, alpha)

이제 결과를 다시 확인해보자

N = 4
for k in range(N):
    x = X[k,:].T
    v1 = np.matmul(W1,x)
    y1 = sigmoid(v1)
    v = np.matmul(W2,y1)
    y = sigmoid(v)

    print(y)

이렇게 하면 결과가 0, 1, 1, 0 이 나오는 것을 확일할 수 있다.