V-Model 혹은 V-Cycle이라고 불린다. V 모델은 소프트웨어 개발 프로세스로 폭포수 모델의 확장된 형태 중 하나이다. 말 그대로 V자 형태로 개발이 진행되며 검증과 유효화 검사로 나뉘게 된다. 이 프로세스는 자동차 분야 뿐 아니라 전체적인 개발 진행 과정에서 통용되는 용어로 사전에 설명했던 ISO26262, ASPICE 같은 표준에 들어가는 방법론이다.

Verification(검증)

V자 제일 아래있는 Coding 기준으로 왼쪽 부분에 있는 단계들을 Verification. 즉, 검증 단계라고 한다. (여담으로 정보처리기사 공부할때 배웠던 내용들이 새록새록 기억난다. 그땐 이런게 뭔지 이해가 안가고 왜 배우는지 몰랐지만 현업에 오니 알게 되는구나)

요구사항 분석(Requirements Analysis)

• 요구사항 분석은 말 그대로 사용자의 필요를 분석해서 정리하는 과정
• 무엇을 원하는지 기능에 대한 의견을 듣고 문서화
• 기능적, 물리적, 인터페이서, 성능, 데이터, 보안 요구사항으로 나뉘어 기록
• 밑그림이 되는 초기 과정이기 때문에 사용자도 문서화한 요구사항들을 잘 확인하고 합의하는 과정이 필요함

시스템 설계(System Design)

• 고객의 요구사항을 다 확인하고 문서화된 자료를 통해 개발할 시스템에 대해 분석하고 이해함
• 구현이 불가능하거나 어려운 점이 있다면 사용자와 다시 협의를 통해 요구사항 문서를 수정
• 이 단계에선 자료구조, 메뉴 구조, 시스템 구성 등 개발에 필요한 소프트웨어 기술서를 작성함
• entity diagrams, data dictionary, 시스템 테스트를 위한 문서를 작성하고 전반적으로 공사를 위한 기둥을 세운다고 생각하면 된다

아키텍처 설계(Architecture Design)

• 구현할 모듈 항목과 간략한 기능들을 설명하는 설계를하고 그 내용을 문서화 한다
• 모듈 간의 인터페이스, 관계, 의존성을 기술하고 필요한 데이터베이스 테이블, 아키텍처 다이어그램, 적용기술 내역을 기술한다
• 통합 테스트에 대한 설계를 함

모듈 설계(Module Design)

• 아키텍처 설계는 고수준 설계라고하며, 모둘 설계는 저수준 설계라고 부르기도 함
• 아키텍처 설계에서 정의하고 내용을 설명했던 모듈 항목을 세분해 각각의 모듈에 대한 기술을 작성
• 프로그래머들이 코딩을 할 수 있도록 함수의 역할과 관계 이름을 만들어 준다고 생각하면 됨
• 이전 과정에서 처럼 상세하게 문서화하기 보다 의사 코드(pseudocode)를 활용해 기술한다
• API 명세를 통해 의존성 관련 이슈와 인터페이스 상세 사항을 기술하고 각 모듈의 에러 코드와 메시지를 기술
• 모듈의 입력과 출력, 필요한 경우 모듈의 데이터 베이스 테이블의 구조와 요소별 타입과 크기또한 기술함
• 단위 테스트를 위한 설계를 함

Coding

• 위에서 정의한 요구사항 문서와 시스템 문서, 모듈 문서를 가지고 개발을 진행

Validation(유효화 검사)

단위 테스트(Unit Testing)

• V 모델 방식에서 Coding 기준으로 오른쪽에 있는 과정에서 첫 번째이다. 테스트 과정의 시작이라고 보면 됨
• 앞의 Verification 과정들에서는 고객이 원하는 프로그램을 개발하기 위해 요구사항을 이해하고 시스템 구조를 짜고 내부의 자세한 기능들을 짜면서 큰 틀 -> 작은 틀로 진행됐지만 실질적인 Validation 과정에서는 구현한 함수들의 테스트, 통합 테스트, 시스템 테스트, 인수 테스트와 같은 작은 틀 -> 큰 틀로 진행되는 테스트 단계를 저친다
• 즉, 단위 테스트는 모듈 설계에서 구현한 모듈들에서 코드가 효율적으로 작성 되었는지 코드 표준을 준수하는지를 검증
• 모듈 설계 단계에서 준비한 테스트 케이스를 가지고 개발자가 직접 수행하며 화이트박스 테스트라고 불리기도 함

통합 테스트(Integration Testing)

• 각각의 모듈을 통합해 통합된 컴포넌트 간의 인터페이스와 상호 작용 상의 오류를 발견하는 테스트를 진행
• 블랙박스 테스트를 일반적으로 사용하며 대체로 코드를 직접 확인하지 않음
• 아키텍처 설계 단계와 연결되며 이 과정에서 준비했던 테스트 케이스를 사용해 테스트를 진행한다
• 마찬가지로 테스팅은 개발자가 보통 진행

시스템 테스트(System Testing)

• 구현된 시스템과 계획된 사양을 서로 비교하는 작업이 이루어짐
• 자동화 도구를 이용해 시스템 테스트를 자동화하기도 함
• 모듈을 통합한 후에 시스템 레벨의 에러들이 여기서 발견될 수 있음
• 개발자가 아닌 별도의 테스트 팀에 의해 수행됨
• 자동차 부분에선 차량 제어기를 소프트웨어 팀이 개발하고 성능 검증 팀에서 이 제어기가 어떻게 동작하는지 확인하는 과정과 유사하다고 생각하면 될듯

인수 테스트(Acceptance Testing)

• 시스템이나 시스템의 일부 또는 특정한 비기능적인 특성에 대해 확신을 얻는 작업
• 여러 검색을 통해 내가 이해한 바로는 결함을 찾기 위해 테스트하는 과정이 아닌 시스템을 배포하거나 실제로 사용할만한 준비가 되었는지에 대해 평가하는 과정이다
• 고객들의 요구사항과 만들어진 결과물이 일치하고 살제로 배포될 수 있는가를 확인한다
• 그림 상에서는 제일 마지막에 있지만 사용자 관점에서 테스팅을 할 수 있고 운영적으로도 테스팅을 진행할 수 있다

ASPICE & ISO26262

V-Model이 사용되는 파트

ASPICE, ISO26262 둘다 V 모델이 적용이 된다. ASPICE는 차량의 소프트웨어 개발 프로세스를 정의하고 있으며 ISO26262는 전기 전자적인 기능 안전 요건을 정의하고 있다. ASPICE는 아래 그림과 같이 ISO26262의 10파트 중에 6번째 SW Level에 존재한다고 보면 되며 둘다 결과론 적으로 개발 프로세르를 다루기 때문에 V 모델이 적용된다고 보면 된다.

ISO 26262

아니 ISO가 뭔데?

ISO는 International Organization for Standardization, 국제 표준화 기구의 약자이다. 여러 국가의 전문가가 참여해 국제적인 표준을 개발하고, 제품, 서비스, 시스템 및 절차의 품질과 안정성을 향상시켜 규제를 표준화 한다. 말그대로 제품 품질, 환경 관리, 안전, 제조 등 다양한 분야에서 표준을 개발하는 기구라고 생각하면 된다.

이런 기관들이 더 있어?

IEC (International Electrotechnical Commission): 전기 및 전자 기술 분야에서의 국제 표준화를 담당 ITU (International Telecommunication Union): 국제 통신에 대한 표준을 제공하는 기관 ASTM International (American Society for Testing and Materials): 미국에서 기반을 둔 ASTM은 건축, 재료, 환경, 의료 등의 분야에서 표준을 제시 IEEE (Institute of Electrical and Electronics Engineers): 전기 및 전자 공학 분야에서의 국제 표준화를 촉진하는 기술 단체로, 전기 및 전자 공학 분야의 다양한 표준을 개발 BSI (British Standards Institution): 영국에서의 표준 개발을 담당하는 기관으로, 다양한 산업 분야에서 표준을 제공 CEN (European Committee for Standardization) 및 CENELEC (European Committee for Electrotechnical Standardization): 유럽에서의 표준화를 담당하는 기관으로, 다양한 산업 분야에서 유럽 표준을 개발 ANSI (American National Standards Institute): 미국에서 표준 개발을 촉진하는 기관으로, 다양한 산업 분야에서 표준을 제공 이런 다양한 분야에서 국제 표준을 개발하고 제시하는 기관들이 많이 존재한다.

ISO 26262란

ISO 26262는 ISO 기관에서 제시한 여러 표준 모델 중 자동차 산업에서 사용되는 전기 및 전자 시스템의 기능적 안전성에 관한 국제 표준이다. 총 12개 부문으로 구성되어 있다.

Part1 : 용어(Vocabulary) Part2 : 기능 안전의 관리(Management of functional safety) Part3 : 개념 단계(Concept Phase) Part4 : 시스템 수준에서 제품 개발(Product development at the system level) Part5 : 하드웨어 수준 제품 개발(Product development at the Hardware level) Part6 : 소프트웨어 수준 제품 개발(Product development at the Software level) Part7 : 생산 및 운영(Production and operation) Part8 : 지원 프로세스(Supporting processes) Part9 : ASIL 중심 및 안전 중심 분석(ASIL-oriented and safety-oriented analyses) Part10 : ISO26262 가이드라인(Guideline on ISO26262) Part11 : 반도체 ISO 26262 적용에 대한 가이드라인

그림에서 보이는 것과 같이 Part4, 5, 6에서 제품 개발은 모드 V-model을 통해 각 단계와 해당 테스트 단계의 관계를 나타낸다. 제품 개발의 전 단계에서 V-model이 적용된다고 보면 된다. V-model에 대해서는 따로 포스트를 작성해보겠다.

ASPICE

ASPICE란

Automotive SPICE의 약자로 1990년대 후반 BMW, Bosch, Continental 독일 자동차 회사들이 소프트웨어 개발 프로세스를 평가하고 개선하기 위해 만든 공통 프레임워크이다. 쉽게 이야기해서 ISO26262 처럼 저명한 회사들이 모여 자동차 개발 과정을 정의하고 효율성을 갖추기 위해 표준을 제시했다고 보면 된다. ISO/IEC 15504 표준을 기반으로 한다.

장점

소프트웨어의 품질 개선 : ASPICE는 소프트웨어 개발 프로세스를 평가 개선하기 위한 표준 프레임워크를 제공하며 비효율성과 결함 오류를 줄이는데 도움을 준다

향상된 효율성 : 미리 정해져 있는 개발 프로세스를 따라가 간소화하고 개발 및 유지 보수 관리에 필요한 시간과 리소스를 효과적으로 줄일 수 있다. 이를 통해 비용을 절감하고 생산성을 높이는 효과를 가져온다

협업 효율 증대 : 공급 업체와 제조 업체간의 협력 과정에서 표준을 가지고 커뮤니케이션을 하기 때문에 서로간의 협업 효율을 증가시킬 수 있는 장점이 있다

고객 만족도 향상 : 우리가 시중에 음식을 먹을때 인증 마크가 있는지 확인하는 것 처럼 자동차도 ASPICE에서 개발한 과정을 지켰다는 것이 확인되면 고객 입장에서 믿고 탈 수 있겠다는 신뢰도가 올라가게 된다

ASPICE & V-Model

검증 및 검증 접근 방식으로 알려진 V-model은 ASPICE가 V-model을 기반으로 구축하는 각 개발 단계에 대한 테스트 단계이다. 요구 사항을 세분화하고 생산 단계마다 테스트를 통해 평가하는 V-model을 기반으로 초기 단계에서 문제를 제거할 수 있고 구체적인 개발 과정을 제시하기 때문에 제조 과정에서 택해지고 있다.

주요 특징

프로세스 모델 : ASPICE는 소프트웨어 개발 생명 주기의 모든 단계를 다루는 프로세스 모델을 제공한다. 즉, 소프트웨어 개발 과정에서 어떻게 개발을 할지 일련의 과정을 정의해놓은 것이다. 위에서 말한 V-model을 사용하며 요구사항 정의, 시스템 설계, 소프트웨어 설계, 테스트, 유지보수 등의 과정을 가진다.

프로세스 수준 : 이런 개발 과정인 프로세스는 6개의 레벨로 구분되어 있으며 레벨이 올라갈 수록 프로세스의 품질 관리와 능력이 향상된다.

프로세스 평가 및 개선 : ASPICE는 기업이 자체 프로세스를 평가하고 개선할 수 있도록 프로세스 자체에 대한 평가 모델을 제공한다. 레벨 0에서 5까지 정해져있다.

프로세스 영역 : 소프트웨어 개발 및 품질 관리의 여러 영역에 대한 프로세스를 정의하고 있다.

ISO26262 VS ASPICE

ASPICE와 ISO26262는 모두 자동차 산업에 적용되는 표준이지만 범위와 초점이 다르다. ASPICE는 자동차 산업에서 사용되는 소프트웨어 개발 프로세스를 평가하고 개선하기 위한 프레임워크를 제공하는 프로세스 평가 모델이다. 전체 소프트웨어의 개발 수명 주기를 다루고 조직의 프로세스 기능에 중점을 둔다.

ISO26262는 차량 내 전기 전자 시스템의 기능적 안전에 대한 지침을 제공하는 안전 규격이다. 언전 관리, 위험 분석 및 위험 평가, 안전 확인 및 검증에 대한 요구 사항을 지정한다. 이 표준은 차량의 전기 및 전자 시스템 사용과 관련된 안전 위험을 적절하게 관리하고 제어하는 데 중점을 둔다.

즉, ASPICE는 소프트웨어 개발 프로세스와 그 기능에 대한 부분을 중점으로 둔다면 ISO26262는 전기 및 전자 시스템의 안전과 관련된다. 자동차를 개발할 때 두 표준을 다 준수해야한다고 생각하면 된다.

문제들이 대체로 어렵진 않은 것 같은데 정확한 설명이 부족하고 2프로 아쉬운느낌..? 그래도 함정이 조금 있어서 잘 생각해봐야한다.

완전 탐색으로 풀려고 그냥 처음부터 반복문으로 단순히 하려다가 실패 단위가 굉장히 크기 떄문에 long long 자료형을 사용하고 분할정복으로 각 연산 단위를 줄여줘야한다. 전체적으로 계산량 자체는 많지 않기 때문에 재귀를 사용해도 적합한 문제였다.

#include<iostream>

#define mod 1000000007;

using namespace std
long long K, P, N;

long long calc(long long count){
  if(count == 1)
    return P;
  long long result = calc(count/2);
  result = result * result % mod;
  if(count%2==1)
    result = (result * P) % mod;
  return result;
}

int main(int argc, char** argv)
{
  cin >> K >> P >> N;
  cout << (calc(N*10) * K) % mod;
  return 0;
}

int, long long 같은 자료형의 범위를 확실하게 정리해서 c++ 코너에 정리해놔야겠다 문자열을 쓰려고도 했었다 헷갈린다 ㅎ

#include <iostream>
#include <cmath>
//header

using namespace std;

int main() {
    float a;
    float b;
    float c;

    a = ceil(5.1);
    b = floor(2.8);
    c = floor(3.2 + 0.5);

    cout << a << endl;
    cout << b << endl;
    cout << c << endl;
}

결과

6
2
3

반올림 전용 round 함수가 있지만 c++ 11 버전부터 지원하기 때문에 반올림하려는 수에 0.5를 더해 floor 내림 함수를 이용해서 반올림하는 습관을 키우자

n번째 소수점 다루기(반올림, 올림)

문제에서 간혹가다가 소수점 n번째에서 반올림하거나 올림, 내림하는 문제가 있다. ceil, floor, round 함수는 소수점 첫째자리에서 실행되어 정수를 반환하기 때문에 원하는 n번째 자리에서 반올림하고 싶으면 곱한뒤에 반올림을 실행해야한다.

#include <iostream>
#include <cmath>
//header

using namespace std;

int main() {
    float num = 5.12345;

    float rounded = floor(num * 100.0 + 0.5) / 100.0; // 반올림하여 소수점 두 자리까지

    cout << fixed << setprecision(2) << rounded << endl; // 고정된 소수점 두 자리 출력
}

fixed, setprecision

setprecision만 사용하면 예를 들어 a = 3.141592 라는 수가 있을때 cout << setprecision(3) << a;

3.14

3.14가 출력된다 소수점 포함 3자리까지만 출력이 된다 그런데 cout << fixed << setprecision(3) << a;

3.141

했을때는 정수 부분을 카운트하지 않고 소수 부분 3자리까지 출력이된다

예시 문제

소프티어 연습문제 성적 평균 Lv3

Dubins Path 알고리즘은 로봇이나 차량과 같은 이동체가 제한된 반경 내에서 움직일 때 최적의 경로를 계획하는 알고리즘 이동체의 회전 반경과 가능한 직진 거리의 제약 조건을 고려해 경로를 생성한다 로봇이 갈 수 있는 경로를 미리 계산(offline) 미리 계산된 경로를 이용하여 경로 planning(online)

Dubins Path 장점

• 최소한의 회전을 사용해 경로를 계획한다. 회전 능력을 최대한 활용해서 목표 지점에 빠르게 도착
• 간단한 수학 모델을 사용하기 때문에 구현이 어렵지 않다
• 회전 반경과 직진 거리 제약 조건을 고려해 실제 환경의 이동체의 제약을 잘 반영
• 미리 계산된 경로로 탐색을 하기 때문에 연산 속도가 매우 빠름

단점

• 높은 속도로 이동하거나 복잡한 환경에서 적합하지 않음
• 경로 길이가 너무 긴 경우 정확도가 떨어질 수 있음
• 모든 경우를 미리 계산해놓을 수 없기 때문에 완벽한 최단 루트를 구하기 어려움

Motion primitives

• Dubins Path 에선 Motion primitives를 사용
• 간단한 움직임 패턴이나 동작을 나타내며 정해진 패턴을 합쳐서 복잡한 루트를 생성한다
• 직진, 좌회전, 우회전과 같은 기본 움직임을 Motion primitives로 사용해서 주차하거나 자율주행에 사용하도록 경로를 생성하고 제어할 수 있다

Vehicle model

• State : x, y, θ
• Input : curvature u(steering)

x' = cosθ y' = sinθ θ' = u (') = d/dX

Six words

{LRL, RLR, LSL, LSR, RSL, RSR}

위처럼 6가지 루트가 존재하는데

1. 각 시작 점을 기준으로 원을 그림
2. 벡터에서 왼쪽에 원이 존재하면 L, 오른쪽이면 R
3. 왼쪽, 오른쪽으로 돌고 직진하면 S 오른쪽으로 가거나 왼쪽으로 가면 R, L
4. 이동한 방향에 맞게 LRL, RLR, LSL, LSR, RSL, RSR 중 정함
5. 각 θ값은 초록색처럼 정함

기본 구현

class DubinsPath(object):
    def __init__(self, t=0, p=1e10, q=0, type=None):
        self.t = t
        self.p = p
        self.q = q
        self.length_ = [t, p, q]
        self.type = type
        self.controls = None

    def length(self):
        return self.t + self.p + self.q

LSL

RSR

RSL

LSR

RLR

LRL

visual 정보를 사용하는 SLAM

장점

• 저렴한 센서를 사용
• 센서의 성능을 조절하기 쉬움(ex 렌즈교체 - 시야각, 초점 조절, 노출 시간)
• 이미지 기반 딥러닝 적용 가능 - Object detection / segmentation
• 이미지로 사람이 이해하기 쉬운 시각화 기능

단점

• 갑작스러운 빛 변화에 대응 불가능
• 시야가 가려지거나 어두운 곳에서 사용 불가능

Camera = Camera device + Lens

Camera configuration

• RGB camera
• Grayscale camera
• Multi-spectral camera
• Polarized camera
• Event camera

Lensconfiguration

• Perspective camera
• Wide FOV camera
• Telecentric camera
• Fisheye camera
• 360 degree camera

Type of camera configuration

• Monocular camera - 1 camera
• Stereo camera - 2 camera/Multi camera - N cameras
• RGB-D camera(Depth camera)

Monocular VSLAM

특징

• 1대의 카메라에서만 이미지를 받음
• (연구용 알고리즘이라는 인식이 있음)

장점

• Stereo / Multi camera VSLAM 보다 저렴함 (센서 가격, 전력 소비량, 이미지 데이터 송수신 대역폭)

단점

• Scale ambiguity - 3D 공간을 실제 스케일로 추정할 수가 없다(up-to-scale 로만 추정 가능)
• 이 문제를 풀기 위해선 metric scale을 가진 proprioceptive sensor가 필요
• 최근 딥러닝 기반 monocular depth estimation으로 문제를 해결하려는 시도가 있음

Stereo / Multi camera VSLAM

특징

• Stereo - 2대의 카메라를 사용
• Multi-camera - N대의 카메라 사용
• 민첩한 카메라들간의 baseline 거리를 이용하여 삼각측량을 통해 거리/길이 추정 가능

장점

• 두 이미지 간의 disparity 정보를 이용해서 픽셀마다 depth를 추정할 수 있음
• Metric scale의 3D 공간을 복원 가능

단점

• 카메라 설정 및 캘리 브레이션이 어려움
  • 모든 카메라는 동시에 이미지를 취득해야함
  • Baseline이 충분히 길어야 먼 거리의 3D 공간을 정확하게 측정할 수 있음
  • 카메라 들 마다 intrunsic/Extrinsic 캘리브레이션을 정확하게 해야함. 이 과정이 거의 불가능에 가깝기도 하다
• 모든 픽셀마다 disparity 정보로 depth를 계산하는데에는 많은 계산량이 필요하며 이를 위해 GPU나 FPGA 계산이 요구되기도 함

RGB-D VSLAM

Structured light(구조광), 또는 Time-of-Flight(ToF) 센서를 이용한 카메라를 사용 센서가 Depth 값을 직접 얻어주기 때문에 계산이 필요하지 않음 Dense mapping을 많이 하는 편

장점

• Depth 데이터를 통해 3D 공간을 metric scale로 실시간 복원 가능

단점

• ~10m 정도에서만 depth 데이터가 정확함
• Field of view가 작용
• 실외에서 사용 불가(적외선 파장이 햇빛과 간섭)

LIDAR SLAM

LIDAR 정보를 이용한는 SLAM Exteroceptive senso = LIDAR

RADAR SLAM

RADAR 정보를 이용하는 SLAM Exteroceptive sensor = RADAR

• 자기 자신의 움직임을 감지하는 센서

IMU

Intertial measurement unit

• Linear acclerator(선형 가속도 측정)센서와 Angular gyroscope(각속도 측정) 센서가 혼합된 센서
• Spring-damper system의 원리를 이용
• Optical system - 차랑용IMU
• MEMS - 스마트폰 및 소형 디바이스 IMU

장점

• Computer grade 제품은 저렴한 편(자동차는 동일 성능에 저렴하지 않음)
• 높은 sensitivity
• 높은 FPS(100~4000HZ)

단점

• 엄청나게 빠른 drift 누적
• 보정을 위해 Camera/LIDAR/GNSS 와 함께 사용

Wheel encoder

바퀴의 회전량 (RPM)과 이동량(=바퀴의 회전량 * 바퀴의 둘레)을 측정하는 센서

장점

• 자동차에는 기본적으로 탑재
• 로봇, 드론 자율주행에도 제어를 위해 센서가 탑재되어 있음
• 자동차의 위치추정을 위한 Dead Reckoning 알고리즘에 많이 사용됨

단점

• Odometry를 할 시 drift에 약함
• 바퀴가 헛도는 경우 잘못된 센서의 값이 생길 수 있음
• 바퀴의 둘레가 주행 중 자주 바뀜(탑승자의 무게, 코너링, 바람빠짐, 마찰열로 인한 타이어 팽창 등)

Exteroceptive sensors

• 외부의 움직임을 감지하는 센서

GNSS

Global navigation satellite system 비콘 기반의 위치 추정 센서

다수의 비콘에 대한 통신시간 차이를 이용하여 비콘-로봇의 거리를 구하고, 삼각측량을 통해 Localization 수행 Ego-motion을 추정하기 때문에 proprioceptive sensor 같지만, 외부 비콘을 이용하기 때문에 exteroceptive sensor임

나라마다 시스템이 다르다

• GPS(USA), GLONASS(Russia), BeiDou(China), Gallileo(Europe), KPS(Korea - 2035 목표)

장점

• 싸고 사용하기 쉬움

단점

• 부정확함(10~20m 오차)
• RTK-GPS, DGPS를 사용할 경우 오차는 cm 단위로 내려옴(가격이 억대임)
• 고층빌딩 사이에서 multi-path 문제
• 실내/지하 사용 불가능
• KPS가 아직 없다

이미지 출처 : https://www.everythingrf.com/community/what-is-the-difference-between-gnss-and-gps_58

UWB Beacon

GPS와 상당히 유사함

• 사용 환경에 Beacon 설치 + Beacon과의 소통을 통해 위치 추정

장점

• cm 단위의 정밀도로 위치를 추정할 수 있음
• 타 무선 신호로부터의 간섭에 강함

단점

• 특정 재질의 벽에 신호가 막힐 수 있음
• 전력 소모가 높음
• 다수의 수신기를 설치해줘야함
• 장거리에서는 동작이 어려움

Motion capture(Mo-cap)

적외선 레이저와 반사 마커를 이용해 위치를 추정하는 시스템

장점

• mm단위의 고정밀 위치 추정이 가능
• 고성능 시스템의 경우 120+FPS로의 위치 추정이 가능

단점

• 다수의 고가 카메라를 설치해야함
• 특정 각도에서 반사 마커가 가려지는 경우 위치 추정이 어려울 수 있음

LIDAR(Light detection and ranging sensors)

적외선 레이저를 쏘고 반사 시간을 측정하여 거리를 추정하는 센서

• Time-of-flight(ToF), Phase shift, Frequency modulation 레이저 방식
• Mechanical scanner, Solid state scanner, Flash LIDAR 스캐닝 방식 주변 환경을 3D point cloud 형태로 바로 알 수 있음

장점

• Exteroceptive 센서 중 가장 정확한 편
• 자율 주행을 라이다는 100m 유효거리 가짐
• 빛의 파장이 일어나지 않기 때문에 낮/밤 사용 가능
• 동일한 device로 인한 간섭 제외

단점

• 비싸다
• 카메라에 비해 resolution이 낮음
• 눈/비/안개 등 날씨의 영향을 받음
• Multi-path 문제
• Solid-state LIDAR의 경우 여러 방향으로 탑재 필요
• 동일한 제품군의 라이다 레이저가 겹치면 문제 발생
• 가까운 거리의 물체의 밀도는 높게 멀리있는 물체의 밀도는 낮게 나와 알고리즘 설계 어려움
• 고여있는 물웅덩이나 반사판에 의해 잘못된 측정 가능

RADAR(Radio detection and ranging sensor)

반사되어 돌아오는 전파를 측정하여 radial 거리를 재는 센서 Doppler 효과를 이용해 이동중인 물체의 속도 추정 가능 전파의 종류를 바꿈으로써 near-range와 far-range 선택 가능

장점

• 날씨 영향 X
• 타 센서에서는 얻지 못하는 속도 값 추정 가능
• 에러들만 처리해주면 아주 좋은 센서

단점

• 작은 물체들은 detection 실패
• LIDAR 보다 낮은 resolution
• Multi-path 문제

Ultrasound

초음파를 이용 - RADAR와 동일

장점

• 저렴함
• Near-range에서 잘 적용됨

단점

• 물체의 형태를 잘 추정하지 못함
• 그렇기 때문에 Distance 센서로 활용
• 노이즈가 많다

Camera

광센서를 이용해 빛 신호를 받고, debayering 프로세스를 통해 RGB 색 재구성

장점

• 저렴함
• 좋은 성능 - Dense data, Texture, Color, High-FPS
• 렌즈 교환을 통해 시야각 연장 가능
• 사람이 보는 시야와 가장 유사함
• 시각화를 하기 가장 좋은 데이터이다

단점

• Depth 정보 소실
• 조명 영향

Camera + Fiducial Marker(인위적으로 만든 패턴 마커)

Fiducial marker를 바라보고 있을 때, 카메라의 위치를 추정하는 방법

• Fiducial marker의 크기를 알고 있어야 함

장점

• 저렴함
• 증강현실(로보틱스 용도)로 쓰기 적합

단점

• 다수의 Fiducial marker를 설치/관리 해야함
• 조명의 영향을 받음
• 외부적인 요인에 의해 Marker가 훼손 될 수 있음

이미지 출처 : https://www.tangramvision.com/blog/reverse-engineering-fiducial-markers-for-perception

적외선 Camera + Reflective marker

천장에 부착된 반서 마커를 바라보고 있을 때, 적외선 카메라의 위치를 추정하는 방법

• 적외선은 IR emitter을 통해 방출함
• 서빙로봇에서 많이 사용됨

장점

• 조명 변화에 민감
• 증강현실(로보틱스 용도)로 쓰기 적합함

단점

• 다수의 Fiducial marker를 설치/관리 해야함

이미지 출처 : https://schulich.ucalgary.ca/labs/position-location-and-navigation/files/position-location-and-navigation/lakhani2013_conference_a.pdf

Microphones

공기의 진동을 transducer 센서를 통해 전기 신호로 변환하는 센서 여러개의 마이크를 통해 소리의 근원에 대한 위치를 계산 가능

장점

• 유일하게 소리 정보를 사용하는 센서
• 저렴한 가격

단점

• Geometry가 부정확함(위치 추정이 쉽지 않음)
• 잡음이 심함
• 사용자가 없음

이미지 출처 : https://kr.mathworks.com/discovery/slam.html

Simulatneous Localization and Mapping

동시적 위치 추정 및 지도 작성

• 위치 정보와 지도 정보가 아예 없는 불완전한 환경에서 사용이 가능
• SLAM을 통해 최적의 위치 정보를 추론 가능
• 자율주행 차량에 사용되어 주변 환경 지도를 작성하는 동시에 차량의 위치를 지도 안에서 인식하는 기법

Localizaiton

• 정확한 지도 정보를 기반으로 위치 정보를 알아내는 기술
• GPS 처럼 네비게이션에서 내 위치에 대한 위도, 경도, 고도, 좌표를 가져 오는 것 처럼 내 위치를 추정하는 과정
• 내가 어디 있는지 추론하는 과정

Mapping

• 정확한 위치 정보를 기반으로 지도를 그리는 기술
• 정확한 지도가 있어야 내가 어디 있는지 잘 알 수가 있음

Monte Carlo Localization

• 지도가 사전 정보로 주어졌을때 particle filter를 이용해서 현재 위치를 추론하는 방법
• 모든 지도에 내 위치 정보가 흩뿌려지고 움직이며 주변 환경과 비교해서 위치할 수 없는 곳의 위치 정보들은 없어지고 위치할 가능성이 높은 정보만 남는 알고리즘

단점

• 지도가 정확하지 않으면 내 위치를 추론하는데 어려움이 있음
• 지도 내에 비슷한 공간이 존재하고 내 위치가 그쪽에 있다면 정확한 추론이 어려움
• 지도가 없다면 내 위치를 추론할 수 없음

Chiken and Egg problem

• 닭이 먼저인지 달걀이 먼저인지 문제처럼 지도가 먼저일지 위치 정보가 먼저일지 고민이 있음
• Localization과 Mapping은 각자 서로의 믿을 수 있는 정보가 있어야 정확히 추론할 수 있음
• 이를 해결하기 위해서 동시적 위치 추정 및 지도를 작성하는 SLAM이 나오게 됨

OpenCV가 동작하기 위해선 소스 형태 File

• 헤더 소스 File
• 사전에 학습된 사물인식 설정File

이진형태 file

• 라이브러리(실행 시)
• 라이브러리 (컴파일 및 링크시)
• 동영상 디코더 라이브러리

개발 환경에서 설정해주는 사항(공통)

• openCV용 include 파일들의 경로 : include/opencv/opencv2/opencv.hpp
• 소스 파일을 가져와 직접 컴파일, 링크해서 라이브러리를 이진파일로 만들기(Linux에서 적용)

윈도우에서는 Visual Studio와 openCV를 다운받아서 같이 사용해줘야함 그러나 나는 Linux 환경에서 ROS에 작동시킬 거라 visual studio는 받지 않고 진행하겠다

Mat

OpenCV에서 하나의 이미지를 기본으로 표현하는 자료구조 Mat은 header와 채널이 몇개인지 정보가 담겨있음

• 채널의 순서는 특이하게 RGB순이 아니라 RBG순이다

행렬 원소 자료형

Mat Class는 int, float, double, char, short(unsigned 포함)의 자료형을 지원한다. 이 정보를 Depth라고 일컫으며 다음과 같이 표현할 수 있다

• CV_8U: 8-bit unsigned integers (0 to 255)
• CV_8S: 8-bit signed integers (-128 to 127)
• CV_16U: 16-bit unsigned integers (0 to 65535)
• CV_16S: 16-bit signed integers (-32768 to 32767)
• CV_32S: 32-bit signed integers (-2147483648 to 2147483647)
• CV_32F: 32-bit floating-point numbers
• CV_64F: 64-bit floating-point numbers

ex1) CV_8UC3 : 3개의 채널을 가지고 8-bit의 픽셀을 각각 가지고 있다 ex2) CV_8UC1 : 싱글 채널을 가지고 8-bit의 픽셀을 가지고 있다

초기화

cv::Mat M;
//빈 행렬 객체 M 생성
cv::Mat M(rows, colums, pixel_type);
//열, 행, 픽셀 타입을 가지는 객체 M 초기화
cv::Mat M(rows, colums, pixel_type, initial_value);
cv::Mat M(Size(width, height), pixel_type, initial_value);

예제

cv::Mat M;
// 빈 행렬 생성
cv::Mat M(3, 3, CV_32F, cv::Scalar(0));
// 3x3 크기의 행렬을 생성, 타입은 32비트 실수형 (0으로 초기화)
float data[9] = {1, 2, 3, 4, 5, 6, 7, 8, 9};
// 실수형태의 배열 data
cv::Mat M(3, 3, CV_32F, data);
// M 값 데이터 직접 넣어서 행렬 생성해주기


Mat_<float> mat_(2,3);
mat_ << 1, 2, 3, 4, 5, 6;
Mat mat = mat_;

Mat Size

Mat 객체의 사이즈(bits) = colums * rows * channels * channel depth

ex) Mat M(10, 15, CV_8UC3)의 크기 = 10 rows * 20 cols * 3ch/pixel * 8 bits/ch = 4800bits

Mat.elemSize1()

• 한 픽셀의 채널 당 바이트수
• 위의 예제에서는 3개의 채널이고 1픽셀이 8bit를 가진다 8bit은 2byte니까 2를 반환한다

Mat.elemSize()

• 한 픽셀 당 바이트 수의 채널을 곱한 값
• 위의 예제는 한 픽셀이 8bit의 크기를 가지면서 3개의 채널로 구성되어 있으니 24를 4로 나눈 6을 반환한다
• elemSize1(), elemSize() 모두 데이터 타입은 값의 영향을 미치지 않고 한 픽셀이 몇바이트의 값을 가지고 채널이 몇개인지만 신경써주면 된다

이미지 처리 함수

imread()

• cv::imread(const String& filename, int flags = IMREAD_COLOR)
• 이미지 파일을 읽는 함수
• 첫 번째 인자는 이미지 파일의 경로, 두 번째 인자는 이미지를 어떻게 읽을지를 결정하는 플래그
• 이미지 파일의 경로가 " "형태라면 상대 경로로 지정이 되어있는데 경로는 환경마다 다르다. xcode에서는 직접 workspace를 정해주고 window의 visual studio 같은 경우는 project 폴더로 지정이 되어있다한다
• flags 변수는 0, 1, -1이 될 수 있다. 0은 흑백 이미지, 1은 컬러 이미지, -1은 원본 이미지이다

imwrite()

• cv::imwrite(const String& filename, InputArray img, const std::vector& params = std::vector())
• 이미지 파일을 쓰는 함수
• 첫 번째 인자는 저장할 파일의 경로이며, 두 번째 인자는 저장할 이미지이다

imshow()

• cv::imshow(const String& winname, InputArray mat)
• 이미지를 화면에 표시하는 함수. 첫 번째 인자는 창의 이름이며, 두 번째 인자는 표시할 이미지이다

waitKey()

• cv::waitKey(int delay = 0)
• 키보드 이벤트를 대기하는 함수
• 인자는 대기 시간을 밀리초 단위로 지정하며, 0은 무한히 대기하 겠다는 의미로 이 함수는 사용자가 키를 누를 때까지 프로그램을 일시 중지시킨다

namedWindow()

• cv::namedWindow(const String& winname, int flags = WINDOW_AUTOSIZE)
• 이미지를 표시하기 위한 창을 생성하는 함수

destroyAllWindows()

• 모든 OpenCV 창을 닫는 함수

#include <opencv2/opencv.hpp>

int main() {
    // 이미지를 컬러 이미지로 읽습니다. cv::IMREAD_COLOR 부분은 1이 들어가도 되지만 코드의 가독성을 위해 이렇게 사용
    cv::Mat img = cv::imread("image.jpg", cv::IMREAD_COLOR);

    if (img.empty()) {
        std::cout << "Could not open or find the image" << std::endl;
        return -1;
    }

    // 이미지를 Display window라는 창의 화면에 표시합니다.
    cv::namedWindow("Display window", cv::WINDOW_AUTOSIZE);
    cv::imshow("Display window", img);

    // 키 입력을 대기합니다.
    cv::waitKey(0);

    // 아무 키 입력이 들어오면 이미지를 output.jpg라는 이름으로 저장합니다.
    cv::imwrite("output.jpg", img);

    return 0;
}

도형 그리기 함수

cv::line()

• 이미지에 직선을 그림
• cv::line(cv::Mat& img, Point pt1, Point pt2, const Scalar& color, int thickness=1, int lineType=8, int shift=0)
• img: 이미지, pt1과 pt2: 직선의 시작점과 끝점, color: 선의 색상, thickness: 선의 두께

cv::rectangle()

• 이미지에 사각형을 그림
• cv::rectangle(cv::Mat& img, Point pt1, Point pt2, const Scalar& color, int thickness=1, int lineType=8, int shift=0)
• img: 이미지, pt1과 pt2: 사각형의 왼쪽 위와 오른쪽 아래, color: 선의 색상, thickness: 선의 두께

cv::circle()

• 이미지에 원을 그림
• cv::circle(cv::Mat& img, Point center, int radius, const Scalar& color, int thickness=1, int lineType=8, int shift=0)
• img: 이미지, center: 원의 중심, radius: 원의 반지름, color: 원의 색상, thickness: 원의 두께

cv::ellipse()

• 타원 그리는 함수
• cv::ellipse(cv::Mat& img, Point center, Size axes, double angle, double startAngle, double endAngle, const Scalar& color, int thickness=1, int lineType=8, int shift=0)
• img: 이미지, center: 타원의 중심, axes: 주축의 길이, angle: 타원의 기울기, startAngle와 endAngle: 타원 호의 시작 각도와 끝 각도, color: 타원의 색상, thickness: 타원의 두께

cv::polylines()

• 다각형 그려주는 함수

cv::putText()

• 이미지에 텍스트를 그려주는 함수

Mat.type()

• 행렬의 데이터 타입을 반환. 행렬의 깊이와 채널 수를 포함하는 정수로 위에서 봤던 CV_8UC3, CV_32FC1과 같은 형태로 반환된다

Mat.depth()

• 행렬의 깊이를 반환한다 https://docs.opencv.org/2.4/modules/core/doc/basic_structures.html#mat-type 깊이는 공식 문서에서 확인해보자 채널 수는 깊이에 무관하며 8U=0, 8S=1 16S=2, 16U=3, 32U=4, 32F=5로 구분

Mat::zeros()

• 새로운 행렬을 생성할 때 모든 원소 값을 0으로 초기화하는 경우에 사용

Mat::ones()

• 모든 원소가 1로 초기화된 행렬을 생성하는 경우에 사용

Mat::eye()

• 단위 행렬을 생성할때 사용

img.clone()

• 이미지를 복사

img.copyTo(Mat M)

• 이미지의 카피본을 M 객체가 가르키도록

자율주행 분야에서 필터(filter)는 주로 센서 데이터를 처리하고 차량 상태를 추정하는데 사용된다. 센서 데이터는 종종 잡음이나 오차가 있으며 필터는 이러한 데이터에서 원하는 정보를 추출하고 불확실성을 줄이는데 도움을 준다

재귀 필터(Recursive filter)

• 현재 상태를 추정하기 위해 이전 시점의 상태 추정값과 현재 시점의 측정값을 사용
• 계산의 효율성이 높고 온라인 구현이 가능
• 차량의 속도, 위치, 방향, 자세 등의 상태를 추정
• 추정한 추정치는 주변 환경 인식, 경로 계획, 제어 등의 모듈에 사용

평균 필터(Average filter)

평균필터의 배치식

평균필터의 재귀식과 유도 과정

• 입력 신호의 슬라이딩 윈도우 내에서 샘플들의 산술 평균을 구해 잡음을 제거하고 신호를 부드럽게 만듬
• 매우 간단하며 실행 속도가 빠르며 계산적으로 효율적이다
• 시계열 데이터의 단기적인 변동을 줄이고 잡음을 제거하는데 효과적이다
• 날카로운 변화를 가진 신호의 경우 평균값을 내는 특성을 가진 필터기 때문에 신호의 특징을 손상시킨다
• 선형 시스템에만 적용되며 비선형 시스템에는 적합하지 않다
• 대역폭이 좁은 노이즈를 제거하는 데는 덜 효과적이다

이동 평균 필터(Moving average filter)

이동 평균 필터의 배치식

이동 평균 필터의 재귀식과 유도 과정

• 평균 필터와 같은 원리로 잡음을 제거하고 신호를 부드럽게 만들지만 새로운 값이 들어오면 오래된 값을 제거한다
• 기존의 평균 필터와 엄청난 차이를 보이지는 않음

저주파 통과 필터(Low pass filter, LPF)

저주파 통과 필터의 배치식

저주파 통과 필터의 재귀식

• 동일한 가중치의 이동평균
• 최근 데이터의 가중치를 높게 설정한다
• 센서 데이터와 함께 들어오는 노이즈와 고주파 성분에서 노이즈를 제거해 원하는 정보만을 추출
• 필터링에 의해 중요한 정보를 손실할 수 있으며 이로 인해 신호 왜곡이 발생해 성능에 영향을 미칠 수 있다

칼만 필터(Kalman filter)

• 입력과 출력이 하나씩인 간단한 구조로 되어있다
• 선형 동적 시스템에 대해 최적의 상태를 추정하는 재귀 필터링 알고리즘이다
• 불확실한 관측 값을 기반으로 시스템의 상태를 추정하고 센서 데이터 융합, 노이즈 제거 및 상태 예측을 할 수 있다

좌표 상태 공간(Coordinate State Space)은 자율주행 시스템에 사용되는 공간 표현 방식이다 이 공간에서 다양한 요소들이 동작하며, 그 요소들의 상태와 위치를 파악하고 추적하는 데 사용된다

Coordinate system

좌표 시스템(Coordinate System)은 좌표 상태 공간에서 요소들의 위치를 정의하는 방식

월드 좌표 시스템(World Coordinate System)

월드 좌표(World Coordinate)는 글로벌 좌표보다 넓은 의미로 사용되며, 특정 프레임워크나 시뮬레이션에서 전체 공간을 기준으로 한 좌표계를 의미한다 일반적으로 3D 공간에서 사용되며, 로봇공학, 컴퓨터 그래픽스 및 가상 현실에서 널리 사용된다 월드 좌표계에서 객체의 위치와 방향은 월드 프레임(World Frame)에 상대적으로 정의된다

글로벌 좌표 시스템(Global Coordinate System)

• 지구 표면에 기반하여 전 세계적인 위치를 나타냄
• 위도와 경도로 구성되며, GPS 같은 글로벌 위치 지정 시스템에서 사용
• 자율주행 차량이 글로벌 위치를 파악하는 데 사용된다
• ex) 현재 차량의 글로벌 좌표는 약 북위(latitude) 37.5665도 동경(longtitude) 126.9780도로 되어있다

지역 좌표 시스템(Local Coordinate System)

• 자율주행 차량의 주변 환경에 초점을 맞춰 설계
• 일반적으로 차량의 위치를 원점으로 하는 평면 좌표계를 사용
• 차량 주변의 다른 차량, 보행자, 장애물 등의 상대적 위치를 표현
• ex) 자율주행 차량 기준으로 3m 앞, 2m 오른쪽에 위치한 보행자는(3,2)로 표시

차량 좌표 시스템(Vehicle Coordinate System)

• 자율주행 차량의 내부 구성 요소와 연관된 좌표 시스템이다
• 일반적으로 차량의 중심을 원점으로 하는 3D 좌표계를 사용한다
• 차량의 구성 요소 및 센서 위치, 방향 등을 정의함
• 플레밍의 오른손 법칙처럼 엄지는 z축, 검지는 x축, 중지는 y축의 양의 방향을 나타내줌
• ex) 차량 중심으로 부터 1m 앞, 0.5m 왼쪽, 0.2m 위에 위치한 카메라 센서는 차량좌표계로(1, 0.5, 0.2)로 표현

Modeling

모델링(Modeling)은 현실 세계의 현상, 개체, 시스템 등을 수학적, 물리적, 컴퓨터 기반의 모델로 표현하는 과정이다. 모델링을 통해 여러 개체와 문제를 단순화하고 분석 및 예측을 수행한다 다양한 모델링 기법들을 사용해 자율주행 시스템의 성능과 안전성을 높이고 기술 발전을 가속화 한다. 각 모델링 기법은 특정 문제에 대한 해결책을 제공하고 이들을 적절하게 조합해 자율주행 전체 시스템의 효율성과 정확도를 향상 시킨다

1. 모델링의 목적

• 이해: 복잡한 상황과 장애물들을 간소화해 이해할 수 있도록 도움을 줌
• 예측: 모델을 사용해 미래 상황에 대한 예측을 수행할 수 있다
• 설계: 새로운 시스템이나 프로세스를 설계하기 위해 모델을 사용할 수 있음
• 최적화: 모델을 기반으로 시스템과 프로세스의 성능을 최적화할 수 있다
• 시뮬레이션: 모델을 사용해 다양한 상황을 시뮬레이션해 시스템의 동작을 테스트할 수 있다

2. 모델링 기법

• 수학적 모델링(Mathematical Modeling): 복잡한 현상과 시스템을 수학적 방정식과 개념을 사용해 표현하는 기법이다. 이를 통해 정량적인 분석과 예측을 수행할 수 있다. 차량 동역학, 제어 이론 및 최적화와 같은 자율주행 시스템의 구성 요소를 모델링한다. 차량의 동작과 제어를 분석하고 최적의 경로를 계획해 차량의 성능을 개선시켜주는 역할을 한다

• 물리적 모델링(Physical Modeling): 물리적 구조와 동작 원리를 기반으로 한 모델을 생성하는 방법이다. 시스템의 물리적 성질을 이해하고 설계할 수 있다

• 컴퓨터 모델링(Computer Modeling): 컴퓨터 프로그램을 사용해 현상과 시스템을 모사하는 기법으로 시뮬레이션, 최적화, 인공지능의 분야에서 사용된다. 자율주행 차량은 시뮬레이션을 통해 다양한 주행 상황을 모델링하고 테스트한다. 이를 통해 차량의 성능과 안정성을 평가하고 개선할 수 있다. 시뮬레이션 환경에서 가상 센서, 도로 상황, 기상 조건 등을 조절해 차량의 응답을 관찰할 수 있다

• 통계 모델링(Statistical Modeling): 데이터를 기반으로 모델링 하는 방식으로 데이터의 패턴을 발견하고 데이터와 관련된 불확실성을 추정하며, 예측을 수행하는데 사용된다. 차량의 센서 데이터나 주행 패턴을 분석해 예측 및 추론을 한다. 회귀 분석, 시계열 분석, 베이지안 추론 등이 있으며 자율 주행에선 칼만 필터(Kalman Filter)와 같은 알고리즘을 사용해 센서 데이터의 노이즈를 줄이고 차량의 위치를 추정할 수 있다

• 기계 학습 모델링(Machine Learning Modeling): 알고리즘과 데이터를 활용하여 모델링하는 기법으로 데이터로부터 자동으로 모델을 학습하며, 예측, 분류, 군집화 등의 다양한 문제에 적용할 수 있다. 인공신경망, 결정 트리, 서포트 벡터 머신 등이 기계 학습 모델링의 예이다. 자율주행 분야에서는 주로 인공신경망(Deep Learning), 결정 트리, 서포트 벡터 머신 등과 같은 기계 학습 알고리즘을 사용해 센서 데이터로부터 차량의 제어 및 주변 환경 인식 모델을 생성한다. 차량의 경로 계획, 장애물 인식 및 추적, 표지판 및 신호 인식 등의 작업을 수행할 수 있다.

• 에이전트 기반 모델링(Agent-Based Modeling): 독립적인 에이전트(개체)들이 상호작용하며 전체 시스템의 동작을 구성하는 모델링 기법이다. 자율주행 시스템에서는 도로 상황을 모델링하기 위해 에이전트 기반 모델링을 사용한다. 이 기법은 다른 차량, 보행자, 자전거 등의 독립적인 에이전트와의 상호작용을 통해 전체 시스템의 동작을 이해하고 예측한다

3. 수학적 모델링에서 속도와 위치 계산법

고딩 때 물리를 따로 안한 화1 생1 유저로써 수업을 듣는데 조금 난해해서 따로 공부해가지고 정리해본다.

선형 시스템에서의 계산

F = m*a 힘(F) = 질량(m) * 가속도(a)

자동차에 엑셀을 밟아 전진력이 작용되면 가속도를 계산할 수 있다 a = F/m 가속도(a) = 힘(F)/질량(m) 자동차의 가속도 = 자동차가 나아가는 힘/자동차의 질량

속도(v)와 위치(x) 계산

v = v0 + at 속도(v) = 자동차의 초기 속도(v0) + 가속도(a)시간(t)

x = x0 + v0t + 0.5a*t^2

상태-공간 방정식(state-space equation)

동적 시스템을 수학적으로 표현하는 방법이다. 시스템의 상태 변수와 입력 변수 간의 관계를 나타낸 1차 방정식으로 상태 변수는 시스템의 현재 상태를 나타내는 변수, 입력 변수는 외부에서 주어지는 조건이나 값들이다 이 방정식은 선형 및 비선형 시스템 모두에 적용될 수 있다

1. 상태 방정식(state equation)

• 상태 방정식은 시스템의 상태 변수들의 변화를 나타낸다
• x'(t) = A * x(t) + B * u(t) 와 같은 형태를 가진다
• x'(t)는 상태 변수들의 시간에 대한 미분, x(t)는 상태 변수들의 벡터, u(t)는 입력 변수들의 벡터, A는 상태 변환 행렬, B는 입력 행렬이다

2. 출력 방정식 (output equation)

• 출력 방정식은 시스템의 출력 변수와 상태 변수, 입력 변수 간의 관계를 나타낸다
• y(t) = C * x(t) + D * u(t) 와 같은 형태를 가진다
• y(t)는 출력 변수들의 벡터, C는 출력 행렬, D는 직접 전달 행렬이다

왼쪽은 비선형(Nonlinear) 시스템, 오른쪽은 선형(Linear) 시스템의 상태 공간 방정식이다

1. 비선형(Nonlinear) 시스템

상태 변수나 입력 변수에 대한 응답이 선형적이지 않은 시스템으로 즉, 상태 변수와 입력 변수 사이의 관계가 비선형 함수로 표현되는 경우를 말한다 예시로 자동차가 있을 때, 차량의 위치와 방향을 상태 변수로 가지고 차량의 속도와 조향 각도를 입력 변수로 가진다

장점

• 정확성: 비선형 시스템의 상태-공간 방정식은 여러 상황을 정확하게 인식하고 반영한다
• 범용성: 비선형 시스템은 선형 시스템을 포함하는 형태로 비선형 시스템의 이론과 기법또한 선형 시스템에 적용된다
• 다양성: 선형 시스템에서 나타나지 않는 동적 현상을 포착할 수 있다. 예를 들어 한계 주기 현상, 혼돈, 복잡한 안정성 등이 있다

단점

• 복잡성: 비선형 시스템의 상태-공간 방정식은 분석하고 해결하기 어렵다. 선형 시스템에 비해 해석하고 해결할 수 있는 방법이 적거나 없을 가능성이 농후
• 계산 비용: 비선형 시스템의 제어 및 최적화 문제를 해결하기 위해 수치적 방법을 사용해야 하는데 이 방법은 계산 비용이 높고 실행 시간이 길어진다
• 제어 설계의 어려움: 선형 시스템에 비해 제어 설계가 어려워 복잡한 기법과 알고리즘이 사용된다

예시

상태 변수 x(t)

• x1(t): 차량의 x-좌표
• x2(t): 차량의 y-좌표
• x3(t): 차량의 방향(ψ)

입력 변수 u(t)

• u1(t) : 차량의 속도 (v)
• u2(t) : 차량의 조향 각도 (δ)

상태 방정식의 구성(상태 변수들의 시간에 대한 미분)

• x1'(t) = v * cos(ψ + δ)
• x2'(t) = v * sin(ψ + δ)
• x3'(t) = v * sin(δ) / L
• L은 차량의 wheelbase(앞바퀴 축과 뒷바퀴 축의 중심부터 중심까지의 거리)

상태 방정식의 상태-공간 표현 x'(t) = f(x(t), u(t)) = [v * cos(ψ + δ), v * sin(ψ + δ), v * sin(δ) / L]

출력 방정식은 출력 변수를 설정해야 하는데 설정하지 않았기에 방정식 표현은 생략 차량의 위치(x,y), 차량의 방향(w), 차량의 속도(v), 차간 거리, 차선 인식 및 추적 등이 변수로 설정될 수 있다

2. 선형(Linear) 시스템

시스템의 입출력 사이의 관계가 선형적인 시스템이다. 즉, 상태 변수와 입력 변수 간의 관계가 선형 함수로 표현되는 경우를 말한다

장점

• 분석의 용이성: 선형 시스템은 분석하기 쉽고 다양한 수학적 도구를 사용할 수 있다 따라서 여러 제어 및 추정 알고리즘을 개발할 수 있다
• 제어 설계의 용이성: 선형 제어 기법을 사용해 차량 동역학을 제어할 수 있다. 간단한 제어 알고리즘을 개발하는데 도움이 됨

단점

• 정확성 제한: 실제 차량 동역학의 환경은 비선형적일 수 있다. 따라서 선형 시스템은 완전하게 구현하지 못해 실제 성능과 차이가 발생할 수 있다
• 범용성 제한: 선형 시스템은 차량 동역학의 복잡한 특성을 잡아내기 어려울 수 있다. 이로 인해 선형 모델의 적용 범위가 제한적일 수 있음

예시

상태 변수:

• x1(t) : 차량의 위치
• x2(t) : 차량의 속도

입력 변수:

• u(t) : 가속도

선형 상태-공간 방정식 구성(상태 변수들의 시간에 대한 미분)

x'(t) = A * x(t) + B * u(t)

A = [[0, 1], [0, 0]]

B = [[0], [1]]

자이카는 국내 회사 자이트론에서 제작한 자율주행 모형차이다 Xycar-D, Xycar-X, Xycar-C 모델이 있음

자이카 소프트웨어 구성

운영체제

• 리눅스가 설치되어있다(16.04 or 18.04 버전)

미들웨어

• ROS로 구성되어있다. 각종 센서와 모터제어를 한다

장치별 제어를 위해 위와 같은 ROS Package가 구축되어 있음

라이브러리

• 오픈소스 라이브러리를 활용해 파이썬으로 코딩할 수 있으며 머신 러닝과 영상처리를 도와주는 PyTorch, TensorFl

자이카 하드웨어 구성

1. 자동차 구동부

• 전후진 + 조향(핸들)

2. 구동모터

• 모터의 회선 속도는 공급되는 전력의 양에 따라 결정
  • 배터리 전력이 모터 제어기를 거쳐 모터로 전달
  • 모터의 회전력이 기어 박스를 통해 바퀴의 회전력으로 변환

3. 조향모터

• 핸들 조작을 위한 모터

  • 좌우 정해진 각도 내에서 왔다갔다 왕복 동작
  • 서보 모터 사용

• PWM(Pulse Width Modulation) 신호로 모터의 회전각도를 조종

  • 5V 출력을 on 혹은 off 상태로 유지하는 것이 아닌 빠르게 on/off 상태를 반복

  

4. 모터제어기

• ESC(Electronic Speed Controller)

  • 모터 스피드 제어기

• VESC(Vedder ESC)

  • ESC 오픈소스 프로젝트 결과물로 성능을 향상
  • 구동 모터의 전후진 속도 제어
  • 조향모터의 좌우 회전 제어

5. ESC 모터 제어기

• ESC -> 무선조종기를 사용해 제어(RC카 조종)
  • 차량의 조행속도를 조절
  • 차량의 주행방향을 조절

• 영상 처리와 컴퓨터 비전을 위한 오픈 소스 라이브러리(BSD 라이선스)
• C, C++, Python, Java 등 여러 언어에서 사용 가능
• 대부분의 운영체제 지원(Linux, Windows, Mac OS, Android)
• 이미지와 비디오 처리, 객체 추적, 얼굴 인식, 모션 감지 등의 다양한 기능을 제공
• 자율 주행 분야에서도 카메라를 이용한 차선 인식, 신호 인식, 장애물 탐지 등에 사용
• 머신러닝 모델과 연동해 이미지 분류, 객체 인식, 얼굴 인식 등의 작업 수행

OpenCV 버전

1.x

• OpenCV의 초기 버전으로, 2000년대 초반에 개발
• C 라이브러리로 구현되어 있으며, 기본적인 영상 처리 기능을 제공

2.x

• 2010년대 초반에 출시
• C++로 구현, 다양한 기능 추가 Python, Java 등의 언어도 지원

3.x

• 2010년대 후반에 출시
• OpenCL, CUDA 등의 기술을 활용하여 GPU 가속화를 지원
• 특징점 추출 알고리즘과 관련 기능이 보강 및 추가 됨

4.x

• 2019년에 출시된 최신 버전
• C++11 및 C++14 표준을 지원
• 이전 버전에 비해 빠른 속도와 개선된 딥러닝 모듈, 향상된 성능, Python과의 연동성 등이 강화
• 딥러닝 모델과의 통합이 가능(Yolo 등)

기본 자료구조 및 픽셀 접근

MAT

• 영상 및 이미지 데이터를 저장하는 행렬(Matrix) 클래스
• 여러 차원의 배열로 이루어져 있으며 한 픽셀 당 여러 채널(RGB, BGR, Grayscale 등)의 정보를 가지고 있음
• C++로 구현되어 있으며 이미지 및 비디오 데이터를 처리할 때 매우 편리하게 사용 가능
• 행렬 연산, 원하는 채널의 추출 및 변경, ROI(Region of Interest = 관심영역)의 추출 등 다양한 기능을 제공
• 메모리 자동으로 할당하며 생성 시 크기, 데이터 타입, 초기화 값 등을 설정할 수 있다
• 이미지 파일에서 데이터를 읽어와 Mat 형태로 편환하거나 Mat 형태의 데이터를 이미지 파일로 저장할 수 있음
• 영상을 흑백 이미지로 변환하거나 이미지에서 특정 색상의 물체를 검출하는 작업에서 사용

픽셀 타입

• BGR(default)
• GRAYSCALE
• HSV
• YUV ..

데이터 선언 방법

Mat M;
Mat M(rows, colums, pixel_type);
Mat M(rows, colums, pixel_type, initial_value);
Mat M(Size(width, height), pixel_type, initial_value);

예시

Mat data(1, 3, CV_32FC1);

3개의 요소를 가진 1차원 행렬 데이터 타입은 32비트 실수형(Float)

Mat img(240, 320, CV_8UC1);

320x240 크기의 흑백 이미지를 저장하기 위한 1채널 Grayscale 데이터 타입의 Mat 객체를 생성

Mat img(240, 320, CV_8UC3); 

320x240 크기의 컬러 이미지를 저장하기 위한 3채널 BGR 데이터 타입의 Mat 객체를 생성

Mat video(240, 320, CV_8UC3, Scalar(0, 0, 0));

320x240 크기의 3채널(BGR) 동영상을 저장하기 위한 Mat 객체를 생성 Scalar(0, 0, 0)은 초기화 값으로 검은색을 지정, video.at(i, j)[0]은 i번째 프레임에서 j행 j열의 Blue 채널 픽셀 값

위 이미지 처럼 Mat 데이터를 선언하고 초기화해서 값을 지정해줄 수 있다. 픽셀의 사이즈를 설정해주고 컬러의 데이터 타입을 지정하며 1채널이면 1개의 Scale 값을 3채널이면 3종류의 Scale 값을 설정해서 원하는 크기 원하는 색상을 설정할 수 있다

함수 정리

생성자 함수

• Mat() : 빈 Mat 객체를 생성
• Mat(int rows, int cols, int type): rows x cols 크기의 type 데이터 타입 행렬을 생성
• Mat(Size size, int type): size 크기의 type 데이터 타입 행렬을 생성
• Mat(int ndims, const int* sizes, int type): ndims 차원을 가진 sizes 배열 크기의 type 데이터 타입 행렬을 생성

초기화 함수

• zeros(Size size, int type): 모든 요소를 0으로 초기화하는 size 크기의 type 데이터 타입 행렬을 생성
• ones(Size size, int type): 모든 요소를 1로 초기화하는 size 크기의 type 데이터 타입 행렬을 생성
• eye(int rows, int cols, int type): 대각 요소를 1로 초기화하고 나머지 요소를 0으로 초기화하는 rows x cols 크기의 type 데이터 타입 행렬을 생성

그리기 함수

• rectangle(Mat& img, Point pt1, Point pt2, const Scalar& color, int thickness, int lineType, int shift=0): pt1, pt2 좌표를 꼭짓점으로 하는 사각형을 img Mat 객체에 그림

  • thickness : 선의 두께
  • color : 사각형 색상
  • lineType : 선의 타입(LINE_4, LINE_8, LINE_AA 등)
  • shift : 좌표 비트 시프트

    img = cv2.rectangle(img, (100, 100), (300, 500), (0, 255, 0), 3) 

• circle(Mat& img, Point center, int radius, const Scalar& color, int thickness, int lineType, int shift=0): center 좌표를 중심으로 하고 radius 크기의 원을 img Mat 객체에 그림

img = cv2.circle(img, (300, 400), 100, (0, 0, 255), 2) 

• line(Mat& img, Point pt1, Point pt2, const Scalar& color, int thickness, int lineType, int shift=0): pt1에서 pt2까지의 직선을 img Mat 객체에 그림

img = cv2.line(img, (511, 511), (255, 0, 0), 5) 

• putText(Mat& img, const String& text, Point org, int fontFace, double fontScale, const Scalar& color, int thickness, int lineType, bool bottomLeftOrigin=false): org 좌표에서 시작하여 text 문자열을 img Mat 객체에 출력
  • fontFace : 글꼴 타입
  • bottomLeftOrigin : true로 하면 org 좌표를 문자열 왼쪽 아래로 지정

img = cv2.putText(img, 'Test,(10, 50), cv2.FONT_HERSHEY_SIMPLEX, 4, (255, 255, 255))

기타 함수

• at(): 지정된 위치의 요소에 대한 참조를 반환
• size(): 행렬의 크기를 반환
• resize(InputArray src, OutputArray dst, Size dsize, double fx=0, double fy=0, int interpolation=INTER_LINEAR); : 원본 이미지를 새로운 크기로 변환하여 반환, 변환된 이미지는 새로운 Mat 객체에 저장
• type(): 행렬의 데이터 타입을 반환
• channels(): 행렬의 채널 수를 반환

통신 구조

Directory 구조

$ cd ~/xycar_ws/src
$ catkin_create_pkg msg_send std_msgs rospy
//패키지 만든다, 패키지 이름, 패키지가 의존하고 있는 다른 패키지 나열
$ mkdir launch
//msg_send 아래 launch 파일을 만듬(xml로 이루어짐)
$ cm
//새로 만든 패키지를 빌드

teacher.py

#!/usr/bin/env python

```
파이썬에서는 #!으로 시작하는 라인을 Shebang 라인이라고 한다. Sharp(#) + Bang(!)의 합성어로 스크립트 파일의 첫줄에 사용되고 스크립트를 실행하는 데 사용되는 인터프리터를 지정한다. shebang이 들어가면 터미널에서 python을 붙이지 않고 바로 ./teacher.py 형태로 실행도 가능하다
```
import rospy
from std_msgs.msg import String

```
rospy 라이브러리를 import한다. rospy는 ROS에서 파이썬을 사용하기 위한 라이브러리이다.
std_msgs.msg 라는 ROS의 표준 패키지에서 String 부분을 가져와 사용하겠다는 의미이다. 더 여러개의 모듈을 가져올 수 있다

```

rospy.init_node('teacher')

#정수나 문자열을 선언하고 초기화하는 것 처럼 teacher라는 이름의 ROS노드를 선언하고 초기화

pub = rospy.Publisher('my_topic', String)

#my_topic 이라는 토픽에 string 메시지를 받아 발행하기 위해 Publisher 객체를 선언했다
#2번째 매개변수 String은 위에서 선언한 std_msgs.msg import String의 String이다

rate = rospy.Rate(2)

#발행 빈도를 2Hz로 설정하는 부분이다. 1초에 2번 반복할 수 있도록 rate 객체를 선언했다

while not rospy.is_shutdown(): #rospy가 종료되기 전까지 무한히 반복하면서
    pub.publish('call me please')
    rate.sleep()

#위에서 발행한 pub을 이용해 my_topic에 call me please 라는 문자열 메시지를 계속 발행한다
#위에서 호출한 rate 객체에 sleep()함수를 걸어줬다. 이는 while문이 종료되기 전까지 무한 반복되는 동안
#while 반복문 안에 rate.sleep()이 있기 때문에 0.5초에 한번씩 동작할 수 있도록 제어해주는 역할을 한다. 

student.py

#!/usr/bin/env python

import rospy
from std_msgs.msg import String

```
teacher.py에서 설명한 바와 같이 첫번째 줄은 스크립트가 파이썬 인터프리터를 사용해 실행할 수 있도록 하는
shebang라인이다. python을 붙이지 않고 ./student.py 와 같은 명령만으로도 실행시킬 수 있다
ROS 노드를 파이썬 코드로 생성하고 통신할 수 있도록 하는 라이브러리를 import하고
ROS 표준 메시지 패키지 std_mgms에서 문자열 타입인 String 메시지 타입을 가져오도록 하는 라인이다
```

def callback(msg):
    print msg.data

# def는 함수를 선언하고 정의할때 쓰는 용어다. callback이라는 함수를(msg)라는 매개변수를 가지고 있는 채로 선언했다
#이 함수는 callback(msg)형태로 사용하는데 msg에 들어온 값을 print(출력) 한다

rospy.init_node('student')

#teacher.py와 같이 student라는 이름의 ROS 노드를 선언하고 초기화 해준다. 다른 노드와 통신하기 위함이다

sub = rospy.Subscriber('my_topic', String, callback)

#my_topic에 대해서 구독자를 생성하고 String 타입의 메시지를 받아 callback 함수를 호출한다
#그리고 구독자의 인스턴스는 sub에 저장이 되며 토픽(메시지)를 받을 때 마다 callback함수가 호출된다

rospy.spin()

#rospy.spin()함수는 노드가 종료될 때까지 메시지를 계속 받고 callback 함수를 호출하는 무한 루프를 생성한다
#rospy.sleep()과 유사할 수 있는데 이 함수는 spin()과 다르게 특정한 시간동안만 동작한다는 부분이다

Launch 파일 작성 및 실행

$ gedit m_send.launch
$ cm
//빌드
$ chmod +x teacher.py student.py
$ roslaunch msg_send m_send.launch

<launch>
    <node pkg="msg_send" type="teacher.py" name="Teacher"/>
    <node pks="msg_send" type="student.py" name="student" output="screen"/>
</launch>

N:N 통신 예제

통신 구조

코드는 위의 코드와 똑같이 해주면 되는데 하나의 코드로 여러 개의 노드를 연결하기 위해선 각 노드의 이름이 달라야 한다 따라서

• 노드의 init 함수에서 anonymous=True ㄱ밧을 넣어주면 노드 이름을 자동 설정할 수 있다
• ex) rospy.init_node('student', anonymous=True)

터미널을 띄워 놓고

$ rosrun msg_send teacher_int-1.py
$ rosrun msg_send teacher_int-2.py
$ rosrun msg_send teacher_int-3.py

처럼 3개의 파일을 적어놓고 3번 실행하는 것이 아니라

launch 파일을 사용해서 roslaunch 명령으로 여러 노드를 띄울 수 있다

<launch>
    <node pkg="msg_send" type="teacher_int.py" name="teacher1"/>
    <node pkg="msg_send" type="teacher_int.py" name="teacher"2/>
    <node pkg="msg_send" type="teacher_int.py" name="teacher3"/>
    <node pks="msg_send" type="student_int.py" name="student1" output="screen"/>
    <node pks="msg_send" type="student_int.py" name="student2" output="screen"/>
    <node pks="msg_send" type="student_int.py" name="student3" output="screen"/>
</launch>

1:N 통신, N:1 통신

<launch>
    <node pkg="msg_send" type="teacher_int.py" name="teacher"/>
    <node pks="msg_send" type="student_int.py" name="student1" output="screen"/>
    <node pks="msg_send" type="student_int.py" name="student2" output="screen"/>
    <node pks="msg_send" type="student_int.py" name="student3" output="screen"/>
</launch>

<launch>
    <node pkg="msg_send" type="teacher_int.py" name="teacher1"/>
    <node pkg="msg_send" type="teacher_int.py" name="teacher"2/>
    <node pkg="msg_send" type="teacher_int.py" name="teacher3"/>
    <node pks="msg_send" type="student_int.py" name="student" output="screen"/>
</launch>

응용해서 1:N 이나 N:1이나 코드에는 anonymous=True 값을 설정해줘서 여러개의 노드를 띄워도 알아서 이름을 바꿔 생성할 수 있도록 처리해준뒤 Launch 파일의 xml 코드를 수정해서 한번에 여러개의 노드를 실행시킬 수 있다

나만의 메시지 만들기

폴더 구조

코드

$ cd ~/xycar_ws/src
$ roscd msg_send
$ mkdir msg
$ cd msg
$ gedit my_msg.msg

my_msg.msg

string first_name
string last_name
int32 age
int32 score
string phone_number
int32 id_number

msg_sender.py

#!/usr/bin/env python

import rospy
from msg_send.msg import my_msg

rospy.init_node('msg_sender', anonymous=True)
pub = rospy.Publisher('msg_to_xycar', my_msg)

msg = my_msg()
msg.first_name = "woojin"
msg.last_name = "Han"
msg.id_number = 12345678
msg.phone_number = "010-1234-5678"

rate = rospy.Rate(1)
while not rospy.is_shutdown():
    pub.publish(msg)
    print("sending message")
    rate.sleep()

msg_receiver.py

#!/usr/bin/env python3

import rospy
from msg_send.msg import my_msg

def callback(msg):
    print ("1. Name: ", msg.last_name + msg.first_name)
    print ("2. ID: ", msg.id_number)
    print ("3. Phone Number: " , msg.phone_number)

rospy.init_node('msg_receiver', anonymous=True)

sub = rospy.Subscriber('msg_to_xycar', my_msg, callback)

rospy.spin()

package.xml, CmakeLists.txt 수정

• ~/xycar_ws/src/msg_send/에 위치해있음

  $ gedit package.xml

  파일 아래 쪽에
• message_generation
• message_runtime

$ cm
$ rosmsg show my_msg
//결과 확인
$ ~/xycar_ws/devel/lib/python2.7/dist_packages/msg_send/msg
//여기 디렉토리에서 생성된 msg 확인 가능

$ cm
$ roscore
$ rosrun msg_send msg_receiver.py
$ rosrun msg_send msg.sender.py

#! /usr/bin/env python

import rospy
from geometry_msgs.msg import Twist

rospy.init_node('my_node', anonymous=True)
// my_node 노드를 생성한다
pub = rospy.Publisher(' /turtle1/cmd_vel', Twist, queue_size=10)
//발행자인 Publisher 객체를 생성

msg = Twist()
msg.linear.x = 2.0
msg.linear.y = 0.0
msg.linear.z = 0.0
msg.angular.x = 0.0
msg.angular.y = 0.0
msg.angular.z = 1.8

rate = rospy.Rate(1)
//1HZ = 1초에 1번씩 반복

while not rospy.is_shutdown():
    pub.publish(msg)
    rate.sleep()
//종료될때까지 게속 1초 주기로 실행

• ~/xycar_ws/src/my_pkg1/src 위치에 pub.py라는 이름으로 생성해야함
• 생성 후 파이썬 코드를 실행시키기 위해 실행권한을 부여해줘야한다

$ chmdd +x pub.py
//r : read w : write x : execute
$ ls -l
//실행 권한 부여됐는지 확인

각 터미널에서 코드 실행

터미널 1

• roscore 실행

  $ roscore

터미널 2

• turtlesim 노드 실행

  $ rosrun turtlesim turtlesim_node

터미널 3

• pub.py 실행

  $ chmod +x pub.py
  $ rosrun my_pkg1 pub.py

터미널 4

• rqt_graph 실행

  $ rqt_graph

  

pub.py 생성

#! /usr/bin/env python

import rospy
from turtlesim.msg import Pose

def callback(data) :
    s = "Location: %.2f, %.2f" % (data.x, data.y)
    rospy.loginfo(rospy.get_caller_id() + s)

rospy.init_node("my_listener", anonymous=True)
rospy.Subscriber(" /turtle1/pose", Pose, callback)
rospy.spin()

• 마찬가지로 my_pkg1/src 위치에서 sub.py라는 이름으로 프로그램 작성
• 실행 권한을 sub.py에게 부여하고 pub.py와 turtlesim_node가 실행되는 상태에서 rosrun

roslaunch란?

하나 이상의 노드를 실행하고 노드 간의 통신을 설정하도록 하는 XML 파일이다.

$ roslaunch [패키지 이름] [실행시킬 launch 파일 이름]

이때 실행시킬 launch 파일은 반드시 패키지에 포함된 launch 파일이어야 한다

<launch>
  <node pkg="패키지 명(ex my_pkg1)" type="노드가 포함된 소스파일 명(ex pub.py)" name="노드 이름(ex pub_node)" />
  <node pkg="패키지 명(ex my_pkg1)" type="노드가 포함된 소스파일 명(ex sub.py)" name="노드 이름(ex sub_node)" />
</launch>

launch 파일은 위와 같이 이루어져 있다

launch 파일의 위치

launch 파일은 반드시 패키지에 포함되어야 하기 때문에 Package 아래 launch 폴더에 존재한다

$ cd ~/xycar_ws/src/my_pkg1
$ mkdir launch
$ cd ~/xycar_ws/src/my_pkg1/launch
$ gedit pub-sub.launch
$ cm
$ roslaunch my_pkg1 pub-sub.launch

$ sudo sh -c 'echo' "deb http://packages.ros.org/ros/ubuntu $(lsb_release -sc) main" > /etc/apt/sources.list.d/ros-latest.list'
$ cat /etc/apt/sources.list.d/ros-latest.list
//ROS 제공하는 Software Repository 등록

$ sudo apt-key adv --keyserver 'hkp://keyserver.ubuntu.com:80' --recv-key C1CF6E31E6BADE8868B172B4F42ED6FBAB17C654
//apt key 셋업

$ sudo apt-get update
$ sudo apt install ros-melodic-desktop-full
//패키지 설치

$ sudo apt install python-rosdepsudo rosdep initrosdep update
$ sudo rosdep init
$ rosdep update
//rosdep 초기화

$ echo "source /opt/ros/melodic/setup.bash" >> ~/.bashrc
$ source ~/.bashrc
//쉘 환경설정

$ sudo apt install python-rosinstall python-rosinstall-generator python-wstool build-essential
//추가로 필요한 도구 등 설치

ROS 설치 확인

$ roscore

$ rosnode list
//roscore 실행한 터미널과 다른 터미널에서 실행(/rosout 이 나온다)

ROS 코딩을 위해 Workspace 만들기

$ cd
//Home 폴더 이동
$ mkdir -p ~/xycar_ws/src
//서브 폴더 생성
$ cd xycar_ws
//xycar_ws 폴더로 이동
$ catkin_make
//ROS 코딩 환경 셋업, 정리(빌드)

1. 현재 Workspace 구조

다음과 같은 Workspace 구조가 만들어 진다

2. catkin_make 명령어 작성 이후 구조

catkin_make 작업을 통해 패키지를 빌드한다. 필요한 패키지들을 알아서 찾아 설치하고 바이너리 파일을 생성해 노드를 만들 수 있도록 세팅해준다. 밥먹기 전에 수저 물 놓은 세팅 작업같은 것

ROS 작업환경 설정

$ cd
$ sudo gedit ~/.bashrc
//bashrc 파일을 열어서 수정하겠다는 의미
$ source .bashrc
//수정한 내용을 시스템에 반영하겠다(source)
$ printenv | grep ROS
// ROS 작업에 필요한 환경변수 설정을 확인할 수 있음

bash 파일 맨 뒤에다가 적어서 설정내용을 바꿔주자

ROS 패키지(Package)

패키지는 ROS에서 개발되는 소프트웨어를 하나의 논리적 묶음으로 만든 것이다 예를 들어 보행자가 앞에 있는지 없는지 보행자 추적 시스템을 만든다고 하면 "보행자 추적 패키지" 라는 이름으로 하나의 프로젝트 처럼 만들어 관리할 수 있게 된다

1. ROS 패키지 만들기

$ cd ~/xycar_ws/src
//위의 그림처럼 프로젝트 폴더에 src 폴더에 들어온다
$ catkin_create_pkg my_pkg1 std_msgs rospy
// my_pkg1 이라는 이름의 패키지를 새로 만들고 패키지가 의존하고 있는 다른 패키지들을 나열한다

2. ROS 패키지 빌드

$ cd ~/xycae_ws
$ catkin_make
//패키지 빌드

$ rospack find my_pkg1
$ rospack depends1 my_pkg1
$ roscd my_pkg1
//만들어진 패키지 확인 코드

• 오픈 소스로 제공되는 자율주행차량 소프트웨어 플랫폼
• 자율주행차량 개발에 필요한 기능과 알고리즘을 제공하며 연구자와 엔지니어들이 자율주행 기술을 개발하고 실험하는 데 사용
• SAE-레벨2
• 실차에 바로 적용 가능한 솔루션
• 30개 이상의 국가에서 사용
• 100개 이상의 회사들 사용
• 20개 이상의 차량 모델에 탑재

Autoware의 구조도

Sensing 다양한 센서를 지원하고 주변 환경에 대한 정보를 수집하며 차량의 상태와 주변의 장애물, 도로 표시, 교통 신호등을 인식 여러 센서들을 이용해 데이터를 수집하고 처리한다

Computing sensing을 통해 수집된 데이터를 기반으로 인지, 제어, 결정의 과정을 반복하며 계산 작업을 수행한다

Actuation 차량의 Actuator(스로틀, 브레이크, 스티어링 등)을 제어하기 위한 명령을 생성 전달 제어 알고리즘을 통해 제어 입력을 생성해 속도, 방향, 가속도 등을 조절하고 생성된 경로를 따라 움직이도록 조절

자율주행 필수 요소 기술

1) 자율주행 알고리즘

센싱(Sensing)

• 주변정보 획득 GPS IMU 라이다 초음파 카메라

인지(Perception)

• Localization 자기 위치 파악 GPS와 IMU를 조합해서 위치 측정(위치 예측과 업데이트 반복) Stereo 카메라 영상으로 위치 측정 라이다, 포인트 클라우드, 파티클 필터로 위치 측정 여러 센서를 융합해 정확도 개선

• Object Detection(인식) CNN 딥러닝 기반의 인식모델 사용

• Object Tracking(추적) 개체 이동궤적(trajectory)을 추적 차량, 보행자와의 충돌 회피에 활용

의사결정(Decision)

• 동작 예측 다른 차량의 동작을 예측 확률 모델 만들고 확률 분포 구하기

• 경로 계획 Cost function으로 최적 경로 탐색 계산량 줄이기 위해 확률 기법 적용

• 장애물 회피(충돌 방지) 1단계 능동형 충돌까지의 시간과 최소거리 추정치 뽑아 경로 다시 계획 2단계 반응형 이동경로상에 장애물이 있으면 주행제어 시스템에 개입

2) 자율주행 클라이언트 시스템

소프트웨어

• 실시간성과 신뢰성 확보 필요

• ROS 문제점 해결 필요 Master가 죽으면 전체 시스템 다운되며 복구 용도의 모니터가 없음 메시지를 브로드캐스팅 하면서 성능이 저하, 멀티캐스팅 메커니즘 적용하면 좋음 노드가 해킹되기 쉽다 -> 리눅스 컨테이너, 샌드박스로 보안 기능 강화 가능하다 로컬에서는 TCP/IP 통신 대신 공유 메모리 통신 방식을 적용하면 좋다

하드웨어

• 성능 향상 필요 파이프라인 병렬 프로세싱 기능 필요 HW 가성비 좋게 만들어야함 차량의 배터리 문제가 있으므로 전력 소모량 최소화 노력 필요 차량이라는 환경에서 발열 문제 심각 발열을 최소화 하거나 열을 쉽게 배출시킬 방법을 강구

3) 자율주행 클라우드 플랫폼

분산 컴퓨팅

• 시뮬레이션 ROS Bag/Replay 분산 환경으로 처리

• HD Map 생성 원본데이터 처리 포인트 클라우드 생성 및 정렬 2D 반사맵 생성 HD맵 레이블링

분산 스토리지

• 딥러닝 모델 학습 학습데이터 준비 학습 진행 모델의 유효성과 효율성을 지속적으로 업데이트

Localization

로봇이나 자율주행차량이 주어진 공간(Map)의 어디에 있는지 예측하는 방법 위치를 측정해서 확률을 업데이트하고 움직이는 과정의 반복 정밀지도와 연동하여 차량의 현재 위치를 파악한다

• 라이다, 카메라를 이용

Global Path Planning(Route Planning)

목적지까지의 경로 찾기

• 중간 목적지 또는 최종 목적지까지의 경로
• 교차로에서의 행위도 결정
• 최소 비용, 최단 거리, 단순 정도에 따라 경로를 선택한다

Local Path Planning(Trajectory Planning)

다음 이동할 곳으로의 경로 찾기(충돌 회피 고려)

• 여러 개의 후보 경로 확보
• 끊임 없이 후보를 삭제하고 신규 후보 등록 작업을 반복한다
• 실시간으로 주변 정보를 처리하며 시스템 최적화가 필요하다

1. 주행 환경 인식

• 센서를 사용해 주변 환경을 인식하고 정적 및 동적 장애물에 대한 정보를 수집
• Lidar, 레이더, 카메라, 초음파센서 등 다양한 센서 사용

2. 비용 맵 생성

• 수집된 데이터를 기반으로 장애물을 포함하는 비용 맵 생성
• 장애물의 거리에 따라 다른 값을 가지며 이동 플랫폼이 안전한 경로를 계획할 수 있도록 도움을 줌

3. 경로 검색

• 비용 맵을 사용해 시작점에서 목표 지점까지의 경로를 계획
• A*탐색, Dijkstra 알고리즘, RRT(Rapidly-exploring Random Trees) 등이 있다.

4. 경로 스무딩

• 계획된 경로의 불필요한 움직임을 최소화하고 부드러운 움직임을 위한 작업
• 최소 곡률 궤적, 스플라인 보간법 등을 사용

5. 속도 프로파일 생성

• 경로에 따라 이동 플랫폼의 속도 및 가속도 프로파일 생성
• 플랫폼이 안전하고 효율적으로 목표 지점까지 도달할 수 있도록함

Object Detection

주변 차량, 보행자, 오토바이, 자전거 등을 인식

Object Tracking

각 오브젝트에 고유 ID 부여하여 추적, 예상되는 주행경로 예측

Behavior Selector

주어진 상황에 적합한 동작과 전략을 선택하는 행위 주변환경의 정보와 시스템의 목표를 고려해 가능한 동작 중 최적의 동작을 수행한다 일반 주행, 차선 변경, 회전, 긴금 정지 등 적절한 것을 결정하고 실행할 수 있는 경로 및 제어 명령을 생성한다

1. 환경 정보 수집

• 센서와 인식 시스템을 통해 주변 환경에 대한 정보를 수집
• 정적 장애물, 동적 장애물, 도로 조건, 교통 흐름 등을 포함

2. 상태 추정

• 수집된 정보를 사용하여 시스템의 현재 상태를 추정
• 상태 추정은 차량의 위치, 속도, 가속도, 주변 차량 및 보행자의 상태 등을 포함

3. 동작 후보 생성

• 가능한 동작 후보를 생성
• 시스템의 목표와 주변 환경에 따라 계속해서 달라짐

4. 비용 함수 계산

• 각 동작 후보에 대해 비용 함수를 계산
• 비용 함수는 동작의 안전성, 효율성, 법규 준수 등 여러 요소를 고려하여 적절한 동작을 평가

5. 최적 동작 선택

• 비용 함수를 기반으로 최적의 동작을 선택
• 최적 동작은 비용이 가장 낮은 동작이며, 이를 통해 시스템은 상황에 맞게 적절한 동작을 수행할 수 있음

Local Path Following

Local Path Planning에서 생성된 경로를 따라 움직이는 기술 경로의 불연속성과 곡률을 최소화 하며 주어진 환경에서 효율적이고 안전한 이동을 보장하기 위해 설계

1. 경로 표현

• 로컬 경로는 일반적으로 연속적인 점들, 다항식, 스플라인 등의 수학적 표현으로 나타낸다
• 위와 같은 구성 성분으로 경로의 모양과 곡률을 명확하게 정의하고 시스템에 필요한 제어 입력을 계산할 수 있음

2. 제어 입력 계산

• 시스템의 현재 상태(위치, 속도, 방향 등)와 목표 경로를 고려해 이동 플랫폼이 경로를 정확하게 따르도록 하는 제어 입력 계산
• 제어 입력은 속도, 가속도, 회전률 등의 형태로 표현
• 시스템은 목포 경로에 대한 오차를 최소화할 수 있도록 함

3. 오차 수정

• Local Path Following 중에는 목포 경로에서 벗어날 수 있는데 이 경루 시스템은 오차를 감지하고 수정하기 위해 알맞은 제어 입력을 적용해야 한다
• 피드백 제어, 피드포워드 제어 둘의 조합을 사용해 오차를 수정

4. 동적 장애물 대응

• Local Path Following 중에 동적 장애물이 경로에 진입하면 장애물을 감지하고 회피
• 경로를 수정하거나 새로운 경로를 생성하여 회피 동작 수행

Local Path Following Algorithm

• Pure Pursuit, Vector Field Histogram (VFH), Dynamic Window Approach(DWA) 등

• Pure Pursuit 알고리즘 차량의 현재 위치를 결정 차량에서 가장 가까운 경로상의 점을 찾는다 목표점을 찾는다 곡률을 계산하고 해당 곡률로 차량의 방향을 업데이트 해준다 차량의 위치를 업데이트 한다

Veichle Control

원하는 방향으로 운동 상태를 조절하는 기술

1. 센싱 및 인식

• 차량의 센서(카메라, 라이다, 레이터, 초음파 센서 등)를 사용하여 주변 환경에 대한 정보를 수집하고 차량의 상태를 인식
• 차량의 위치, 속도, 방향, 주변 장애물의 위치롸 움직임 정보 포함

2. 경로 계획 및 추종

• 차량 제어 시스템은 Global Path Planning으로 부터 전달 받은 경로를 Local Path Planning, Path Planning 알고리즘을 통해 따라가도록 한다

3. 제어 알고리즘

• 차량 제어 시스템은 제어 알고리즘을 사용해 차량의 속도, 방향, 가속도 등을 조절
• PID(Proportional-Integral-Derivative)제어, Model Predictive Control(MPC), LQR(Linear Quadratic Regulator)등이 있다

4. 엑추에이터 제어

• 제어 알고리즘을 통해 생성된 제어 입력은 차량의 엑추에이터(스로틀, 브레이크, 스티어링 등)를 제어하는데 사용된다
• 이 과정으로 차량은 원하는 속도와 방향으로 움직이게 된다

5. 안전 및 긴급 상황 대응

• Veichle Control은 긴급 상황에 대비해 안전 기능을 포함
• 장애물이 갑자기 나타날때 급제동을 하거나 경로를 이탈했을때 안전한 상태로 돌릴 수 있도록 조취를 취함
• 안전한 상태를 유지하기 위해 센서 데이터를 실시간으로 모니터링하고 Local Path Follwing 처럼 잠재적 위험을 감지하고 회피 동작을 수행

운전자 또는 승객의 조작 없이 자동차 스스로 운행이 가능한 자동차를 말한다

자율주행 6단계

미국 자동차기술학회(SAE)는 자동 주행 자동차 기술을 6단계로 구분했다

출처 도로교통부

출처 현대자동차

자율주행 3단계 프로세스

출처 현대자동차

고정밀 지도(HD Map)

HD Map(High Definition Map)은 주변환경 정보가 3D로 구현된 지도로 오차 범위가 10~20cm 밖에 되지 않아 기존 지도보다 10배 이상의 높은 정확성을 가지고 있다 차선 정보, 가드레일, 도로 곡률, 경사, 신호등 위치, 교통 표식과 같은 다양한 부가정보를 포함

출처 Mapbox blog

HD Map을 사용해서 벡터맵과 포인트맵을 같이 나타낸 형태

고정밀 지도의 제작

MMS(Mobile Mapping System)

• 데이터를 수집한 다음 후처리 작업을 통해 지도를 제작

출처 In1Go Technologies Inc

개념

C++의 표준 라이브러리의 일부로 'sstream' 헤더 파일에 정의 되어있다. 문자열 스트림으로 작동하며, 일반적인 입출력 스트림처럼 사용할 수 있다. 'stringstream'은 문자열을 읽거나 쓸 때 편리한 방법을 제공하고 문자열로부터 값을 추출하거나 문자열에 값을 삽입할때 사용한다

선언법

#include <sstream>

stringstream을 사용하기 위해 sstream 헤더 파일을 포함

std::istringstream inputStringStream;
std::ostringstream outputStringStream;
std::stringstream stringStream;

istringstream은 입력 스트림으로만 ostringstream은 출력 스트림으로만 stringstream은 입력과 출력 스트림으로 작동한다

istringstream

• istringstream은 input string stream의 약자
• 입력 문자열에서 데이터를 읽어오는데 사용
• 자연스럽게 공백이나 개행문자를 제거하고 원하는 데이터 형태의 문자열만 읽을 수 있다는 장점

예제

#include <iostream>
#include <sstream>
#include <string>

int main() {
    std::string input_string = "10 20 30 40 50";
    std::istringstream iss(input_string);

    int num;
    while (iss >> num) {
        std::cout << "Read number: " << num << std::endl;
    }

    return 0;
}

결과

Read number: 10
Read number: 20
Read number: 30
Read number: 40
Read number: 50

ostringstream

• output string stream의 약자
• 데이터를 문자열로 출력하는데 사용된다
• ostringstream 객체를 사용해 여러 자료형을 문자열로 합쳐준다
• to_string() 함수를 이용해 문자열이 아닌 여러 자료형들을 문자열로 바꾸고 + 해주는 작업을 한번에 처리한다고 보면 됨
• 잘 사용하지는 않을 것 같음

예제

#include <iostream>
#include <sstream>
#include <string>

int main() {
    std::ostringstream oss;

    int num1 = 42;
    double num2 = 3.14;
    std::string str = "Hello, C++!";

    oss << "Integer: " << num1 << ", Double: " << num2 << ", String: " << str;

    std::string result = oss.str();
    std::cout << result << std::endl;

    return 0;
}

결과

Integer: 42, Double: 3.14, String: Hello, C++!

stringstream

• 입출력 스트림을 모두 다룰 수 있는 객체
• istringstream, ostringstream 기능을 둘 다 포함하고 있다
• 원하는 문자열을 기준으로 문자열을 나눌 수 있음
• 공백과 개행문자를 빼고 문자열만 뽑아낼 수 있음
• 문자열에 여러 자료형을 추가해서 문자열로 변환해 읽고 쓸 수 있음

예제(공백과 개행문자를 제거해 문자열 나누기)

#include <iostream>
#include <sstream>
#include <string>

int main() {
    std::string input_string = "Token1 Token2 Token3\nToken4 Token5";
    std::stringstream ss(input_string);

    std::string token;
    while (ss >> token) {
        std::cout << "Token: " << token << std::endl;
    }

    return 0;
}

결과

Token: Token1
Token: Token2
Token: Token3
Token: Token4
Token: Token5

예제(특정 문자를 기준으로 문자열 나누기)

#include <iostream>
#include <sstream>
#include <string>

int main() {
    std::string input_string = "Item1|Item2|Item3";
    char delimiter = '|';
    std::stringstream ss(input_string);

    std::string token;
    while (getline(ss, token, delimiter)) {
        std::cout << "Token: " << token << std::endl;
    }

    return 0;
}

결과

Token: Item1
Token: Item2
Token: Item3