회로이론을 통해 배운 저주파 통과 필터의 식과는 매우 다른데요??

그래서 어떻게 이 식이 1차 저주파 통과 필터라 불릴 수 있는지 공부를 조금 해봤습니다. 먼저 회로 이론에서 사용한 1차 저주파 통과 필터 회로는 아래와 같은 RC 회로입니다. 해당 회로를 풀어보면 식은 아래와 같이 전개됩니다. 위 식이 회로이론을 통해 배운 1차 저주파 통과 필터의 식입니다. 그렇다면 어떻게 이 식이 책에 나온 식이 될 수 있을까요? 바로 위 식을 컴퓨터에 적용하기 위한 Δt 간격의 차분 방정식으로 변환하면 됩니다. 변환 식은 아래와 같습니다.

이를 통해 책에서 나온 1차 저주파 통과 필터가 회로이론에서 배운 1차 저주파 통과 필터와 다르지 않다는 것을 알게 되었습니다!!

참고 자료

• 1차 필터의 연속/이산 시간 영역에서의 변환과 구현
• wiki 로우패스 필터

pip mode...

그렇다면 pip mode란 무엇일까?

pip mode란 picture in picture mode로서 유튜브 프리미엄을 쓰는 사람들은 화면을 최소화 하여 다른 어플을 사용할 수 있는데 그때 사용되는 것이 pip mode이다. 즉, pip mode를 사용하면 프로젝트 초기에 구상했던 방안을 완성할 수 있다는 것이다. 그래서 Unity에서 pip mode를 사용하는 방법을 찾다가

항상 관심이 있었던 flutter를 이용하면 어떨까?

라는 생각을 하며 Unity의 정보를 flutte에 넘기는 방법을 찾았다. 그렇게 찾은 방법은 flutter_unity_widget . 사실 이전에 flutter로 어플을 만들고 싶어서 unity의 3D 정보를 flutter로 가져오기 위해 flutter_unity_widget을 시도했으나 여러 오류를 겪으며 결국 사용을 실패했던 기억이 있었다.

아픈 기억을 가지고 두려움에 떨며 유튜브 튜토리얼을 차근차근 따라한 결과!!

실 패

역시나 이전에 했던 방식으로 접근하니 과거에 안됐던 것이 될리가 없었다. 하지만 여기서 포기하면 성장은 없다. 이유를 찾아보다 도달한 결론은 pub.dev에 올라온 공식 정보를 따라해보자!! 였다. 기존에는 글을 통해 따라가는 것에 대한 두려움이 있어 넘겼지만, 더 이상 물러날 곳이 없기에 정석을 따르기로 했다. 처음부터 차근차근 따라해서 실행시킨 결과!!!

실패 X 2

역시나 쉽지 않은 상대였다. 지금까지 계속 괴롭힌 Error가

No such moduel 'Unity Framework'

이 오류가 항상 발목을 잡았다. 구글에 검색해보니 많은 사람들이 위 오류를 접한 것 같다. 그러나 해결책으로 써놓은 많은 답변들로도 이 오류를 물리칠 수 없었다. 그래서 '최근 iOS는 지원을 안하나 보다' 라고 위로하며 도망치려하던 중 발견한 공식 Discord!! 해당 채널로 들어가니 많은 분들이 존재했고 거기서 위 오류를 질문하니 돌아오는 답변은

• 혹시 flavors를 제대로 setting 하셨나요?

허나 flavors가 뭔지도 모르는 초 뉴비인 나는 해당 setting 법을 물어봤다. 그 결과 공식 문서의 거의 마지막 부분에

Flavors

라는 곳이 있다는 것을 알게 되었다. 해당 부분의 요구에 맞게

• Runner 부분의 Configurations를 아래와 같이

• Unity-iPhone 부분의 Configurations를 위와 같이 설정하고 flutter에 공식 문서에서 제공한 코드인

import 'package:flutter/material.dart';
import 'package:flutter/services.dart';
import 'package:flutter_unity_widget/flutter_unity_widget.dart';

void main() {
  runApp(MaterialApp(
    home: UnityDemoScreen()
  ));
}

class UnityDemoScreen extends StatefulWidget {

  UnityDemoScreen({Key key}) : super(key: key);

  @override
  _UnityDemoScreenState createState() => _UnityDemoScreenState();
}

class _UnityDemoScreenState extends State<UnityDemoScreen>{
  static final GlobalKey<ScaffoldState> _scaffoldKey =
      GlobalKey<ScaffoldState>();
  UnityWidgetController _unityWidgetController;

  Widget build(BuildContext context) {

    return Scaffold(
      key: _scaffoldKey,
      body: SafeArea(
        bottom: false,
        child: WillPopScope(
          onWillPop: () {
            // Pop the category page if Android back button is pressed.
          },
          child: Container(
            color: colorYellow,
            child: UnityWidget(
              onUnityCreated: onUnityCreated,
            ),
          ),
        ),
      ),
    );
  }

  // Callback that connects the created controller to the unity controller
  void onUnityCreated(controller) {
    this._unityWidgetController = controller;
  }
}

를 넣고 실행시킨 결과 드디어

성공!!!!!!!!!

여기서 주의할 점은 Simulator에 어플을 실행시키면 여전히 오류가 나므로 실제 device에서 어플을 실행해야 하는 것 같다!!

다음 글은 flutter를 이용해서 pip mode를 이용하는 방법을 작성해 보겠다!!

unity에서 notification을 사용하기 위해서는 우선

Mobile Notification 패키지를 import 해줘야한다. 해당 패키지를 다운하면 이제 android와 iOS에서 notification을 사용할 수 있다. 이제 script를 이용하여 사용을 해주면 되는데 기본적인 내용은 이곳에서 볼 수 있으며, 유튜브 강의는 여기를 참고하였다. 먼저 notification을 사용하기 위한 기본적은 script를 작성할 필요가 있는데 해당 내용은

using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using Unity.Notifications.iOS;


public class iosNotificationController : MonoBehaviour
{

    //notification 사용하기 위함
    public IEnumerator<string> RequestAuthorization()
    {
        using (var req = new AuthorizationRequest(AuthorizationOption.Alert | AuthorizationOption.Badge, true))
        {
            while (!req.IsFinished)
            {
                yield return null;
            }
        }
    }

    public void SendNotification(string title, string body, string subtitle, int fireTimeInSeconds)
    {
        var timeTrigger = new iOSNotificationTimeIntervalTrigger()
        {
            TimeInterval = new System.TimeSpan(0, 0, fireTimeInSeconds),
            Repeats = false
        };

        var notification = new iOSNotification()
        {
            Identifier = "hello_world_notification",
            Title = title,
            Body = body,
            Subtitle = subtitle,
            ShowInForeground = true,
            ForegroundPresentationOption = (PresentationOption.Alert | PresentationOption.Sound),
            CategoryIdentifier = "default_category",
            ThreadIdentifier = "thread1",
            Trigger = timeTrigger

        };

        iOSNotificationCenter.ScheduleNotification(notification);

    }


    // Start is called before the first frame update
    void Start()
    {

    }

    // Update is called once per frame
    void Update()
    {

    }
}

위와 같이 작성하였다.

var timeTrigger = new iOSNotificationTimeIntervalTrigger()
        {
            TimeInterval = new System.TimeSpan(0, 0, fireTimeInSeconds),
            Repeats = false
        };

이 부분에서 TimeInterval이 int라 가장 빠르게 동작하는 시간이 1초라 좀 더 빨리는 할 수 없을까 double로 변경하려 했으나 아직 제대로 못해서 그런지 double로 하면 오류가 나서 일단은 1초로 진행하기로 하고 위 코드 그대로 진행하였다. 이제 기본적은 코드는 작성하였으니 사용하기 위한 코드가 필요하다. 사용하기 위한 코드는 이전에 만들었던 코드에서

// notification 불러오기
    [SerializeField]
    private iosNotificationController iosNotificationController;

위 코드로 이전 script를 가져온 후 void Start() 부분에 notification 사용 승인을 질문할

StartCoroutine(iosNotificationController.RequestAuthorization());

코드를 넣었다. 이전 글에서 작성한 것을 사용하여 1.3m 보다 가까워졌을 때 빨간 표기와 함께 notification도 동작하길 바라며 void Update()에

// first는 제목부분, warning은 body부분, subtitle은 말그대로, 1은 TimeInterval 시간이다.
iosNotificationController.SendNotification("first", "warning", "subtitle", 1);

을 넣으니 Update의 속도가 TimeInterval인 1초 보다 빨라 notification문구가 나오지 않았고, 앱을 종료하면 그제서야 나오는 상황이 나타났다. (이 이유를 몰라서 하루를 썼다...) 해당 문제를 해결하기 위해 Update가 아닌 FixedUpdate()를 이용하였다. FixedUpdate는 매 프레임마다 실행되는 Update와 달리 원하는 주기를 설정하여 해당주기에 따라 Update시킬 수 있기에 원하는 주기를 1초 보다 크게 한다면 동작에 문제가 없을 것이라 판단하였다. FixedUpdate의 주기를 변경하기 위해서는 project setting의 player Setting에 들어가야 한다. 그 후

위 사진과 같이 작성하면 주기는 1.1초가 된다.

주기를 설정한 후 iosNotificationController를 FixedUpdate에 사용하기 위해

// notification을 실행시키기 위한 trigger 
    static int trigger;

static을 이용하여 trigger라는 전역변수를 만들고 1.3m보다 가까워졌을 때

if (hitDis < 1.3f)
                {
                    trigger = 0;
                    color[i].material.color = Color.red;

                    Debug.Log("거리가 가까워짐");
                    trigger = 1;


                }

다음과 같이 trigger가 1이 되도록 했다. 이후

private void FixedUpdate()
    {
        if(trigger == 1)
        {
            iosNotificationController.SendNotification("first", "warning", "subtitle", 1);
            trigger = 0;
        }
    }

다음과 같이 동작 후 초기화를 해주니 원하는 동작이 실행되었다!! 원래는 실시간성이 가장 중요하여 1초 보다 빠른 반응이 필요하지만 아직 해당 부분은 좀 더 공부가 필요해 보인다.

원하는 프로젝트를 만들기 위해 남은 task는

1. 여전히 존재하는 classification 실행 시의 화면 딜레이
2. 임시로 적용한 classification model의 정확성 문제
3. 최적의 화면 추출 위치 설정
4. Backgroud 실행

이 있다. 그런데 여기서 Background 실행 방법을 찾아보던 중 iOS의 정책상 해당 어플을 Background에서 실해하는 것이 불가능한 듯한 글을 보았다... 만약 불가능하다면 아쉽지만 정책이니 4번 task를 제외한 task를 진행할 예정이다...ㅠㅠ 아직 남은 task가 있으니 열심히 연구해 볼 예정이다!!

실행 결과 (사진 클릭 시 유튜브 영상으로 이동합니다.)

공식 RetinaNet을 학습할 일이 생겨 학습을 진행하며 tqdm으로 학습 진행 상황을 시각화 하려는데 기존에는

images, labels in enumerate(train_load)

와 같은 형태의 코드에서

for images, labels in tqdm(train_load):

와 같은 형태로 변경하여 학습을 진행하면 학습 시 게이지바가 등장하였는데 이번에 진행할 코드는

 for iter_num, data in enumerate(dataloader_train):

로 image와 label을 직접적으로 추출하는 방식이 아닌 코드였다. 위 내용에서

 for iter_num, data in tqdm(dataloader_train,leave=True):

를 사용하니 ValueError: too many values to unpack (expected 2) 오류가 등장하였다. 위 문제를 해결하기 위해 검색을 한 끝에

for iter_num, data in enumerate(tqdm(dataloader_train,leave=True)):

으로 코드를 바꾸는 정상적으로 학습이 잘 진행되었다!!

이전의 경우 화면 가운데 위치의 LiDAR값만 가져왔었다. 그러나 좀 더 넓은 범위의 정보를 가져올 필요가 있었다. 초기 구성은 다음과 같다.

/위치를 가질 변수 
    public List<Vector2> posVec = new List<Vector2>();

다음과 같이 작성하였으며, 해당 변수에 값 대입은

//화면에 표기할 obj 위치 지정
        // i는 point 갯수 지정 
        for (int i = 0; i < 11; i++)
        {
            // z는 point의 높이 설정
            for (float z = 0.5f; z > 0.2; z = z - 0.1f)
            {
                if (z == 0.5f)
                {
                    //j는 x축 위치 설정 
                    for (float j = 0.1f; j < 1; j = j + 0.2f)
                    {
                        // 화면 넓이를 이용하여 point 위치를 지정 
                        posVec[i] = new Vector2(Screen.width * j, Screen.height * z);
                        i++;
                    }

                }

                else if (z == 0.4f)
                {

                    for (float j = 0.2f; j < 1; j = j + 0.2f)
                    {
                        posVec[i] = new Vector2(Screen.width * j, Screen.height * z);
                        i++;
                    }
                }
                else if (z == 0.3f)
                {
                    for (float j = 0.3f; j < 1; j = j + 0.4f)
                    {
                        posVec[i] = new Vector2(Screen.width * j, Screen.height * z);
                        i++;
                    }
                }

            }
        }

위와 같이 11개의 포인트 위치를 for문으로 작성하였다. 각 point에 표시될 모양 또한 List 형태인

// 화면의 LiDAR 사용 위치에 표시될 object
    public List<Transform> obj = new List<Transform>();

로 선언하였으며

다음과 같이 구성된 obj의 pivot 11개를

다음과 같이 연결해주었다. 해당 방법은

순순스튜디오님의 영상에서 확인할 수 있었다. 이제 각 point의 거리 값을 가져와야 하는데, 이전 처럼

 void Update()
    {
        if (m_RaycastManager.Raycast(_centerVec, s_Hits))
        {
            Quaternion tRot = Quaternion.Euler(90f, 0, 0);
            // s_Hits의 위치를 저장 
            var hitPose = s_Hits[0].pose;
            // s_Hits의 거리를 저장
            float hitDis = s_Hits[0].distance;
            // 가져온 거리를 화면에 표시 
            c_resouceText.text = hitDis.ToString("#.##") + "m";

            _pivot.localScale = new Vector3(hitDis, hitDis, hitDis);
            _pivot.position = Vector3.Lerp(_pivot.position, hitPose.position, 0.2f);
            //디버깅을 위해 rotation값을 Quaternion.Lerp에 넣어 자연스럽게 회전하게 만듦 
            _pivot.rotation = Quaternion.Lerp(_pivot.rotation, hitPose.rotation, 0.2f);

            //s_Hits의 값 초기화
            s_Hits.Clear();
        }
    }
}

일일이 작성하기는 너무 많은 양이므로

// LiDAR의 정보를 저장할 list
    static List<List<ARRaycastHit>> Hits = new List<List<ARRaycastHit>>();

다음과 같이 이중 List를 이용하였다. 11개의 List를 사용하기 위해 Start 부분에

 for (int k = 0; k < 11; k++)
        {
            List<ARRaycastHit> A = new List<ARRaycastHit>();
            Hits.Add(A);
        }

for문을 이용하여 내용을 추가했다.

LiDAR 거리값을 가져오는 방식은 이전과 같으나

if (RaycastManager.Raycast(posVec[i], Hits[i]))
            {

                Quaternion tRot = Quaternion.Euler(90f, 0, 0);

                // s_Hits의 위치를 저장 
                var hitPose_1 = Hits[i];
                var hitPose = hitPose_1[0].pose;
                // s_Hits의 거리를 저장
                var hitDis_1 = Hits[i];
                float hitDis = hitDis_1[0].distance;

                //Debug.Log(i+"의 거리" + hitDis);


                obj[i].localScale = new Vector3(hitDis, hitDis, hitDis);
                obj[i].position = Vector3.Lerp(obj[i].position, hitPose.position, 0.2f);

                //디버깅을 위해 rotation값을 Quaternion.Lerp에 넣어 자연스럽게 회전하게 만듦
                obj[i].rotation = Quaternion.Lerp(obj[i].rotation, hitPose.rotation, 0.2f);
                // 거리가 1.3m보다 짧을 경우 원을 빨간색으로 변경 
                if (hitDis < 1.3f)
                {
                    color[i].material.color = Color.red;
                }
                else
                {
                    color[i].material.color = Color.white;
                }
            }


            else
            {
                Quaternion tRot = Quaternion.Euler(90f, 0, 0);
                obj[i].localScale = new Vector3(0.5f, 0.5f, 0.5f);
                obj[i].rotation = Quaternion.Lerp(obj[i].rotation, tRot, 0.5f);
                obj[i].localPosition = Vector3.Lerp(obj[i].localPosition, Vector3.zero, 0.5f);

            }

위와 같이 이중 List에서 값을 가져오는 형식으로 변경하였으며, 거리에 따라 표시되는 원의 색이 변하게 만들었다.

색에 대한 변수는

public List<Renderer> color = new List<Renderer>();

Render 정보를 가져와서 내부의 색을 변경해주는 방식으로 작성했다!! 실행 결과 (사진 클릭 시 유튜브 영상으로 이동합니다.)

제대로 작동하는 것을 확인할 수 있었다!! 이제 남은 문제점은

1. 여전히 존재하는 화면 딜레이
2. 임시로 적용한 classification model의 정확성 문제
3. 최적의 화면 추출 위치 설정

이 있으며, 남은 문제점도 열심히 연구해 봐야겠다!!

현재 Unity를 이용하여 만든 어플의 메모리 사용량과 배터리 사용량을 확인할 필요가 있었다. 어플을 실행하고 Xcode의 부분을 클릭하니 원했던 정보를 확인할 수 있었다.

확인하니 맨 위의 사진과 같이 memory가 끝도없이 상승하는 메모리 누수현상을 발견하였다. 어플을 실행했을 때 시간이 지난 후 튕기는 현상이 발생했었는데 아마 메모리가 계속 증가하다 한계치를 넘었을 때 튕기는 현상이 발생한 듯 하다. 이유를 곰곰이 생각하니 Unity AR camera 화면 정보 일부분을 추출하기 에서 언급했던 튕기는 현상이 생각이 났고 코드를 돌아보니

   private Texture2D CaptureImage()
    {
        int width = Screen.width;
        int height = Screen.height / 3;
        Texture2D Texture = new Texture2D(width, height, TextureFormat.RGB24, false);
        Texture.ReadPixels(new UnityEngine.Rect(0, 2 * height, width, height), 0, 0);
        Texture.Apply();
        return Texture;
    }

코드를 함수들로 변경하면서 이전에 말했던 update 부분에

Texture2D Texture = new Texture2D(width, height, TextureFormat.RGB24, false);

코드를 넣어서 생성한 texture를 이용하는 것이 아니라 지속적으로 생성하여 메모리 누수 현상이 발생했던 것이다... 이 코드를

 private Texture2D CaptureImage()
    {

        Texture2D Texture = tex;
        int width = Screen.width;
        int height = Screen.height / 3;

        Texture.ReadPixels(new UnityEngine.Rect(0, 2 * height, width, height), 0, 0);
        Texture.Apply();
        return Texture;
    }

이렇게 바꾸니

<img src="https://velog.velcdn.com/images/mings-k/post/96049990-9247-48d0-a2c2-8e297900e302/image.png"width="70%" height="%">

먼저 $f(x)= e^x$인 함수를 도함수로 표기하면

$\displaystyle\lim_{ Δx\rarr0}{f(x+Δx)-f(x)\over Δx}$ = $\displaystyle\lim_{ Δx\rarr0}{e^{x+Δx} -e^{x}\over Δx}$ 이며,

$\displaystyle\lim_{ Δx\rarr0}{e^{x+Δx} -e^{x}\over Δx}$ = $\displaystyle\lim_{ Δx\rarr0}{e^{x}(e^{Δx} -1)\over Δx}$ 이 된다.

여기서 $\displaystyle\lim_{ Δx\rarr0}{e^{x}(e^{Δx} -1)\over Δx}$의 $\displaystyle\lim_{ Δx\rarr0}{(e^{Δx} -1)\over Δx}=1$ 이다.

$\displaystyle\lim_{ Δx\rarr0}{(e^{Δx} -1)\over Δx}=1$ 이라 할때

$(e^{Δx} -1) = t$라 하고, $e^{Δx} = t +1\rarr Δx=ln(t+1)$ 이다.

이 값을 $\displaystyle\lim_{ Δx\rarr0}{(e^{Δx} -1)\over Δx}$에 대입하면

$=\displaystyle\lim_{ t\rarr0}{t\over ln(t+1)}$

$=\displaystyle\lim_{ t\rarr0}{{1\over ln(t+1)}\over t}$

$=\displaystyle\lim_{ t\rarr0}{1\over{1\over t} ln(t+1)}$

$=\displaystyle\lim_{ t\rarr0}{1\over ln(t+1)^{1\over t}}$

위 값은 $e=\displaystyle\lim_{ t\rarr0}{ln(t+1)^{1\over t}}$ 에 의해

$\rarr\displaystyle{1\over ln(e)}$ 이 되며 결과적으로 1이 되기에 이 가정은 사실이 된다.

그렇기에 최종적으로

$\displaystyle\lim_{ Δx\rarr0}{e^{x}(e^{Δx} -1)\over Δx}$의 값은 $e^{x}$가 되므로

$e^x$의 미분은 $e^x$이다.

먼저 Unity에서 classification model을 사용하기 위해 Barracuda package를 사용하였다. 그리고 MobileNetv3에 custom dataset을 이용하여 학습한 후 onnx 파일로 출력하여 unity에 적용하였다.

using Unity.Barracuda;

로 Barracuda를 적용하고

// Barracuda를 이용하여 사용할 model 선언 
    public NNModel classification;
    public Model model;
    public IWorker engine;

위 코드를 이용하여 Model을 사용하기 위한 기본 선언을 해준다. label에 대한 정보는 '\n'을 기준으로 class를 분리한 text파일에 들어있으며 classs는

bus car motorcycle train truck

총 5가지로 이루어져 있다. label에 대한 내용은

public TextAsset labelAsset;
private string[] labels;
// 화면에 text를 출력하기 위한 선언 
public TextMeshProUGUI lab;

을 이용하여 선언하였다.

최종으로 script에 다음과 같이 적용하였다. Model을 적용하기 위한 코드는

private void Awake()
    {
        // 화면에서 추출할 위치 지정 
        int width = Screen.width;
        int height = Screen.height / 3;
        // 화면 정보를 담을 공간 마련 
        tex = new Texture2D(width, height, TextureFormat.RGB24, false);
        // '\n'으로 분리된 label text값을 split  
        labels = labelAsset.text.Split('\n');

        model = ModelLoader.Load(classification);
        // 모델을 수행할 device 설정 
        WorkerFactory.Device device = WorkerFactory.Device.CPU;
        engine = WorkerFactory.CreateWorker(model, device);
    }

private void ExecuteML(Texture2D inputTexture)
    {
        int bestIndex = 0;
        float bestValue = 0;
        Tensor inputTensor = new Tensor(inputTexture, 3);
        engine.Execute(inputTensor);
        var output = engine.PeekOutput("modelOutput");
        // 가장 큰 값을 가지는 label 도출 
        for (int i = 0; i < 5; i++)
        {
            if (output[0, 0, 0, i] >= bestValue)
            {
                bestIndex = i;
                bestValue = output[0, 0, 0, i];
            }
        }
        // 화면에 classification 결과 label 출력 
        lab.text = labels[bestIndex];
        //Debug.Log(labels[bestIndex]);

    }

위와 같다. 처음 object detection을 이용하려 하였으나 iPad에서 실행시키니 화면의 딜레이가 너무 심해서 classification을 사용하였다. 그러나 현재 동작은 되지만 아직 해결해야할 문제점들이 있다.

1. 여전히 존재하는 화면 딜레이
2. 임시로 적용한 classification model의 정확성 문제
3. 최적의 화면 추출 위치 설정
4. LiDAR point 위치 및 data 활용 방법 고안

위 문제를 지속적으로 해결해 나갈 예정이며 classification의 결과 사진을 마지막으로 이번 글을 끝내고자 한다.

본 게시글의 LiDAR 사용 부분은 Youtube순순스튜디오님의 해당 영상에서 배운 내용을 활용하였습니다.

현재 진행중인 프로젝트의 필요내용은 아래와 같다.

using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using UnityEngine.XR.ARFoundation;
using UnityEngine.XR.ARSubsystems;
using UnityEngine.UI;
//TextMeshPro를 사용하기 위해 선언
using TMPro;

public class LiDARManager : MonoBehaviour
{
    public ARRaycastManager m_RaycastManager;
    // LiDAR의 정보를 저장할 list 
    static List<ARRaycastHit> s_Hits = new List<ARRaycastHit>();
    // center의 위치를 가질 변수
    public Vector2 _centerVec;
    // 화면의 LiDAR 사용 위치에 표시될 object
    public Transform _pivot;
    // LiDAR의 거리정보를 화면에 표시하기 위해
    public TextMeshProUGUI c_resouceText;




    void Start()
    {
        //화면의 중앙을 의미
        _centerVec = new Vector2(Screen.width * 0.5f, Screen.height * 0.5f);
    }


    void Update()
    {
        if (m_RaycastManager.Raycast(_centerVec, s_Hits))
        {
            Quaternion tRot = Quaternion.Euler(90f, 0, 0);
            // s_Hits의 위치를 저장 
            var hitPose = s_Hits[0].pose;
            // s_Hits의 거리를 저장
            float hitDis = s_Hits[0].distance;
            // 가져온 거리를 화면에 표시 
            c_resouceText.text = hitDis.ToString("#.##") + "m";

            _pivot.localScale = new Vector3(hitDis, hitDis, hitDis);
            _pivot.position = Vector3.Lerp(_pivot.position, hitPose.position, 0.2f);
            //디버깅을 위해 rotation값을 Quaternion.Lerp에 넣어 자연스럽게 회전하게 만듦 
            _pivot.rotation = Quaternion.Lerp(_pivot.rotation, hitPose.rotation, 0.2f);

            //s_Hits의 값 초기화
            s_Hits.Clear();
        }
    }
}

이용하였다. 화면에 글자를 표시하기 위해 Unity의 Canvas에 제공하는 TextMeshPro를 이용하였다. 화면에 출력될 Canvas의 화면은

위와 같이 원하는 결과물을 얻을 수 있었다. 이후에는 추출한 상단 이미지를 딥러닝 Classification Model에 넣어 결과물을 얻는 작업을 진행할 예정이다!!

본 게시글의 LiDAR 사용 부분은 Youtube순순스튜디오님의 해당 영상에서 배운 내용을 정리하였습니다.

iOS에서 제공하는 LiDAR를 활용하여 거리를 측정하기 위해 사용법을 찾던 도중 Unity의 AR Foundation 기능을 이용하면 사용이 가능하다는 것을 알게 되었다. AR Foundation을 사용했던 적이 전무했기에 인터넷과 유튜브를 헤매던 도중 가뭄의 단비같은 Youtube순순스튜디오님의 유튜브를 알게되었으며 강의를 통해 알게된 Raycast에 대한 것을 정리하고자 한다. (해당 내용은 Raycast를 사용하여 터치한 부분에 공을 두는 것이다.)

먼저 iOS의 LiDAR는 비교적 최근 모델의

• iPhone pro model

• iPad pro model

에서 제공하고있다.

Unity에서 AR 기능을 이용하기 위해 Unity project를 AR로 만들어준다. 그후 아래와 같이 구성된 초반 AR Session Origin의 AR Raycast Manager에 Raycast Prefab의 부분에 Ball prefeb을 추가한다. (LiDAR를 사용하기 위해서는 Raycast Manager가 중요하다.)

기존의 Default Component에서

이를 통해 생성된 plane에 Ball을 중첩해서 생성할 수 있게된다. 이렇게 생성한 Ball은 Prefab형태로 만들어야 하는데 간단하게 폴더를 생성 후 거기에 Drag and Drop을 하면 된다.

생성된 Prefab을 AR Raycast Manager의 Raycast Prefab에 넣어준다. 그 후 C# Script를 만들고

using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using UnityEngine.XR.ARFoundation;
using UnityEngine.XR.ARSubsystems;

public class SetARBall : MonoBehaviour
{
    // 추가한 RaycastManager를 component로 연동
    public ARRaycastManager m_RaycastManager;
    // 충돌되는 점들을 저장할 list 생성
    static List<ARRaycastHit> s_Hits = new List<ARRaycastHit>();

    // Start is called before the first frame update
    void Start()
    {

    }

    // Update is called once per frame
    void Update()
    {
        if(Input.touchCount > 0)
        {
            Vector2 touchPosition = Input.GetTouch(0).position;
            // Raycast에서 touchPosition이 현재 터치한 포인트를, s_Hits가 포인트 저장, .planeWithinPolygon이 생성한 Plane위에 raycast를 생성 
            if (m_RaycastManager.Raycast(touchPosition, s_Hits, TrackableType.PlaneWithinPolygon))
            {
                var hitPose = s_Hits[0].pose;
                // raycast에 연결되어있는 ratcastPrefab object를 hitPose.position, hitPose.rotation에 맞춰서 생성)
                Instantiate(m_RaycastManager.raycastPrefab, hitPose.position, hitPose.rotation);
            }
        }

    }
}

위 코드를 넣은 후

tex.ReadPixels(new UnityEngine.Rect(0, height, width, height), 0, 0);

을 이용하면 카메라의 일부분을 추출할 수 있다는 정보를 얻어 실행에 옮겼다.

처음 완성한 코드는

using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using OpenCvSharp;
using UnityEngine.UI;

public class opencv : MonoBehaviour
{

    public RawImage img = default;

    void Start()
    {

        int width = Screen.width;
        int height = Screen.height;
        Texture2D tex = new Texture2D(width, height, TextureFormat.RGB24, false);
        tex.ReadPixels(new UnityEngine.Rect(0, 0, width, height), 0, 0);
        tex.Apply();

    }

    void Update()
    {

    }
}

위와 같았다. 그 결과는 rawimage에 검정화면만... 생각해보니 위 코드를 Update가 아닌 Start에 넣었기에 시작 시 한 번만 화면을 읽기때문에 첫화면인 검정화면을 띄울 것이라 판단하여 Update에 위치한

using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using OpenCvSharp;
using UnityEngine.UI;

public class opencv : MonoBehaviour
{

    public RawImage img = default;

    void Start()
    {
    }

    void Update()
    {

        int width = Screen.width;
        int height = Screen.height;
        Texture2D tex = new Texture2D(width, height, TextureFormat.RGB24, false);
        tex.ReadPixels(new UnityEngine.Rect(0, 0, width, height), 0, 0);
        tex.Apply();

    }
}

위의 코드로 변경하였고 그 결과는 아래와 같았다.

using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using OpenCvSharp;
using UnityEngine.UI;

public class opencv : MonoBehaviour
{
    // 카메라 영상을 받을 위치 지정
    public RawImage img = default;
    // 카메라 영상을 담을 변수 지정
    private Texture2D tex;

    void Start()
    {
        //화면 위치 지정
        int width = Screen.width;
        int height = Screen.height / 3;
        // tex에 화면 정보를 담을 공간 마련 
        tex = new Texture2D(width, height, TextureFormat.RGB24, false);
    }

    void Update()
    {
        int width = Screen.width;
        int height = Screen.height / 3;

        // 상단 1/3 위치의 화면 정보 읽기 
        tex.ReadPixels(new UnityEngine.Rect(0, 2 * height, width, height), 0, 0);
        // 읽은 화면정보를 tex에 담기 
        tex.Apply();

        // tex에 담긴 Texture2D 정보를 img에 넣어 화면에 출력 
        img.texture = tex;
    }
}

위의 코드로 변경하니 튕기는 문제는 해결되었다. 그러나 아직 남은 하나의 문제... 바로 여러 층이 쌓이는 현상이었다. 코드도 바꿔보고 여러 방법을 써봤으나 상황은 바뀌지 않았다. 그러다 문뜩

'rawimage의 위치 때문인가?'