Quick Look

Authors & Affiliation: [Shitong Luo, Wei Hu] [Wangxuan Institute of Computer Technology, Peking University]

Link : https://arxiv.org/pdf/2007.13551.pdf

Comments: Published at ACMM 2020

TLDR: Point Cloud denoising with differentiable manifold reconstruction

Relevance: 4

Research Topic

• Category (General) : Computer Vision
• Category (Specific) : Point Clouds Denoising

Paper summary (What)

[Summary of the paper - a few sentences with bullet points. What did they do?]

• We propose a differentiable manifold reconstruction paradigm for point cloud denoising, aiming to learn the underlying manifold of a noisy point cloud via an autoencoder-like framework.

• manifold: 차원을 축소할 때, 모든 정보의 대표성을 지닌채로 축소된 데이터의 분포 ex) 스위스롤

• We propose an adaptive differentiable pooling operator on point clouds, which samples points that are closer to the underlying surfaces and thus narrows down the latent space for reconstructing the underlying manifold.

  

• We infer the underlying manifold by transforming each sampled point along with the embedded feature of its neighborhood to a local surface centered around the point—a patch manifold.
• We design an unsupervised training loss, so that our network can be trained in either an unsupervised or supervised fashion.

Issues addressed by the paper (Why)

[What are the issues that the paper addresses? Describe the problem. Why did they write this paper?]

1. point clouds data are often contaminated by noise due to inherent limitations of scanning devices or matching ambiguities in the reconstruction from images
2. In general, these methods infer the displacement of noisy points from the underlying surface and reconstruct points, which however are not designated to recover the surface explicitly and may lead to suboptimal denoising results

Detailed Information (How)

Methodology

[How did they approach the problem. What methods did they use? ]

1. Hence, point cloud denoising is crucial to relevant 3D vision applications, which is also challenging due to the irregular and unordered characteristics of point clouds.
2. To this end, inspired by that a point cloud is typically a representation of some underlying surface or 2D manifold over a set of sampled points, we propose to explicitly learn the underlying manifold of a noisy point cloud for reconstruction, aiming to capture intrinsic structures in point clouds

Assumptions

[What assumptions were made and are these assumptions valid?]

Prominent Formulas

[Can be empty]

Prominent Figures

Results

[Theoretical or empirical results (any main tables) ]

Limitations

[Did the authors mention any limitations to their work? Do you see any limitations of their work?]

1. normals estimation
2. reconstruction

Confusing aspects of the paper

[Is there anything that is confusing and could need better explanations or references?]

Conclusions

The author's conclusions

[What are the authors conclusion? What do they claim about their results.]

1. we propose a novel paradigm of learning the underly- ing manifold of a noisy point cloud from differentiably subsampled points.
2. By sampling on each patch manifold, we reconstruct a clean point cloud that captures the intrinsic structure.
3. Our network can be trained end-to-end in either a supervised or unsupervised fashion.
4. Extensive experiments demonstrate the superiority of our method compared to the state-of-the-art methods under both synthetic noise and real-world noise.

My Conclusion

[What do you think about the work presented in the article? Did the authors manage to achieve what they set out to achieve?]

Rating

[Fine, Good, Great, Wow, Turing Award ]

Great

Possible future work / improvements

[Can you think of ways to improve this paper or ideas for future work?]

Extra

• Cited references to follow up on / related papers:
• Source code/ blog/ twitter thread/ other links: https://github.com/luost26/DMRDenoise

Quick Look

Authors & Affiliation:

[Authors]: Shaoyu Chen, Jiemin Fang, Qian Zhang, Wenyu Liu, Xinggang Wang

[Affiliations]: School of EIC, Huazhong University of Science & Technology, Institute of AI, Huazhong University of Science & Technology, Horizon Robotics

Link : https://arxiv.org/pdf/2108.02350.pdf

Comments: Published at ICCV2021

TLDR: 3D instance segmentation using hierarchical aggregation

Relevance: 4

Research Topic

• Category (General) : Computer Vision
• Category (Specific) : 3D instance segmentation

Paper summary (What)

[Summary of the paper - a few sentences with bullet points. What did they do?]

• a novel bottom-up framework with the hierarchical aggregation for instance segmentation on 3D point cloud
• 1st on the leaderboard of ScanNetv2, SOTA on S3DIS
• highest efficiency among all existing methods (2021 기준), average per-frame inference time on ScanNet v2 is only 410ms

Issues addressed by the paper (Why)

[What are the issues that the paper addresses? Describe the problem. Why did they write this paper?]

In extending 2D instance segmentation to 3D scenes, most existing 3D methods adopt a totally different bottom-up pipeline, which generates instances through clustering.

the difficulties of directly clustering a point cloud into multiple instances

Becuase:

1. a point cloud usually contains a large number of points
2. the number of instances in a point cloud has large variations for different 3D scenes
3. the size of instances vary significantly
4. each point has a very weak feature

Detailed Information (How)

Methodology

1. The point-wise prediction network extracts features from point clouds
2. Predicts point-wise semantic labels and center shift vectors
3. The point aggregation module forms preliminary instace predictions based on point-wise prediction results
4. The set aggregation module expands incomplete instances to cover missing parts
5. The intra instance prediction network smooths instances to filter out outliers

Assumptions

[What assumptions were made and are these assumptions valid?]

Prominent Formulas

Prominent Figures

Results

[Theoretical or empirical results (any main tables) ]

Limitations

[Did the authors mention any limitations to their work? Do you see any limitations of their work?]

1. It was validated only for objects, not for human body or face which is more elaborate an detailed
2. They throw away some raw data in the filtering processing which is in intra-instance prediction.

Confusing aspects of the paper

[Is there anything that is confusing and could need better explanations or references?]

Conclusions

The author's conclusions

HAIS is a concise bottom-up approach for 3D instance segmentation.

The effectiveness and generalization of the method are demonstrated by Experiments on ScanNet v2 and S3DIS

HAIS retains much better inference speed than all existing methods, showing its practicability expecially latency-sensitive ones.

→ HAIS is concise, effective and fast.

My Conclusion

[What do you think about the work presented in the article? Did the authors manage to achieve what they set out to achieve?]

I agree that the extension of 2D to 3D has many difficulties as they points out.

In this point, the trial to address the issue and achievement of this study matter.

But, what I want more is that the 3D point data doesn’t loss its raw data.

It will have some trouble when the 3D points are rendered into 3D model

Rating

Wow

Possible future work / improvements

[Can you think of ways to improve this paper or ideas for future work?]

1. 사람 신체 구조에 대한 data set은 face parsing으로 현재 구축이 되어있으므로, 이 데이터로 instance segmentation 학습을 진행하면 우리 연구에 맞는 결과값을 도출해낼 수 있을 것 같음

2. raw data를 잃어서 3d reconstrunction을 위한 정보도 함께 소실되는 문제를 해결하기 위해, point-base MVS 기술을 이용해 3d depth map을 얻는 해결책을 고안해볼 수 있음.

   (민서 리뷰 링크 추가하기)

Extra

• Cited references to follow up on / related papers: NSFC
• Source code/ blog/ twitter thread/ other links: https://github.com/hustvl/HAIS

• python에서 사용가능한 ML framework

CoreML

• swift에서 사용가능한 ML framework
• https://coremltools.readme.io/docs

Why?

• Swift를 이용하여 ML이 적용된 iOS app을 만들고자 할 때, Swift에서 import 가능한 framework인 CoreML을 이용해 모델을 생성, 학습, 추론을 진행할 수 있다.
• TensorFlow framework로 학습되어진 모델을 iOS에 적용하기 위해서는 CoreML framework로 변환을 해야한다 (TensorFlow를 PyTorch로 conversion하는 것과 같은 맥락)

How?

In Python Code (TensorFlow)

• https://coremltools.readme.io/docs/unified-conversion-api

1. Load the model

import torch
import torchvision

# Load a pre-trained version of MobileNetV2
torch_model = torchvision.models.mobilenet_v2(pretrained=True)
# Set the model in evaluation mode.
torch_model.eval()

# Trace the model with random data.
example_input = torch.rand(1, 3, 224, 224) 
traced_model = torch.jit.trace(torch_model, example_input)

# 여기서 sample input과 sample output에 대한 세팅이 진행된다
out = traced_model(example_input)

1. Convert the model using convert()

# Using image_input in the inputs parameter:
# Convert to Core ML using the Unified Conversion API.
model = ct.convert(
    traced_model,
    inputs=[ct.TensorType(shape=example_input.shape)]
 )

1. Save the ml Model

# Save the converted model.
model.save("mobilenet.mlmodel")

In Swift Code (CoreML)

• 앞서 변형된 mlmodel을 다음과 같이 project에 load할 수 있음

1. load mlmodel

guard let model = try? VNCoreMLModel(for: FaceParsing().model) else {
    fatalError("Loading CoreML Model Failed.")
}

1. inference with handler

let handler : VNImageRequestHandler = VNImageRequestHandler(ciImage: inputImg as! CIImage)

do{
    try! handler.perform([request])
}catch{
    print("error")
}

1. process images with inferenced results

let request = VNCoreMLRequest(model: model) {
    request, error in
    guard let results = request.results as? [VNCoreMLFeatureValueObservation],
            let segmentationmap = results.first?.featureValue.multiArrayValue,
            let row = segmentationmap.shape[0] as? Int,
            let col = segmentationmap.shape[1] as? Int else {
        fatalError("Model failed to process images.")
    }

    self.model_results = results
    self.model_segmentationmap = segmentationmap
}

실제 코드

guard let model = try? VNCoreMLModel(for: FaceParsing().model) else {
            fatalError("Loading CoreML Model Failed.")
        }

let request = VNCoreMLRequest(model: model) {
    request, error in
    guard let results = request.results as? [VNCoreMLFeatureValueObservation],
            let segmentationmap = results.first?.featureValue.multiArrayValue,
            let row = segmentationmap.shape[0] as? Int,
            let col = segmentationmap.shape[1] as? Int else {
        fatalError("Model failed to process images.")
    }

    self.model_results = results
    self.model_segmentationmap = segmentationmap
}

let handler : VNImageRequestHandler = VNImageRequestHandler(ciImage: inputImg as! CIImage)

do{
    try! handler.perform([request])
}catch{
    print("error")
}

Ref) https://coremltools.readme.io/docs/what-are-coreml-tools

• python에서 사용가능한 ML framework

CoreML

• swift에서 사용가능한 ML framework
• https://coremltools.readme.io/docs

Why?

• Swift를 이용하여 ML이 적용된 iOS app을 만들고자 할 때, Swift에서 import 가능한 framework인 CoreML을 이용해 모델을 생성, 학습, 추론을 진행할 수 있다.
• TensorFlow framework로 학습되어진 모델을 iOS에 적용하기 위해서는 CoreML framework로 변환을 해야한다 (TensorFlow를 PyTorch로 conversion하는 것과 같은 맥락)

How?

In Python Code (TensorFlow)

• https://coremltools.readme.io/docs/unified-conversion-api

1. Load the model

import coremltools as ct

# Load TensorFlow model
import tensorflow as tf # Tf 2.2.0

tf_model = tf.keras.applications.Xception(weights="imagenet", 
                                          input_shape=(299, 299, 3))

1. Convert the model using convert()

# Convert using the same API
model_from_tf = ct.convert(tf_model)

1. Save the ml Model

model_from_tf.save("imagenet.mlmodel")

1. model을 load하는 다양한 방법들을 추가한 최종버전 (or 버전들도 가능하다는 의미)

import tensorflow as tf
import coremltools as ct

tf_keras_model = tf.keras.Sequential(
    [
        tf.keras.layers.Flatten(input_shape=(28, 28)),
        tf.keras.layers.Dense(128, activation=tf.nn.relu),
        tf.keras.layers.Dense(10, activation=tf.nn.softmax),
    ]
)

# Pass in `tf.keras.Model` to the Unified Conversion API
mlmodel = ct.convert(tf_keras_model)

# or save the keras model in SavedModel directory format and then convert
tf_keras_model.save('tf_keras_model')
mlmodel = ct.convert('tf_keras_model')

# or load the model from a SavedModel and then convert
tf_keras_model = tf.keras.models.load_model('tf_keras_model')
mlmodel = ct.convert(tf_keras_model)

# or save the keras model in HDF5 format and then convert
tf_keras_model.save('tf_keras_model.h5')
mlmodel = ct.convert('tf_keras_model.h5')

# save converted model
mlmodel.save("trainedmodel.mlmodel")

In Swift Code (CoreML)

• 앞서 변형된 mlmodel을 다음과 같이 project에 load할 수 있음

1. load mlmodel

guard let model = try? VNCoreMLModel(for: FaceParsing().model) else {
    fatalError("Loading CoreML Model Failed.")
}

1. inference with handler

let handler : VNImageRequestHandler = VNImageRequestHandler(ciImage: inputImg as! CIImage)

do{
    try! handler.perform([request])
}catch{
    print("error")
}

1. process images with inferenced results

let request = VNCoreMLRequest(model: model) {
    request, error in
    guard let results = request.results as? [VNCoreMLFeatureValueObservation],
            let segmentationmap = results.first?.featureValue.multiArrayValue,
            let row = segmentationmap.shape[0] as? Int,
            let col = segmentationmap.shape[1] as? Int else {
        fatalError("Model failed to process images.")
    }

    self.model_results = results
    self.model_segmentationmap = segmentationmap
}

실제 코드

guard let model = try? VNCoreMLModel(for: FaceParsing().model) else {
            fatalError("Loading CoreML Model Failed.")
        }

let request = VNCoreMLRequest(model: model) {
    request, error in
    guard let results = request.results as? [VNCoreMLFeatureValueObservation],
            let segmentationmap = results.first?.featureValue.multiArrayValue,
            let row = segmentationmap.shape[0] as? Int,
            let col = segmentationmap.shape[1] as? Int else {
        fatalError("Model failed to process images.")
    }

    self.model_results = results
    self.model_segmentationmap = segmentationmap
}

let handler : VNImageRequestHandler = VNImageRequestHandler(ciImage: inputImg as! CIImage)

do{
    try! handler.perform([request])
}catch{
    print("error")
}

Ref) https://pilgwon.github.io/blog/2017/09/18/Smart-Gesture-Recognition-CoreML-TensorFlow.html https://medium.com/@JMangia/swift-loves-tensorflow-and-coreml-2a11da25d44

잘못 이해한 개념이나 부적절하게 사용된 자료가 있다면 댓글로 알려주시면 감사하겠습니다!

Mac에서 실행

M1에서 실행을 시도했지만, NVIDIA계열이 아닌 apple 자체 생산 그래픽카드를 사용하는 M1의 특성 상 실패했다.

모델에서는 NVCC (NVIDIA CUDA Compiler) 설치를 필요로 하기 때문이다.

소유 중인 pc의 그래픽 관련 사양

Windows에서 실행

우선, 해당 PC의 그래픽 카드는 RTX 3090이다.

1. Virtual Environment 생성하기

DMRDenoise 라는 이름의 venv 생성.

conda create --name DMRDenoise python=3.6

🚨문제 발생

• 환경 생성 과정에서 SSL verify 불안정으로 인한 문제가 발생했다.

CondaHTTPError: HTTP 000 CONNECTION FAILED

• solution

    `./Anaconda3/Library/bin` 경로에서 아래 파일들을 복사하여

    - `libcrypto-1_1-x64.dll`

    - `libcrypto-1_1-x64.pdb`

    - `libssl-1_1-x64.dll`

    - `libssl-1_1-x64.pdb`



 `./Anaconda3/DLLs` 경로에 붙여넣기 하면 해결이 된다.

2. Virtual Environment activate

DMRDenoise를 activate하기

conda activate DMRDenoise

3. Packages install

모델링에 필요한 패키지들 : pytorch, scikit-learn, cudatoolkit, torchvision, pytorch lightning, h5py

conda install -y pytorch=1.5.1 torchvision=0.6.1 cudatoolkit=9.2 -c pytorch
conda install -y scikit-learn=0.23.1
conda install -y -c conda-forge h5py=2.10.0 pytorch-lightning=0.7.6

🚨두가지 문제가 발생했다.

1. cudatoolkit을 설치했지만, 환경변수 PATH로 설정되지 않아 setup.py install 시 error 발생

OSError: CUDA_HOME environment variable is not set. Please set it to your CUDA install root

• solution
  1. conda deactivate 후에 original PC에 cudatoolkit을 깔아보기
  2. 여전히 환경 변수 설정이 안되어 있어서 고급시스템에 접근하여 직접 설정함 (./CUDA)
     1. PATH 설정은 terminal로 하는 방법이 있는 것 같기도 하다 (추후 다시 알아보기)
     2. 환경 변수는 PC 재시동 후에 적용된다는 것을 이후에 알게 되었다. 이것 역시 해결책이 될 수 있을 것 같다.

1. 깃허브에서 제안하는 cudatoolkit 10.0에게는 RTX 3090이 너무 최신이라 장치를 지원하지 못해서 setup.py install 시 error 발생

ValueError: Unknown CUDA arch (8.6) or GPU not supported

• solution

  1. packages install 과정에서 cudatoolkit=11.0으로 다시 설정해서 install을 시도해보았다.

  2. 그러자 다른 package들에 비해 cudatoolkit=11.0의 버전이 너무 높아 conflict가 발생했다.

  3. 다른 package의 버전은 default로 설정한 후 모든 package들을 재설치했다.

     1. default로 설정했다는 것은, pytorch=1.5.1이 아니라 그냥 pytorch라고만 입력했다는 것.

     2. 그러고 나니, pytorch=1.7.1, pytorch-lightning=1.4.5, h5py=2.10.0, scikit-learn=0.23.1, torchvision=0.8.2, cudatoolkit=11.0 가 되었다.

        conda install -y pytorch torchvision cudatoolkit=11.4 -c pytorch
        conda install -y scikit-learn=0.23.1
        conda install -y -c conda-forge h5py pytorch-lightning

  4. cudatoolkit=11.0에 맞춘 패키지 버전들을 설치한 채로 진행하니 setup.py install에 성공했다.

4. Point cloud data denoising하기

1. 깃허브에서 제공된 pre-trained 모델 중 supervised model을 이용해 denoising을 시도하였다.
2. 우선, 내가 LiDAR 센서로부터 얻은 데이터를 입력하기 전에, 깃허브에서 제공하는 test data를 입력해보고 어떤 파일형식을 input하고 output하는 지 살펴볼 필요가 있었다.
3. airplane_0016.obj.xyz 이라는 파일을 우선 meshlab을 통해 어떤 data인지 확인해보았다.

normal vectors가 포함되지 않은 .xyz 파일이므로 normals를 이용한 screened poisson reconstruction은 진행하지 못했고, 대신 Ball Pivoting을 함

4. 해당 파일을 command에서 input으로 입력했다.

   python denoise.py --input ../dataset_test/input_full_test_50k_0.010/airplane_0016.obj.xyz --output ./output_airplane.obj.xyz --ckpt ./pretrained/supervised/epoch=153.ckpt

🚨 문제발생

- 앞서 `cudatoolkit=11.0`에 맞춰서 설치된 `pytorch-lightning=1.4.5`가 문제가 된 모양이다.

>*TypeError: **init**() missing 1 required positional argument: 'hparams'*

• solution

  1. 찾아보니, pytorch-lightning 패키지 파일에 들어있는 saving.py(정확히 기억안남)에서 hyper parameter를 모델 학습시킨 후 check point에서 load를 해주지 않아서 생긴 문제라고 한다.

  2. 그러나, 깃허브에서 pytorch-lightning=0.7.6을 권장했으며 issue를 찾아봐도 동일한 문제가 발생한 사람들은 없었기에 GPU 버전으로 인해 불가피하게 pytorch-lightning=1.4.5를 설치하면서 hparams가 필요한 패키지로 실행해버린 것이 아닌가라는 추측이다.

  3. 이에 대한 해답을 찾기에 큰 어려움이 있다고 판단한 후, 이 문제에 대해서 깃허브에 issue로 올린 상태이다. 따라서 해당 solution은 논문 저자의 답변이 올 때까지 대기 상태이다. (https://github.com/luost26/DMRDenoise/issues/13)

     1. GPU 버전 문제를 해결하기 위해서 온라인 가상머신의 역할을 하는 gradient 사용도 고려 중이다. ( https://gradient.paperspace.com/ )

  4. 답변은 오지 않았지만 다시 에러를 해결하기 위해 여기저기 찾다보니 발견한 pytorch 공식 홈페이지에서 해결책을 찾을 수 있었다.(https://pytorch.org/get-started/locally/)

     conda install pytorch torchvision torchaudio cudatoolkit=11.1 -c pytorch -c conda-forge

  5. cudatoolkit=11.1을 설치하려면 conda-forge가 추가되야한다고 한다.

  6. 이 command로 설치를 하니 pytorch-lightning=0.7.6 설치도 문제 없이 설치가 되었다.

4. 해당 모델 추론 결과는 다음과 같이 나왔다.

   Ball Pivoting 결과

5. 50k에서 67k로 늘어난 것을 확인 할 수 있었고, 이는 reconstructed manifold에서 resampling과정을 거쳤기 때문이라고 보고있다. 80k data를 입력했을 때도 60k 대 points가 되는 것으로 보아 points가 늘어날 지 감소할 지 예측할 수 없다.

5. Problems

1. normals estimation
   1. 이 모델은 기존의 point cloud set에서 단순히 noise point만 제거하는 것이 아니라 surface를 가장 잘 표현할 수 있도록 point 제거 및 재생성을 진행하므로 기존의 normal값을 후에 matching할 수가 없다.
   2. normal estimation을 진행하더라도 view point와 같이 SLAM과 관련된 parameter들을 소실한 채로 진행해야하므로 normal vector들이 부정확하다.
2. reconstruction
   1. normals estimation에서 파생되는 문제로, normals가 정확하지 않아서 poisson reconstruction을 시행해도 다음과 같이 부정확한 형태로 출력이 된다.
   2. 그나마 다행인 것은, denoise 전과 후의 reconstruction 결과가 눈에 띄게 다르다는 것인데 후의 결과를 보면 모양은 이상하지만 normals estimation이 양쪽 날개와 꼬리에 대해 대칭으로 진행되어 reconstruction도 대칭으로 진행된 것을 확인할 수 있다.

noisy airplane

denoised airplane

6. Tasks

1. normals vector를 어떻게 하면 기존의 정보를 최대한 소실하지 않고 계속 보존할 수 있을 지 고민하기
2. 해당 모델을 CoreML을 이용해 ios device에서 실행시킬 수 있도록 swift 이식하기.

아직 수정하고 보완해야할 부분이 많고 미완성의 글이지만, 기록의 목적으로 포스팅했습니다!

혹시 제가 잘못 이해한 개념이 있거나, 포스팅 과정에서 문제가 되는 자료가 쓰였다면 댓글로 알려주시면 감사하겠습니다!

• Point Cloud:
  • geomatric data structure을 이해하는 데에 필수적인 요소
  • 3차원 대상의 연속적인 표면을 점으로 나타내어 입체적인 이미지 데이터를 얻어내는 표현방식

Abstract

• Point Net 이전, 대부분의 3D data 관련 연구에서는 Deep net 구조에 데이터를 입력하기 위해서는 불규칙한 값들을 정형화하는 과정인 rendering이 필수였다.
• Point Net에서는 Point Cloud에서 중요한 정보만을 뽑아 3D coordinate (x,y,z)로 표현하는 과정이 포함되어 있어 Network에 feeding하기 위해 별도의 rendering이 필요하지 않다.

1. polygon으로 표현된 Mesh
2. voxel로 표현된 Volumetric (voxel은 단위영역을 육면체로 표현한 것으로 마인크래프트를 생각하면 쉽다.)
3. point cloud (별도의 rendering이 필요하지 않다.)

1. Introduction

• abstract에서 언급된 바와 같이 이 연구는 3D data를 deep learning에 입력할 시에 rendering을 하지 않을 수 있는 방식을 고안한다.
• Point Net의 핵심기능: unordered data인 point data에 순서를 부여해 별도의 렌더링 없이 neural net에 바로 투입시킬 수 있게 데이터를 처리하는 것.
• Point Net 논문의 4가지 핵심사항
  1. 3D상의 unordered point sets을 소비하는데에 적합한 새로운 deep net architecture를 디자인한다.
  2. 3D shape classification, shape part segmentation 그리고 scene semantic parsing tasks에 대해서 해당 network가 얼마나 잘 훈련되고 수행되는 지를 입증한다.
  3. 해당 방식에 대한 안정성과 효율성에 대해 경험적이고 이론적인 분석을 제공한다.
  4. net 상에서 선택된 뉴런에 의해 계산되는 3D feature를 설명하고 그것의 수행에 대해 직관적인 설명을 발전시킨다.

2. Related Work

(아래 내용들에 대해서는 다음에 기회가 되면 정리하고자 한다)

• Point Cloud Features
• Deep Learning on 3D Data
• Deep Learning on Unordered Sets

3. Problem Statement

{$P_i | i = 1, ..., n$}

• Point P_i: vector of its (x,y,z)
• (x,y,z, alpha~) extra feature이 xyz 뒤에 추가될 수 있다.
• For object classification input
  • input point cloud를 바로 형태로부터 sampling 또는 point cloud에서 미리 sementing 처리를 함.
• For semantic segmentation input
  • 여러지역 segmentation에 대해 하나의 이미지를 input으로 넣거나 또는 object 지역 segmentation에 대해서 3D scene으로부터 sub-volume을 input으로 넣을 수 있다.
• output: n*m (n개 points, m개 semantic sub-categories)

4. Deep Learning on Point Sets

4.1. Properties of Point Sets in R^n (real number)

• 지금까지 여러 연구에서 3D data를 다루기에 앞서서 rendering을 시행했던 이유는 point set의 특성이 다음과 같기 때문이다.

  1. Unordered: pixel이나 voxel과 다르게 특별한 순서가 없다. 따라서, n개의 point (x,y,z)를 net에 feeding하는 경우의 수는 n!. 그러나, deep learning에서는 모든 경우의 수에 대해서 neural network의 output이 같아야 한다.[permutation invariant]

     → point net의 solution: symmetric function의 일종인 max pooling을 적용하였다.

  2. Point간의 상호작용: points는 거리체계를 가진 공간으로부터 얻어진 데이터들이다. 서로의 이웃이 존재하므로 의미있는 subset이 만들어 질 수 있으므로 이러한 의미를 반영하지 않는 무작위 입력값은 비교적 좋은 결과를 낼 수 없다.

     → point net의 solution: point net은 local structure을 잡아낼 수 있고, 그 structure간의 combinatorial interaction을 얻을 수 있다.

  3. transformation: points를 회전시키거나 평행이동하더라도 global point cloud category나 point segmentation이 변화하면 안된다.[rigid motion invariant]

     → point net의 solution: STN(Spatial Transformer Networks)을 적용하여 points를 transformation해도 해당 point의 실체는 변하지 않도록 한다.

     • STN: 입력되는 이미지를 모두 동일하게 orthogonal image로 만들어줌, 이 모델에서는 T-net이 사용됨.

4.2. PointNet Architecture

PointNet Architecture

• Classification network

  1. input: n points
  2. applies input
  3. feature transformation
  4. aggregate point features by max pooling
  5. output: classification scores for k classes

• Segmentation network

  1. classification net의 확장
  2. global(classification)과 local feature을 연결함
  3. output: point 당 scores

• Symmetry Function for Unordered Input

  • symmetry function : 정의역의 위치가 바뀌어도 치역이 같은 함수
  1. input에 대해 기준을 정해 순서대로 정렬함.
  2. input을 RNN에 넣기 위한 sequence로 취급하지만, 모든 종류의 permutation n!에 의해 트레이닝 데이터 증가.
  3. 각 포인트의 정보를 모으기 위해서 간단한 symmetric function 사용

  • sorting에 관한 issue (아직 정리가 되지 않은 글):

    • sorting이 간단한 솔루션같은 반면, 고차원 공간에서 point perturbations(혼란)에 관한 stable한 ordering은 존재하지 않는다. 즉, sorting(by symmetric function)은 ordering issue를 완전히 해결하지 못하고 ordering issue가 지속되는 한, network는 일관적인 mapping을 할 수 없다.

    • 이에 대한 해결책은  MLP로 각 포인트에 대한 feature을 추출한 다음 symmetric function에 feeding하는 것이다.

      • mlp 처리하지 않고 바로 feeding하는 것보다 약간 더 나은 결과를 냈다. (궁금증: 더 나은 결과라는 것이 ordering issue를 거의 해결할 수 있게 되었다는 것인지, 단순 성능이 좋아졌다는 것인지 모르겠다.)

definition of symmetry function

4.3. 이후부터는 추후 정리 완료 예정

Ref)

https://pytorchhair.gitbook.io/project/introduction/semantic-segmentation https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=sw4r&logNo=221490603530 https://m.blog.naver.com/lsj_dct96/221702796212