첫 파이프라인 생성하기

• Requirements 파이프라인 코드를 작성하기 위해서는 kfp 라이브러리 설치가 필요합니다.

  $ pip install kfp --pre

• 파이프라인 DSL 작성 일반 python 함수를 decorator를 이용해서 손쉽게 dsl component, dsl pipeline 으로 변경할 수 있습니다.

  from kfp import dsl
  
  @dsl.component
  def say_hello(name: str) -> str:
     hello_text = f'Hello, {name}!'
     print(hello_text)
     return hello_text
  
  @dsl.pipeline
  def hello_pipeline(recipient: str) -> str:
     hello_task = say_hello(name=recipient)
     return hello_task.output

• 파이프라인 DSL 컴파일 KFP SDK Compiler 이용하면 DSL(domain-specific language) 객체를 self-contained 파이프라인 YAML 파일로 변환할 수 있습니다.

  • Q. self-contained 란?

    from kfp import compiler
    

  compiler.Compiler().compile(hello_pipeline, 'pipeline.yaml')

• 파이프라인 실행 실행을 위해서 KFP 가 설치된 백엔드에 YAML 파일을 제출할 수 있습니다. KFP 백엔드의 deployment endpoint 를 이용합니다. 이때는 KFP SDK Client 를 이용하고, Argument 를 받도록 처리된 부분들은 다 채우도록 합니다. 수행하면, 파이프라인 Execution Graph, Log 등을 확인할 수 있는 UI 링크를 제공합니다.

  from kfp.client import Client
  
  client = Client(host='<MY-KFP-ENDPOINT>')
  run = client.create_run_from_pipeline_package(
     'pipeline.yaml',
     arguments={
         'recipient': 'World',
     },
  )

Reference

• https://v1-7-branch.kubeflow.org/docs/components/pipelines/v2/hello-world/

1. 목적 : 유연셩이 극대화된 시스템
2. 설명 : 의존성이 구현 (implementation) 에 의존하지 않고, 추상 (abstraction, interface) 에 의존하는 형태

DIP 의 아이디어 자체만 보면 비현실적 입니다. 대부분의 언어가 concrete object 를 생성하기 위해서는 직접적인 의존성이 필요하기 때문입니다. 여기서, 의존하지 않는 대상을 <변동성이 큰 구체적인 요소> 로 보는게 맞습니다.

(예) 기본타입 (String), 운영체제, 플랫폼 등은 안정성이 보장된 항목이니 의존을 허용합니다.

팩토리 예제

변동성이 큰 구체 객체를 생성할 때 주의해야 합니다. 객체를 생성하려면 기 정의된 구체 클래스에 대해서 소스코드 의존성이 발생하기 때문입니다. 하단의 Abstract Factory 패턴의 경우, 생성을 위한 인터페이스를 두면서 소스코드의 의존성이 모두 한 방향을 (추상적인 쪽으로) 향하도록 만들 수 있습니다. 구체 컴포넌트에 DIP 를 위반하는 구간이 있지만, 모두 없을 수는 없는 필수적인 요소로 볼 수 있습니다. 단, DIP 를 위반하는 클래스를 하나의 구체 컴포넌트에 모아둘 수 있어서 나쁘지 않은 선택입니다.

execution(* com.nobrand.calculator.ArithmeticCalculator.*(..))

• 앞쪽의 와일드카드 (*) 는 modifier (public, protected, private) 와 리턴타입에 상관없음을 의미
• 클래스명 뒤의 와일드카드는 함수명에 상관없음을 의미
• (..) 두 점은 함수의 파라미터 개수에 관계없음을 의미

// modifier (public)
execution(public * com.nobrand.calculator.ArithmeticCalculator.*(..))

// 리턴타입 (double)
execution(public double com.nobrand.calculator.ArithmeticCalculator.*(..))

// 메소드 파라미터 (첫 번째 double 타입, 뒤는 몇 개라도 상관 없음)
execution(public double com.nobrand.calculator.ArithmeticCalculator.*(double, ..))

// 메소드 파라미터 (첫 번째, 두 번째 double 타입)
execution(public double com.nobrand.calculator.ArithmeticCalculator.*(double, double))

Annotation 활용법

// annotation 정의
@Target(ElementType.METHOD, ElementType.TYPE)
@Retenion(RetentionPolicy.RUNTIME)
@Documented
public @interface Logging { }

// annotation 을 이용한 pointcut (조건)
@Aspect
public class CustomPointcuts {

    @Pointcut(“annotation(com.nobrand.Logging)”)
    public void loggingOperation() { }

}

필요한 메소드에 커스텀 애너테이션 (@Logging) 을 붙이고, Pointcut (조건) 은 해당 애너테이션을 체크합니다.

Reference

[1] AspectJ