• LTV(고객 생애 가치) : 고객이 특정 제품이나 서비스를 사용하는 시간 동안 창출하는 평균 수익의 추정치 마케터는 LTV를 근거로 유저 유입 마케팅 예산을 적절히 책정하여 인앱 구매, 인앱 광고, 앱 구독과 같은 수입원의 흐름을 최적화하고 수익성을 유지
• ROAS(Return on Ad Spend) 광고에 지출된 1달러당 얻은 수익 앱을 처음 설치 후 3,7,30일차 ROAS를 통해 고가치 유저를 유입시킨 채널이나 캠페인 파악가능

  iOS SKAN 4.0

  SotreKit Ad Network(SKAN)

  기존의 모바일 광고가
• 어떤 광고 → 어떤 유저 설치 → 어떤 결제

위의 내용을 유저 단위로 추적할 수 있었다면, 개인정보 보호가 강해지면서 위의 방식이 불가능해졌다. 따라서, 애플이 허용하는 범위안에서만 광고 성과를 알려주는 시스템 즉,SKAN을 통해 광고주는 광고활동(노출, 클릭, 앱 설치)을 개별적 기록이 아닌 집약된 정보로 측정할 수 있게 되었다.(유저 데이터를 익명화된 코호트로 그룹화하는 식으로 개별 프로파일링을 방지)

• SKAN 4.0과 AdAttributionKit은 2일, 7일, 35일의 사전 정의된 시간에 맞춰 3개의 포스트백을 제공하도록 규정

• ATT 프레임워크란? 사용자의 데이터를 공유하기 위해 모든 iOS 앱이 사용자에게 허가를 요청하도록 유구하는 Apple의 선택 기반 개인정보 보호 프레임워크 (앱 실행 때 나오는 추적 허용하겠습니까?)

• AdAttributionKit? 개인 정보 보호를 우선시하는 어트리뷰션 방식을 사용하면, 리포트 데이터가 특정 개인과 연결되는 것을 방지하고자 데이터를 실시간으로 전송하지 않는다

• MMP Attribution(모바일 측정 파트너) 앱이 광고 마켓팅 채널, 미디어 소스, 애드 네트워크 전반에서 캠페인 성과를 측정하도록 돕는 회사

SKAN의 핵심 개념 3가지

1. Postback (포스트백) : 웹사이트, 네트워크 또는 앱에서의 유저 행동을 보고하기 위해 서버 간 정보를 교환 즉, 애플이 광고 네트워크(구글/메타 등)에게 보내주는 성과 리포트 포스트백에는 개인 식별 정보가 없음 (“누가 샀는지”가 아니라 “몇 명이 이런 행동을 했다” 수준)

   출처 : 앱스플라이어 포스트백 관련 글

2. Attribution 광고 기여도

3. Conversion Value

• 미세 전환값 (Fine-grained Value): 0~63까지의 기존 값으로, 높은 군중 익명성이 충족될 때(많은 설치 수) 구체적인 인앱 이벤트 데이터를 제공합니다.
• 거친 전환값 (Coarse-grained Value): Low, Medium, High 3단계로 구분됩니다. 설치 수가 적어 익명성이 확보되지 않을 때(낮은 티어)에도 0 대신 3단계 중 하나의 성과를 받아볼 수 있어 소규모 캠페인 분석에 유리합니다.

  출처 : MOLOCO

참고링크

포스트백(앱스플라이어) (LINK) SKAN과 샌드박스(앱스플라이어) (LINK) ROAS(앱스플라이어) (LINK) SKANSetup(Moloco)[(LINK)] (https://help.moloco.com/hc/en-us/articles/30060034592919-How-to-set-up-SKAdNetwork-SKAN-attribution-for-iOS-apps)

• 랭체인과 랭그래프를 사용하던 와중, 파이프라인에 대한 이해 부족과 구현의 필요성을 느꼈고 이를 랭체인과 랭그래프 플랫폼 외부에서 찾아보고자 했다.

  Key Flow

• Controller: The entry point to the backend, where we set up our chat endpoint via FastAPI. The chat endpoint delegates to the director to get the response for the user.
• Director: No LLM involved. The director handles the user’s query, breaking it down into solvable questions for the supervisor and returning the final response to the - controller.
• Intent Agent: An LLM call is used to break up the user’s original query into its intent, ensuring more reliable and repeatable results.
• Supervisor: No LLM involved here. The supervisor loops through the questions it needs to solve:
• Router: Decides the best next step. With a list of available agents, the current task to solve, and the history of results, the router makes an LLM call to decide which agent should solve the task.
• Available Agents: The supervisor invokes the chosen agent to get a response. For example, a datastore agent would be chosen for a data-driven question. It would then use an LLM to generate a Cypher query to retrieve the data and return the response to the supervisor.
• Validator Agent: With a response from the question agent, the supervisor checks with the validator agent if the answer is sufficient. An LLM call is used to determine whether the answer is satisfactory.
• Scratchpad: A simple object that the supervisor uses to record every answer to each question.
• Answer Agent: With each result written to the scratchpad, the director can then invoke the answer agent to summarise the scratchpad, resulting in the final response for the user.

Definition of LLM (Medium Blog)

Agents Orchestration (Medium Blog)

REFERENCE

• Building a Multi Agent Chatbot Without LangChain (ScottLogic)
• What is an LLM Agent and how does it work? (Blogpost by Keremaydin)
• Understand the LLM Agent Orchestration (Blogpost by Haiping Chen)

USEFUL LINKS

• Github 협업 참고 - 공부하는 개발자 강씨네 (Link)
• SQL_AGENT Workflow (Link)

Reference https://github.com/langchain-ai/langchain/issues/17939 https://data-newbie.tistory.com/965#pipeline

그래서 XAI가 뭐야? 왜 필요해?

XAI란 Machine Learning 과정에서 모델이 내리는 각 결정을 추적하고 설명할 수 있도록 하는 특정 기법과 방법들을 의미한다.

XAI의 목적

XAI의 목적은 복잡하게 얽혀있어서, 무엇에 대해(what), 어떤 방법론으로(how), 얼마나 설명할 것인가 등, 여러 요소와 상황에 따라 달라지기 때문에 명확하게 정의하기는 어렵다. 따라서, [3]의 내용을 바탕으로 큰 틀에서 접근해보고자 한다.

Explainability

의사결정자의 정확한 대리자이면서도 모델의 기능을 청자(audience)에게 명확히 이해하기 쉽도록 세부 사항이나 이유를 생성하는 모델의 능동적인 특성.

Interpretability

모델이 인간에게 얼마나 의미가 있는지의 정도(level)를 나타내는 모델의 수동적 특성. 모델이 해석가능(interpretable) 하다는 것은 사용자가(user) 모델의 입력부터 출력까지의 과정을 수학적으로 표현까지 가능하다는 것이다.

Trustworthiness

문제가 주어졌을 때, 모델이 의도한대로 작동하는가를 나타낸다. 모델의 결정을 이해할 수 있을 때, 우리는 모델을 믿고 사용할 수 있다.

Interactivity

유저와의 상호 작용은 XAI의 목표중 하나이다. 이러한 상호 작용들은 [2]에서 말하는 여러가지 관점들에 따라 정해질 수 있다고 생각한다.

Stability & Robustness

센서에서 올 수 있는 노이즈라던가, 현실 세계에서 발생할 수 있는 작은 변화들에 민감하지 않다는 것은 그 모델이 안정적(stable)이라는 것이다. 이와 반대로, 모델이 사람에 의해 의도적으로 발생시킨 노이즈를 견딘다는 것은 그 모델이 견고하다(robust)는 것이다.

Reference

[1] What is explainable AI? [2] Explainable AI (XAI): A systematic meta-survey of current challenges and future opportunities [3] Explainable Artificial Intelligence (XAI) on Time Series Data: A Survey 번역 및 정리(Kyyle님의 블로그), 논문

논문은 분자 특성 예측을 위한 새로운 방법인 Evidential Meta-model for Molecular Property Prediction (EM3P2)을 제안한다. 이 방법은 예측과 함께 불확실성 추정을 제공할 수 있는 능력을 가지고 있다. EM3P2는 Model Agnostic Meta-Learning (MAML) 프레임워크 아래의 few-shot 메타 학습 접근법을 사용하며, query balancing과 같은 데이터 불균형 처리 기법을 결합한다. EM3P2의 주요 구성 요소는 다음과 같다:

• 분자 그래프 및 노드 임베딩을 위한 Graph Isomorphism Network (GIN)
• 분류를 위한 Evidential Multi-Layer Perceptron (EMLP), 이는 단순한 클래스 확률이 아닌 증거 벡터를 출력한다.
• 불확실성 추정을 개선하기 위한 belief regularization과 accuracy vs uncertainty regularization 같은 기법들

EM3P2는 Tox21, SIDER, MUV와 같은 데이터셋에서 분자 특성 예측을 위한 기존의 메타 학습 및 메트릭 학습 기준선보다 더 나은 성능을 보인다. 불확실성 추정을 사용하여 신뢰도가 낮은 예측을 거부함으로써 전반적인 정확도를 향상시킬 수 있다는 것을 보여준다. 결과적으로, 논문은 EM3P2가 적은 수의 불균형 데이터에서 학습할 수 있고, 새로운 작업에 잘 적응하며, 신뢰할 수 있는 불확실성 측정을 제공할 수 있어, 약물 발견을 가속화하고 안전에 중요한 응용 프로그램에서 신뢰성을 향상시키는 데 유용한 능력을 갖추고 있다고 강조한다.

잘한점

• Meta-learning Training inference과정에서 query sampling이 biased training에 영향을 미친다는 점을 찾아냄
• Graph Neural Network와 Meta-learning 프레임워크 내에 ENN을 적용시켜 데이터의 불확실성 측정
• Belief theory 관점에서의 접근을 잘 활용함

아쉬운 점 & Future Work

• 다른 graph neural network를 썼을 때의 성능 비교가 없음
• Parameter Tuning의 Detail이 부족
• 극심한 Bias 환경 내에서는 아직도 약한 모습을 보임
• Uncertainty를 이용한 모델 발전 가능성이 보임(ex. Active Learning)

Reference

Evidential meta-model for molecular property prediction(Paper,Code)

우리가 흔히 아는 전통적인 로직은 어떤 명제에 대해 참, 거짓의 이분법적인 방법으로 접근을 합니다. 예를 들어, "밖에 비가 오고 있다."라고 했을 때, 우리는 맞아, 틀렸어라고 대답을 하는 것이죠. 하지만, 실생활에서 우리가 마주하는 상황들은 불완전하거나 "불확실"합니다. 예를 들어, "내일은 비가 올거야"라는 이야기를 했을 때, 우리는 이게 맞는지 틀린지 확신할 수 없습니다. 즉, 이 명제에 대해 "불확실성"이 존재합니다.

Probabilistic Logic은 이런 "불확실성"을 염두해 두고 추론을 하는 방법입니다. "날씨가 흐린 것을 보니, 내일 70%의 확률로 비가 올거야"라고 이야기하는 것처럼, 우리가 가진 어떤 정보를 통해 특정 명제에 대한 믿음의 정도(Belief) 또는 불확실성(Uncertainty)을 제시하고 이를 확률적으로 표현합니다.

Subjective Logic은 앞서 언급한 Probabilistic Logic의 한 종류로, 정보의 조각들 또는 의견(Opinion)들에 대한 belief들과 불확실성에 대해 디리클레의 분포(Dirichlet Distribution)를 사용한 벡터로써 표현합니다. 그리고, 각각의 belief들과 uncertainty mass의 합은 1을 만족합니다. 이를 식으로 표현하면 다음과 같습니다. $$ \begin{aligned} &given;mutally;exclusive;\ &singleton;k=1,;...;,K\ &\quad\quad u+\sum_{k=1}^{K}{b_{k}}=1\ \end{aligned} $$ 이 때, $u\geq0,;b_k\geq0$ 이고, belief mass는 singleton에 대한 evidence를 통해 계산이 됩니다.

그럼 여기서, ENN 모델의 역할은 무엇일까요? ENN 모델의 학습은 결국 주어진 데이터로부터 belief mass를 계산하기 위한 evidence를 수집하는 과정이라고 볼 수 있습니다. Classification task의 경우, $K$는 각 class에 해당하고, $b_k$는 각 class에 대해 다음과 같이 evidence를 이용하여 belief mass를 추정하게 됩니다. $$ b_k = \frac{e_k}{\sum_{k=1}^{K}{e_{k}+1}},; v=\frac{K}{\sum_{k=1}^{K}{e_{k}+1}},; e_k\geq0 $$ 또한, probability로 나타내기 위해, $\alpha$라는 하나의 파라미터를 이용하여, $\alpha_k = e_k+1$로 설정하고, 각 class에 대한 probability를 $\frac{\alpha_k}{\sum_{k=1}^{K}{e_{k}+1}}$로 할당합니다.

결론적으로 ENN을 썼을 때의 장점은 다음과 같습니다.

1. Softmax function에 의해 생성된 class probability를 Dirichlet distribution으로 바꿈으로써, softmax function이 야기하는 probability inflation 현상을 줄일 수 있다.
2. 마지막 softmax 레이어를 non-negative activation layer로 바꿈으로써, 일반적인 뉴럴네트워크 모델에 쉽게 적용시킬 수 있어, 기존의 Bayesian Neural Network들보다 연산적으로 효율적이다.
3. 데이터에 uncertainty를 할당하고 "I don't know state"를 활용하여, 아래의 오른쪽 그림과 같이 모델의 데이터에 대한 불확실성을 나타낸다.

Reference

Uncertainty Characteristics of Subjective Opinions Multidimensional Belief Quantification for Label-Efficient Meta-Learning Evidential deep learning for open set action recognition Evidential Deep Learning to Quantify Classification Uncertainty

How does Normalization help DNN training?

• Stabilizing Activation Distributions
• Faster Convergence
• Regularization
• Enabling Larger Learning Rates
• Reducing Internal Covariate Shift
• Making Networks Robust to Initialization
• Reducing Gradient Vanishing/Exploding

Batch Normalization

A mechanism that aims to stabilize the distribution over a mini-batch of inputs to a given network layer during training.

• augment the network w/ additional layers that set mean&variance of the distribution of each activation to be zero and one respectively.
• batch normalized inputs can be scaled and shifted based on trainable parameters to preserve model expressivity.
• applied before non-linearity of previous layer

** What is the benefit? **

Faster Convergence

BatchNorm reduces internal covariate shift, which leads to more stable gradients and faster convergence during training. This can lead to shorter training times and require fewer training epochs.

→ makes the landscape of the corresponding optimization problem significantly smooth :

• ensure that gradients are more predictive → gradient direction remains fairly accurate when taking larger step in a direction of a computed gradient

• allows for use of larger range of learning rates and faster network convergence

• improved Lipschitzness(ß-smoothness) of both the loss & gradients

↔ non-convex, flat region, sharp minima

• convex 함수의 경우, 우리가 딥러닝에서 경사 하강법을 통해 찾는 최저점이 단 하나 존재한다. 이 점을 전역 최적해Global Minimum이라고 한다.

• non-convex 함수는 무한히 넓은 함수 공간에서 여러 곳의 지역 최저점 Local minima을 갖는다. 위 함수에서 이로 인하여, 경사 하강법을 시작하는 위치에 따라 서로 다른 최저점을 향해 결과가 수렴하게 된다. non-convex 함수의 문제는 우리가 어디가 전역 최적해인지를 알 수가 없다는 것이다. 이로 인해 non-convex 한 문제를 딥러닝으로 해결하려고 하면 학습이 잘 되지 않고 좋지 않은 지역 최저점에 갇히는 등의 문제가 발생한다.

• ICS : the change in the distribution of layer inputs caused by updates to the preceding layers.

Regularization:

BatchNorm acts as a form of regularization, reducing the need for other regularization techniques like dropout. It can mitigate overfitting to some extent.

Increased Learning Rates

BatchNorm allows for the use of higher learning rates without the risk of causing divergence or instability in the training process.

Network Robustness

BatchNorm can make neural networks more robust to changes in initialization and architecture choices. less sensitive to hyperparameter choices

Prevention of exploding or vanishing gradients

Layer Normalization

Layer normalization works well for RNNs and improves both the training time and the generalization performance of several existing RNN models.

Batch Norm in RNN can be problematic because we need to compute and store separate statistics for each time step in a sequence & when the length of sequence is different for test cases. On the other hand, Layer Norm depend only on the summed inputs to a layer at the current time-step & has only one set of gain and bias parameters shared over all time-steps.

In Layer Norm, all the hidden units in a layer share the same normalization terms µ & σ but different training cases have different normalization terms. ‘covariate shift’ problem can be reduced by fixing the mean, variance of the summed inputs in the same layer:

According to Xiong et.al

1. learning-rate warm up stage is essential ?

   Original-designed Post-LN Transformer places the layer normalization between the residual blocks → expected gradients of the parameters near the output layer are large → Using large learning rate on the gradients make training unstable

2. location of layer normalization matters ?

   If the layer-normalization is put inside the residual blocks (Pre-LN Transformer), the gradients are well-behaved at initialization

   → remove warm up stage

Instance Normalization

started from real-time image generation / style transfer

Graph Normalization

Instance Norm serves as a pre-conditioner(for graph aggregation) for GNNs. Preconditioning is weaker with Batch Norm due to heavy batch noise in graph dataset : larger variance of batch-level statistics on graph dataset . Shift operation in Instance Norm(subtracts the mean statistics from node hidden representations) has expressiveness degradation of GNNs for highly regular graphs - removing mean statistics that has structural information can hurt the performance

Representation of normalization layer(after the linear transformation)

$H^{(k)} = F^{(k)}(Norm(W^{(k)}H^{(k-1)}Q))$

$F^{(k)}$ : function that applies to each node separately

$Q$ : $n*n$ matrix representing the neighbor aggregation

$W^{(k)}$ : weight/parameter matrix in layer k

• $F^{(k)}$ : ReLU , $Q_{GCN}$ → GCN with normalization
• $F^{(k)} : MLP^{(k)}$, $Q_{GIN}$ → GIN with normalization

Reference

Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift Layer Normalization Instance Normalization: The Missing Ingredient for Fast Stylization GraphNorm: A Principled Approach to Accelerating Graph Neural Network Training On Layer Normalization in the Transformer Architecture