Collaborative Filtering은 다른 사용자들이 아이템을 좋아했던 패턴을 기반으로 추천하는 방식입니다. Collaborative Filtering의 두가지 접근 방식인 memory-based approach와 model-based approach 중에 model-based approach는 기계학습을 이용한 방식을 의미합니다. 그 중에서 가장 기본적인 방식은 Matrix Factorization입니다.

Matrix Factorization의 목표는 사용자 별로 아이템의 선호도를 나타내는 행렬을 만드는 것입니다. 행은 사용자의 목록, 열은 아이템의 목록으로 구성하고 각 사용자 별로 선호도 (혹은 Rating)을 담은 행렬을 구성한다면, 사용자 별로 선호도가 높은 아이템을 추천할 수 있습니다. 선호도는 사용자들이 어떤 특성들을 중요하게 생각하는 지와 각 아이템이 어떤 특성을 가지고 있는 지를 기반으로 구하게 됩니다. 이때 사용되는 특성은 latent factor이라고 부르게 되며 이 특성에 대한 값을 구해서 최종적으로 추정 선호도를 구하게 됩니다. 따라서 Matrix factorization은 사용자에 대한 latent factor 행렬과 아이템에 대한 latent factor행렬을 구하는 것입니다.

본 논문에서 다루는 이슈는 Cross-domain recommendation입니다. 특정 유저에 대해 A 기업이 가지고 있는 아이템들에 대한 선호도 정보가 있고, 동일한 유저에 대해 B기업이 가지고 있는 아이템들에 대한 선호도 정보가 있을 때, 이 정보들을 모아서 A기업과 B기업의 추천 정확도를 높이는 방식을 제안합니다.

따라서 이 방식은 Matrix Factorization을 Multiple domain에 적용한 수식은 다음과 같습니다.

본 논문은 이 문제를 최적화하기 위해 ALS (Alternating Least Squares) 방식을 사용합니다. 이 방식은 사용자의 Latent factor와 아이템의 Latent factor를 번갈아서 고정시켜서 최소제곱문제로 해를 구하는 방식입니다. 이 때 구체적으로는 ADMM (Alternating Direction Method of Multipliers)의 방법을 사용합니다.ADMM은 최적화 문제를 여러 서브문제로 나누어 해결하는 방법이며, x와 z에 대한 primal update를 하고, x와 z간의 제약을 반영하는 dual update로 이루어집니다. Dual update는 아래 식에서 u에 대한 업데이트로 반영됩니다.

본 논문에서는 각 도메인에서의 유저 행렬인 X, 각 도메인의 아이템 행렬인 Y, 그리고 모든 도메인에서 통합된 유저 latent 행렬인 Z를 사용합니다.

다음 포스트에서 본 논문의 알고리즘을 자세히 설명하도록 하겠습니다.

Samra, Abdulaziz, et al. "Cross-domain latent factors sharing via implicit matrix factorization." Proceedings of the 18th ACM conference on recommender systems. 2024.

가장 기본적인 추천 시스템은 크게 두가지로 분류가 가능합니다.

• Content-based recommendation
• Collaborative recommendation

물론 이 외에도 이 두 방식을 합친 Hybrid recommendation도 있고, rating이 아니라 선호 순서를 예측하는 알고리즘도 존재하지만, content-based와 collaborative가 가장 기반이 되는 개념이므로 이 두가지에 대해 먼저 알아보려고 합니다.

이번 글은 그 중에서도 Content-based recommendation에 대해 다루어 보겠습니다.

Content-based filtering 알고리즘

Content-based filtering에 기반이 되는 가정은 아래와 같습니다.

내가 전에 좋아했던 작품과 비슷한 작품을 추천받고 싶다

그래서 content-based filtering에서는 작품들 간 유사성을 구하는 것을 목표로 합니다. 예를 들어서, 제가 좋아하는 작품들과 장르, 출연 배우, 감독, 주제, 배경이 비슷한 작품을 추천해주는 것입니다. 예를 들어 제가 앤 해서웨이가 출연한 "인턴"이라는 영화와 "악마는 프라다를 입는다" 라는 영화에 평점을 높게 주었다면, 앤 해서웨이가 출연한 다른 영화를 추천해주는 방식입니다. 제가 로맨스 코미디 영화들을 즐겨보았다면, 최신 상영작 중 로맨스 코미디 영화를 추천해줄 수도 있습니다. 앤 해서웨이가 나오는 로맨스 코미디면 더 좋겠죠.

Vectorization

사람들이 납득하기 좋은 추천 방식임에도 content-based filtering을 적용하기에는 많은 어려움이 있습니다.

우선 작품 간 유사도를 구해야 하기 때문에 정확한 유사도를 구하기 위해서는 작품에 대한 여러 특성들이 정의되어야 합니다. 따라서 모든 작품에 대한 상세한 특성들을 가지고 있어야 한다는 점이 어려운 점 중에 하나입니다.

작품의 특성이 정의되어 있다면 유사도를 계산해야 하는데요, 여러 요소를 한번에 고려한 유사도를 구하기 위해 각 작품을 벡터화 하고, 벡터 간 유사도를 계산해야 합니다. 벡터화를 하는 과정에서 one-hot encoding이 사용되기 때문에 사실 많은 정보를 잃게 되는데요, 이유는 장르 간 거리가 장르에 관계없이 모두 동일하게 세팅되고, 배우 들도 모두 거리가 동일하게 세팅되기 때문입니다.

content-based filtering을 사용하는 이유 중 하나가 영화나 책에 대한 줄거리가 비슷한 컨텐츠를 추천하기 위해서입니다. 그러나 줄거리는 장르와 다르게 벡터화 하기가 어렵습니다. one-hot encoding이 어렵기 때문에 줄거리에서 키워드가 얼마나 자주 등장했는가를 기준으로 벡터화하는 방식인 tf-idf를 사용합니다. 따라서 컨텐츠의 줄거리에서 키워드와 중요성을 기반으로 벡터화할 수 있습니다.

유사도 알고리즘

컨텐츠들을 벡터화 했다면, 벡터간 거리를 구하는 식을 통해 컨텐츠 간 유사도를 구할 수 있습니다. 예를 들어 다음 수식 중 하나를 사용할 수 있습니다.

• Cosine similarity
• Euclidean distance
• Manhattan distance

유사도를 구했다면, 유사도가 높은 컨텐츠 순서로 사용자에게 추천을 하는 방식이 content-based filtering 입니다.

다음 글은 collaborative filtering에 대해 소개하겠습니다.

위 글은 아래 논문을 참고했습니다. Adomavicius, Gediminas, and Alexander Tuzhilin. "Toward the next generation of recommender systems: A survey of the state-of-the-art and possible extensions." IEEE transactions on knowledge and data engineering 17.6 (2005): 734-749.

추천 시스템에서 다루는 문제는 '사용자가 본 적 없는 아이템에 대한 rating 예측하기' 입니다. rating을 예측하고 나면, 사용자가 본 적 없는 아이템들 중에 예측 rating이 높은 아이템을 추천하면 됩니다.

수식으로 표현하기 전에 몇가지 정의를 하겠습니다. C : 모든 사용자 S : 추천의 대상이 되는 모든 아이템 u : 효용함수로, s가 c에게 얼마나 효용성이 있는가를 아래와 같이 표현가능하며, 추천시스템에서는 효용성이 주로 평점(rating)으로 나타납니다. u : C x S $\rarr$ R

그러면 추천시스템의 문제는 아래와 같이 정의할 수 있습니다. $$ \forall c \in C, s'_c = \arg \underset {s \in S}{max} \ u(c,s) $$

u에서 다루는 효용성은 사용자에 의해 정해지는 값이며, 이를 수익성과 연관지어서 활용할 수 있습니다. C에서의 사용자들은 모두 특성(profile)을 가지게 됩니다. 예를 들어, 나이, 성별, 소득수준, 결혼여부, 등이 될 수 있습니다. S에서의 아이템도 모두 특성(characteristic)을 가지고 있습니다. 예를 들어 S가 영화라면 characteristic은 장르, 배우, 감독, 언어, 발행연도 등이 될 수 있습니다.

그러나 우리는 모든 사용자와 모든 아이템에 대한 효용성을 알지 못합니다. 예를 들어, 사용자들이 몇몇의 영화를 보고 매긴 평점(rating)이 효용성이라고 가정하면, 사용자들이 아직 안 본 영화에 대한 별점은 알 수 없습니다. 그래서 지금 가지고 있는 평점들로 아직 안 본 영화에 대한 평점을 확장예측하는(extrapolation) 것이 추천시스템입니다.

확장예측(Extrapolation)은 두 가지 단계로 이루어져 있습니다.

1. Specifying heuristics that define the utility function and empirically validating its performance $\rarr$ 전에 좋은 별점을 준 영화와 장르가 비슷하거나 주연배우가 겹치거나 연출감독이 같으면 좋은 평점을 줄 가능성이 높다 라는 heuristic을 발견하고 실제로 얼마나 효과가 있는 지 확인하기

2. estimating the utility function that optimizes certain performance criterion $\rarr$ 각 요소가 얼마나, 어떤 방향으로 영향을 주는 지 계수 추정하기

따라서 추천시스템은 주로 효용을 어떻게 추정하는 지로 분류되며 크게 3가지 방식이 있습니다.

• Content-based recommendation
• Collaborative recommendation
• Hybrid approaches
  

다음 글에서는 위 세가지 방식에 대해 자세히 살펴보겠습니다.

위 글은 아래 논문을 참고했습니다. Adomavicius, Gediminas, and Alexander Tuzhilin. "Toward the next generation of recommender systems: A survey of the state-of-the-art and possible extensions." IEEE transactions on knowledge and data engineering 17.6 (2005): 734-749.

머신러닝은 알고리즘을 사용하여 컴퓨터로 하여금 데이터를 학습하여 예측이나 결정을 내리도록 하는 것을 말합니다.

머신러닝의 용어

Train data : 학습에 사용하는 데이터 Test data : 성능을 확인하기 위한 데이터 Train data와 Test data는 엄밀하게 구분되어야 합니다. 이유는 성능을 확인하는 데 사용되는 데이터가 학습에 사용되면 overfitting으로 이어질 수도 있기 때문입니다.

Independent variable = 독립변수 = input variable = X Dependent variable = 종속변수 = output variable = Y 학습을 한다는 것은 결국 X로 Y를 설명할 수 있는 로직을 만든다는 것을 의미합니다. 특히 Y = f(X) + epsilon 의 형태로 많이 표현되며, 머신러닝 알고리즘은 f를 구하는 기법들을 의미합니다.

머신러닝의 목적

f를 추정하는 이유는 '예측'와 '추론'입니다. 예측 : 새로운 X 데이터가 있을 때, Y를 구하는 것입니다. 추론 : Y가 X에 의해 어떻게 영향을 받는 지 설명하는 것입니다.

예측

예측의 정확성은 축소 가능한 오차와 축소 불가능한 오차의 부분으로 나누어집니다. 이유는 Y가 epsilon은 포함하고 있고, epsilon은 X로 설명할 수 없는 영역이기 때문입니다. 따라서 f를 구한다는 것은 축소 가능한 오차를 최소화 하는 f를 구한다는 것을 의미합니다.

예측을 위한 모델 vs 추론을 위한 모델

우리는 충분히 복잡한 모델이 존재함에도 불구하고, 단순한 모델을 사용하기도 합니다. 그 이유는 prediction accuracy와 model intepretability가 반비례 하기 때문입니다. 단순한 모델은 예측 정확도의 한계가 있지만 해석에는 유리합니다. 복잡한 모델은 예측 정확도가 높아질 수 있지만 해석이 어려울 수 있습니다. 따라서 예측과 추론 중 어떤 것에 더 주안점을 두는 가에 따라 선택하는 모델이 달라질 수 있습니다.

지도학습과 비지도학습

머신러닝은 X에 대한 Y가 관측 가능한 지에 따라 지도학습과 비지도학습으로 나누어집니다. 지도학습은 X들을 통해 Y를 잘 구할 수 있는 f를 찾는 과정에서 시작합니다. 비지도학습은 X에 대응되는 Y가 관측되지 않는 상황으로, 뚜렷한 목표가 없기 때문에 X의 패턴을 찾는 과정에 가깝습니다.

회귀와 분류

Y가 continuous인 지 discrete인 지에 따라서 회귀 문제와 분류 문제로 나누어집니다. 회귀 문제는 continuous한 Y를 다루며 분류 문제는 discrete한 Y를 다룹니다.

다음 글에서는 학습의 품질을 측정하여 어떤 모델이 더 좋은 모델인 지 확인하는 방법에 대해 알아보겠습니다.

제가 아는 것들을 글로 남기려는 이유는 두 가지 정도가 있습니다. 제가 예전에 알았던 것들 중 지금은 흐릿한 기억으로 남아있는 기억을 되살리고, 앞으로 공부하는 것들은 조금 더 천천히 잊히게 하기 위해 글을 쓰는 습관을 들이려고 합니다.

글을 처음 작성하려고 생각하니, 어디부터 시작해야 할 지 너무 쉽거나 어렵지는 않을 지 걱정이 됩니다. 그렇지만 제가 지금은 잘하는 일에도 언제나 처음은 있었고, 서툴었지만 작게 시작하다 보면 언젠가는 익숙해졌던 경험을 떠올리며 꾸준히 해보려고 합니다.

그래서 글또 제출 글들은 글을 쓰는 이유 중 첫번째인 예전에 알았던 것들 복습하기 위주로 작성할 예정입니다. 아무래도 새로 배우는 내용 보다는 예전에 공부했던 내용을 다시 보는 것이 조금 덜 부담이 되지 않을까 하는 마음입니다.

제가 느끼기에, 어떤 개념에 대한 이해의 정도는 다음과 같이 나눠집니다.

1. 방금 공부한 내용이 무슨 말인지 이해한 정도
2. 그 개념에 대해 다른 사람들이 설명한 다양한 수준의 글들을 읽고 이해할 수 있는 정도
3. 그 개념에 대해 제가 상대방의 수준을 고려하여 쉽게 설명할 수 있을 정도

1단계는 말 그대로 문자 그대로를 이해한 것입니다. 사실 머리로는 이해가 되었다고 해도 적용이 어려울 수 있습니다. 2단계는 어느 정도 그 개념과 다른 개념들을 연결 지어 이해할 수 있게 됩니다. 최근 검색이나 Chat GPT의 발전으로 2단계만큼만 알더라도 다 알고 있다는 착각을 하기 쉬워졌습니다. 3단계가 제가 생각하는 개념에 대한 진정한 이해가 완성되는 순간입니다. 이 단계까지 오면 장기기억으로 전환되는 것 같습니다.

이번에 작성하게 될 글들은 2단계의 이해에 있는 것들을 3단계로 끌어올리려는 노력입니다. 그래서 제가 보려고 작성하는 글이기는 하지만, 해당 개념을 처음 공부하는 학부생에게 설명한다는 마음으로 작성하려고 합니다. 혹시 아래 개념들을 처음 익히는 분들이 아래 글들을 읽게 되신다면 많은 도움이 되기를 바랍니다.

제가 앞으로 작성하려고 생각해 둔 글 주제를 아래에 적어보았습니다. 가능하면 내용을 글로 쉽게 설명하고, 캐글 데이터셋에 실제로 적용해보는 것까지 보여드리려고 합니다.

내용은 주로 "An Introduction To Statistical Learning : with Applications in R" 책을 주로 참고할 예정입니다.

머신러닝의 구분

• 지도학습과 비지도 학습
• 회귀와 분류
• 성능지표 (편향, 분산)

통계적 가설 검정

• 모집단 표본집단 통계량
• t-test, F-test
• ANOVA

회귀

• Simple Linear Regression
• Multiple Linear Regression

분류

• Logistic Regression
• Linear Discriminant Analysis
• QDA
• KNN

재표본추출방법

• Cross-validation
• Bootstrap

Feature Selection & Regularization

• Selection
• PCR
• Ridge / Lasso / Elastic Net
• Partial Least Squares Regression

Moving beyond linearity

• Polynomial regression
• Regression Splines
• Generalized Additive Models

Tree-based models

• Bagging
• Random Forest
• Boosting

Gradient boosting Models

• XGBoost
• CATBoost
• Light GBM

SVM

• Separating hyperplane

Unsupervised learning

• PCA
• K-means clustering

Recommendation System

• Content-based filtering
• Collaborative filtering

위 주제로 작성하는 대로 링크 업데이트 해두겠습니다. 또한 한 주제를 두 번에 나눠서 작성할 수 있는 점도 함께 안내드립니다.