[논문 리뷰] Wide and deep learning for recommender system

🐊 논문 링크: https://arxiv.org/pdf/1606.07792.pdf

Heng-Tze Cheng, Levent Koc, Jeremiah Harmsen, Tal Shaked, Tushar Chandra, Hrishi Aradhye, Glen Anderson, Greg Corrado, Wei Chai, Mustafa Ispir, Rohan Anil, Zakaria Haque, Lichan Hong, Vihan Jain, Xiaobing Liu, Hemal Shah

---

  2016년 구글에서 발표한 논문이다. 논문에서 제시하는 Wide & Deep learning은 linear 모델과 deep neural networks를 jointly하게 학습하는 모델이다. 논문에서 언급하듯 jointly trained 된다는 것은 모델을 각각 학습하는 앙상블과는 다른 개념이다. Regression과 같은 선형 모델은 wide 파트이고, 과거 기록을 memorization 하기 좋다는 장점이 있다.

 

Deep neural networks는 memorization에 비해 featrue engineering이 덜 필요하고 unseen feature combinations을 generalization 하기 좋다는 장점이 있다. Wide 선형학습과 DNN 동시 학습으로 Memorization + Generatlization 장점을 결합해 성능 극대화한 모델을 제시했으며, Google의 실제 데이터로 실험을 했다는 것에 contribution이 있다.

---

1. INTRODUCTION

  추천시스템은 user와 contextual information이라는 query가 들어왔을때 아이템 추천 목록를 출력하는 search ranking system으로 볼 수 있다. 이러한 전제를 바탕으로 이후 전체 모델 아키텍처가 구현된다. 본 논문에서는 generatlization과 memorization 두 장점을 결합한 모델을 제시한다.

• Memorization: historical data로 부터 피처들 간의 correlation을 학습하여 직접적으로 관련된 아이템을 추천한다. 그러나 과거 기록만을 linear 학습을 하기 때문에 과적합 되는 문제가 있고, 새로운 추천을 하기 힘들다.
• Generalization: DNN모델은 임베딩을 통해 feature들을 동일한 차원의 latent vector로 매핑하여 dense한 행렬의 내적으로 학습을 한다. 따라서 feature engineering 부담이 없다는 장점이 있다. 또한 unseen 데이터에 대한 예측이 가능하고 diversity를 향상 시킨다. 그러나 과하게 general한 추천을 할 수도 있다는 가능성이 있다.

  

Memorization은 두 피처 pair의 co-occurence를 binary하게 피처엔지니어링을 하여 학습한다. 논문에 나온 예시는 아래와 같다.

AND(user_installed_app='netflix', impression_app='pandora')

 

유저의 과거 행동이  평가(Rating)에 끼친 영향에 대해 설명력 있으며, 매우 Topical하다. 따라서 상품에 직접적으로 관련된 정보들을 추천하도록 도와준다. 그러나 diversity가 떨어지고 feature engineering을 필요로 한다는 단점이 존재한다.

2. RECOMMENDER SYSTEM OVERVIEW

  본 논문의 모델은 실제로 서비스하는 모델이기 때문에, 간단하고 실용적인 시스템을 제시한다. 먼저 user와 contextual features라는 query가 들어오면 Retrieval system은 짧은 아이템 리스트를 반환한다. 실제 데이터베이스에는 수백만개의 앱이 있으므로, 이렇게 machine-learned 모델과 human-defined rules을 통해 빠른 동작이 필요하다. 이후 Ranking 시스템은 모든 항목의 score로 순위를 매긴다. 동시에 User actions은 Logs 데이터로 들어가서 모델 학습에 들어가게 된다. 본 논문은 Ranking 부분에 초점을 맞춘다.

3. WIDE & DEEP LEARNING

3.1 The Wide Component

  Wide 모델은 Memorization에 특화된 일반적인 linear model이다.

$$ y = w^Tx + b $$

$x = [x_1, x_2, ..., x_d]$ 는 인풋 feature, $w = [w_1, w_2, ..., w_d]$는 모델 파라미터, $b$는 bias이다.

가장 중요한 feature transformations중 하나는 cross-product transformation이다. 식은 아래와 같다.

$$ \phi_k(x)= \prod_{i=1}^d x_i^{c_{ki}},,,,,c_{ki} \in {0,1} $$

i번째 feature의 k번째 transformation $\phi_k$는 피처 간의 co-occurence를 binary로 표현한 것이다.

 

3.2 The Deep Component

  Deep model은 generalization의 장점을 살린 Deep neural network이다. Sparse한 카테고리 피처를 Dense한 low-dimensional 임베딩으로 매핑한다. 논문에 따르면 이때 차원은 일반적으로 10에서 100으로 한다. Hidden Layer에서는 아래의 기본적인 신경망 연산을 한다.

$$a^{(l+1)} = f(W^{(l)}a^{(l)} + b^{(l)} )$$

$l$은 레이어 넘버, $f$는 활성화 함수이고 ReLU이다. $W^l, a^l, b^l$ 는 각각 l번째 가중치, activation, 편향이다.

 

 

 

3.3 Joint Training of  Wide & Deep Model

  Wide & Deep Model은 Wide 파트와 Deep 파트 output의 가중합이다. 모델은 동시에 학습되며 backpropagation 역시 동시에 진행된다. 이는 모델들을 각각 학습하는 앙상블 개념과는 다르다. 모델의 최종적인 예측은 아래와 같다.

$$ p(Y=1|x) = \sigma(w^{T}_{wide}[x,\phi(x)]+w^{T}_{deep}a^{(l_{f})}+b) $$

$p(Y=1|x)$은 앱을 다운로드할 확률이다. Cross product feature $\phi(x)$와 wide의 가중치와 곱해진다. 이를 deep파트와 더한다. $a^{l_f}$는 deep 파트 네트워크의 최종 활성화 함수를 지난 값이고 이를 가중치와 곱한다. $\sigma$는 sigmoid이다.

 

4. SYSTEM IMPLEMENTATIONS

  논문 참고

 

5. EXPERIMENT RESULTS

  본 논문은 모델 성능 검증을 위해 실제 구글 플레이 스토어 데이터를 사용했다. 실제 온라인 거대 데이터에 모델을 적용하여 실험을 했다는 점을 저자들은 contribution으로 언급한다. 3주간 온라인 A/B 테스트로 실험을 진행했다. 실험 결과 Wide & deep 모델이 단일 모델에 비해 높은 다운로드 증가율을 보여주었다. 오프라인 테스트에서도 높은 AUC 를 보여준다.