[논문 리뷰] BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer

🐊 논문 링크: https://dl.acm.org/doi/pdf/10.1145/3357384.3357895

Wu, S., Sun, F., Zhang, W., Xie, X., & Cui, B. (2020). Graph neural networks in recommender systems: a survey.

ACM Computing Surveys (CSUR).

---

  2020년 알리바바에서 발표한 논문이다. BERT4Rec 이름에서 알 수 있듯, 너무나 유명한 Google의 BERT를 추천시스템에 적용한 모델이다. BERT 원 논문을 보면 'Sentence'와 'Sequential'을 정의한 부분이 나온다. 이 때 'Sentence'는 반드시 linguistic하지 않아도 되고, an arbitrary span of contigeous text여도 된다고 말한다. 이 부분에서 sequential한 user-item interaction이 BERT의 input으로 활용될 수 있다는 아이디어가 떠올랐을 것 같다. 

 

BERT 원 논문은 크게 두 가지 테스크를 진행한다. MLM (Masked Language Model)과 NSP (Next Sentence Prediction)이다. 본 논문인 BERT4Rec은 MLM 부분을 Cloze task라고 말하고, predicting the random masked items in the sequence이라고 표현한다. 또한 논문의 'by jointly conditioning on their left and right context'라는 표현도 BERT bidirectional한 특징을 잘 표현한 것 같다. BERT4Rec이 추천시스템의 next prediction을 어떻게 정의했는지 살펴보면서 리뷰하도록 하겠다.

 

 

1. INTRODUCTION

  User의 변화하는 선호도 (dynamic preference)을 반영하기 위해 sequential recommendations 연구가 진행되었다. 이는 user의 historical interaction에 time 개념 (시퀀스)를 부여하여 다음 아이템을 추천하는 것이다. 그러나 기존 단방향 모델(unidirectional model)들은 optimal한 representation을 표현하기에 충분하지 않는다. 단방향 추천시스템은 오로지 과거 기록만을 기반으로 추천을 하기 때문에 표현력이 제한된다. Real-world에서 유저의 행동은 반드시 순서에 따라 rigid하지 않기 때문이라고 논문은 설명한다. 따라서 이러한 한계를 극복하기 위해 양방향 (bidirectinal)을 고려하는 추천시스템 모델이 필요하다.

 

본 논문은 random mask를 적용하는 Cloze task를 통해 아이템들의 surrounding context를 잘 표현한다고 언급한다. 이러한 Cloze objective는 multiple epochs이 될 수록 더 powerful한 모델이 된다. 또한 BERT4Rec은 마지막 input sequence를 [mask]로 두어서 다음 아이템 예측하는 테스크를 진행한다.

 

 

2. RELATED WORK

2.1 General Recommendation

- 전통적인 추천시스템인 CF, MF

- 딥러닝 기반 추천시스템 RBM, NCF 등을 언급

2.2 Sequential Recommendation

- 이전 unidirectional model들을 언급

- GRU4Rec, SASRec은 성능 비교를 위한 벤치마크로도 사용한다.

2.3 Attention Mechanism

- 본 논문을 이해하기 위해서는 Transfomer와 BERT에 대한 선행 지식이 필요하다. Transfomer 관련 블로그 포스팅과 BERT 논문 링크이다.

• - Transfomer 포스팅: https://ysg2997.tistory.com/8
• - BERT 논문: https://arxiv.org/pdf/1810.04805.pdf

 

3. BERT4REC

3.1 Problem Statement

- 아래는 노테이션과 모델링 식이다

유저 -> $\textbf{u} = \{u_1, u_2,...,u_{|u|}\}$

아이템 -> $\textbf{v} = \{v_1, v_2,...,v_{|v|}\}$

 

$u \in \textbf{u}$인 유저에 대해서,  $t$시점에 $u$가 상호작용한 아이템 목록은 아래와 같다.

$$ v^{(u)}_t \in \textbf{V} $$

 

유저-아이템 상호작용 시퀀스 -> $\textbf{S}_u = [{v^{(u)}_1,..., v^{(u)}_t,...,v^{(u)}_{|n_u|}}]$

 

u의 interaction sequence의 길이가 $n_u$일때, 모델은 $n_{u+1}$시점의 아이템을 예측하는 것이다.

따라서  아래 식이 확률 모델링 식이 된다.

 

$p(v^{(u)}_{n_{u+1}} = v | \textbf{S}_u)$

 

3.2 Model Architecture

BERT4REC의 Transformer Layer와 model architecture

# Embedding Layer

- Embedding Layer에서는 input sequence에 대해 embedding과 positional encoding을 더해준다.

bottom embedding -> $h^0_i  =  v_i + p_i$

 

# Transformer Layer

- Transformer Layer는 크게 Multi-Head Attention과 Position-wise Feed-Forward 두 가지의 sub-layer로 구성된다. 두 sub-layer는 BERT에서의 transformer layer 구조와 동일하다.

 

$h^l_i$ : 각 레이어 $l$에서 각각의 position $i$의 hidden representation

$h^l_i \in \mathbb{R}$ 일때 $h^l_i$를 매트릭스로 표현하면 $H^l \in \mathbb{R}$

 

< Multi-Head Attention >

MH($H^l$) = [ head_1 ; head_2 ; ... ; head_h ]$W^O$ 

 

 < Position-wise Feed-Forward >

# Stacking Transformer Layer

- BERT4Rec은 L개의 Transformer Layer들을 쌓아 올린 구조이다.

- 일반적인 transformer layer 구조와 마찬가지로 모델 학습을 위해 residual connection과 LN(Layer Nomalization)을 진행한다.

 

# Output Layer

- 이 부분 표현이 좋아서 원문 그대로 가져왔다.

- After $L$ layers that hierarchically exchange information across all positions in the previous layer, we get the final output $H^L$ for all items of the input sequence.

예측할 [mask] v의 확률은 softmax에 의해 구해진다.

 

$W^p$는 학습되는 projection matrix이고 $b^P, b^O$는 편향이다

$E$는 item set $\textbf{v}$의 임베딩 매트릭스를 의미한다.

 

3.3 Model Learning

- 기존 단방향 네트워크에서는 다음 상품을 예측하는 학습을 진행했다

- [ input : v1, . . . ,vt  // output : vt+1 ] 

 

- BERT4Rec은 Cloze Task 방식으로 Masked Language modeling 학습을 진행한다.

 

- 최종적으로 각 masked input의 loss,  $S'_u$ 를 negative log-likelihood로 정의할 수 있다.

- Text 단계에서는 마지막 user behavior에 마스킹을 해서 next prediction을 예측한다.

 

4. EXPERIMENTS

• Datasets: 아래 4가지 데이터 세트를 사용한다.
  Amazon Beauty / Steam / MovieLens 1m/20m
• Evaluation Metrics
  Hit ratio / NDCG / MRR
• Baselines & Implementation
  단방향 모델을 비롯한 여러 벤치마크들과 비교한다.
• 이후 실험 내용은 논문 참고