[논문 리뷰] Positive, Negative and Neutral: Modeling Implicit Feedback in Session-based News Recommendation (SIGIR2022)

🐊 논문 링크: https://arxiv.org/abs/2205.06058

Gong, S., & Zhu, K. Q. (2022, July). Positive, negative and neutral: Modeling implicit feedback in session-based news recommendation. In Proceedings of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval (pp. 1185-1195).

유저가 클릭하지 않은 데이터는 유저가 좋아하지 않는(negative) 데이터일까요?
유저가 클릭한 데이터는 과연 유저가 좋아하는(positive) 데이터일까요?

 

본 논문은 SIGIR2022에 발표된 연구로, 사용자의 구매 시간, 패턴을 고려하는 session-based recommendation과 implicit feedback에 대한 좋은 인사이트를 얻을 수 있는 논문입니다. 먼저 논문을 이해하기 위해 필요한 용어를 먼저 알아보겠습니다.

• Implicit feedback: 유저의 암묵적인 피드백을 의미합니다. 예를 들어, 유저가 웹 페이지를 방문하거나 상품을 검색하는 등의 행동을 통해 사용자의 관심사나 선호도를 파악하는 것입니다.

 

• Explicit feedback은 유저가 명시적으로 표현한 피드백을 의미합니다. 유저가 별점을 매기거나 리뷰를 작성하는 등의 명시적인 방식으로 자신의 선호도를 나타내는 것입니다.

 

• Session-based recommendation: 유저의 세션을 기반으로 추천을 수행하는 추천 시스템 방법론입니다. 일반적으로 인터넷 사용자들은 세션 동안 여러 개의 상호작용을 수행하며, 이를 통해 사용자의 관심사와 선호도를 파악할 수 있습니다. 세션은 사용자가 웹 사이트를 방문하고 클릭, 검색, 구매 등의 행동을 수행하는 일련의 연속된 상호작용으로 구성됩니다. 이러한 상호작용을 기반으로 사용자에게 개인화된 추천을 제공합니다.

 

본 논문은 뉴스 기사 데이터를 사용합니다. 논문에 따르면, 이전 연구들은 세션 기반 추천을 다음 아이템 예측으로 정의하여, 사용자의 행동에서 implicit 피드백(즉, 더 많은 시간을 소비한 아티클)과 negative 피드백(즉, 클릭하지 않고 건너뛴 아티클)을 간과했습니다. 저자들은 사용자의 세션 시작 시간과 데이터의 게시 시간(pubilshing time)을 사용하여 사용자 행동을 암묵적으로 모델링하는 프레임워크를 제안합니다.

 

1. Introduction

BBC/CNN/Bing News와 같은 플랫폼에는 많은 사람들이 익명이나 방문자로 로그인하는 방식으로 접속합니다. 일반적으로 그들은 짧은 시간 내에 많은 기사를 읽지 않기 때문에 제한된 상호작용(limited interactions)이 형성됩니다. 시스템은 이러한 사용자의 행동을 완전히 이해하기 어렵습니다. 즉, 과연 사용자가 클릭했다고 해서 positive feedback으로 볼 수 있는가에 대한 의문이 생길 수 있습니다.

 

추천 시스템에서 전통적인 방법은 뉴스 추천을 CTR(클릭률) 예측으로 정의하고 CF(협업 필터링) 또는 FM(Factorization Machine)을 사용하여 사용자의 행동 패턴을 예측합니다. 최근에는 어텐션 메커니즘을 사용하여 아이템과 과 유저의 고유한 representaion을 인코딩하는 데 중점을 두고 있으며, 뉴스 추천을 sequential 작업으로 간주합니다. 논문의 저자들은 뉴스 추천을 세션 기반 추천으로 처리합니다. 최종 목표는 이전 세션 내의 행동 시퀀스를 기반으로 다음 뉴스를 예측하는 것입다. 뉴스 기사 클릭 여부를 다루기 때문에, 위에서 소개한 implicit feedback에 대한 추천을 제안하는 것입니다.

 

Implicit feedback은 메인 페이지를 둘러보거나 아티클을 읽고, 아티클 닫거나 되돌아가는 등의 방식으로 추출할 수 있습니다. 저자들은 이러한 Implicit feedback을 통해 explicit feedback을 새롭게 모델링하는 방법론을 제안합니다.

 

유저가 기사를 클릭했다면, 실제로 좋아한다는 의미일까요? 그렇다면 과연 유저가 기사를 클릭하지 않았다면, negative sample로 간주해도 될까요?

 

전통적인 추천 시스템에서는 클릭은 사용자의 좋아요/투표를 나타냅니다. 그러나 뉴스 추천에서는 상황이 약간 다릅니다. 사용자는 관심이 없는 아티클을 클릭할 수도 있으며, 한 번 클릭한 후 사용자가 인식하면 바로 뒤로 가기를 클릭하고, 다른 아티클로 전환할 수 있습니다. 따라서 사용자가 기사를 읽는 데 소요한 시간은 사용자의 기사에 대한 선호도를 더 세밀하게 나타낼 수 있는 정보입니다. 또한, 기사에 소요된 시간은 연속적인 값이며, 클릭 여부는 이진 값입니다.

 

 

사용자가 클릭하지 않은 뉴스 기사는 그 기사를 싫어한다는 의미는 아닙니다. 사용자가 그 데이터에 노출되지 않은 것일 뿐입니다. 뉴스 메인 페이지에서, 아티클들이 publishing 순서대로 사용자에게 제시된다고 가정하면, 우리는 어떤 기사가 특정 세션에서 사용자에게 인상을 주었는지를 추론할 수 있습니다. 즉, 메인 헤드에 존재하는 기사를 무심코 클릭한 것으로 볼 수 있습니다. 최종적으로, 유저가 활동한 시간에 기사 홈페이지 목록에 나타나지만 클릭되지 않은 기사만이 사용자에게 관심이 없다고 간주하는 것이 더 좋은 해석일 것 같습니다. 따라서 논문 저자들은 이러한 정보를 negative implicit feedback으로 간주합니다. 또한 저자들은 세션 시작 시간과 기사 출판 시간을 암묵적인 중립적 피드백으로 간주합니다.

 

Neutral feedback

• Session start time
• Publishing time

 

Session-based Recmmendation

세션  시퀀스인 \( Su = (n_1, n_2, n_3, ..., n_T) \)가 주어지면 유저가 다음 시간 T+1에서 가장 가능성 있는 아이템 \(n_{T+1}\)을 클릭할 것으로 예측합니다. 아이템의 임베딩은 \( (N , dn) \) 크기의 아이템 임베딩 행렬을 통해 얻을 수 있으며, \(dn\)은 아이템 임베딩의 차원이고, \( x_i \)는 아이템 \( n_i\)의 임베딩 벡터입니다. 

 

\(S\)는 전체 세션을 의미합니다. \(S_u\)는 \(S\) 내의 특정한 유저의 세션을 나타냅니다. N은 후보 아이템의 개수를 의미합니다. \(y_j^u = 1\) 은 아티클이 \( j \)가 \(S_u\)의 \( n_{T+1} \)인 경우를 나타내고, 0은 그렇지 않은 경우를 나타냅니다.

 

2. Approach

다음으로 모델 구조를 파트 별로 나누어 살펴보겠습니다.

 

2.1 Our Base Model: Content-aware Recommendation (CAR)

논문의 기본 모델인 CAR(Content-aware Recommendation)입니다. 뉴스 기사의 콘텐츠 정보 부분에서는 뉴스의 제목과 메타데이터를 추출합니다. 그런 다음 Word2Vec을 사용하여 이러한 텍스트 정보를 \(dc\) 차원의 벡터로 변환합니다. 이후, 아티클 \(n_i\)의 콘텐츠 벡터 \(c_i\)와 아이템 임베딩 벡터 \(x_i\)가 있을 때, [xi; ci]를 concat 하여 \(n_i\)의 임베딩 벡터 \(xc_i\)를 얻습니다. 클릭 시퀀스를 [xc1, xc2, ..., xcT]로 변환한 후, attention pooling을 사용하여 사용자의 기록적인 선호도 \(XC_s\)를 인코딩합니다.

$$   a_i = W_0 \times \sigma(W_1\times xc_i + b_0) $$

 

$$ {a_i}' = \frac{exp(a_i)}{\sum_{i=1}^T} exp(a_i)  $$

 

$$ xc_s = sum_{i=1}^T {a_i}' xc_i $$

 

주목해야 할 부분은, Transformers 방식과 유사하게 입력 시퀀스의 연속적인 정보를 얻기 위해 위치 인코딩(Positional Encoding)을 \(S_u\)에 추가하는 것입니다. 그 후, 어텐션을 통해 \(XC_s\)를 얻습니다.

 

2.2 Modeling Time as Neutral Feedback

저자들은 연속적인 활동 시간 \(ti\)를 이산적인 \(ti'\)로 변환하기 위해 Floor 함수를 사용하고, m개의 범주 / 고유한 시간 값에 매핑합니다. 각 범주는 동일한 활동 시간 임베딩 벡터 \(tai\) (dt x 1)를 공유합니다.

$$\left \lfloor{t_i} = log_2 t_i  \right \rfloor$$

 

유사한 시간에 뉴스 기사를 읽는 유저들은 유사한 행동 패턴을 가질 가능성이 높으며, 이는 유저의 관심사가 시작 시간에 영향을 받는다는 것을 의미합니다. 예를 들어, 일부 사람들은 아침에는 금융 뉴스를 읽지만 저녁에는 엔터테인먼트를 읽는 경향이 존재한다는 것을 알 수 있습니다.

 

세션의 각 클릭 동작에서 클릭 시간을 \(tsi\), 주와 시각 데이터를 (w, h) temporal data로 사용합니다.

 

클릭 시작 시간의 임베딩, i는 1부터 |Su| = T까지 Su 내의 각 tsi의 중요성을 모델링하기 위해 어텐션 메커니즘을 사용하여 우선적인 쿼리(Transformer 쿼리와 동일)를 얻은 다음, 우선적인 쿼리를 사용하여 아티클과의 상호작용의 중요성을 얻습니다.

 

사용자의 reading habits는 발행 시간 𝑡𝑝1, …, 𝑡𝑝𝑖의 순서로 반영됩니다. 이를 통해 사용자가 새로운 기사를 더 많이 탐색하는지 또는 오래된 기사를 더 많이 탐색하는지를 추론할 수 있습니다. 게시 시간의 임베딩 벡터를 \(tpi\)로 기록하고, (s, d, w, h, m) 계절, 일, 주, 시간, 분의 시간 데이터를 사용합니다.  자세한 수식은 생략하겠습니다.

 

2.3 Modeling Positive Feedback

Positive 한 impilcit feedback은 사용자가 클릭한 후 각 기사에 소요한 활성 시간의 형태로 나타납니다. 사용자가 기사에 짧은 시간을 소비한다면, 실제로 그 기사를 좋아하지 않았을 가능성이 높습니다. 그러나 명확한 활성 시간이 없는 경우 사용자의 연속된 두 번의 클릭 간격을 통해 추정할 수 있습니다.

 

2.4 Modeling Negative Feedback

Negative feedback을 얻는 가장 직관적인 방법은 일반적으로 사용되는 negative sampling입니다. 그러나 무작위로 아이템을 샘플링하는 것은 모델이 사용자와 전혀 관련이 없는 아이템을 다룬다는 문제가 있습니다. 무작위가 아니라, 특정 정보성 있는 아이템은 사용자 상호작용의 더 복잡한 숨겨진 의미를 발견하는 데 도움이 될 수 있습니다.

 

이를 위해 저자는  Impression List  \(Imp_u\)를 사용하여 negative data를 생성합니다. \(Imp_u\)의 클릭되지 않은 뉴스를 negative sample로 간주하고, 다른 손실을 적용하여 다른 candidate 아이템을 구별할 수 있도록합니다.\( XC_s\)와 강력한 부정적인 샘플 간의 유사성을 강하게 페널티를 주는 것이 목표입니다.

 

그러나  Impression List을 얻을 수 없는 경우가 존재합니다. 저자는 만약 한 기사가 사용자 u가 클릭한 기사 근처에 게시되면, 그 기사가 \(Imp_u\)에 나타날 가능성이 더 높다고 가정합니다. 구체적인 절차는 candidate 뉴스의 발행 시간을 기준으로 후보를 정렬하고, 주변 기사의 윈도우 크기 300을 유지하고 거기에서 샘플링하는 것입니다. 목표는 \(XC_s\)와 negative sample \(j (𝑗 ∈ 𝑁𝑒𝑢)\)의 벡터 \(XC_j\) 간의 코사인 유사도 점수를 최소화하는 것입니다.

 

이때 손실 함수는 식이 참인 경우 1을 반환하고, 𝜆는 부정적인 아티클로부터의 손실의 가중치 매개변수입니다. Adam 옵티마이저를 사용하여 이 두 가지 손실을 공동으로 최적화합니다.

 

 

3. Experiments

Datasets

저자의 깃허브에 데이터셋에 대한 링크가 공개되어 있습니다. 참고하시면 좋을 것 같습니다.

https://github.com/summmeer/session-based-news-recommendation

1. Globo
2. Adressa
3. MIND

Metric

1. HR
2. NDCG
3. ILD
4. unEXP

ILD@K (Intra List Diversity)는 𝑅(추천 목록) 내에서 주제 및 의미적 다양성을 평가하며, 동일한 사용자에게 다른 항목을 추천하는 모델의 능력을 반영합니다.

unEXPu@K는 사용자 u에 대해 추천 목록 R 내에서 예상치 못한 항목의 정도를 측정하는 데 사용됩니다.

 

모든 표에서 기본적으로 𝑘 = 20 대해 평균값을 제시합니다. 각 메트릭의 최상의 기준선 결과는 ∗로 표시되어 있으며, 전체적으로 최상의 결과는 굵게 표시되었습니다. "Ours"는 전체 모델을 나타내며 (-)는 해당 모듈을 제외하는 것을 의미합니다. 여기서 "neut", "pos", "neg"는 각각 중립적, 긍정적, 부정적 피드백 모듈을 나타냅니다. 마지막 열은 부정적 샘플링 전략을 무작위 샘플링으로 대체한 것입니다. ↓는 전체 모델 대비 성능 하락을 나타냅니다.

 

전체 모델과 비교했을 때, 중립적인 정보를 제거한 후에는 모든 메트릭에서 큰 하락이 있으며, 이는 중립적인 정보 (시간 정보)의 중요성을 보여줍니다.

 

각 데이터셋이 제공하는 정보가 다르기 때문에, 데이터셋 별로도 차이가 존재했습니다. Adressa 데이터셋이 가장 많은 정보를 제공하며, Globo에서 추출된 벡터 대신 기사의 원본 텍스트를 공개한다고 말합니다. 또한 사용자의 각 기사에서 정확한 활동 시간을 제공한다고 합니다. 반면 Globo에서는 두 번의 연속 클릭 사이의 간격으로 활동 시간을 추정할 수밖에 없으며, 이는 정확하지 않을 수 있습니다.

 

Postive implicit feedback모듈을 제거한 후, Adressa 데이터 세트에서 HR과 NDCG가 각각 2.4%와 5.5% 감소하였으며, Globo 데이터 세트에서는 각각 1.9%와 3.1% 감소하였습니다. 긍정적인 정보는 Adressa와 Globo 데이터 세트 모두에서 유사하게 작동된다고 말합니다. 보다 정확한 정보 때문에 Postive implicit feedback은 Adressa 데이터 세트에서 더 선호됩니다. Negative information은 다양성/참신함 지표에 비해 긍정적인 정보보다 효과가 적습니다. Negative sampling 모듈은 다양성을 낮춥니다. 이는 랜덤 하게 가져온 negative sample이 positive article과 일반적으로 다른 범주에 속하는 경우이기 때문입니다. 따라서 이 모듈을 추가하면 모델이 긍정적인 기사와 유사한 기사를 추천하도록 강제할 수 있습니다.

 

그림 (a)의 경우, 저자들은 부정적인 사용자 피드백에 대한 가정을 검증하고자 합니다. 즉, 게시 시간이 클릭한 기사와 가까운 기사는 사용자에게 제시되거나 사용자의 인상 내에 있을 가능성이 높다는 것입니다. 각 세션마다, 저자들은 자신들의 전략을 사용하여 부정적인 항목 𝑁𝑒𝑢를 샘플링하고, 𝑁𝑒𝑢와 실제 인상 𝐼𝑚𝑝𝑢 간의 자카드 유사도를 계산합니다. |𝑁𝑒𝑢 = 100|일 때 전체 점수는 0.0062이며, 무작위 샘플링일 때는 0.0044입니다. 이는 그들의 가정이 합리적임을 의미합니다.

 

그림 (b)의 경우, 부정적인 손실은 유용하지만, 너무 많은 가중치를 두면 사용자의 긍정적인 피드백의 학습에 해를 끼칠 수 있음을 보여줍니다.

 

4. Conclusion

본 논문의 결론은 다음과 같습니다.

• 본 연구에서 저자들은 익명 세션 기반의 뉴스 추천에서 긍정적/부정적/중립적인 inplicit 피드백을 활용하였습니다.
• 저자들은 시간 정보에 대한 새로운 표현 방법을 설계하고 이를 긍정적 및 부정적 피드백과 결합했습니다.
• 실제 데이터셋을 대상으로 검증한 결과는 정상 및 콜드 스타트 시나리오에서의 다양성, 정확성 및 참신성 측면에서 뛰어난 성능을 보였습니다.
•  

이상으로 Implicit feedback을 긍정, 부정, 중립 관점에서 재정립한 "Positive, Negative and Neutral: Modeling Implicit Feedback in Session-based News Recommendation" 논문에 대한 리뷰를 마치겠습니다. 감사합니다.