[논문 리뷰] Utilizing BERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence

🐊 논문 링크: https://arxiv.org/pdf/1903.09588.pdf

Sun, C., Huang, L., & Qiu, X. (2019). Utilizing BERT for aspect-based sentiment analysis via constructing auxiliary sentence. arXiv preprint arXiv:1903.09588.

---

   기존 감성분석 기법은 리뷰 텍스트의 전반적인 감성 (overall sentiment)만을 예측한다. 따라서 소비자가 각 속성, entity에 대해 다양하게 표현한 감성을 풍부하게 반영하지 못한다. Aspect-based-sentiment anlaysis (ABSA)는 텍스트 내 등장하는 여러 속성들에 대한 감성을 직접적으로 학습하고 예측하는 기법이다. ABSA의 목표는 리뷰 내에서 등장하는 fine-grained polarity를 각 aspect별로 매핑하는 것이다. 이러한 작업을 통해 여러 리뷰에 걸쳐 유저가 각 aspect에 표현한 aggregated sentiments를 평가할 수 있다.

 

위 그림과 같이 Location aspect에 대해서는 긍정적으로 평가했지만, Food aspect에 대해서는 부정적으로 평가한 리뷰는 overall sentiment만으로 표현되기 제한된다. 따라서 ABSA를 통해 보다 풍부한 감성을 파악할 수 있다. 본 논문은 auxiliary sentence를 만들어서 ABSA를 BERT 모델의 sentence-pair classification task에 응용한다. 이는 마치 QA(question answering) 태스크나 NLI(natural language inference) 태스크와 비슷하다고 논문은 언급한다.

 

1. Introduction

---

  ABSA는 특정한 aspect 별로 fine-grained polarity를 매핑하는 것이 목표이다. 이렇게 각 유저가 작성한 리뷰들에서 aspect별로 점수를 종합하여 aggregated sentiments 점수를 평가 할 수 있다. 따라서 제품, 서비스에 대한 more granular understanding을 얻을 수가 있다. 기존 ABSA 기법은 feature engineering에 크게 의존하였다. 최근에는 ELMo, GPT, BERT 모델들의 등장과 함께, 이러한 feature engineering의 수고가 크게 줄었다. 특히 BERT 모델은 QA와 NLI 태스크에서 큰 효과를 보였다. 그러나 BERT model을 사용한 ABSA 태스크는 큰 진전이 없는 상황이다. 본 논문은 리뷰 텍스트로부터 auxiliary sentence를 만들어서 ABSA를 sentence-pair classification task로 적용한다. 구체적으로 pre-trained BERT model을 fine-tuning하여 SOTA를 달성했다. 논문의 contribution은 아래와 같다.

• (T)ABSA를 sentence-pair classification tast로 전환한 새로운 방법론을 제시한다,
• pre-trained된 BERT 모델을 fine-tuning하여 SentiHood와 SemEval-2014 Task4 데이터셋에서 SOTA를 달성했다.

 

2. Methodology

---

2.1 Task descroption

TABSA에서 sentence는 다음과 같이 words의 시리즈로 이루어진다.$ \begin{Bmatrix} w_1, ..., w_m
\end{Bmatrix} $

이 중 몇가지 단어들은 $(w_{i1}, ... w_{ik})$  미리 정의된 타겟 단어이다. $(t_1, ... t_k)$

 

본 논문에서는 3가지 클래스에 대한 분류 문제로 TABSA를 정의한다. sentence $s$와 target entities $T$, 고정된 aspect set .$A =  \begin{Bmatrix} general, price, transit-loacation, safety \end{Bmatrix} $ 이 주어졌을 때, 모든 target-aspect 페어에 대해서 $ y \in \begin{Bmatrix} positive, negative, none \end{Bmatrix}$을 예측한다.

 

위 예시에서 (LOCATION2, price) 페어의 y 값은 negative, (LOCATION1, price) 페어는 none이다.

2.2 Construction of the auxiluary sentence

  본 논문에서는 아래 4가지 TABSA 태스크를 sentence pair classification task로 변환한다.

S.P는 sentiment polarity, w/o는 without, w/는 with를 뜻한다.

Sentences for QA-M

QA-M는 target-aspect 페어에 대해서 question을 만드는 작업이다. 예를들어 (LOCATION1, safety) 페어가 있을때 생성되는 질문은 "what do you think of the safety of location - 1 ?"과 같다. 이때 질문의 포맷을 모두 같다.

 

Sentences for NLI-M

NLI-M는 target-aspect 페어에 대해서 strick한 문장을 만들지는 않는다. 생성되는 문장은 표준화된 문장이 아니며, 간단한 psudo-sentence이다. 예시로 (LOCATION1, safety) 페어에 대해서 "location - 1 - safety" 다음과 같은 문장이 생성된다.

 

Sentences for QA-B

QA-B에서는 label 정보를 추가하여 TABSA를 binary classification 문제로 전환한다. 이때 $label \in (yes, no)$이다.

이때 target-aspect 페어에 대해서 3가지 문장을 생성한다. 생성되는 문장은 다음과 같다.

• “the polarity of the aspect safety of location - 1 is positive”
• “the polarity of the aspect safety of location - 1 is negative”
• “the polarity of the aspect safety of location - 1 is none”.

Sentences for NLI-B

NLI-B와 QA-B의 차이는 peudo-sentence로 변한다는 것이다. 예시는 다음과 같다.

• “location - 1 - safety - positive”
• “location - 1 - safety - negative”
• “location - 1 - safety - none”.

 

위 4가지 문장 생성 과정을 거쳐 TABSA를 single sentence classification에서 sentence pair classification 문제로 전환한다. sentence pair classification의 예시는 아래 그림과 같다.

 

2.3 Fine-tuning pre-training BERT

TABSA task에 적합하도록 pre-trained BERT 모델을 fine-tuning한다. 이때 BERT 모델의 첫번째 토큰의 final hidden state 토큰을 인풋으로 간단히 classification layer만을 추가하여 softmax를 통해 각 클래스별 확률을 구한다. 

 

3. Experiments

---

3.1 Datasets

  모델 평가에 사용된 SentiHood(Saeidi et al., 2016) 데이터셋은 5,215개의 문장과 3,862개의 개별 타겟으로 이루어져있다. 나머지는 다중 타겟을 가지고 있다. 각 문장은 target-aspcet pair {t,a}의 리스트와 sentiment polarity인 y값을 가진다. 결국 sentence s와 target t가 주여졌을 때, t에 대해 언급된 aspect a를 찾고, sentiment polarity인 y를 찾는 것이 목표이다.

또한 SemEval-2014 Task 4 (Pontiki et al., 2014)는 ABSA에서 유명한 데이터 셋이다.

 

3.2 Hyperparameters

• Model: BERT-base
• The number of  Transformer blocks: 12
• The hidden layer size: 768
• The number of  self-attention heads: 12
• The total number of parameters for pre-trained model: 110M
• The dropout probability: 0.1
• The number of epochs: 4
• The initail learning rate: 2e-5
• The batch size: 24

3.3 Exp & Results

Semeval-2014 task4 Subtask3: Aspect Category Detection에 대해서 벤치마크 모델과 비교하여 제시한 모델의 성능은 아래와 같이 향상되었다.

Semeval-2014 task4 Subtask3: Aspect Category Polarity에 대해서 accuracy (%)는 아래와 같이 향상되었다.

4. Discussion

5. Conclusion

논문 참조