[논문 리뷰] Aspect-Based Sentiment Analysis Using BERT

🐊 논문 링크: https://aclanthology.org/W19-6120.pdf

Hoang, M., Bihorac, O. A., & Rouces, J. (2019). Aspect-based sentiment analysis using bert. In Proceedings of the 22nd nordic conference on computational linguistics (pp. 187-196).

---

   기존 감성분석 기법은 리뷰 텍스트의 전반적인 감성 (overall sentiment)만을 예측한다. 따라서 소비자가 각 속성, entity에 대해 다양하게 표현한 감성을 풍부하게 반영하지 못한다. Aspect-based-sentiment anlaysis (ABSA)는 텍스트 내 등장하는 여러 속성들에 대한 감성을 직접적으로 학습하고 예측하는 기법이다. 논문에 따르면 ABSA task는 크게 리뷰에 나타난 aspect를 찾는 것과 각 aspect에 대한 sentiment를 예측하는 두 가지로 나뉜다. 본 논문은 BERT를 ABSA 기법에 적용하고, 여러 실험을 통해 SemEval-2016 (task 6) 등에서 SOTA를 달성한다. 또한 여러 도메인 (out-of-domain)에 적용할 수 있는 모델을 제시한다.

위 그림과 같이 Location aspect에 대해서는 긍정적으로 평가했지만, Food aspect에 대해서는 부정적으로 평가한 리뷰는 overall sentiment만으로 표현되기 제한된다. 따라서 ABSA를 통해 보다 풍부한 감성을 파악할 수 있다.

 

1. Introduction

---

  감성분석은 opinion mining이라고도 불리며, 텍스트를 긍정, 부정, 중립으로 분류하는 NLP의 주요 분야이다. 전통적인 감성분석은 텍스트에 대한 overall sentiment를 예측하는 것에 포커스를 맞추었다. 그러나 그 감성이 '어떤 것'에 대한 감성인지는 고려되지 않았다. (Traditional sentiment analysis focuses on classifying the overall sentiment expressed in a text without specifying what the sentiment is about.) 전통적인 감성분석은 위 그림과 같이 다양한 topics 또는 entities (또는 aspects)에 나타난 각각의 감성들을 분류해내지 못한다. ABSA는 SemEval-2014 workshop에서부터 발전되어 왔고, 머신러닝, 딥러닝 등 여러 기법으로 속성기반 감성분석에 관한 연구가 진행되었다. 본 논문에서는 BERT를 베이스 모델로 사용한 ABSA 모델을 제시하였다. 이때 추가적인 데이터 리소스를 만드는 작업도 진행하였다. 논문에 contributions는 아래와 같다.

• 문장, 텍스트 레벨로 여러 도메인의 적용할 수 있는 새로운 ABSA 모델을 제시한다.
• Contextual word representaions 기법인 BERT를 기반으로 sentence pair classification task를 통해 성능을 향상 시킨다.
• Aspect classification과 sentiment classification에 동시에 적용할 수 있는 단일 combined 모델을 제시한다.

 

2. State-of-the-art

---

2.1 BERT

  Pre-trained language 모델인 BERT는 문장에서 각 단어들의 문맥을 양방향으로 동시에 고려하는 언어 모델이다. 본 논문에서 베이스 모델로 BERT를 사용했기 때문에 자세하게 설명되어 있다. Previous work 섹션에는 RNN, LSTM, ELMo 등 NLP 언어 모델들의 기존ㅇ 연구들이 언급되었다. Input Representation / Transformers / Sentence Pair Classifier Task / Masked Language Model BERT / Next Sentence Predition 섹션들에서는 버트에 대한 기본적인 설명을 한다. 

2.2 Aspect-Based Sentiment Analysis

  ABSA는 텍스트에 언급된 attributes or entity의 aspects를 분류하는 task이다. SemEval-2016 ABSA task의 목표는 소비자 리뷰에서 한 토픽의 aspcet에 표현된 sentiment를 예측하는 것이다. 구체적으로 특정한 주제 (laptop, restaurant)가 주어졌을 때 SemEval-2016의 목표는 아래와 같다.

 

- Aspect categoty classification

(topic - aspect) pair를 찾는 것이다. 이때 페어를 (E#A)로 표현하고, 토픽, 속성들은 미리 정의되어 있다.

예시는 다음과 같다. topic-> (e.g. LAPTOP, RESTAURANT, FOOD), aspects → (e.g. PRICE, QUALITY)

 

- Opinion target expression(OTE)

미리 정의된 (E#A)에 대해서 의미론적 표현을 추출하는 작업이다. OTE는 시퀀스에서 하나의 starting과 ending 오프셋으로 정의된다. 만약 명시적으로 언급된 entity가 하나도 없다면 "NULL" 값을 리턴한다.

 

- Sentiment polarity classification

(E#A)와 OTE가 있을 때 감성을 예측한다. 이때 리턴 값은 다음과 같다. sentiment polarity set = {positive, negative, neutral, conflict}

 

 - Examples

"The So called laptop runs to slow and I hate it!"

→ {LAPTOP#OPERATION_PERFORMANCE, negative}, {LAPTOP#GENERAL, negative}

"Chow fun was dry; pork shu mai was more than usually greasy and had to share a table with loud and rude family."

→ {FOOD#QUALITY, "Chow fun", negative, from=0, to=8}, {FOOD#QUALITY, "pork shu mai", negative, from=18, to=30}

 

- Subtasks

Subtask 1, 2는 각각 문장 단위에서의 테스크, 텍스트 단위에서의 태스크로 구분된다.

 

2.3 ABSA without BERT

  생략

2.4 ABSA with BERT

  Post-Training이라고 불리는 추가적인 학습을 통해 퍼포먼스를 향상시켰다(Xu et al., 2019). Post-Training을 적용하기 위해 ABSA를 질문-답변 문제로 정의한다. 또한 sentenco-pair classification으로 auxiliary sentence를 구축하여 버트를 사용한 연구도 있다 (Sun et al., 2019).

 

3. Experiments

---

3.1 Pre-processing entity and aspect pairs for BERT

  SemEval-2016 데이터셋의 형식은 다음과 같다, ”ENTITY#ASPECT” 이를 BERT에 인풋으로 활용하기 위해 전처리 한다. 예를 들어

”FOOD#STYLE OPTIONS”  페어를 ”food, style options”와 같이 간단하게 전처리한다.

 

3.2 Data generation

  SemEval-2016 데이터셋에서 각 텍스트는 고정된 크기의 aspect와 sentiment polarity 리스트를 가지고 있다. 예를 들어 레스토랑 데이터셋은 12개의 유니크 aspect가 고정되어 있다. 텍스트에 언급되지 않은 aspect는 'unrelated'로 라벨링 된다. 데이터셋의 레이블 분포는 아래 표와 같다. 또한 데이터가 언밸런스하기 때문에 레이블 카운트에 따라 가중치를 부여한다

 

3.3 Sentiment Classifier

  텍스트에서 특정한 aspect가 주여 졌을 때 감성을 예측하는 모델이다. 아래와 같이 두 개의 문장을 입력으로 받는, BERT sentence pair classification 모델을 사용한다.

모델의 Sentence 1은 리뷰 텍스트이고 Sentence 2는 주어진 aspect이다. Class Label은 'positive', 'negative, 'neutral', 'conflict' 4가지이다. 이때 conflict는 aspect가 어떤 부분에서는 positive 다른 부분에서는 negative로 구분되는 것을 뜻한다.

 

3.4 Aspect Category Classifier

  위 모델과 똑같이 BERT sentence pair classification 모델을 사용하고 Sentence 1은 리뷰 텍스트, Sentence 2는 aspect 리스트이다. 각 aspect가 리뷰 텍스트와 연관이 있는지 없는 지를 학습하는 것이 목표이고, Class Label은 'Related', 'Unelated'이다.

 

3.5 Combined Model

  위 두 모델을 결합한 multi-class classifier 모델이다. 역시 BERT sentence pair classification 모델을 베이스로 Sentence 1은 리뷰 텍스트, Sentence 2는 aspect 리스트이다. 이때 Class Label은 text와 aspect가 연관이 있다면, sentiment label을 반환하고, 연관이 없다면 unrelated label을 반환한다.

 

---

4. Evaluation

5. Discussion

논문 참조