[논문 리뷰] Aspect-based sentiment analysis via affective knowledge enhanced graph convolutional networks

🐊 논문 링크: https://www.sciencedirect.com/science/article/pii/S0950705121009059

Liang, B., Su, H., Gui, L., Cambria, E., & Xu, R. (2022). Aspect-based sentiment analysis via affective knowledge enhanced graph convolutional networks. Knowledge-Based Systems, 235, 107643.

---

   Aspect-based-sentiment anlaysis (ABSA)는 기존의 감성 분석 기법과 달리, 텍스트 내 등장하는 여러 속성들에 대한 감성을 직접적으로 학습하고 예측하는 기법이다. 최근에는 그래프 기반 딥러닝 기법이 발전 하면서, 이러한 ABSA 작업에 그래프 모델이 널리 활용되고 있다. 그러나 기존의 dependency tree 기반 ABSA 모델은, 문맥 단어 (텍스트 내 단어)와 측면 단어 (주목하고자 하는 aspect 키워드 단어) 사이의 관계(dependency information)만을 학습하는 것에 중점을 두고 있으며, aspect에 대한 구체적인 문맥적 감정 정보를 활용하지 못하고 있다.

 

즉 ABSA 학습을 위해 사용되는 SemEval 데이터 세트에 대해 예측 정확도에만 집중하게 되어, 실제 문맥에 대한 감성 정보는 주목 받지 못한다는 것이다. 본 논문에서는 이러한 문제를, 문장의 common sense를 고려하지 못한다고 표현한다. 따라서 본 연구에서 제안하는 모델은, 기존 그래프 기반 모델과 마찬가지로 aspect 단어와 문맥 단어의 연결성을 고려하면서도, Senticnet이라는 오픈 소스 정보를 사용하여 일반적인 감성 정보를 반영하는 것이 핵심이다.

---

Introduction

  문서나 문장 내에서 단일한 감성 정보를 분석하는 전통적인 감성 분석과는 달리, 속성 기반 감성 분석(ABSA)은 동일한 문장에서 다양한 측면의 감성 극성(eg., positive, neutral or negative)을 감지하는 것을 목표로 한다. 예를 들어, 'The food is good, but the service is terrible'이는 문장에서 food'와 'service'라는 두 가지 측면이 언급된다. 여기서 '음식'에 대한 감성 극성은 긍정적이지만 '서비스'에 대한 감성 극성은 부정적이다. ABSA에 대한 자세한 예시는 아래 그림과 같다.

Example of Aspect-based Sentiment Analysis

  ABSA에 대한 초기 작업들 대부분은 주어진 측면에 대한 문맥으로부터 감성 정보를 모델링하기 위해 딥러닝 모델을 활용하였다. 더 나아가, 어텐션 기반 신경망 모델을 통해 문장의 문맥과 특정 aspect와 관련된 부분에 초점을 맞추는 모델이 주목을 받았다. 그러나 어텐션 기반 모델은 문맥 단어와 aspect 단어 간의 감성 의존성 (sentiment dependencies)를 추출하기 부족하기 때문에, 단어 간의 관계 정보를 표현하는 그래프 기반 모델들이 제안되었다. 논문은 이러한 그래프 모델을 통해 문법적으로 관련된 문맥 단어들을 aspect 단어와 연결하여 장기적인 문법 의존성을 포착할 수 있다고 말한다.

 

  그러나 기존의 그래프 네트워크 기반 모델들은 대부분 문장의 문법적 의존성만 고려하기 때문에, 문장을 구성하는 상식적 감성 정보(commeonsense knowledge)를 무시한다는 것이 본 논문의 main research gap이 된다. 따라서 본 연구는 각 문장에 대해 의존성 트리(dependency tree)와 감성 상식 지식(affenctive commonsense knowledge)을 모두 활용하여 그래프를 구성하는 새로운 방법론을 제시한다. 논문이 밝히는 main contribution은 다음과 같다.

• 본 연구는 문장의 구조적 의존성과 특정 측면에 관련된 감성 정보를 모두 활용한다.
• 본 연구는 기존 그래프 기반 모델과 감성 상식 지식을 통해, 그래프 합성 신경망을 위한 새로운 방법법론을 제시하여 특정 측면에 대당하는 감성 의존성을 포착한다.
• 네 가지 벤치마크 데이터세트에 실험한 결과, 제안 모델이 ABSA 작업에서 우수한 성능을 보여준다.

 

논문은 간단하면서도 구체적인 research gap을 제시한다. 또한 아래 방법론에서 보겠지만, 제안 모델 구조에도 문제 의식에 대한 해결책이 명확이 제시되어 있다. 

 

---

Proposed Model

  제안 하는 모델은 GCN (graph convolutional network)과 SenticNet 감성 정보를 결합한 그래프 구조이다. 전체적인 모델 아키텍처는 아래 그림과 같다.

Overall architecture of SenticGCN

  SenticGCN은 두 가지 파트로 구성된다. 즉 $w_1 ... w_n$으로 표현된 텍스트가 두 가지 표현을 얻는 것이다.

 

먼저 (1) LSTM 레이어를 사용하여 문맥적 표현을 학습한다. 이는 각 문장의 임베딩 행렬을 입력 받아 입력 문장의 잠재 문맥적 표현을 도출하는 것이다.

 

(2) 기존 그래프 기반 ABSA 모델과 같이, 'Dependency tree'라고 표현된 부분에서 GCN 레이어를 통해 단어의 관계성을 학습한다. 또한 'Affective'라고 표현된 그래프는 감성 강화 그래프(affective enhanced graph)라고 표현하고 SentiNect 감성 정보를 표현한 그래프 정보이다. 이후 연결성 그래프와, 감성 그래프가 결합되어 'Aspect'로 표현된 측면 기반 감성 정보를 통해, 문장의 구문 정보에만 초점을 맞추는 기존 그래프 기반 모델과 달리, 특정 측면과 관련된 문맥적 감성 의존성을 활용하여 감성 특징을 강조하게 된다.

 

Constructing graph over dependency tree

  위에서 설명한 (2)부분을 자세히 살펴보겠다. 먼저 GCN에서와 마찬가지로 단어 간의 연결성을 바탕으로 단어 관계 그래프를 학습한다. 이 그래프는 아래 식에서 $w_i$와 $w_j$ 두 단어가 연결되었다면 1, 아니면 0으로 표현된 매트릭스로 나타난다. 이후 GCN model을 통해 각 단어 노드의 임베딩 정보가 학습된다.

 

  여기서 그래프는 단어 간의 연결성을 나타내기 때문에, 아래 그림과 같이 방향성이 없는 undirected edge로 표현된다.

 

 

Enhancing graph based on SenticNet

  GCN 레이어를 거친 단어들은 각각 dependency 정보를 표현하고 있다. 이후 본 논문의 main idea와 같이, 문맥 단어와 aspect 단어의 감성을 강화하기 위해 SenticNet에서 감성 점수를 더하여 인접 행렬의 표현력을 풍부하게 표현한다. 식은 다음과 같다.

$$S_{i,j} = SenticNet_{(wi)} + SenticNet_{(wj)}$$

  여기서 $SenticNet_{(wi)}$은 SenticNet에 존재하는 감성 스코어로 [-1, 1] 사이의 값을 갖는다. 만약 $SenticNet_{(wi)} = 0$이면 해당 단어는 중립적인 감성 정보를 갖는 것을 의미한다.

  마지막으로 본 논문에서는 ABSA를 위한 GCN 기반 모델들이 일반적으로 그래프를 구성할 때, aspect에 대한 충분한 고려가 이루지지 않는다고 말한다. 제안 모델은 아래 식을 사용하여 문맥 단어와 측면 단어 간의 감성 의존성을 더욱 강화한다.

 

따라서 최종적으로 사용되는 강화된 인접 행렬은 다음과 같이 표현된다.

$$A_{i,j} = D_{i,j} × (S_{i,j} + T_{i,j} + 1)$$

 

이렇게 본 논문은 제안하는 research gap을 명확하게 해결하기 위한 간단하면서도 확실한 모델링을 제시한다. 이후 SenticGCN은 GCN 방식을 통해 학습되어 모델 아키텍처 그럼과 같이 positive, negative, neutral에 대한 최종 값을 도출한다. 학습을 위한 목적 함수로는 cross-entropy loss with $L_2$ regularization 식을 사용한다.

 

---

Experiments

  사용하는 데이터세트는 SemEval 2014 task4 (Rest14, Laptop14), SemEval 2015 task 12 (Rest15), SemEval 2016 task 5 (Rest16)이다. 성능 비교를 위한 벤치마크는 너무 많기 때문에, 논문의 캡처 사진으로 제시한다.

 

 

실험 결과 그래프 기반 모델에서, 제안하는 모델이 높은 성능을 보였으며, SenticGCN과 BERT를 결합한 모델도 좋은 성능을 보여주었다.

자세한 결과 해석은 논문 참고.