Deep Recursive Neural Networks for Compositionality in Language

Deep Recursive Neural Networks for Compositionality in Language

Abstract

Recursive neural networks comprise a class of architecture that can operate on structured input. They have been previously successfully applied to model compositionality in natural language using parse-tree-based structural representations. Even though these architectures are deep in structure, they lack the capacity for hierarchical representation that exists in conventional deep feed-forward networks as well as in recently investigated deep recurrent neural networks. In this work we introduce a new architecture — a deep recursive neural network (deep RNN) — constructed by stacking multiple recursive layers. We evaluate the proposed model on the task of fine-grained sentiment classification. Our results show that deep RNNs outperform associated shallow counterparts that employ the same number of parameters. Furthermore, our approach outperforms previous baselines on the sentiment analysis task, including a multiplicative RNN variant as well as the recently introduced paragraph vectors, achieving new state-of-the-art results. We provide exploratory analyses of the effect of multiple layers and show that they capture different aspects of compositionality in language.

재귀 신경망은 구조화 된 입력에서 작동 할 수있는 아키텍처 클래스로 구성됩니다. 이전에 파스 트리 기반 구조 표현을 사용하여 자연 언어로 모델 구성성에 성공적으로 적용되었습니다.

이러한 아키텍처는 구조가 깊더라도 최근에 연구 된 심층 반복적 인 신경망뿐만 아니라 기존의 심층 피드 포워드 네트워크에 존재하는 계층 적 표현의 능력이 부족합니다. 이 연구에서 우리는 새로운 재구성 계층 (deep recursive neural network) (깊은 RNN)을 소개한다. 우리는 세분화 된 정서 분류 작업에서 제안 된 모델을 평가한다.

우리의 결과는 깊은 RNN이 동일한 수의 매개 변수를 사용하는 관련 얕은 파트너보다 우위에 있음을 보여줍니다. 또한 우리의 접근법은 곱셈 적 RNN 변형과 최근에 도입 된 단락 벡터를 포함하여 감정 분석 작업에서 이전 기준선을 능가하여 새로운 최첨단 결과를 얻습니다.

우리는 여러 레이어의 효과에 대한 탐색 적 분석을 제공하고 언어에서 구성 성의 다른 측면을 포착한다는 것을 보여줍니다.

http://www.cs.cornell.edu/~oirsoy/files/nips14drsv.pdf