Neural Variational Inference for Text Processing

https://arxiv.org/abs/1511.06038

abstract

Recent advances in neural variational inference have spawned a renaissance in deep latent variable models. In this paper we introduce a generic variational inference framework for generative and conditional models of text. While traditional variational methods derive an analytic approximation for the intractable distributions over latent variables, here we construct an inference network conditioned on the discrete text input to provide the variational distribution. We validate this framework on two very different text modelling applications, generative document modelling and supervised question answering. Our neural variational document model combines a continuous stochastic document representation with a bag-of-words generative model and achieves the lowest reported perplexities on two standard test corpora. The neural answer selection model employs a stochastic representation layer within an attention mechanism to extract the semantics between a question and answer pair. On two question answering benchmarks this model exceeds all previous published benchmarks.

한글 축약

최근 신경 변이 추론의 진보는 깊은 잠재 변수 모델에서 르네상스를 일으켰다. 이 논문에서는 생성 및 조건부 텍스트 모델을위한 일반적인 변화 추론 프레임 워크를 소개한다. 기존의 변량 방법은 잠재 변수에 대한 다루기 어려운 분포에 대한 분석 근사를 유도하지만, 여기서는 이산 텍스트 입력을 조건으로하는 추론 네트워크를 구성하여 변량 분포를 제공합니다. 우리는 두 가지 매우 다른 텍스트 모델링 응용 프로그램, 생성 적 문서 모델링 및 감독 질문 응답에 대해 이 프레임 워크를 검증합니다. 우리의 신경 변이 문서 모델은 연속적인 확률적 문서 표현과 단어 생성 모델을 결합하여 2 개의 표준 테스트 코퍼에서 가장 낮은보고 난민을 성취합니다. 신경 응답 선택 모델은주의 메커니즘 내에서 확률 적 표현 레이어를 사용하여 질문 및 답변 쌍 사이의 의미를 추출합니다. 두 가지 질문 응답 벤치 마크에서이 모델은 이전에 게시 된 모든 벤치 마크를 능가합니다.

답글 남기기

이메일은 공개되지 않습니다. 필수 입력창은 * 로 표시되어 있습니다.