Combining Textual Entailment and Argumentation Theory for Supporting Online Debates Interactions の概要と考察

今回は2012年に自然言語のトップカンファレンスであるACLに投稿されたCombining Textual Entailment and Argumentation Theory for Supporting Online Debates Interactionsについての概要を説明し、考察してみようと思います。

ACL | Association for Computational Linguistics

[原文]http://www.aclweb.org/anthology/P12-2041

序章

近年、TwitterやDebetepediaといったサービスで様々な話題で多くの議論が交わせれている。

www.debatepedia.org

しかし、そのような話題に途中で参加するには今までの議論を一つ一つ見ていき、議論が収束しているのか、また今後話し合う必要があるところなどを考えなくてはいけなく、それを面倒に感じることが多いのではないかと考えている。

そこでこの論文ではこれらのサービスで繰り広げられている議論をTextual Entailmentを使って、反対・賛成意見を抜き取り収束したのかどうかを評価する手法を提案している。

手法

Textual EntailmentとはDaganが2009年に提唱したもので、text(t)とhypothesis(h)で論理的含意(t→h)を表すものである

ちょっと何を言っているのかわからないので簡単な例を見てみると

text:

アメリカンショートヘアーを飼っている

hypothesis:

猫を飼っている

がある時textが真ならばhypothesisも真になるのがわかると思う。

このような関係がTextual Entailmentである。

数学的にこのような条件を定義する時は厳密なものでなくてはならないが、Textual Entailmentではすごくざっくりとしたものであるため、客観的に正しいと考えられるものはこのように定義できる。

ちなみに、TE（日本語）の評価データについては京大の黒橋・河原研究室のホームページに掲載されています。

Textual Entailment 評価データ - KUROHASHI-KAWAHARA LAB

この論文でも幾つかTextual Entailment の例を出しているので見てみると下記のように書いてある。

text:

Research shows that drivers speaking on a mobile phone have much slower reactions in braking tests than non-users, and are worse even than if they have been drinking.

hypothesis:

The use of cell-phones while driving is a public hazard.

この例文を意訳してみるとtextは「電話で話しながら運転をしていると、電話をしていない人々また飲酒運転をしている人よりもブレーキテストの反応が悪かった」と読め、hypothesisには「運転中の携帯電話の使用は危険である」と書かれており確かにこの場合でもtextが真ならばhypothesisが真であることが分かる。

このようにT-Hのペアを見つけることで、議論の関係性を見ることができ、また相手の発言に対して反論するときにTに対してなのかHに対してなのかを区別し最終的にどこで議論が収束していたのか見ている。

A1=hypothesis:

The use of cell-phones while driving is a public hazard.

A2=text:

Research shows that drivers speaking on a mobile phone have much slower reactions in braking tests than non-users, and are worse even than if they have been drinking.

A3=text:

Regulation could negate the safety benefits of having a phone in the car. When you’re stuck in traffic, calling to say you’ll be late can reduce stress and make you less inclined to drive aggressively to make up lost time.

A4=text:

If one is late, there is little difference in apologizing while in their car over a cell phone and apologizing in front of their boss at the office. So, they should have the restraint to drive at the speed limit, arriving late, and being willing to apologize then; an apologetic cell phone call in a car to a boss shouldn’t be the cause of one being able to then relax, slow-down, and drive the speed-limit.

これらの関係を図で表すと上記のようになり。点線の矢印は反論をそれ以外の矢印は賛成となる関係をしめしている。

また、これは実際にDebetepediaで繰り広げられた議論である、二重線で書かれている円の主張が受け入れられていることを表す。

このような関係を取り出すために著者はEDITS systemというオープンソースのTE認識システムを使って既存の手法と提案手法の実験を行い、評価を行った。

データセットには下記のような100個のtarin data, test dataを用いている。

結果を見てみると既存の手法ではtraining setでaccuracyが0.69,test setで0.67であったが提案手法では0.75と高くなった。

考察

議論の賛成、反対などの意見をTEに着目して分析したのは素晴らしい考えだと思う。

しかし、この論文では詳しい分類の実装方法などが書かれておらず実際に自分の手で実験できないのは残念である。

またACLといったトップカンファレンスはこういった比較的新しい手法に対してAcceptが寛容的になるのではないかと感じた。（それだけTEは今後流行ると期待されているのか）

今後もAugmentation関連の論文を読んで知見を集めていこうと思う。

入門 自然言語処理

言語処理のための機械学習入門 (自然言語処理シリーズ)

自然言語処理の基礎