信息抽取及其实现

本文分别介绍抽取新词、关键词、关键短语和自动摘要的无监督学习方法。

信息抽取是一个宽泛的概念，指的是从非结构化文本中提取结构化信息的一类技术。这类技术依然分为基于规则的正则匹配、有监督学习和无监督学习等各种实现方法。我们将使用一些简单实用的无监督学习方法。由于不需要标注语料库，所以可以利用海量的非结构化文本。

新词抽取

所谓新词，就是处于语料库外的词汇

其中，提取出文本中的词语是关键的一步，如何能够让计算机识别词语呢？

例如：“小提琴”究竟算一个词语，还是“小+提琴”两个词语呢？

解决思路：

给定一段文本，随机取一个片段，如果这个片段左右的搭配很丰富，并且片段内部成分搭配很固定，则可以认为这是一个词。将这样的片段筛选出来，按照频次由高到低排序，排在前面的有很高概率是词。

如果文本足够大，再用通用的词典过滤掉“旧词”，就可以得到“新词”。

片段外部左右搭配的丰富程度，可以用信息熵来衡量，而片段内部搭配的固定程度可以用子序列的互信息来衡量。

信息熵(entropy)指的是某条消息所含的信息量

对于离散型的随机变量X，信息熵的计算方法如下：

若log的底数为2的话，则信息熵的单位恰好为比特

例子：若抛硬币正面概率为p(x=正)=0.5,则单次抛硬币实验结果的信息熵为：

\\=-(0.5log0.5+0.5log0.5) \\=1 因此，需要1比特的信息量来存储每次抛硬币实验的结果。 **具体到新词的提取中：** 给定字符串 S 作为词语备选，X 定义为该字符串左边可能出现的字符(左邻字)，则称 H(X) 为 S 的左信息熵，类似的，定义右信息熵 H(Y)，例如语料库含有如下句子: * 两只**蝴蝶**飞啊飞 * 这些**蝴蝶**飞走了 对于“蝴蝶”，它的左邻字及其频次为“只”为1次,"些"为1次，有两种，和上例中硬币信息熵一样，因此它的左信息熵为1，而右边只为“飞”，因此右信息熵为0。 当然，如果语料库中句子越多，那么左右信息熵也会不同。如果语料库中再收集一些句子，比如“蝴蝶效应”“蝴蝶蜕变”之类，就会观察到右信息熵会增大不少。 **左右信息熵越大**，说明字符串可能的搭配就越丰富，**该字符串就是一个词的可能性就越大**。 光考虑左右信息熵是不够的，比如“吃了一顿”“看了一遍”“睡了一晚”“去了一趟”中的了一的左右搭配也很丰富。为了更好的效果，我们还必须考虑词语内部片段的凝聚程度，这种凝聚程度由**互信息**衡量。 #### 互信息 互信息指的是离散变量X，Y相关程度，定义如下： I(x,y)=\sum_{x,y}p(x,y)log\frac{p(x,y)}{p(x)p(y)}

左圆圈表示H(X)，右圆圈表示H(Y)。它们的并集是联合分布的信息熵H(X,Y)，差集为条件嫡，交集就是互信息。可见互信息越大，两个随机变量的关联就越密切，或者说同时发生的可能性越大。

具体到新词的提取中：

例如语料库含有如下句子:

互信息X代表字符串的前缀子串，Y代表句子去掉前缀剩下的后缀。例如”蝴蝶“，X=”蝴“,Y=”蝶“。此时两者的联合分布只有一个取值，”蝴蝶“,此时期望为1，那么互信息为：