R包之tm:文本挖掘包

本文参考文档:

  1. tm的使用指南 : http://mirror.bjtu.edu.cn/cran/web/packages/tm/vignettes/tm.pdf
  2. tm手册 : http://mirror.bjtu.edu.cn/cran/web/packages/tm/tm.pdf

简介

tm 即text mining,是用来做文本挖掘的一个R包,是一个进行自然语言处理的基础包。它提供了一些做文本挖掘的基础设施,比如数据输入,文集处理,预处理,元数据管理,创建单词-文本矩阵。

安装

该包的安装方法是install.packages("tm")

数据输入—文集(corpus)

文集代表一个文档集,通常一个文件就是一个文档。多个文档构成一个文集。文集是一个抽象的概念,具体的实现方式有几种,一个是VCorpus(Volatile Corpus),这种文集完全存储在内存中。故而不能很大。这个文集的创建方法为 VCorpus(x,readerControl)。 另一个实现是PCorpus1 (Permanent Corpus),这种实现方式下,内存中只是存储文档的指针,真正的文档存储在磁盘上(文件或者数据库)。

文集创建的第一个参数x必须是一个Source对象,tm提供了一些预定义的source。比如DirSrouce,VectorSource,DataframeSource等,它们分别用来处理一个目录,一个向量(每个元素为一个文档),和数据框结构(比如csv)的文档。可以利用getSources()来得到所有可用的source,用户也可以建立自己的source。

文集创建的第二个参数是readerControl,这个参数必需是一个列表,其中包含组件readerlanguage。其中:

  • reader负责创建一个文档。而文档的来源是source传递过来的每个元素。下面是简单的处理流程

    source  --> elements ---> reader ---> document

    其中,tm包中有几种reader,比如readPlain(),readPDF(),readDOC()等等,可以利用getReaders()来获得所有可以的reader

    每个source都对应有一个缺省的reader,比如DirSource的reader就是读入文件,把文件的内容作为字符串。这个reader是可以被替换的。

  • language 指明文本的语言

因此,对于包tm目录下的texts/txt目录下的文本文件可以这样做成一个文集

library(tm)
#> Loading required package: NLP
txt <- system.file("texts","txt",package="tm")
vid = VCorpus(DirSource(txt, encoding = "UTF-8"), readerControl = list(language="lat"))
vid
#> <<VCorpus>>
#> Metadata:  corpus specific: 0, document level (indexed): 0
#> Content:  documents: 5

最简单的VectorSource,可以用来最简单的测试,比如

docs <- c("hello doc1", "hello doc2") 
VCorpus(VectorSource(docs))
#> <<VCorpus>>
#> Metadata:  corpus specific: 0, document level (indexed): 0
#> Content:  documents: 2

最后可以看一个指定外部reader的例子

reut21578 <- system.file("texts", "crude", package = "tm")
reuters <- VCorpus(DirSource(reut21578),
                    readerControl = list(reader = readReut21578XMLasPlain))

数据输出

文集中的数据可以直接输出,比如前面读入的文集,可以这样写到磁盘上去writeCorpus(vid), 每个文档会生成一个文件

查看语料库(corpora)

print(vid)只是给出了最简单的信息,要查看更多的信息,可使用inspect()

查看某几条信息

inspect(vid[1:2])
#> <<VCorpus>>
#> Metadata:  corpus specific: 0, document level (indexed): 0
#> Content:  documents: 2
#> 
#> [[1]]
#> <<PlainTextDocument>>
#> Metadata:  7
#> Content:  chars: 676
#> 
#> [[2]]
#> <<PlainTextDocument>>
#> Metadata:  7
#> Content:  chars: 700

查看单个文档元数据

meta(vid[[2]])
#>   author       : character(0)
#>   datetimestamp: 2016-03-09 01:45:14
#>   description  : character(0)
#>   heading      : character(0)
#>   id           : ovid_2.txt
#>   language     : lat
#>   origin       : character(0)

查看单个文档内容

as.character(vid[[2]])
#>  [1] "    quas Hector sensurus erat, poscente magistro"   
#>  [2] "         verberibus iussas praebuit ille manus."    
#>  [3] "    Aeacidae Chiron, ego sum praeceptor Amoris:"    
#>  [4] "         saevus uterque puer, natus uterque dea."   
#>  [5] "    sed tamen et tauri cervix oneratur aratro,"     
#>  [6] ""                                                   
#>  [7] "         frenaque magnanimi dente teruntur equi;"   
#>  [8] "    et mihi cedet Amor, quamvis mea vulneret arcu"  
#>  [9] "         pectora, iactatas excutiatque faces."      
#> [10] "    quo me fixit Amor, quo me violentius ussit,"    
#> [11] "         hoc melior facti vulneris ultor ero:"      
#> [12] ""                                                   
#> [13] "    non ego, Phoebe, datas a te mihi mentiar artes,"
#> [14] "         nec nos aëriae voce monemur avis,"         
#> [15] "    nec mihi sunt visae Clio Cliusque sorores"      
#> [16] "         servanti pecudes vallibus, Ascra, tuis:"   
#> [17] "    usus opus movet hoc: vati parete perito;"

查看多个文档内容

lapply(vid[1:2],as.character)
#> $ovid_1.txt
#>  [1] "    Si quis in hoc artem populo non novit amandi,"    
#>  [2] "         hoc legat et lecto carmine doctus amet."     
#>  [3] "    arte citae veloque rates remoque moventur,"       
#>  [4] "         arte leves currus: arte regendus amor."      
#>  [5] ""                                                     
#>  [6] "    curribus Automedon lentisque erat aptus habenis," 
#>  [7] "         Tiphys in Haemonia puppe magister erat:"     
#>  [8] "    me Venus artificem tenero praefecit Amori;"       
#>  [9] "         Tiphys et Automedon dicar Amoris ego."       
#> [10] "    ille quidem ferus est et qui mihi saepe repugnet:"
#> [11] ""                                                     
#> [12] "         sed puer est, aetas mollis et apta regi."    
#> [13] "    Phillyrides puerum cithara perfecit Achillem,"    
#> [14] "         atque animos placida contudit arte feros."   
#> [15] "    qui totiens socios, totiens exterruit hostes,"    
#> [16] "         creditur annosum pertimuisse senem."         
#> 
#> $ovid_2.txt
#>  [1] "    quas Hector sensurus erat, poscente magistro"   
#>  [2] "         verberibus iussas praebuit ille manus."    
#>  [3] "    Aeacidae Chiron, ego sum praeceptor Amoris:"    
#>  [4] "         saevus uterque puer, natus uterque dea."   
#>  [5] "    sed tamen et tauri cervix oneratur aratro,"     
#>  [6] ""                                                   
#>  [7] "         frenaque magnanimi dente teruntur equi;"   
#>  [8] "    et mihi cedet Amor, quamvis mea vulneret arcu"  
#>  [9] "         pectora, iactatas excutiatque faces."      
#> [10] "    quo me fixit Amor, quo me violentius ussit,"    
#> [11] "         hoc melior facti vulneris ultor ero:"      
#> [12] ""                                                   
#> [13] "    non ego, Phoebe, datas a te mihi mentiar artes,"
#> [14] "         nec nos aëriae voce monemur avis,"         
#> [15] "    nec mihi sunt visae Clio Cliusque sorores"      
#> [16] "         servanti pecudes vallibus, Ascra, tuis:"   
#> [17] "    usus opus movet hoc: vati parete perito;"

变换(transformation)

变换指通过tm_map函数来对文集中所有的文档作用一个函数的过程。比如停用词剔除等。每个变换只是作用在一个文档 上,tm_map来把它作用到所有的文档。

比如

  • 剔除多余的空白tm_map(vid,stripWhitespace)
  • 转换为小写 tm_map(vid,content_transformer(tolower))

    其中的content_transformer是一个修改文档内容的方便的函数,tolower可以是任何其他的字符串修改函数

  • 移除停用词

    reuters <- tm_map(reuters, removeWords, stopwords("english"))

过滤器

过滤器可以移除不感兴趣的(或者感兴趣的)文档。tm提供了tm_filter函数,这个函数的原型为

  1. tm_filter(x, FUN,...)
  2. tm_index(x,FUN,...)

其中的FUN函数出入为一片文档,输出为一个bool值。表示是否接受该文档。第二个版本tm_index 只是返回满足条件的index,前者返回一个文集,下面是一个使用示例:

data("crude")
# Full-text search
tm_filter(crude, FUN = function(x) any(grep("co[m]?pany", content(x))))

元数据管理

元数据分为两个层次,一个是文集级别的元数据,一个是文档级别的元数据。要获得元数据,最简单的是 使用meta()函数。每篇文档,有些预定义的元数据(比如author),但是每篇文档也可以添加自定义的 元数据标签。如下所示,分别用DublinCoremeta函数来修改一个文档的元数据

data(crude)
DublinCore(crude[[1]], "Creator") <- "Ano Nymous"
meta(crude[[1]])
#>   author       : Ano Nymous
#>   datetimestamp: 1987-02-26 17:00:56
#>   description  : 
#>   heading      : DIAMOND SHAMROCK (DIA) CUTS CRUDE PRICES
#>   id           : 127
#>   language     : en
#>   origin       : Reuters-21578 XML
#>   topics       : YES
#>   lewissplit   : TRAIN
#>   cgisplit     : TRAINING-SET
#>   oldid        : 5670
#>   places       : usa
#>   people       : character(0)
#>   orgs         : character(0)
#>   exchanges    : character(0)
meta(crude[[1]], "author") <- "Jiang Hang"
meta(crude[[1]])
#>   author       : Jiang Hang
#>   datetimestamp: 1987-02-26 17:00:56
#>   description  : 
#>   heading      : DIAMOND SHAMROCK (DIA) CUTS CRUDE PRICES
#>   id           : 127
#>   language     : en
#>   origin       : Reuters-21578 XML
#>   topics       : YES
#>   lewissplit   : TRAIN
#>   cgisplit     : TRAINING-SET
#>   oldid        : 5670
#>   places       : usa
#>   people       : character(0)
#>   orgs         : character(0)
#>   exchanges    : character(0)

下面是修改文集级别元数据的列子

meta(crude, tag = "url", type = "corpus") <- "http://www.bagualu.net"
meta(crude, type = "corpus")
#> $url
#> [1] "http://www.bagualu.net"
#> 
#> attr(,"class")
#> [1] "CorpusMeta"

每个元数据的数据可以是dataframe结构的。

标准操作和函数

标准的操作符[,[[,[<-,[[<-,c(),lapply()可以直接作用在corpora(语料库)上

创建文档-单词矩阵

tm中,函数TermDocumentMatrixDocumentTermMatrix可直接创建文档-单词矩阵,这二者的却别 在于矩阵的行是文档还是单词

dtm <- DocumentTermMatrix(reuters)
inspect(dtm[5:10, 740:743])
#> <<DocumentTermMatrix (documents: 6, terms: 4)>>
#> Non-/sparse entries: 2/22
#> Sparsity           : 92%
#> Maximal term length: 9
#> Weighting          : term frequency (tf)
#> 
#>      Terms
#> Docs  needs. negative negotiate neither
#>   211      0        0         0       0
#>   236      0        0         0       0
#>   237      1        0         0       0
#>   242      0        0         0       0
#>   246      0        0         0       0
#>   248      0        1         0       0

文档-单词矩阵的操作

有了矩阵以后,可以有很多R函数可以作用于它,但是tm包提供了一些常用的函数,比如你想找到那些至少 出现了10次的单词,使用findFreqTerms()函数

findFreqTerms(dtm,10)
#>  [1] "about"      "and"        "are"        "bpd"        "but"       
#>  [6] "crude"      "dlrs"       "for"        "from"       "government"
#> [11] "has"        "its"        "kuwait"     "last"       "market"    
#> [16] "mln"        "new"        "not"        "official"   "oil"       
#> [21] "one"        "opec"       "pct"        "price"      "prices"    
#> [26] "reuter"     "said"       "said."      "saudi"      "sheikh"    
#> [31] "that"       "the"        "they"       "u.s."       "was"       
#> [36] "were"       "will"       "with"       "would"

又比如,要找到与单词opec有0.8以上相关性的单词,使用findAssocs()

findAssocs(dtm,"opec",0.8)
#> $opec
#>   meeting emergency       oil      15.8  analysts    buyers     above 
#>      0.88      0.87      0.87      0.85      0.85      0.83      0.82 
#>      said   ability 
#>      0.82      0.80

文档-单词矩阵通常很大。tm提供了移除稀疏元素的函数

inspect(removeSparseTerms(dtm,0.4))
#> <<DocumentTermMatrix (documents: 20, terms: 8)>>
#> Non-/sparse entries: 140/20
#> Sparsity           : 12%
#> Maximal term length: 6
#> Weighting          : term frequency (tf)
#> 
#>      Terms
#> Docs  and for its oil reuter said the was
#>   127   1   2   3   5      1    1   5   1
#>   144   9   5   6  11      1    9  17   1
#>   191   0   2   1   2      1    1   4   0
#>   194   1   2   1   1      1    1   4   1
#>   211   2   2   1   1      1    3   8   0
#>   236   7   4   8   7      1    6  15   7
#>   237  11   3   3   3      1    0  30   2
#>   242   3   1   0   3      1    3   6   1
#>   246   9   6   3   4      1    4  18   2
#>   248   6   2   2   9      1    5  27   4
#>   273   5   4   0   5      1    5  21   1
#>   349   2   0   0   3      1    1   5   0
#>   352   3   0   2   5      1    1   7   1
#>   353   1   2   2   4      1    1   4   3
#>   368   1   0   1   3      1    2  11   2
#>   489   5   4   2   4      1    2   8   0
#>   502   6   5   2   4      1    2  13   0
#>   543   0   3   2   2      1    2   5   1
#>   704   5   3   1   3      1    3  21   0
#>   708   0   0   0   1      1    0   0   1

字典

字典是字符串的集合,通常用一个字符串向量表示,可以在DocumentTermMatrix函数中指定一个 字典,这样生成的矩阵中,就只有字典中出现的词语,不在字典中的词语不会出现在文档单词矩阵中 如下所示

inspect(DocumentTermMatrix(reuters,
                          list(dictionary = c("prices", "crude", "oil"))))
#> <<DocumentTermMatrix (documents: 20, terms: 3)>>
#> Non-/sparse entries: 41/19
#> Sparsity           : 32%
#> Maximal term length: 6
#> Weighting          : term frequency (tf)
#> 
#>      Terms
#> Docs  crude oil prices
#>   127     2   5      3
#>   144     0  11      3
#>   191     2   2      0
#>   194     3   1      0
#>   211     0   1      0
#>   236     1   7      2
#>   237     0   3      0
#>   242     0   3      1
#>   246     0   4      0
#>   248     0   9      7
#>   273     5   5      4
#>   349     2   3      0
#>   352     0   5      4
#>   353     2   4      1
#>   368     0   3      0
#>   489     0   4      2
#>   502     0   4      2
#>   543     2   2      2
#>   704     0   3      2
#>   708     1   1      0

关于中文支持

利用缺省的reader读入文档时,如果文档为中文,tm还是会以空格作为单词的分割符。这样基本对中文不适用。为了能够处理中文,需要 图换掉缺省的reader。新的reader应该读入文章,并进行分词,然后将分词的结果保存为一个新的文件,该文件中,各中文单词以空格隔开 。然后再利用tm的缺省reader进行处理就可以了。关于自定义reader的格式,详见这篇博客


rmmseg4j 以前在cran中的,后来被移除了,原因是不符合java的源码政策 ( Archived on 2014-08-30 as does not comply with policy on Java sources. )


  1. 对于PCorpus而言,第三个参数dbControl必须是一个列表,它具有组件dbNamedbType (这个dbType必须是filehash包支持的数据库类型)。这里不做详细讨论。



本文地址: http://www.bagualu.net/wordpress/archives/6112 转载请注明




“R包之tm:文本挖掘包”的2个回复

  1. 给博主点赞!写的很好!我打算把你的文章都仔细研究一遍,另外也希望博主多更新一些有关R方面的知识。另外,这个博客可以给赞赏吗,觉得很受用,要是有这个功能就好了

江航进行回复 取消回复

电子邮件地址不会被公开。 必填项已用*标注