请选择 进入手机版 | 继续访问电脑版
设为首页收藏本站

可可云计算

 找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

搜索
查看: 1770|回复: 3

2016年3月28号晚上8点半自然语言处理

[复制链接]

1214

主题

1279

帖子

4286

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
4286
发表于 2016-6-19 11:14:04 | 显示全部楼层 |阅读模式
晚上8点半:https://ke.qq.com/course/93036
完整视频和PPT下载:
链接:http://pan.baidu.com/s/1pLqzRUN 密码:
游客,如果您要查看本帖隐藏内容请回复

QQ1.png QQ2.png QQ3.png
第一章 基础1 安装

R 是一个有着统计分析功能及强大作图功能的软件系统, 是由奥克兰大学统计学系的Ross Ihaka 和Robert Gentleman 共同创立(两个名字都是R打头,所以叫R语言)。据说R语言很像S语言,但是我也不知道S语言是什么样的。

安装R的工具可以去官网http://mirror.bjtu.edu.cn/cran/我的安装环境是Win7 32位,安装的时候会自动帮你选择32位还是64位

2 R的自然语言处理包

根据R语言入门教程Journal of Statistical SoftwareText Mining Infrastructure in R,对R语言下的自然语言做一些了解。

我们可能需要的几个包是emu,wordnet,KEA,openNLP,RWeka,Snowball,Rstem,KoNLP,tm,lsa,topicmodels,RTextTools,textcat,corpora,zipfR,maxent,TextRegression,wordcloud。挺多的,任务挺艰巨的,不过初学嘛,先过个手知道个大概,到要实际用的时候再详细了解某一个或几个。

演示一下安装R语言的程序包使用函数 install.packages()

使用的时候会提示选择哪个镜像,我猜都是有钱又有品味的几个单位在维护国内镜像,北大,中科院,中国科技大学,厦门大学什么的。看着距离选择一个吧。

Center.jpg

当我回车的时候报错了,具体是这样的

Center.jpg

第一次没成功是因为install.packages()的()里需要加引号,第二次是提示版本太高不兼容,官网装的最新的版本3.0.3果断是兼容性还不行啊,果断降版本到2.15.3。

再次尝试安装各种包,不过还是出现了错误,报错版本不对

> install.packages('emu')

--- 在此連線階段时请选用CRAN的鏡子 ---

警告信息:

package ‘emu’ is not available (for R version2.15.3)

好吧,emu的包是一个用于创建,收集,处理和语音数据库的工具包。说实话我是用不上的,而且它的版本要求还很奇怪,最新的不行,最稳定的不行,那就算了吧。只对用的上的包进行安装尝试。

根据需要安装Snowball,当然先使用一个小操作Ctrl+L,清屏一下,然后方向键↑调出之前的指令。

install.packages('Snowball')

install.packages('rmmseg4j')

install.packages('tm')

Center.jpg

好像会自动下载依赖包,挺好的。

Center.jpg


下载完包就可以进入测试步骤了。

3 在R语言下进行简单的自然语言处理3.1 Snowball包下的英文的词干化

> library(Snowball)

> SnowballStemmer(c('functions', 'stemming','liked', 'doing'))

[1] "function""stem"    "like"    "do"      

3.2 rmmseg4j包下的中文分词

> library(rmmseg4j)

Loading required package: rJava

> mmseg4j(' 花儿为什么这样红')

[1] "花儿 为什么 这样 红"

3.3  tm包下的文本挖掘

1 Crops操作

在 tm 中主要的管理文件的结构被称为语料库Crops,其下分动态语料库(Volatile Corpus,作为 R 对象保存在内存中)和静态语料库(Permanent Corpus,R 外部保存)。在语料库构成中,x 必须有一个说明资料来源(input location)的源对象(Source Object)。

这个意思就是对于某个Crops变量,必须包含元素(资料来源x,内容解析器readerControl,使用静态语料库条件下内存对象外的资料来源(比如数据库)dbControl)

对于一个动态语料库的样例

> txt <- system.file("texts","txt", package = "tm")

> (ovid <- Corpus(DirSource(txt),

+ readerControl = list(language ="lat")))

这三个部分的详细是这样的:

资料来源x:

txt <- system.file("texts","txt", package = "tm")

意思是txt是一个地址,指向‘C:/Program Files/R/R-3.0.3/library/tm/texts/txt’,是一个叫txt的文件夹,里面有5个.txt文件。

当然也可以写成txt=‘C:/Program Files/R/R-3.0.3/library/tm/texts/txt’,就是提供一个你放crops的文件目录。

内容解析器readerControl:

readerControl = list(language ="lat")

完整的应该是readerControl = list(reader = x$DefaultReader, language = "en")

使用getReaders()可以看到有哪些类型的文档时可以被解析的

[1]"readDOC"                 "readPDF"              "readReut21578XML"      

[4]"readReut21578XMLasPlain" "readPlain"               "readRCV1"              

[7]"readRCV1asPlain"        "readTabular"            "readXML"

对于每一类源,都会有自己默认的 reader,可以缺省。比如对DirSource来说,默认读入输入文件并把内容解释为文本,使用readPlain。第二个 language 就比较简单了,即字符集,比如可能是 UTF-8 字符集。例子里用的是’lat’,是拉丁字符。

因为是动态语料库的示例所以没有dbControl。

执行上面的示例会得到:

A corpus with 5 text documents

换一个示例

install.packages('XML')

library(tm)

reut21578 <-system.file("texts", "crude", package = "tm")

reuters <- Corpus(DirSource(reut21578),readerControl = list(reader = readReut21578XML))

reuters

详情是reut21578=’C:/ProgramFiles/R/R-3.0.3/library/tm/texts/ crude ‘

文档类型是XML文件( 需要install.packages('XML'))

得到的结果是:

A corpus with 20 text documents是一个20个文本文件的语料集。

如果需要得到某一篇的文档的内容,可以使用编号和文档名,类似于reuters[[2]]reuters[['reut-00002.xml']]是等价的。

2 语料整理

(1) 转化为纯文本

在 reuters 这个语料库中保存的是 XML 格式的文本,XML 格式文本没有分析的意义,我

们只需要使用其中的文本内容。这个操作可以使用 as.PlainTextDocument() 函数来实现:

reuters <- tm_map(reuters, as.PlainTextDocument)

这样就不会有那些标签了,反正那些标签也不包含语义。

(2) 去除多余的空白

reuters<- tm_map(reuters, stripWhitespace)

类似于Java的trim和Python里的strip


(3) 小写变化

reuters<- tm_map(reuters, tolower)

(4) 停止词去除

reuters<- tm_map(reuters, removeWords, stopwords("english"))

(5) 元数据管理

元数据是为了标记语料库的附加信息,最简单的使用方式就是调用 meta() 函数。文档会被预先被定义一些属性,比如作者信息,但也可能是任意自定义的元数据标签。这些附加的元

据标签都是独立的附加在单个文档上。从语料库的视角上看,这些元数据标签被独立的存储在每个文档上。

继续之前的那个例子使用meta(crude[[1]]得到文档标签可以看到,默认的Creator那一项是空的,但是可以通过

DublinCore(reuters[[1]], tag ="creator") <- "LiTC"

meta(reuters, tag = "test", type ="corpus") <- "test meta"

来指定creator和test项目

SouthEast.jpg


修改元组信息后

SouthEast.jpg

这是对于单文档的,对于语料集reuters这样的也可以设定标签

meta(reuters,tag = "creator", type = "corpus") <- "LiTC"

meta(reuters,tag = "test", type = "corpus") <- "test meta"

meta(reuters, type ="corpus")

SouthEast.jpg


(6) 生成词文档(文档词)矩阵

dtm <- DocumentTermMatrix(reuters)

inspect(dtm[1:10,1:9])

从结果看,确实很稀疏啊

SouthEast.jpg

词频筛选,找到出现5次以上的词

findFreqTerms(dtm, 5)

SouthEast.jpg

或者找到相关性,比如对于 opec,找到相关系数在 0.8 以上的条目,使用 findAssocs():

findAssocs(dtm, "opec", 0.8)

结果:

meeting      15.8       oil emergency  analysts   buyers

    0.88      0.85      0.85     0.83      0.82      0.80

对稀疏矩阵进行主成分提取:

inspect(removeSparseTerms(dtm, 0.1))#除了词频统计中低于90%的稀疏条目项。

得到的矩阵稀疏比例为0,可以看到oil和reuter是最高频的两个词,每篇文档都出现了。

SouthEast.jpg

(7) 词典

(d <- Dictionary(c("prices","crude", "oil")))#字典d里放了3个元素

attr(d,"class")#查看d的类型是"Dictionary""character"

inspect(DocumentTermMatrix(reuters,list(dictionary = d)))#将字典d里的元素放到list里面,检查它们在retuers里的文档矩阵

试着调整一下做一下测试,没有问题的。

SouthEast.jpg

4 网页数据处理

library(XML)

doc<- xmlParse(system.file("exampleData", "tagnames.xml",package = "XML"))#一个测试文件

els<- getNodeSet(doc, "/doc//a[@status]")#读到els

els#可以看到els有两个节点

sapply(els,function(el) xmlGetAttr(el, "status"))#处理得到网页内容

得到的结果是

SouthEast.jpg

第二章 具体任务1 文本聚类

library(tm)#导入text mining包

data(acq)#acq: C:\ProgramFiles\R\R-2.15.3\library\tm\texts\acq,包括了50篇文档

data(crude)#crude: C:\ProgramFiles\R\R-2.15.3\library\tm\texts\crude,20篇文档

m<- c(acq, crude)#acq和crude合并到一起记为m

dtm<- DocumentTermMatrix(m)#m的文档词矩阵

dtm<- removeSparseTerms(dtm, 0.8)#删除词频低于0.2的低频词

inspect(dtm[1:5,1:5])#得到一个小的样例文档词矩阵

dist_dtm<- dissimilarity(dtm, method = 'cosine')#对dtm矩阵使用余弦相似度计算距离

hc<- hclust(dist_dtm, method = 'ave')#使用HAC层次聚类,HAC使用平均相似度作为判断标准

plot(hc,xlab = '')#画图显示层次聚类结果

SouthEast.jpg

也可以使用k-means聚类

km<-kmeans(dist_dtm,centers=3)

结果也还可以。


回复

使用道具 举报

0

主题

1

帖子

4

积分

新手上路

Rank: 1

积分
4
发表于 2016-6-22 12:24:11 | 显示全部楼层
学习学习
回复

使用道具 举报

0

主题

37

帖子

80

积分

注册会员

Rank: 2

积分
80
发表于 2016-6-22 12:54:15 | 显示全部楼层
88888888888888888
回复 支持 反对

使用道具 举报

0

主题

3

帖子

12

积分

新手上路

Rank: 1

积分
12
发表于 2016-12-8 10:31:34 | 显示全部楼层
want to learn
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /3 下一条

Archiver|手机版|小黑屋|可可云计算 ( 京ICP备13045856号  

GMT+8, 2018-8-19 09:36 , Processed in 0.105715 second(s), 33 queries .

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表