参考

【】

【另外一篇参考处理wiki数据】

　　【1】【】

　　　　【上述代码】【】

　　【2】【】

　　一、下载数据集

　　到【】下载最新的中文wiki百科数据集【zhwiki-latest-pages-articles.xml.bz2】。

　　也就是【https://dumps.wikimedia.org/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2】

 

---

 

　　

　　二、提取原始语料库数据（新词汇：语料库（corpus —— corpora【复数】））

　　（一）节点信息

　　据说xml节点信息类似如下：（待验证）

 

　　（二）抽取数据

　　【抽取数据工具】：使用Wikipedia的extractor抽取工具。

# 克隆下载wikipedia的Extractor工具git clone https://github.com/attardi/wikiextractor.git wikiextractor# 进入提取工具目录。我的该目录和语料文件.xml.bz2在同一个目录下cd wikiextractor# 提示了权限问题 记得要在前面sudo一下python setup.py install# 注意这里.xml.bz2文件在.py文件的上一级 需要对.xml.bz2文件的位置改动 改为相对路径 即 ../xxxx.xml.bz2python WikiExtractor.py -b 1024M -o ../extracted zhwiki-latest-pages-articles.xml.bz2# 然后提取了好久 等着吧 等啊等

　　

=====================

　　记录了一下时间，刷屏太快只能靠截图手算估计。(372w-365w)/min=7w条目/min。

　　不知道为何其他博主都是几十w条的数据量，我下载的这个数据包目前还在解压中已经过了426w条了额……

=====================

 

 

　　（三）原始语料文件内容——实例