全文检索引擎Solr系列——整合中文分词组件mmseg4j - ImportNew
| 分类： ,
默认Solr提供的分词组件对中文的支持是不友好的，比如：“VIM比作是编辑器之神”这个句子在索引的的时候，选择FieldType为”text_general”作为分词依据时，分词效果是：
它把每一个词都分开了，可以想象如果一篇文章这样分词的搜索的体验效果非常差。能够和Solr集成的中文分词组件有很多，比如：mmseg4j、IkAnalyzer、ICTCLAS等等。各有各的特点。这篇文章讲述如何整合Solr与mmseg4j。mmeseg4j最新版本是1.9.1，解压，提取其中的三个文件：mmseg4j-analysis-1.9.1.jar， mmseg4j-core-1.9.1.jar，mmseg4j-solr-1.9.1.jar。放到目录：E:\solr-4.8.0\example\solr-webapp\webapp\WEB-INF\lib，修改配置文件schema.xml，添加下面的两段代码：
fieldType:
&!-- mmseg4j--&
&fieldType name=&text_mmseg4j_complex& class=&solr.TextField& positionIncrementGap=&100& &
&analyzer&
&tokenizer class=&com.chenlb.mmseg4j.solr.MMSegTokenizerFactory& mode=&complex& dicPath=&dic&/&
&/analyzer&
&/fieldType&
&fieldType name=&text_mmseg4j_maxword& class=&solr.TextField& positionIncrementGap=&100& &
&analyzer&
&tokenizer class=&com.chenlb.mmseg4j.solr.MMSegTokenizerFactory& mode=&max-word& dicPath=&dic&/&
&/analyzer&
&/fieldType&
&fieldType name=&text_mmseg4j_simple& class=&solr.TextField& positionIncrementGap=&100& &
&analyzer&
&tokenizer class=&com.chenlb.mmseg4j.solr.MMSegTokenizerFactory& mode=&simple& dicPath=&n:/OpenSource/apache-solr-1.3.0/example/solr/my_dic&/&
&tokenizer class=&com.chenlb.mmseg4j.solr.MMSegTokenizerFactory& mode=&simple& dicPath=&dic&/&
&/analyzer&
&/fieldType&
&!-- mmseg4j--&
与fieldType对应的field：
&!-- mmseg4j --&
&field name=&mmseg4j_complex_name& type=&text_mmseg4j_complex& indexed=&true& stored=&true&/&
&field name=&mmseg4j_maxword_name& type=&text_mmseg4j_maxword& indexed=&true& stored=&true&/&
&field name=&mmseg4j_simple_name& type=&text_mmseg4j_simple& indexed=&true& stored=&true&/&
&!--mmseg4j --&
此时就算配置完成了，重启服务：java -jar start.jar，来看看mmseg4j的分词效果怎么样，打开Solr管理界面，点击左侧的Analysis页面
对比之前的分词效果，改进了很多，差不多就是正常的语义了。这里在分词的时候你有可能会遇到一个问题：
TokenStream contract violation: reset()/close() call missing, reset() called multiple times, or subclass does not call super.reset(). Please see Javadocs of TokenStream class for more information about the correct consuming workflow.
这个是Solr4.8环境下mmseg4j的一个bug，这是mmseg4j-analysis-1.9.1.jar引起的，需要修改源码，找到文件：mmseg4j-1.9.1\mmseg4j-analysis\src\main\java\com\chenlb\mmseg4j\analysis\MMSegTokenizer.java，加上super.reset()：
public void reset() throws IOException {
//lucene 4.0
//org.apache.lucene.analysis.Tokenizer.setReader(Reader)
//setReader 自动被调用, input 自动被设置。
super.reset(); //加上这一行
mmSeg.reset(input);
修改完之后用maven重启编译：mvn clean package -DskipTests，用新的mmseg4j-1.9.1\mmseg4j-analysis\target\mmseg4j-analysis-1.9.2-SNAPSHOT.jar替换掉原来那个文件，重启服务就ok了。
mmeseg4j-1.9.1这个版本的的词库全部打包放在了jar文件里面，因此无需再指定词库文件(chars.dic，units.dic，words.dic)，当然你也可以覆盖这些文件，只需要吧预替换的文件放在在WEB-INF\data\即可。
现在添加两个中文文档到索引中去，试试mmeseg4j的效果怎么样：
&field name=&id&&0001&/field&
&field name=&mmseg4j_complex_name&&把Emacs比作是神的编辑器，VIM比作是编辑器之神，2012年开始接触VIM，一直沿用至今，也曾今总结过VIM的相关知识，文章都整理在以前的ITeye博客和GitHub，这款古而不老的编辑器至今仍受众多程序员追捧，当然我也是忠实的VIM用户，这篇文章就是用VIM编辑完成。&/field&
&field name=&id&&0002&/field&
&field name=&mmseg4j_complex_name&&用Google搜索&Python IDE&，第一条就是stackoverflow上一个非常热门的问题：&what IDE to use for Python&，上百种编辑器的功能对比图让人眼花缭乱。其中有我接触过的几款编辑器（IDE）包括：Eclilpse(PyDev)、VIM、NotePad++、PyCharm。如果你的日常开发语言是Python的话，再搜索&python vim&，大约有328万条结果，可见用VIM做Python开发的程序员那是相当之多，我大概总结的几点原因，当然不一定正确&/field&
保存为utf-8格式的文件名：mmseg4j-solr-demo-doc.xml，加入到Solr中去：
E:\solr-4.8.0\example\exampledocs&java -jar post.jar mmseg4j-solr-demo-doc.xml
SimplePostTool version 1.5
Posting files to base url http://localhost:8983/solr/update using content-type application/xml..
POSTing file mmseg4j-solr-demo-doc.xml
1 files indexed.
COMMITting Solr index changes to http://localhost:8983/solr/update..
Time spent: 0:00:01.055
看搜索结果：
关于作者：
程序员，关注 Java、Python、云计算，移动互联网。（新浪微博：）
受教了，谢谢
关于ImportNew
ImportNew 专注于 Java 技术分享。于日 11:11正式上线。是的，这是一个很特别的时刻 :)
ImportNew 由两个 Java 关键字 import 和 new 组成，意指：Java 开发者学习新知识的网站。 import 可认为是学习和吸收， new 则可认为是新知识、新技术圈子和新朋友……
新浪微博：
推荐微信号
反馈建议：@
广告与商务合作QQ：
– 好的话题、有启发的回复、值得信赖的圈子
– 写了文章？看干货？去头条！
– 为IT单身男女服务的征婚传播平台
– 优秀的工具资源导航
– 活跃 & 专业的翻译小组
– 国内外的精选博客文章
– UI,网页，交互和用户体验
– JavaScript, HTML5, CSS
– 专注Android技术分享
– 专注iOS技术分享
– 专注Java技术分享
– 专注Python技术分享
& 2016 ImportNew怎么重新开启ADODB.Stream组件_百度知道
怎么重新开启ADODB.Stream组件
重新开启ADODB.Stream组件的办法：在开始—运行里执行：regsvr32 &C:\Program Files\Common Files\System\ado\msado15.dll regedit---hkey-local-machine---software---microsoft----internet explorer-----activex compatibility-----0-aa006d2ea4中的Compatibility Flags双击，在16进制中将数值改为0自己的电脑安装是默认支持，如果不支持，请使用探针测试！一般在注册表中位置是[HKEY_LOCAL_MACHINE\SOFTWARE\Classes\CLSID\
里的设置应该为scrrun.dll，设为其他值就不支持了！
在 开始－“运行”中执行regsvr32.exe scrrun.dll即可。如想关闭FSO权限，在上述命令中加/u参数。在注册表中的键值位置：HKEY＿CLASS＿BOOT\F.S.O windows 2000中默认安装会自动启用fso，但xp和2003却没有。首先请确认scrrun.dll文件的存在(一般windows系统都有，没有的话可以从安装盘中提取)，然后最好是将其置于系统目录\\system32下，最后一步是注册这个组件，在命令行下或开始-&运行：regsvr32 scrrun.dll 把你要操作的目录权限设置为可写
其他类似问题
为您推荐：
等待您来回答
下载知道APP
随时随地咨询
出门在外也不愁您所在位置： &
&nbsp&&nbsp&nbsp&&nbsp
Streamslice组函数在MATLAB中的使用.doc4页
本文档一共被下载：
次 ,您可免费全文在线阅读后下载本文档
文档加载中...广告还剩秒
需要金币：5 &&
你可能关注的文档：
··········
··········
Streamslice组函数在MATLAB中的使用
函数功能：绘制切片流线
使用方法：
streamslice X,Y,Z,U,V,W,startx,starty,startz
streamslice U,V,W,startx,starty,startz
streamslice X,Y,U,V
streamslice U,V
streamslice ...,density
streamslice ...,'arrowsmode'
streamslice ...,'method'
streamslice axes_handle,...
streamslice ...
[vertices arrowvertices]
streamslice ...
streamslice x,y,z,u,v,w,[],[],[5]
axis tight
[verts averts]
streamslice u,v,w,10,10,10 ;
streamline [verts averts]
sqrt u.^2 + v.^2 + w.^2 ;
slice spd,10,10,10 ;
colormap hot
shading interp
view 30,50 ; axi
material [.5 1 0]
shading interp
contour3 z,20 ; set ch,'edgecolor','b'
streamslice -u,-
set h,'color','k'
interp2 z,get h i ,'xdata' ,get h i ,'ydata'
set h i ,'zdata',
view 30,50 ; axis tight
正在加载中，请稍后...怎么重新开启ADODB.Stream组件_百度知道
怎么重新开启ADODB.Stream组件
迫不得已，
我有更好的答案
com/downloads/details,然后安装一下就可以了 微软的下载地址 http，可以卸载IIS，再重装IIS应该就能解决搜索一下MDAC
其他类似问题
为您推荐：
等待您来回答
下载知道APP
随时随地咨询
出门在外也不愁}