|
LJParser网络搜索与挖掘系统指的是网络搜索、自然语言理解和文本挖掘的技术开发的基础工具集，开发平台由多个中间件组成，各个中间件API可以无缝地融合到客户的各类复杂应用系统之中，可兼容Windows，Linux，FreeBSD等不同操作系统，可以供Java，C，C#等各类开发语言使用。具体中间件包括： 1、汉语词法分析中间件汉语词法分析中间件能对汉语语言进行拆分处理，是中文信息处理必备的核心部件。灵玖综合了各家所长，采用条件随机场（Conditional Random Field,简称CRF）模型，分词准确率接近99%，具备准确率高、速度快、可适应性强等优势；特色功能包括：切分粒度可调整，融合20余部行业专有词典，支持用户自定义词典等。 词性标注能对汉语语言进行词性的自动标注，它能够真正理解中文，自动根据语言环境将词语诸如“建设”标注为“名词”或“动词”。灵玖采用条件随机场（Conditional Random Field,简称CRF）模型，一级词性标注准确率接近99%，具备准确率高、速度快、可适应性强等优势。 2、新语自动发现中间件 新词自动发现技术能够识别出词典中没有出现过的词汇、短语、命名实体、流行用语，是语言文献分析方面的一把利器。新词发现脱胎于语言自动分词技术，又是对分词技术的有效提升和补充。 灵玖采用基于语义的统计语言模型，所处理的文档不受行业领域限制，能够有效地挖掘出新出现的特征词汇，所输出的词汇可以配以权重。 新词发现组件可以应用于文本挖掘、知识管理、词典编辑、舆情监测等多种应用中。 3、文本内容去重中间件文本内容去重中间件能够对文本进行查重处理，同时能找出所有的重复文件。能够快速准确地判断文件集合或数据库中是否存在相同或相似内容的记录。灵玖采用高效的文章指纹算法，能够在极短的时间内与历史指纹库进行对比，从而发现重复记录。 4 、文本分类过滤中间件文本分类中间件能够根据文献内容进行类别的划分，可以用于新闻分类、简历分类、邮件分类、办公文档分类、区域分类等诸多应用。 文本过滤功能能够从大量文本中快速识别和过滤出符合特殊要求的信息，可应用于品牌报道监测、垃圾信息屏蔽、敏感信息审查等领域。 灵玖采用基于内容的文本自动分类过滤和基于规则的文本分类过滤两种方式，并支持两种方式的混合分类。能够进行多级分类，分类速度每秒100篇以上，平均准确率90%以上，能够进行中英文分类和中英文的混合分类。用户可以灵活、方便的更换模板，来实现对不同的主题的分类过滤。 5 、文本聚类中间件文本聚类是基于相似性算法的自动聚类技术，自动对大量无类别的文档进行归类，把内容相近的文档归为一类，并自动为该类生成标题和主题词。适用于自动生成热点舆论专题、重大新闻事件追踪、情报的可视化分析等诸多应用。 灵玖基于文章集合核心语义理解技术，不仅聚类速度快，而且准确率高，并能自动得到类别间的演化趋势。 6 、文档关键词提取中间件文章关键词提取中间件能够在全面把握文章的中心思想的基础上，提取出若干个代表文章语义内容的词汇或短语，相关结果可用于精化阅读、语义查询和快速匹配等。 采用基于语义的统计语言模型，所处理的文档不受行业领域限制，且能够识别出最新出现的新词语，所输出的词语可以配以权重。 7、 文本摘要中间件自动文本摘要中间件能够实现文本内容的精简提炼，从长篇文章中自动提取关键句和关键段落，构成摘要内容，方便用户快速浏览文本内容，提高工作效率。 自动摘要中间件不仅可以针对一篇文档生成连贯流程的摘要，还能够将具有相同主题的多篇文档去除冗余、并生成一篇简明扼要的摘要；用户可以自由设定摘要的长度、百分比等参数；处理速度达到每秒钟20篇。 8 、网页正文提取中间件网页正文提取中间件能够实现HTML格式的精确分析，自动分辨出网页是属于索引页面还是内容页面。对于内容页面，能够高效剔除HTML标签和导航、广告等干扰性文字，返回实际有价值的正文内容。特别适用于大规模互联网信息的高效预处理和分析。 灵玖基于统计分布规律模型判定网页的特征，所适用的网页不受类型和领域的限制，不需要配置抽取规则，能够全自动地对海量互联网页信息进行高效处理。 9 、全文搜索中间件全文搜索中间件内核经过精心设计，具有高扩展性和高通用性。可支持文本、数字、日期、字符串等各种数据类型的高效索引，支持丰富的查询语言和查询类型，支持少数民族语言的搜索。 同时，全文搜索中间件可以无缝地与现有数据库系统融合，实现全文搜索与相关的数据库管理应用系统。
| 
发表于 2017-1-9 16:12:01
