Skip to content

这个项目是一个基本包.封装了大多数nlp项目中常用工具

License

Notifications You must be signed in to change notification settings

NLPchina/nlp-lang

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

nlp-lang

1.X Build Status sourcegraph

##MAVEN

<dependencies>
    <dependency>
        <groupId>org.nlpcn</groupId>
        <artifactId>nlp-lang</artifactId>
        <version>1.7.6</version>
    </dependency>
</dependencies>

这个项目是一个基本包.封装了大多数nlp项目中常用工具

工具

  • √ 词语标准化
  • √ tire树结构
  • √ 双数组tire树
  • √ 文本断句
  • √ html标签清理
  • √ Viterbi算法增加

组件

  • √ 汉字转拼音
  • √ 简繁体转换
  • √ bloomfilter
  • √ 指纹去重
  • √ SimHash文章相似度计算
  • √ 词共现统计
  • √ 基于内存的搜索提示
  • √ WordWeight词频统计,词idf统计,词类别相关度统计