Skip to content

iamdeity/ToolGood.TextFilter

 
 

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

17 Commits
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

《ToolGood 内容审核系统》

官网:https://toolgood.com/

《ToolGood 内容审核系统》由多组高性能算法组成:

  • (1)在ToolGood.Words高性能算法基础上再次改进,十几处修改,性能更高;
  • (2)优化繁体与简体全角半角英文大小写匹配性能;
  • (3)改良算法,在不减性能情况下,压缩字典量,减少内存使用量;
  • (4)加入多组敏感词检测,减少误杀;
  • (5)加入NLP分词功能减少误杀概率,NLP算法使用动态规划,功能增加性能不降多少;
  • (6)改良联系方式匹配,减少跳词的误测;

文件夹说明

  • src文件夹: ToolGood.TextFilter源码,C#语言。
  • api文件夹: API接口源码,目前有C#JAVAPythonGO版本。
  • manager文件夹: 敏感词库管理工具源码,(开发中)

注:C#语言编译环境VS2019,核心源码只有C#语言版本,其他语言本人并不精通。

相关下载

领取【敏感词库】

  • 该敏感词库从70W多词组中整理出来的,外加18W多组常用分词、2W多字的拼音扩展、14066个左右拆字、4000组繁简转化,4850组同音同形字,1160组异形字……
  • 免费领取方法: 加QQ1665690808,发送申请人照片,要求手执【免费领取敏感词库】纸条,并且站在带公司Logo的墙前(或学校大门口)。
  • 如不想拍照,可花100元购买【敏感词库】,并赠送【程序数据包】
  • 为什么会有免费领取【敏感词库】?因为一套敏感词库无法满足各种场景,而每个公司使用的场景又不同。如你妈,在熟人环境下是正常词,在商品评价绝对是脏词,在游戏中绝大数为脏词

特别声明

  • 源码不包含生成程序数据包功能,如有需要,请联系QQ1665690808
  • 人工服务:生成敏感词数据包价格100元一次,出错可尝试三次。
  • 购买程序数据包生成器价格1000元,windows版本,无时间限制。
  • 购买程序数据包生成器源码价格5000元,C#语言。

提示

使用公开的源码可以反推数据包生成算法,需要以下能力:

  • 精通C#语言。
  • 精通AC自动机算法和ToolGood.Words算法。
  • 精通正则表达式,并能手写正则表达式解析过程。
  • 精通算法优化结构优化
  • 掌握文件压缩原理

并且需要一个月以上时间进行开发、测试。

探讨敏感信息过滤:

敏感信息过滤研究会,Q群:128994346

敏感词相关文章

1、敏感词过滤方案那些事

2、普通公司敏感词审核制度

3、新人小白过滤敏感词方案

4、网络常用敏感词过滤方法

5、ToolGood.Words算法过滤敏感词优化原理 (收费30元,一顿KFC)

6、ToolGood.TextFilter开源代码优化详解 (收费300元) 与IllegalWordsSearch算法进行对比,阐述了ToolGood.TextFilter过滤算法优化点,如何减少内存使用量。 还有一小部分未写好,心急的人可以先买,我会持续更新。

7、正则转DFA算法(C#版、JAVA版) (收费30元,一顿KFC) ToolGood.TextFilter的一个核心算法就使用到正则转DFA。(目前只有C#代码)

8、JAVA版ToolGood.TextFilter

9、C#版图片鉴黄

LICENSE

您可以在GPLv3许可证下使用它。请参阅LICENSE。

About

ToolGood 内容审核系统 部分源码

Resources

License

Stars

Watchers

Forks

Packages

No packages published

Languages

  • C# 82.4%
  • Java 5.3%
  • CSS 3.5%
  • JavaScript 3.1%
  • Python 2.9%
  • Go 1.4%
  • Other 1.4%