敏感词过滤

java敏感词过滤-使用HashMap实现DFA算法

java敏感词过滤-使用HashMap实现DFA算法Jun252012作者：嘻嘻哈哈 发布：2012-06-2516:57 分类：技术 阅读：22,061views 8条评论 敏感词过滤-使用hashmap
Real_Myth·2015-12-04 11:00

敏感词过滤

 敏感词、文字过滤是一个网站必不可少的功能，如何设计一个好的、高效的过滤算法是非常有必要的。前段时间我一个朋友（马上毕业，接触编程不久）要我帮他看一个文字过滤的东西，它说检索效率非常慢。我把它程序拿过来一看，整个过程如下：读取敏感词库、如果HashSet集合中，获取页面上传文字，然后进行匹配。我就想这个过程肯定是非常慢的。对于他这个没有接触的人来说我想也只能想到这个，更高级点就是正则表达式。但是非
focus_逸·2015-11-20 09:00

敏感词过滤

View Code <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org
·2015-11-13 05:23

敏感词过滤算法

算法难道不能变得简单一些吗？便于理解逻辑？ 参考文档如下： http://cmsblogs.com/?p=1031 书中有个例子 {五={星={红={isEnd=0, 旗={isEnd=1}}, isEnd=0}, isEnd=0}, 中={isEnd=0, 国={isEnd=0, 人={isEnd=1}, 男={isEnd=0, 人={isEnd=1}}}}} 要想输出上面的格式和
·2015-11-12 18:43

PHP高效的敏感词过滤方法

<?php // 测试文件demo.php $badword = array( '张三','张三丰','张三丰田' ); // array_combine() 函数通过合并两个数组来创建一个新数组，其中的一个数组是键名，另一个数组的值为键值。如果其中一个数组为空，或者两个数组的元素个数不同，则该函数返回 false。 // array_fill() 函数用给定的值填充数组
·2015-11-12 13:31

浅析敏感词过滤算法(C++)

为了提高查找效率，这里将敏感词用树形结构存储，每个节点有一个map成员，其映射关系为一个string对应一个TreeNode。 STL::map是按照operator<比较判断元素是否相同，以及比较元素的大小，然后选择合适的位置插入到树中。为了提高map的插入及查询效率，可以选用hash_map或unordered_map。关于他们的效率，可以参考http://blog.csdn.net/
·2015-11-12 13:45

敏感词过滤和谐社会1.0版

开发环境：vc6.0 版本1.0版   简单的介绍下软件的主界面，和主要功能：         过滤有专门的词库，你可以手动添加，也可以从网上下载，由于时间考虑。这里并没有对敏感词进行自己辨别，只是用一些特殊字体进行替代。   文字转图片功能，类似于新浪微博的长微博方式。   微博上传，利用oau
·2015-11-11 10:10

JAVA 敏感词过滤

源码 https://github.com/kevinLuan/word_filterimportcom.sensitive.word.WordFilter; /** *敏感词过滤测试 * *@authorKEVINLUAN
kevin_Luan·2015-11-05 18:00

超强敏感词过滤算法第二版 可以忽略大小写、全半角、简繁体、特殊符号、HTML标签干扰

  上一篇 发一个高性能的敏感词过滤算法 可以忽略大小写、全半角、简繁体、特殊符号干扰 改进主要有几点： 　　用BitArray取代Dictionary用空间换时间 性能进一步提升
·2015-11-01 13:34

中文分词组件免费版

常用及敏感词过滤功能。通过一个简单的属性设置就可以完成针对常用词、标点和敏
·2015-11-01 11:44

发一个高性能的敏感词过滤算法 可以忽略大小写、全半角、简繁体、特殊符号干扰

 链接已更新到第二版： 超强敏感词过滤算法第二版 可以忽略大小写、全半角、简繁体、特殊符号、HTML标签干扰   敏感词查找或者过滤是每个天朝互联网从业者都不能忽略的一件事情。
·2015-11-01 09:24

应用完全启动后, Spring执行自定义初始化

项目中做敏感词过滤, 因为前台ajax校验要走service ,而后台统一过滤器要走interceptor , 所以把检查器提到一个工具类(HeXieWordFinder)里 这个工具类理应缓存数据库中所有敏感词数据的
·2015-10-31 09:12

PHP实现敏感词过滤系统

转载：http://blog.41ms.com/post/41.html安装说明安装PHP扩展trie_filter，安装教程http://blog.41ms.com/post/39.html安装PHP扩展swoole，安装教程http://www.swoole.com/代码说明1、敏感词库维护更新脚本：reload_dict.php，提供自动更新字典库到trie-tree文件的过程 $v) {
meng_philip·2015-10-28 09:10

PHP实现敏感词过滤系统

转载：http://blog.41ms.com/post/41.html安装说明安装PHP扩展trie_filter，安装教程http://blog.41ms.com/post/39.html安装PHP扩展swoole，安装教程http://www.swoole.com/代码说明1、敏感词库维护更新脚本：reload_dict.php，提供自动更新字典库到trie-tree文件的过程 $v) {
meng_philip·2015-10-28 09:10

PHP实现敏感词过滤系统

转载：http://blog.41ms.com/post/41.html安装说明安装PHP扩展trie_filter，安装教程http://blog.41ms.com/post/39.html安装PHP扩展swoole，安装教程http://www.swoole.com/代码说明1、敏感词库维护更新脚本：reload_dict.php，提供自动更新字典库到trie-tree文件的过程 $v) { 
meng_philip·2015-10-28 09:10

敏感词过滤和XML的创建

                 今天我慢下来啦，因为这三天没有新的课程学习内容，自己仅仅看啦一些，这让我停下来栖息片刻；说说现在的生活，简单的进行着，每天要奔波着去上课，然后回来，每天都在想怎样学习这个小知识点，大脑也在想怎样解决程序中的问题，每一天就是这样的开始，这样的结束；现在感觉：自己像一台电脑一样，
·2015-10-27 12:29

Java实现敏感词过滤

importjava.io.BufferedReader; importjava.io.File; importjava.io.FileInputStream; importjava.io.InputStreamReader; importjava.util.HashMap; importjava.util.HashSet; importjava.util.Iterator; importjava
wersdffg·2015-10-24 12:00

关于敏感词过滤的一点想法

问题背景:有一个用户留言板,留言在100字内,另外有一个滤词表,现在需要对用户留言进行过滤,清楚留言中出现并且出现在滤词表中的单词 针对留言长度相对于滤词表单词而言较短,可采用如下滤词法   1.构建滤词表的HashMap(filterMap) 对滤词表中的每个单词做一次Hash,以Hash散列值作为Key,单词内容作为Value   2.构建滤词表单词的起始符表和结束
·2015-10-21 11:56

敏感词过滤

最近需要实现对聊天里的敏感词过滤，要求比较简单，只需要对字库中存在的关键字进行匹配，所以不需要非常复杂的实现，但是需要能够快速地对一个关键字集合进行匹配。
seizeF·2015-09-11 21:00

敏感词过滤，并实现替换

粘贴代码： 这样就会把那些讨厌的敏感词过滤掉了。当然现在网站对敏感词过滤大概三种处理：1、输入一段文字，后台或者前台校验。有敏感词
猪哥哥厉害·2015-09-08 14:00

[Java Web]敏感词过滤算法

1.DFA算法DFA算法的原理可以参考 这里，简单来说就是通过Map构造出一颗敏感词树，树的每一条由根节点到叶子节点的路径构成一个敏感词，例如下图：代码简单实现如下： publicclassTextFilterUtil{ //日志 privatestaticfinalLoggerLOG=LoggerFactory.getLogger(TextFilterUtil.class); //敏感
tkggft·2015-08-28 15:00

php 敏感词过滤高级版

前面介绍过一个过滤了些特殊字符的php程序，下面我们升级一下这个敏感词过滤函数更强大了有了它再也不怕敏感词中间加空格或者其他标点符号了。
dcj3sjt126com·2015-08-05 07:00

php 敏感词过滤高级版

阅读更多前面介绍过一个过滤了些特殊字符的php程序，下面我们升级一下这个敏感词过滤函数更强大了有了它再也不怕敏感词中间加空格或者其他标点符号了。
dcj3sjt126com·2015-08-04 10:00

JAVA 敏感词过滤

在网站中进行敏感词过滤是非常必要的。
战地春梦·2015-07-18 10:00

java敏感词过虑-基于多叉树原理

基于多叉树的敏感词、关键词过滤的工具包，用于java中的敏感词过滤 1、工具包自带敏感词词库，第一次调用时读入词库，故第一次调用时间可能较长，在类加载后普通pc机上html过滤5000字在80毫秒左右
cngolon·2015-06-17 10:00

基于DFA算法的敏感词过滤--Java实现

package com.yl.common.utils; import java.io.BufferedReader; import java.io.InputStream; import java.io.InputStreamReader; import java.util.HashMap; import java.util.HashSet; import java.util.I
hzp·2015-06-10 09:00

敏感词过滤

三步工作一：敏感词过滤核心算法，参考这篇文章的DFA算法，http://blog.csdn.net/chenssy/article/details/26961957实现两个类1. 
u011698346·2015-06-03 19:00

Java实现DFA算法实现敏感词过滤

        DFA简介    在实现文字过滤的算法中，DFA是唯一比较好的实现算法。DFA即DeterministicFiniteAutomaton，也就是确定有穷自动机，它是是通过event和当前的state得到下一个state，即event+state=nextstate。下图展示了其状态的转换         在这幅图中大写字母（S、U、V、Q）都是状态，小写字母a、b为动作。通过上图我
hzp·2015-05-22 15:00

Java实现敏感词过滤

敏感词、文字过滤是一个网站必不可少的功能，如何设计一个好的、高效的过滤算法是非常有必要的。前段时间我一个朋友（马上毕业，接触编程不久）要我帮他看一个文字过滤的东西，它说检索效率非常慢。我把它程序拿过来一看，整个过程如下：读取敏感词库、如果HashSet集合中，获取页面上传文字，然后进行匹配。我就想这个过程肯定是非常慢的。对于他这个没有接触的人来说我想也只能想到这个，更高级点就是正则表达式。但是非常
-蒋全忠-·2015-05-21 15:00

C#敏感词过滤实现方法

本文实例讲述了C#敏感词过滤实现方法。分享给大家供大家参考。
喻家军·2015-05-18 15:03

一个高效的敏感词过滤方法(PHP)

$badword=array('张三','张三丰','张三丰田');$badword1=array_combine($badword,array_fill(0,count($badword),'*'));$bb='我今天开着张三丰田上班';$str=strtr($bb,$badword1);echo$str;$hei=array('中国','日本');$blacklist="/".implode(
小烟·2015-04-14 23:40

php中的函数运用-高考倒计时，打开目录文件，加密和解密以及网站敏感词过滤

高考倒计时 高考倒计时 今天日期：".date("Y-m-d",$date1); //计算相差天数 $num=ceil(($date2-$date1)/(60*60*24)); //输出相差天数 echo"距离高考还有".$num."天"; ?> 打开目录文件 $file"; } //关闭目录 closedir($dir); ?> 加密和解密 加密和解密 数字加密： 数字
u012157999·2015-01-27 16:00

Java实现敏感词过滤

敏感词、文字过滤是一个网站必不可少的功能，如何设计一个好的、高效的过滤算法是非常有必要的。前段时间我一个朋友（马上毕业，接触编程不久）要我帮他看一个文字过滤的东西，它说检索效率非常慢。我把它程序拿过来一看，整个过程如下：读取敏感词库、如果HashSet集合中，获取页面上传文字，然后进行匹配。我就想这个过程肯定是非常慢的。对于他这个没有接触的人来说我想也只能想到这个，更高级点就是正则表达式。但是非常
扒拉米2015·2015-01-26 10:44

Java实现敏感词过滤

敏感词、文字过滤是一个网站必不可少的功能，如何设计一个好的、高效的过滤算法是非常有必要的。前段时间我一个朋友（马上毕业，接触编程不久）要我帮他看一个文字过滤的东西，它说检索效率非常慢。我把它程序拿过来一看，整个过程如下：读取敏感词库、如果HashSet集合中，获取页面上传文字，然后进行匹配。我就想这个过程肯定是非常慢的。对于他这个没有接触的人来说我想也只能想到这个，更高级点就是正则表达式。但是非常
扒拉米2015·2015-01-26 10:44

正则匹配问题（power8竞赛敏感词过滤）

这个赛事我是写了一个，python单线程60秒左右，虽然不知道别人3秒是怎么做的，但是论复杂度，这的方法已经是线性时间复杂度了，所以这里写个分享，供大家指正。线性复杂度：这里所说的线性复杂度指的是，只与需要匹配的文本线性相关，而与敏感词的数量没关系。如果你已经做到了这一点可以了解一下别人的方法，如果没做到，也可以参考一下本文的方法。这一方法的主要特点是把所有敏感词同时进行匹配，但是一开始的数据结构
阿宣22·2015-01-24 16:49

[Java Web]敏感词过滤算法

1.DFA算法DFA算法的原理可以参考这里，简单来说就是通过Map构造出一颗敏感词树，树的每一条由根节点到叶子节点的路径构成一个敏感词，例如下图：代码简单实现如下：publicclassTextFilterUtil{//日志privatestaticfinalLoggerLOG=LoggerFactory.getLogger(TextFilterUtil.class);//敏感词库privates
sinat_19425927·2015-01-19 21:00

[Java Web]敏感词过滤算法

1.DFA算法DFA算法的原理可以参考这里，简单来说就是通过Map构造出一颗敏感词树，树的每一条由根节点到叶子节点的路径构成一个敏感词，例如下图：代码简单实现如下：publicclassTextFilterUtil{ //日志 privatestaticfinalLoggerLOG=LoggerFactory.getLogger(TextFilterUtil.class); //敏感词库 pri
sinat_19425927·2015-01-19 13:00

java敏感词过滤-使用HashMap实现DFA算法

转载：http://blog.shilimin.com/298.htm package arrayDemo;import java.util.ArrayList;import java.util.HashMap;import java.util.HashSet;import java.util.List;import java.util.Set;@SuppressWarnings( { &quo
kfcman·2014-12-18 11:00

Java实现敏感词过滤

     敏感词、文字过滤是一个网站必不可少的功能，如何设计一个好的、高效的过滤算法是非常有必要的。前段时间我一个朋友（马上毕业，接触编程不久）要我帮他看一个文字过滤的东西，它说检索效率非常慢。我把它程序拿过来一看，整个过程如下：读取敏感词库、如果HashSet集合中，获取页面上传文字，然后进行匹配。我就想这个过程肯定是非常慢的。对于他这个没有接触的人来说我想也只能想到这个，更高级点就是正则表达式
kfcman·2014-12-18 11:00

汉字转拼音 敏感词过滤 禁用词查找 提高程序效率另外一种思路：反向思维

汉字转拼音敏感词过滤禁用词查找这些很常用的互联网需求大家出道时是怎么做的？大家偷懒时是怎么做的？
let·2014-12-16 15:00

python字符串匹配工具性能比较

做敏感词过滤的时候要用到字符串匹配，从一个文件中读入需要匹配的敏感词，和一段文本去匹配，用string的find方法是不太合适了，搜了一下，发现AC自动机的方式更好。
刀心·2014-12-01 16:53

敏感词过滤

/** *类名称：FilteredResult *类描述： *创建人：linguo *创建时间：2014-10-27上午9:47:47 *修改人： *修改时间： *修改备注： *@version1.0.0 */ publicclassFilteredResult { privateIntegerlevel; privateStringfilteredContent; privateStringb
sunhuwh·2014-11-04 19:00

java敏感词过滤

最近在折腾敏感词的过滤问题，在网上查找了许多相关资料，最后整理出2种方式 （代码见附件） 第一种占用内存小，但只能过滤2个字以上的关键词，关键词库里的第一个是过滤不了的（PS：大家可以研究研究，估计是能控制过滤字数的） 第二种占用内存较大，代码要经常调用，所以放弃掉了，有个地方可以控制过滤的字数，所以能实现一个字的过滤。 附件的压缩包里有实现代码、测试入口代码、关键词库
菜鸟级JAVA·2014-10-29 13:00

使用python开发敏感词检测过滤系统

这里使用python的bottle框架来做简易的敏感词过滤系统，算法采用成熟的DFA关键词匹配算法，本系统只提供一套基于http的api，可以提供给各个应用使用。
行走的螃蟹·2014-10-07 00:00

lucene4.5源码分析系列：分析器

lucene中的分析器 分析器可能会做的事情有：将文本拆分为单词，去除标点，将字母变为小写，去除停用词，词干还原，词形归并，敏感词过滤等等。
wbj0110·2014-09-17 08:00

lucene4.5源码分析系列：分析器

lucene中的分析器 分析器可能会做的事情有：将文本拆分为单词，去除标点，将字母变为小写，去除停用词，词干还原，词形归并，敏感词过滤等等。
wbj0110·2014-09-17 08:00

lucene4.5源码分析系列：分析器

lucene中的分析器分析器可能会做的事情有：将文本拆分为单词，去除标点，将字母变为小写，去除停用词，词干还原，词形归并，敏感词过滤等等。
wbj0110·2014-09-17 08:00

lucene4.5源码分析系列：分析器

lucene中的分析器 分析器可能会做的事情有：将文本拆分为单词，去除标点，将字母变为小写，去除停用词，词干还原，词形归并，敏感词过滤等等。
wbj0110·2014-09-17 08:00

Java实现敏感词过滤

http://www.cnblogs.com/chenssy/p/3751221.html敏感词、文字过滤是一个网站必不可少的功能，如何设计一个好的、高效的过滤算法是非常有必要的。前段时间我一个朋友（马上毕业，接触编程不久）要我帮他看一个文字过滤的东西，它说检索效率非常慢。我把它程序拿过来一看，整个过程如下：读取敏感词库、如果HashSet集合中，获取页面上传文字，然后进行匹配。我就想这个过程肯定
h3c4lenovo·2014-08-30 16:00

asp.net敏感词过滤

敏感词过滤是一个能够让用户发表评论的网站的一个很重要的功能（你懂的~）下面开始全套流程：1.需要有一套比较完整的词库，由于我的词库很少所以就不贴上来了，网上找找应该很多2.设计一个可以将词库导入数据库的功能
qq1010885678·2014-07-07 19:00
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他