敏感词过滤

敏感词过滤器：利用DFA算法 进行敏感词过滤

1、实现原理简单原理如下图所示，使用了DFA算法，创建结点类，里面包含是否是敏感词结束符，以及一个HashMap，哈希里key值存储的是敏感词的一个词，value指向下一个结点（即指向下一个词），一个哈希表中可以存放多个值，比如赌博、赌黄这两个都是敏感词。2、实现方法2.1敏感词库初始化敏感词库的初始化，这里主要工作是读取敏感词文件，在内存中构建好敏感词的Map节点packagecom.examp
缘不易·2024-02-03 02:41

java鉴黄视频/图片、敏感词过滤（黑名单，白名单，符号）（代码可直接使用）

视频鉴黄我这边采用的是在原视频的基础上进行抽帧处理，也就是将视频按规定的秒数或帧数间隔截取图片并对其进行图片的鉴黄maven：org.bytedecojavacv1.0ws.schildjave-all-deps2.5.1视频抽帧：importjava.awt.*;importjava.awt.image
一名落魄的程序员·2024-02-02 11:22

mybatis-plus团队新作：mybatis-mate 轻松搞定数据权限

0、简介mybatis-mate为mp企业级模块，支持分库分表，数据审计、数据敏感词过滤（AC算法），字段加密，字典回写（数据绑定），数据权限，表结构自动生成SQL维护等，旨在更敏捷优雅处理数据。
Fightover·2024-01-30 19:46

Java项目中实现敏感词过滤功能

基于此，我们准备在平台增加一个自定义敏感词过滤的功能模块，对于第三方敏感词服务漏处理的敏感词，我们将通过后台配置在敏感词库中，并进行补充处理。需求详细分析基于上述需求
萧十一郎君·2024-01-29 18:22

DFA有穷自动机敏感词过滤算法

1.EndTypepackagecom.example.utils.wordfilter;/***结束类型定义*/publicenumEndType{/***有下一个，结束*/HAS_NEXT,IS_END}2.WordTypepackagecom.example.utils.wordfilter;/***词汇类型*/publicenumWordType{/***黑名单/白名单*/BLACK,WH
不知迷踪·2024-01-22 01:04

sensitive-word敏感词过滤

sensitive-word基于DFA算法实现的高性能敏感词工具。在线体验特性6W+词库，且不断优化更新基于fluent-api实现，使用优雅简洁基于DFA算法，性能为7W+QPS，应用无感支持敏感词的判断、返回、脱敏等常见操作支持常见的格式转换全角半角互换、英文大小写互换、数字常见形式的互换、中文繁简体互换、英文常见形式的互换、忽略重复词等，DFA算法实现的高性能java敏感词工具框架。请勿发布
一个肥鲶鱼·2024-01-18 23:44

敏感词工具（sensitive word）的使用

）的使用开始优点准备1.引入对应的包地址2.常用api盖览使用实例1.是否有敏感词存在2.返回所有敏感词3.默认的替换策略4.指定替换词新工具类测试新工具开始sensitiveword工具是一个快速的敏感词过滤工具
weixin_48293596·2024-01-18 23:44

String.format(“%s“,msg)

这段代码只是完成了字符串的格式化操作，并没有进行任何敏感词过滤或处
爱吃土豆的马铃薯ㅤㅤㅤㅤㅤㅤㅤㅤㅤ·2024-01-18 18:53

【设计模式-05】Facade门面Mediator调停者 | Decorator装饰器 | Chain Of Responsibility责任链

Decorator装饰器1、问题2、解决方案ChainOfResponsibility责任链一、例子场景业务场景：论坛或者博客发表帖子或者评论，对敏感词过滤处理。使用责任链的模式进行过滤处理。
飞鸽FlyGo·2024-01-16 08:49

DFA算法实战-敏感词过滤

前言这里的项目实战,我们使用的是SpringBoot2.x+JDK1.8搭建的,核心思想是借助了Hutool工具类的WordTree。想了解更多DFA算法的实现可以参考DFA算法的实现实战案例1.引入Hutool的工具类cn.hutoolhutool-all5.8.182.自定义铭感词过滤处理器Hutool工具类中定义了SensitiveProcessor接口,它的作用是把敏感词替换成*packa
Stephen GS·2024-01-13 09:13

DFA算法在敏感词过滤的应用

相信大家对于游戏里聊天框的以下内容已经不陌生了"我***"“你真牛*”“你是不是傻*”一个垃圾的游戏环境是非常影响玩游戏的心情的，看到这些，就知道游戏已经帮我们屏蔽掉了那些屏蔽字了，对于玩游戏而言，心里会好受很多。敏感词识别对于游戏的重要性不言而喻。当然，除了游戏，也有很多业务场景可能需要敏感词检测，如果你接到这样一个需求的时候，你会怎么做？*一、原生API作为Java程序员，我的第一反应，一定是
xdpcxq1029·2024-01-06 17:42

构建健康游戏环境：DFA算法在敏感词过滤的应用

现在的游戏有敏感词检测这一点，相信大家也不陌生了，不管是聊天，起名，签名还是简介，只要是能让玩家手动输入的地方，一定少不了敏感词识别，至于识别之后是拒绝修改还是星号替换，这个就各有各的做法了，但是绕不开的一定是需要高效的敏感词检测机制。相信大家对于游戏里聊天框的以下内容已经不陌生了“我***”“你真牛*”“你是不是傻*”一个垃圾的游戏环境是非常影响玩游戏的心情的，看到这些***，就知道游戏已经帮我
Henry游戏开发·2024-01-04 19:59

基于DFA算法实现敏感词过滤

何为DFADFA，全称为DeterministicFiniteAutomaton，即确定有穷自动机、确定有限状态自动机或确定有限自动机对于一个给定的属于该自动机的状态和一个属于该自动机字母表Σ的字符，它都能根据事先给定的转移函数转移到下一个状态（这个状态可以是先前那个状态)。确定：状态以及引起状态转换的事件都是可确定的，不存在“意外”。有穷：状态以及事件的数量都是可穷举的。简单来说就是存储字符串每
YuuuZh。·2023-12-31 07:20

Pikachu靶场 反射型xss（get）

向框中输入”’这些敏感词过滤掉，因此可以尝试输入正确的JavaScript语句进去输入很多个2进去，发现长度是有限制的再次提交一个2进去，在源代码中查找2，发现输入框的长度收到了maxlength的长度限制
dawsw·2023-12-29 18:48

springboot项目使用过滤器统一进行参数校验，敏感词替换

1.问题场景对入参进行敏感词过滤，去空格，去换行符等操作，可提高程序健壮性，减少由此带来的业务上的bug，是很普遍的需求。
薛定谔的zhu·2023-12-27 03:20

javaweb-实验九补充练习--复盘

javaweb-实验九补充练习word资料自提，见文章末尾1、实现敏感词过滤。
-Z_Nuyoah·2023-12-23 14:29

Hutool--DFA 敏感词工具类

使用hutool的dfa工具类可以很好的帮助我们来实现敏感词过滤的功能，下面从用例入手来逐步地去j简单了解一下dfa工具类。字典树DFA算法的核心是建立了以敏感词为基础的许多敏感词树（字典树）。
knookda·2023-12-20 22:41

Java实现敏感词过滤

参考:https://blog.csdn.net/chenssy/article/details/26961957感谢作者的分享
想寻·2023-12-17 08:55

数据结构与算法之美学习笔记：36 | AC自动机：如何用多模式串匹配实现敏感词过滤功能？

目录前言基于单模式串和Trie树实现的敏感词过滤经典的多模式串匹配算法：AC自动机解答开篇内容小结前言本节课程思维导图：很多支持用户发表文本内容的网站，比如BBS，大都会有敏感词过滤功能，用来过滤掉用户输入的一些淫秽
浊酒南街·2023-12-16 06:38

CMS—评论功能设计

一、需求分析1.1、常见行为1.敏感词过滤2.新增评论（作品下、评论下）3.删除评论（作品作者、上级评论者、本级作者）4.上级评论删除关联下级评论5.逻辑状态变更（上线、下线、废弃...）6.上逻辑状态变更关联下级评论
JunSouth·2023-12-15 18:20

55.手写实现grpc连接池以及gin和grpc交互

文章目录一、简介前置说明二、敏感词过滤服务1、定义sensitive.proto文件2、protoc生成pb.go文件3、sensitive服务端实现三、关键词匹配服务1、编写keywords.proto
百里守约学编程·2023-12-14 15:55

敏感词过滤及反垃圾文本的相关知识（欢迎收藏）

此存储库包含关键字黑名单以及其他内容的列表，例如用于触发在中国使用的应用程序中的审查制度的URL或图像（应用包括：微博，微信，Line,skype）3.网上整理的敏感词库及Java实现的代码请移步github敏感词过滤的相关算法
Funny_AI_LAB·2023-12-05 04:40

Java手写字典树（Trie树），实现敏感词过滤

1.简介字典树：也叫做前缀树，是一种高效的存储、配对字符串的数据结构，存储过程如下：假设我们有单词：app、apple、cat。如果存在链表中：["app"、"apple"、"api"、"cat"]，要保存14个字符，使用字典树之后就变成了9个字符2.代码实现话不多说，代码很简洁，直接看注释就能看懂，如下：package算法;importsun.reflect.generics.tree.Tree
stu_kk·2023-12-04 22:37

Trie字典树及内存占用优化

它的典型应用是文本词频统计、敏感词过滤。举个例子假设有一个字符串：中国人民银行，它的前缀集合为{中，中国，中国人，中国人民，中国人民银}，越到后面前缀越长，对于一个有序字符串来说，我们可以简单
卡了个卡·2023-11-30 21:17

敏感词过滤方案

敏感词过滤方案敏感词过滤用的使用比较多的Trie树算法和DFA算法。
努力学习，努力爱你！·2023-11-29 09:19

中英文敏感词过滤API推荐

现在基本上所有的网站都需要设置敏感词过滤，似乎已经成了一个网站的标配，如果你的网站没有，或者你没有做相应的处理，那可能是一个危险的行为。
海碗吃饭·2023-11-24 19:21

APISpace 中英文敏感词过滤API

APISpace的中英文敏感词过滤API，包含中英文，当你输入的文本中含有敏感词，将会用特殊符号代替。
海碗吃饭·2023-11-24 19:21

（仿牛客社区项目）Java开发笔记3.1：过滤敏感词

文章目录过滤敏感词过滤敏感词本节使用敏感词过滤算法对帖子或评论中可能存在的敏感词进行屏蔽。
Gerrar_d·2023-11-23 14:46

基于PHP + TRIE树实现敏感词过滤算法

公司新项目素材编辑功能需要提供敏感词过滤功能，于是上网查了下，很多都是基于trie算法的，但基于PHP写的却少有，或者部分存在bug。所以，自己在别人的基础上进行了完善。
weixin_33890526·2023-11-23 14:45

php高效率敏感词屏蔽,高效的敏感词过滤方法(PHP)

Unity导出的Xcode工程目录Classes文件夹:UnityRuntime和ObjectC代码main.mm和AppController.mm:应用程序入口点iPhone_Profiler.h:定义了启用内部分析器(In...ORA-04091:tableismutating,trigger/functionmaynotseeit今天在论坛里发现了一个关于OR
徐志多·2023-11-23 14:14

ssm实现敏感词过滤

首先引入工具类：SensitiveWordsUtil该工具类采用DFA算法，速度还是蛮快的，比我手写的快多了。packagecom.kz.utils;importjava.io.IOException;importjava.util.*;publicclassSensitiveWordsUtil{/***最小匹配规则，如：敏感词库["中国","中国人"]，语句："我是中国人"，匹配结果：我是[中国
积土成山，积水成渊·2023-11-23 14:08

敏感词过滤

帖子发布敏感词过滤html便签过滤●这个其实就是调用函数就ok了，做的也就是将HTML的关键词给转义掉；question.setContent(HtmlUtils.htmlEscape(question.getContent
芋元汤·2023-11-23 14:38

敏感词过滤+AOP

主要参考了他人实现的DFA算法，他里面对短词没有处理，自己改了一下，并提供AOP实现拦截（该部分有点粗糙）参考：DFA算法-简易Java敏感词过滤（原文提供了代码和敏感词库）1.敏感词算法改进具体算法可以看看原文哈
猪无戒_·2023-11-23 14:37

如何基于vue3 封装敏感词过滤自定义指令(输入框输入时 自动将敏感词转成**)

如何基于vue3封装敏感词过滤自定义指令实现功能:el-input输入框输入时自动将敏感词转成**1.在src下创建directive文件=>filterSensitiveWords.tsimporttype
Gik99·2023-11-20 03:05

Spring boot + Vue全家桶的编程论坛网站

+Vuex+elementUI展示1.首页2.集成讯飞星火ai大模型3.文章4.资源5.详情6.管理端7.编辑器8.搜索9.个人中心10.关注11.登录亮点实现基于用户的协同过滤算法使用前缀树结构实现敏感词过滤
爱喝紫菜汤·2023-11-17 13:00

网络监控系统和防火墙的区别有哪些？

网络监控系统就是通过网页内容的自动采集处理、敏感词过滤、智能聚类分类、主题检测、专题聚焦、统计分析等多个环节，实现相关网络舆情监督管理的需要，最终形成舆情专报、分析报告、统计报告，为决策层和管理层全面掌握舆情动态
绿虫效率提升工具·2023-11-11 18:59

Unicode 字符集七个字符属性

前端时间在学习别人敏感词过滤的时候，发现了一段很有意思的代码，网上搜了下，有介绍，但不多，在次整理下，增加下网友搜索命中度，也方便自己后面查找。
一屁小肥咩·2023-11-03 16:40

NLP自然语言处理资料汇总

1.textfilter:中英文敏感词过滤observerss/textfilter>>>f=DFAFilter()>>>f.add("sexy")
Viterbi·2023-10-29 23:32

敏感词过滤--golang

目录1.建立敏感词数据库表2.定时任务，读数据并建立敏感词树2.1开启定时任务2.2读数据并建立敏感词树3.使用思路：将敏感词都存到数据库表中定时读取数据到内存中，构建敏感词前缀树写工具方法，使用内存中的前缀树判断消息中是否包含敏感词或完成替换操作1.建立敏感词数据库表CREATETABLE`bad_words`(`id`bigint(20)unsignedNOTNULLAUTO_INCREMEN
贴地飞行lyh·2023-10-28 06:19

Python用requests访问微信小程序security.msgSecCheck的api从而实现敏感词过滤并避坑47001

新做的一个小程序需要接入敏感词过滤，因为微信已经提供了这样子的接口服务，所以直接按照微信小程序官方说明进行接入：https://developers.weixin.qq.com/miniprogram/
chencangui·2023-10-26 01:11

游戏开发算法篇

十大经典排序算法TopK算法A星算法详解JPS寻路算法路径规划浅谈路径规划算法还有势力场寻路和SDF寻路等等二维矩形布局优化空间划分堆构建、插入、删除的图解敏感词过滤DFA算法程序噪声图XOR异或加密
大衍神君小迷弟·2023-10-16 14:30

常见的应用级算法(下)

RR)2.随机3.源地址哈希4.加权轮询5.加权随机6.应用案例2.加密算法的应用1.散列2.对称3.非对称3.一致性hash及其应用1.背景2.原理3.特性4.实现5.验证4.典型业务场景应用1.网站敏感词过滤
我就是我352·2023-10-12 02:10

DFA 敏感词过滤算法

dfa算法创建字典树对输入的词典进行匹配创建节点这里的结点就是上面那幅图packageDFAtypeNodestruct{//结束Endbool//节点Nextmap[rune]*Node}//AddChildaddcharfunc(n*Node)AddChild(crune)*Node{ifn.Next==nil{n.Next=make(map[rune]*Node)}//这个字符存在直接返回i
injiury-z-y·2023-10-07 23:03

基于敏感词过滤的反垃圾过滤系统

当前的项目已经开源，点击这里内容安全是当前安全风控体系健身中非常重要的一环。一方面，无论是小程序还是APP，在上架过程中面临很多监管的要求，这一环搞不好就要面临下架的风险，另一方面，关键词屏蔽本身就是业务需求的一部分，比如屏蔽某个竞对的外链等。市面上已经很多大的云厂商和一些专门做风控领域的厂商提供这方面的服务，但主要存在以下的痛点：考虑到各种乙方使用者的通用性，无论是API设计和controlpl
咚为·2023-10-07 23:02

基于DFA算法的敏感词过滤的go语言实现

基于DFA算法的敏感词过滤的go语言实现DFA算法简介；实现代码；Github链接；基于DFA算法做的一个开箱即用的敏感词过滤服务，除了支持DFA算法的匹配外，还支持正则，和组合词的规则，代码可在这里查看代码的
咚为·2023-10-07 23:32

敏感词过滤golang

用golang写了敏感词过滤的工具，主要用来检测用户昵称中是否存在敏感词，同时提供剔除转移字符的功能。
liyunlong41·2023-10-07 23:01

【面试被虐】游戏中的敏感词过滤是如何实现的？

小秋今天去面试了，面试官问了一个与敏感词过滤算法相关的问题，然而小秋对敏感词过滤算法一点也没听说过。于是，有了以下事情的发生…..面试官开怼面试官：玩过王者荣耀吧？了解过敏感词过滤吗？
风平浪静如码·2023-09-29 08:07

算法与数据结构-AC自动机

文章目录什么是多模式串匹配算法基于单模式串和Trie树实现的敏感词过滤经典的多模式串匹配算法：AC自动机什么是多模式串匹配算法单模式串匹配算法，是在一个模式串和一个主串之间进行匹配，也就是说，在一个主串中查找一个模式串
码农界的菜鸟·2023-09-28 13:05

java实现对指定的敏感词汇进行过滤

项目中需要做到所发文章、评价进行敏感词过滤，用最原始的字符串循环过滤很显然效率不太行，然后查找资料看到DFA算法（有限状态机），感觉可以用来实现敏感词过滤。
罗生门£·2023-09-20 00:32

java 前缀树的实现，敏感词的匹配和标记

前缀树的实现代码三、前缀树使用及测试1.向前缀树上增加词语2.根据输入匹配前缀树上的词语3.判断前缀树上是否有某个词语4.判断输入的字符串是否是前缀树上某个词语的开头5.从前缀树上删除某个词语6.使用前缀树进行敏感词过滤
西凉的悲伤·2023-09-08 01:38
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他