项目1

用户发布消息的过滤

必须过滤用户生成的内容,HTML标签过滤 ,HtmlUtils.htmlEscape(进行了转义)

敏感词过滤  使用了字典树Tire Tree(非法的,竞争对手广告)

优点:利用字符串的公共前缀来减少查询时间,最大限度的减少无谓的字符串比较。

字典树3个特性

                          1 根节点不包含字符,除根节点外每个节点只包含一个字符

                          2 从根节点到某一节点路径经过的字符连接起来为对应的字符串

                          3 每个节点的所有子节点包含的字符都不相同


3个指针

1 指向树的指针                    TrieNode temp =rootNode;

2 指向字符串的指针(寻找敏感字符串的头)  int =begin;

3 指向字符串的指针(当找到头时工作) int = position;

StringBuilder

构造字典树

public class TrieNode{

private boolean end =false;

private string data;

private TrieNode rootNode =new TrieNode();

private Map subNodes =new HashMap();

public void addSubNodes(Charater key ,TrieNode node){

subNodes.put(key,node);

}

public TrieNode getSubNode(Charater key){

return subNodes.get(key)

}

public void setkeywordEnd(boolean end){

this.end=end;

}

}

在字典树中添加单词

private void addWord(String lineTxt){

TrieNode tempNode= rootNode;

for(int i= 0;i

Charater c=lineTxt.charAt(i);

TrieNode node =tempNode.getSubNode(c);

if(node==null){            // 判断根节点的子节点中是否有词节点  ,

tempNode.addSubNodes(c,node);  //没有此节点则添加

}

//若有此节点则吧下一节点变为此节点

tempNode=node;

if(i==lineTxt.length()-1) tempNode.setkeywordEnd(true);//若为最后一个节点设置节点结尾标识。 

}

}

过滤算法

public String filter (String text){

if(StringUtils.isBlank(text)){return text;}

String replacement="***";

StringBuilder result=new StringBuilder();

TrieNode temp =root;

int begin=0;

int positin=0;

while(position

char c= text.charAt(position);

temp=temp.getSubNodes(c);

if(temp==null){

      result.append(text.charAt(begin));

      position=begin+1;

      begin=position;

      temp=rootNode;

}else if(temp.iskeywordEnd()){


}

}

}

项目遇到那些难点?

在测试时发现在网络不好时用户如果多次点击提交 ,可以向数据库提交多条重复数据。增加了数据库的冗余,大量垃圾浪费空间

解决办法,查了下资料有2中解决办法

1用js 设置一下指定时间内表单只能提交1次

2利用session 下发 token

String Stringbuffer(线程安全) Stringbuilder 区别

String 是只读字符串,被final修饰的不可变类 

Stringbuffer stringbuilder可以对字符串进行直接修改

你可能感兴趣的:(项目1)