网页去重（三）之特征值的提取
网页去重（三）特征值
一、 什么是特征值
下面收集来自百度百科的资料：
TFIDF的主要思想是：如果某个词或短语在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。TFIDF实际上是：TF *IDF，TF词频(TermFrequency)，IDF逆向文件频率(InverseDocument Frequency)。TF表示词条在文档d中出现的频率。IDF的主要思想是：如果包含词条t的文档越少，也就是n越小，IDF越大，则说明词条t具有很好的类别区分能力。如果某一类文档C中包含词条t的文档数为m，而其它类包含t的文档总数为k，显然所有包含t的文档数n=m+k，当m大的时候，n也大，按照IDF公式得到的IDF的值会小，就说明该词条t类别区分能力不强。但是实际上，如果一个词条在一个类的文档中频繁出现，则说明该词条能够很好代表这个类的文本的特征，这样的词条应该给它们赋予较高的权重，并选来作为该类文本的特征词以区别与其它类文档。这就是IDF的不足之处. 在一份给定的文件里，词频（term frequency，TF）指的是某一个给定的词语在该文件中出现的频率。这个数字是对词数(term count)的归一化，以防止它偏向长的文件。（同一个词语在长文件里可能会比短文件有更高的词数，而不管该词语重要与否。）对于在某一特定文件里的词语来说，它的重要性可表示为：
· 
以上式子中分子是该词在文件中的出现次数，而分母则是在文件中所有字词的出现次数之和。
逆向文件频率（inverse document frequency，IDF）是一个词语普遍重要性的度量。某一特定词语的IDF，可以由总文件数目除以包含该词语之文件的数目，再将得到的商取对数得到：
·
其中
· |D|：语料库中的文件总数
· ：包含词语的文件数目（即的文件数目）如果该词语不在语料库中，就会导致分母为零，因此一般情况下使用
作为分母。
idf公式分母
然后再计算TF与IDF的乘积。
·
某一特定文件内的高词语频率，以及该词语在整个文件集合中的低文件频率，可以产生出高权重的TF-IDF。因此，TF-IDF倾向于过滤掉常见的词语，保留重要的词语。[2]
---摘自百度百科
例1
有很多不同的数学公式可以用来计算TF-IDF。这边的例子以上述的数学公式来计算。词频 (TF) 是一词语出现的次数除以该文件的总词语数。假如一篇文件的总词语数是100个，而词语“母牛”出现了3次，那么“母牛”一词在该文件中的词频就是3/100=0.03。一个计算文件频率(IDF) 的方法是测定有多少份文件出现过“母牛”一词，然后除以文件集里包含的文件总数。所以，如果“母牛”一词在1,000份文件出现过，而文件总数是10,000,000份的话，其逆向文件频率就是 log(10,000,000 / 1,000)=4。最后的TF-IDF的分数为0.03* 4=0.12。
二、 算法实现
2.1 获取TF算法并排序：
public static voidgetTF(String inputFile, String outputFile){
String result ="";
List<String> lists = StringUtil.getListContentFromPath(inputFile);
Double allNums = (double)lists.size();
for(String w: lists){
int num = StringUtil.getWordNum(w,lists);
Double TF = num/allNums;
result += w+""+TF+ConstantString.WIN_NextLine;
}
StringUtil.String2File(result,outputFile);
}
*/
public static voidsortWords(String inputFile, String outputFile){
Map<String ,Double> map = getMapFromFile(inputFile);
Map<String ,Double> resultmap = SortUtil.sortMapByValue(map,true);
String result ="";
for(Stringkey : resultmap.keySet()){
result += key+""+resultmap.get(key)+ConstantString.WIN_NextLine;
}
StringUtil.String2File(result,outputFile);
}
截图：
2.2获取DF算法：
/**
* 获取单个文件的DF
* @paraminputFileStr
* @paraminputPathAll
* @paramoutputDirStr
* @throwsException
*/
public static voidgetDF(String inputFileStr,String inputPathAll,String outputDirStr) throwsException{
File inputFile = newFile(inputFileStr);
File outputDir = newFile(outputDirStr);
if(!inputFile.exists()){
throw newException("can not read the inputDir");
}
if(!outputDir.exists()){
outputDir.mkdirs();
}
String result ="";
try {
ArrayList<String> paths = newStringUtil().getAllPath(inputPathAll);
Double df = 0.0;
FileInputStream fis = newFileInputStream(inputFile);
BufferedReader br = newBufferedReader(new InputStreamReader(fis));
String name = StringUtil.getNameFromPath(inputFileStr);
String outputFileStr =outputDirStr+ConstantString.slash+name+ConstantString.postText;
String temp ="";
while((temp =br.readLine()) != null){
String[] temps = temp.split("");
df = 0.0;
for(Stringpath : paths){
String content = StringUtil.getContent(path);
if(content.contains(temps[0])){
df++;
}
}//for
result += temp+""+df+ConstantString.WIN_NextLine;
}
StringUtil.String2File(result,outputFileStr);
} catch(Exception e) {
e.printStackTrace();
}
}
截图：
3.3 计算TF*IDF算法：
/**
* 获取TF*IDF
* @paraminputFileStr
* @paraminputPathAll
* @paramoutputDirStr
* @throwsException
*/
public static voidgetTFIDF(String inputFileStr,String outputDirStr,inttotalnum) throws Exception{
File inputFile = newFile(inputFileStr);
File outputDir = newFile(outputDirStr);
if(!inputFile.exists()){
throw newException("can not read the inputDir");
}
if(!outputDir.exists()){
outputDir.mkdirs();
}
String result ="";
try {
Double nums = (double)totalnum;
Double tfidf = 0.0;
FileInputStream fis = newFileInputStream(inputFile);
BufferedReader br = newBufferedReader(new InputStreamReader(fis));
String name = StringUtil.getNameFromPath(inputFileStr);
String outputFileStr =outputDirStr+ConstantString.slash+name+ConstantString.postText;
String temp ="";
while((temp =br.readLine()) != null){
String[] temps = temp.split("");
Double idf = Math.log(nums/Double.valueOf(temps[2]));
tfidf = Double.valueOf(temps[1])*idf;
result += temp+" 特征值："+tfidf+ConstantString.WIN_NextLine;
}
StringUtil.String2File(result,outputFileStr);
} catch(Exception e) {
e.printStackTrace();
}
}
原文：
