Hadoop计算：ansj分词+BloomFilter+ Hadoop计算用户文件属性的方案

如果你有很多TB的日志，里面有个字段是文件名，如何根据文件名来计算此人的属性，比如文件是综艺，还是韩剧？

1 确定文件种类

先来谈谈确定文件种类的方案，刚开始想到是根据文件名去搜索，后来调研发现这个方案太坑爹了，果断丢弃！

采用第二种方案：

综艺：从优酷土豆，罗列出一批综艺节目的关键词，一般几百个可以搜到。

韩剧：同样的道理，也可以搜到。

插入到mongodb里，如图

mongos> db.file_keyword.save({"n":"奔跑吧兄弟","c":2})
WriteResult({ "nInserted" : 1 })
mongos> db.file_keyword.save({"n":"这就是生活","c":2})
WriteResult({ "nInserted" : 1 })
mongos> db.file_keyword.save({"n":"勇敢的心","c":2})
WriteResult({ "nInserted" : 1 })
mongos> db.file_keyword.save({"n":"侣行","c":2})
WriteResult({ "nInserted" : 1 })
mongos> db.file_keyword.save({"n":"优酷全明星","c":2})
WriteResult({ "nInserted" : 1 })
mongos> db.file_keyword.save({"n":"鸿观","c":2})
WriteResult({ "nInserted" : 1 })

2 在hadoop里加入一个任务---从数据库里查询出记录，写入到HDFS文件中。

3 在第2个真正执行的任务里，分发此文件

job.addCacheFile(new Path(args[1]).toUri());

4 在任务的setup初始化函数里，需要做2件事情：初始化BloomFilter和用户自定义词典，后者是为了分词。

先科普下BloomFilter

具体函数

private static int bitArraySize = 1024 * 1024 * 20;
		private static int numHashFunc = 6;
		private BitSet zongyiBloomFilter;// c=2
		private BitSet koreanBloomFilter;// c=3

		protected int[] getHashIndexes(String obj) {
			int[] indexes = new int[this.numHashFunc];
			long seed = 0;
			byte[] digest;
			try {
				MessageDigest md = MessageDigest.getInstance("MD5");
				md.update(obj.toString().getBytes());
				digest = md.digest();
				for (int i = 0; i < 6; i++) {
					seed = seed ^ (((long) digest[i] & 0xFF)) << (8 * i);

				}

			} catch (NoSuchAlgorithmException e) {

			}
			Random gen = new Random(seed);
			for (int i = 0; i < this.numHashFunc; i++) {
				indexes[i] = gen.nextInt(this.bitArraySize);
			}
			return indexes;
		}

		public void add(BitSet bf, String obj) {
			int[] indexes = getHashIndexes(obj);
			for (int index : indexes) {
				bf.set(index);
			}
		}

		public boolean contains(BitSet bf, String obj) {
			int[] indexes = getHashIndexes(obj);
			for (int index : indexes) {
				if (false == bf.get(index)) {
					return false;
				}
			}
			return true;
		}

至于为什么要创建BloomFilter,主要是为了节省内存，好奇者可自行百度。

2 同时初始化BloomFilter和创建用户自定义分词，这里是ansj分词器

关键代码：

if (null != c && c.equals("2")) {
						// zongyi
						String n = array[2];
						this.add(zongyiBloomFilter, n);
						UserDefineLibrary
								.insertWord("" + n, "userDefine", 1000);
						context.getCounter("ComputerProfileHDFS",
								"readZongYiTags").increment(1);
					}

 

3 使用分词器和BloomFilter

// included by the 2 kind of BloomFilter?
				List<Term> parse = ToAnalysis.parse(filename);
				for (Term t : parse) {
					String name = t.getName();
					if (this.contains(zongyiBloomFilter, name)) {
						tags += " " + "综艺";
						 context.getCounter("ComputerProfileHDFS",
									"_MapVideoZongYiRecord").increment(1);
					}
					if (this.contains(koreanBloomFilter, name)) {
						tags += " " + "韩剧";
						context.getCounter("ComputerProfileHDFS",
								"_MapVideoKoreanRecord").increment(1);
					}
				}

运行结果看图：

说明方法是行之有效的。

PS:

1）你的mongo中的词汇越完善，匹配度则越高！并不影响后续的判断所耗费的时间

2）优化：

job.setInputFormatClass(CombineTextInputFormat.class);

job.getConfiguration().setLong("mapreduce.input.fileinputformat.split.maxsize", 128*1024*1024);