随机不重复抽取某文件中N行数据

    昨天碰到需要从一个炒鸡大的文件里随机提取两百万行数据，而且不可以重复。

首先把整个文件按行读进了LIst里，然后要做的就是拿到两百万个不重复的数了，一开始用random（）试了一下，发现重复率很高，不得以拿出了萝卜大法。

package function;

import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.File;
import java.io.FileReader;
import java.io.FileWriter;
import java.util.ArrayList;
/**
 * 随机抽取文件中的N行数据
 * @author Margin
 *
 */
public class Abstract {
	
	public void abstractTxt(String url) throws Exception{
		ArrayList list = new ArrayList();
		FileReader fr = new FileReader(url);
		BufferedReader br = new BufferedReader(fr);
		String temp = "";
		while((temp=br.readLine()) != null){
			temp=br.readLine();
			list.add(temp);
		}
		//我需要的萝卜数量
		int k = 2000000;
		//萝卜地的萝卜数量
		int n = list.size();
		//来到了萝卜养殖场
		int[] numbers = new int[n];
		for(int i = 0; i

 

转载于:https://my.oschina.net/u/3281488/blog/1648326