大数据去重，你还在发愁吗？
前言
本篇博客可以用“简单粗暴”来形容，嗯对，就是简单粗暴。小编不久前做的两个项目，都实打实的接触了大数据操作。一个是批量导入，一个是从数据库往外查询，都涉及到了数据去重。Excel批量导入的去重，在《Excel批量导入如何做数据去重》这篇博客中已经介绍过了，下面就介绍下从数据库往外查询的数据去重。
背景
ITOO云平台，用户登录时要判断该用户能看到的系统或者界面，下面简称用户资源。一个用户有不同身份，不同身份拥有不同资源，那么当用户登录的时候，这些资源应该怎么处理呢？小编是这么处理的，不同的身份有不同的资源，这些资源可能有重叠，也可能不一样，所以这个用户登录时，就加载该用户所有身份，查出所有身份拥有的资源，如果有重复就去重，有不同的资源就一起加载。
实现方式
因为当前用的都是泛型集合，所以就直接用泛型集合来去重了。
1、List中的元素实现IEquatabe接口，并提供Equals方法和GetHashCode方法。
class User:IEquatable<User>//继承IEquatable接口，实现Equals方法。List就可以使用Distinct去重
{
public string name { get; set; }
string address;
public User(string _name, string _address)
{
name = _name;
address = _address;
}
public override string ToString()
{
return string.Format("name:{0},\taddress:{1}", name, address);
}
public bool Equals(User other)
{
return this.name == other.name;
}
public override int GetHashCode()
{
return name.GetHashCode();
}
}
}
List<User> nonDuplicateList1 = users.Distinct().ToList();
List<User> nonDuplicateList2 = users.Where((x,i)=>users.FindIndex(z=>z.name == x.name) == i).ToList()
List<User> nonDuplicateList3 = new List<User>();//通过循环方式去重
foreach(User user in users)
{
if(nonDuplicateList3.Exists(x=>x.name==user.name) == false)
{
nonDuplicateList3.Add(user);
}
}
总结
作为一个后台开发人员，与数据库打交道的同时是离不开数据去重的。在做这个判断的时候，还涉及到一个问题，就是我想根据该用户登录的时间和地点等不同，猜测他有哪些身份，从而加载相应的资源，而不是将他所拥有的资源全部加载过来，但是怎么知道当前用户想以哪个身份登录呢？这也算人能做的了，但是计算机做不了的事情吧。希望各路大牛，给出一些做过的权限控制方面的经验，指点一下我这个菜鸟。