当我们在谈论后大数据时代时，我们谈些什么

大数据解决方案的实施让很多的IT部门面临困境。大数据应用程序并不需要如支持团队做应用程序一样的基础架构。随着企业接受大数据，管理层会假设员工规模会减少。而那些非必要的技术人员应该做什么呢？一个答案就是：将其转换为技术顾问，与业务部门进行协作。换句话说，就是给予他们面向客户的角色。

大数据之后信息技术的状态

大数据革命已然过去，这让信息技术（IT）企业不同程度的采用了新技术。有些完全接受了大数据存储和复杂分析的概念，并采用了最佳实践和成熟的项目管理方法。结果是：形成了关于产品，销售，订单及最重要的客户的分析宝库。而其他的用户则没有如此幸运。可能他们所购买的特定供应商的解决方案并不包含完整的规划，或是可能中层管理人员并没有准备好为成功的解决方案投入必要的成熟资源。结果便是：半组织化的信息集合，少数分析解决方案，并且这种想法会在某天以某种方式让其付出代价。

与此同时，数据库管理员，系统程序员，以及其他技术专家和主题专家处在一个后大数据时代。软硬件安装及配置已经完成，概念验证和试点程序已交付给最先的内部客户。大多数软硬件混合大数据解决方案都不要求内部调优：分析查询执行非常快，而且业务分析师正对探索和调查寻找有用信息翘首以待。

 

还剩下什么留给技术人员去做呢？当前的基础架构团队

首先，我们来考虑多面手。新手DBA和系统程序员在这个类别起步，只是发展专业技能并在他们之后的职业生涯中加深知识。他们最好的角色往往是明确定义好的，标准化的流程。这些包括：

管理数据库备份和恢复流程；

监视并检测灾难恢复准备；

实施自我分析和自我调优流程（有时称之为自治）；

SQL查询调优，包括Explains和访问路径分析；

数据库性能调优；

测试生产对象和数据迁移；

监视数据库日志以发现错误和问题。

在新环境中，很多这些流程是多余的或不必要的。鉴于大数据分析解决方案的速度，SQL查询调优在大多数情况下可能是不必要的。对于数据库性能调优同样如此，因为很多供应商的软硬件混合解决方案（有时称之为设备）是在没有任何内部性能调优的功能条件下交付的。这就使得辅助人员更加容易的完成工作。结果就是：在后大数据时代的IT企业中不再需要多面手。

接下来，让我们考虑专家。他们专门负责处理复杂工作：

系统和网络性能调优；

软件安装和版本迁移；

为关键任务应用程序做首要技术支持；

协助和管理数据架构变更；

对潜在供应商工具执行基准测试。

随着IT企业接受大数据分析，需要专家做的事会更少，这意味着专家需求量会减少。

在后大数据时代的基础架构支持

IT专家和多面手必须将他们的注意力转移到内部用户上来，他们会面临许多的技术问题。以下是他们最为紧迫的一些问题。

大数据性能。 随着大数据应用程序价值的增长，业务分析师对分析的使用会剧增。更多的查询会产生可操作的结果，生成常规报表。用户会要求时间跨度更大，地理区域更大的更多数据。最终，大量用户和查询会压垮你的大数据应用程序。专家应该注意增加内部用户应用程序的知识。他们需要什么数据，他们什么时候需要，以及谁会使用这些结果？专家会在一些应用程序领域变为主题专家，作为内部顾问，以及会在诸如查询效率和类似数据集之类的高级分析方法提供问题咨询，进而提升他们的价值。多面手可以在他们的环境中通过收集性能数据和使用统计信息来提供有价值的服务。这些数据可能会用于对查询类别进行优先级的划分。例如，当资源利用较低时，低优先级查询会推迟处理。

企业数据模型。 随着存储了越来越多的数据，拥有一个有组织的数据字典和数据模型变得尤为重要。试问如果不知道拥有什么样的数据，又如何有效的进行查询呢？专家，特别是数据库管理员，应该已经意识到数据建模概念并且应该拥有多重应用程序和系统的知识。现在可以利用这些知识来协助业务分析师进行最初的分析定义和查询构建。多面手可以作为应用程序调查员来提供服务，给出数据元素的清单并进行分类和确认数据属性和来源。

大数据技术。 大数据并不只是关于用户姓名，账号，以及存款等。虽然这些常见的业务数据可以包括在大数据解决方案中，但是还有更为有趣的数据元素和数据类型可以探索：有诸如大型对象（LOBs）之类的新型复杂数据类型。诸如可扩展标记语言（XML）的自我描述型数据正变为内部应用程序数据传输事实上的标准。很多文档和数据记录都以XML格式存储，因为它们可以通过多种跨平台应用程序进行读取。多重结构数据在捕获用户网站行为的时候是很常见的。所谓的点击流为追踪网站访问者做了什么和他们访问了什么数据，以及他们的偏好数据提供了方法。这些新数据类型中的有些会让业务分析师感到困惑。专家和多面手都可以为参考和回答问题以及为新数据类型的展示和如何对它们进行最佳利用等提供服务

 

对过渡进行管理

支持经理应该找到相对简便的方法为他们的员工在过渡上提供帮助。一些多面手会在最初服务于特定的内部用户，以在数据需求定义上为他们提供服务。然后这可以扩展到更多的技术角色上来，包括分析执行或是结果分析等。甚至将多面手转移至业务线也是值得考虑的。很多专家会继续处理技术相关的问题，诸如性能和调优。一些会在高级分析选项，方法和分析新数据类型等方面提供内部咨询。管理层必须让这些专家在工作中保持主动，否则就要承受他们流失去其他类似企业的风险。

总结

基础架构支持团队成功的经受了大数据的洗礼，并且最有可能负责了许多应用程序的成功实施。但是，这一结果就导致对于IT支持人员需求不可避免的减少。IT专家和多面手必须通过学习内部业务线和让他们自己熟悉当前的业务数据需求来扩展他们的技能。假设一个面向用户的角色可能是他们仅有的长期职业生涯选择。