年薪500万大数据工程师：讲解大数据建模方法和经验

大数据

前言：建模的过程和方法是不断发展和完善的。可以说，不同的数据类型、不同的业务场景和不同的需求将有不同的建模方法。我同意他们的观点。但我想说的是，无论您的数据是什么，在大数据中构建自己的数据模型是很正常的。

1。数据准备

两。开展探索性数据分析

三。初始模型的建立

四。模型迭代构造

分享大数据学习交流群：722680258零基础中高级视频资料，欢迎加入不定期分享资源数据准备：在大数据计算中没有太多的数据，相反的数据越多越好。只要数据量很大？不，我宁愿要一小部分潜在矿石，我不会去同一堆山。当您的数据尽可能大时，一定要注意数据的质量。数据的质量通常体现在数据的时间维度和数据的粒度上。时间维度当然是尽可能长的，我们已经计算了降雨量，如果你要预测未来一年的降雨量，你得到一年的数据来预测明年的数据，我肯定没有把这个地区过去一百年的数据预测到下一次的客观降雨。至于数据的粒度，很多人认为数据的大小是小的，或者粒度是好的，我有不同的看法。我认为数据粒度反映在数据的划分上，我们对已有数据进行划分，能够反映数据的粒度，如果能得到数据量，而维数是一样的，与大量的数据分割数据关联，另一个划分是很粗糙的，结果是不言而喻的。

工程师

探索性数据分析的实现：我们的数据分区是数据本身的反映。这一步允许您理解数据，获得数据之间的关系，以及我们对数据的直觉。当然，我们对数据和直觉的理解与简历有关。如果您对现有数据一无所知，您如何进行探索性数据分析？我认为数据可视化是数据分析的关键。与计算机相比，人脑是无法与计算机相比的。我们需要可视化界面来显示数据。这有助于我们分析数据，如SAS，IBM的视觉产品，SAP或qliketech，和图片，已被商业化。对于数据勘探，它永远不会停止。我认为图形数据是一个很好的方式，但你可能有更好的方式来适合你。有一篇关于数据分析的文章。我记得一个新句子。我也同意作者的观点。也就是说，什么时候停止探索。探讨这句话的意思，萧边振没有停止，知道什么时候停止探索，是整理你的数据来探索如何找到一个标准，不是你的数据在浩瀚的大海？

建立初始模型：这是至关重要的一步，无论你是否深入研究了数据，你都不能跳过一步。我没有失败。我只发现了10000条不成功的道路。“我没有失败，”爱迪生说。除非建立初始模型，否则该模型的潜在影响无法准确评估。这是一个很好的决策树，实践是检验真理的唯一标准。

鼓励师

模型迭代构造：这应该是最长的建模时间，或者是一个没有阶段的阶段的结束。每一次迭代都是实践的反馈。您要构建的模型是不同的场景。这是一个讲故事的模型。故事越多越好。通常没有具体的标准来确定你是否有更好的建模，但事实是我们的业务或需求将有一个强制性的时间窗口。例如，下个月客户需要您的列表，所以您需要做的是在有限的时间内迭代您的模型。