大数据测评/大数据技术与应用 - 电子书下载（高清版PDF格式+EPUB格式）

---

大数据测评_大数据技术与应用-蔡立志

            在线阅读                   百度网盘下载(guj0)

---

书名:大数据测评/大数据技术与应用

作者:蔡立志

格式:EPUB, HTMLZ, PDF

路径:点击打开

出版:上海科学技术出版社

排序作者:蔡立志

排序书名:大数据测评/大数据技术与应用

日期:08 12月 2018

uuid:60b3d0ad-f3fc-40e1-a8b4-eabec27195e9

id:486

出版日期:1月 2015

修改日期:08 12月 2018

大小:14.13MB

语言:中文

---

在软件测试的经典定义中，这样描述软件测试“为发现软件错误，而运行软件的活动”。其基本的思路是根据软件需求规格说明书，执行软件操作和输入数据，依据软件实际输出结果和预期输出结果来评判软件是否满足规定的要求。

单元测试，要求依据软件实现的内部结构编写各种测试用例。语句覆盖、条件覆盖、判定覆盖、路径覆盖等覆盖准则的一个基本前提就是能够对软件的执行逻辑进行正确分析。随着各种大数据处理PAAS平台（Platform-as-a-Service，平台即服务）的出现，这种情况也在发生新的变化。测试人员看不到完整的逻辑，而是中间一部分，单元测试如何做？如果软件运行在分布式集群中，单元测试中的覆盖如何实现？大数据应用处理的不是静态的数据，同时大数据开放性数据的来源、数据的质量、数据的类型也并不严格受软件所控制。

2005年一个纯属偶然的机会，有几个用户要求上海市计算机软件评测重点实验室测试和评价类似“热度识别”、“趋势分析”等软件。这类软件的共同特征就是不具备类似“1+1=2”特性：软件输入不是一个特定含义数据，而是源源不断输入的数据集，例如论坛、新闻评论、博客等；软件输出没有客观的正确性的判断条件。例如，一篇关于讨论汽车企业上市的新闻，到底归属于哪一类，证券类还是汽车类，不同人由于其关注度不同导致了同样的对象得出不同结论。在热点识别时，不同的人在讨论同一件事不会完全采用同一词语、同一语句，必须采用某种相似性判定函数，如余弦相似性计算函数，对给定的两篇信息做出判断，即它们是否讨论同一个事件，而相似不是一个确定的概念，而是一个模糊的概念。在趋势分析时，没有一套趋势曲线和实际发展曲线完全重合的，意味着对软件系统的评判只有优劣之分，而没有对错之分。大数据分析是一把双刃剑，在分析数据中存在的价值的同时，会带来新的隐私泄露途径和手段。这些隐私泄露的途径与手段和其他信息安全问题存在很大的不同，具有很强的隐蔽性。分析发布的数据，必须注意是否在不留意的过程中将隐私信息也发布了。

这些新的测试技术需求一直萦绕在我的脑中很多年，也没有特别好的解决方案。2012年左右，产业开始出现了火热技术趋势“大数据”，回想纠结这么多年的测试需求，就是由于“大数据”的4V特性所形成，我们开始关注搜集关于大数据测试的相关技术，包括底层支撑的分布式处理框架、典型的算法，以及产生的隐私泄露问题。2012～2013年，在中国软件测评机构联盟的多次技术交流会议中，我把关于这方面的技术思考做了交流，不断得到了同行们的支持和鼓励，技术思路也逐渐变得清晰。2013年在上海大数据产业技术联盟的倡议和支持下，决定把这些想法编著成书，以便和同行们分享交流。

针对上述的新问题、新需求，本书以Hadoop为主线开展大数据测评的探讨。在底层支撑框架层聚焦于单元测试和框架基准测试；在基本算法中涵盖了聚类、分类及其个性化推荐；在应用层，介绍了其性能测试中若干问题，重点阐述数据集的设计与分析；在全书的最后，讨论了大数据的安全和隐私问题，突出介绍由于大数据所引发的新安全问题及其对策。在本书的编著过程中，得到上海计算机软件技术开发中心、中国电子信息标准化研究院、上海微趣信息技术有限公司等单位在时间、人员、技术等多方面的大力支持。感谢网宣办的徐良奇老师，每次和徐老师关于具有类似大数据特征的软件测评讨论，都让我受益匪浅，激发了我对于这方面问题思考的动力。大数据各项技术处于快速的发展过程中，所涉及的范围也十分庞大，本书选择了大数据测评技术中几个相对较为成熟的点，并未覆盖所有技术点。在本书的编著过程中，收集了大量的文献资料，包括最新的网页信息，本书的编著离不开这些宝贵的资料，在此一并表示感谢。

来源：我是码农，转载请保留出处和链接！

本文链接：http://www.54manong.com/?id=1147

'); (window.slotbydup = window.slotbydup || []).push({ id: "u3646208", container: s }); })();

'); (window.slotbydup = window.slotbydup || []).push({ id: "u3646147", container: s }); })();