大数据技术原理与应用

大数据技术原理与应用—第9讲 Hadoop再探讨单元测验（林子雨老师）课后习题

以下是慕课上林子雨老师，大数据原理及应用的第九讲习题答案。仅供大家学习参考。多翻一下PPT，答案在PPT里面都可以找到。大家加油！
努力搬砖头·2020-09-13 17:03

大数据技术原理与应用 复习一 大数据基础+hadoop

大数据概述1.1大数据时代第三次信息化浪潮2010年前后解决信息爆炸的问题原因：存储设备容量不断增加、CPU处理能力大幅提升、网络宽带不断增加数据产生方式：运营式系统阶段->用户原创内容阶段（web2.0）->感知式系统阶段1.2大数据概念volumnvelocityvarietyvalue数据量大处理数据快数据类型多样化价值密度低1.3大数据的影响–全样而非抽样–效率而非精确–相关而非因果1.4
dirac(狄拉克)·2020-09-05 12:58

大数据技术原理与应用：第12讲 图计算

1单选Pregel是一种基于模型实现的并行图处理系统A.BSPB.STPC.TSPD.SBP2单选谷歌在后Hadoop时代的新“三驾马车”不包括A.CaffeineB.HamaC.DremelD.Pregel3多选下列哪些是以图顶点为中心的，基于消息传递批处理的并行图计算框架A.PregelB.Neo4jC.GiraphD.Hama4多选以下关于Pregel图计算框架说法正确的是A.对于全局拓扑改
周杰伦今天喝奶茶了吗·2020-08-24 20:55

大数据技术原理与应用（林子雨）-大数据在不同领域的应用单元测验

1单选下列说法错误的是A.ItemCF算法推荐的是那些和目标用户之前喜欢的物品类似的其他物品B.基于用户的协同过滤算法（简称UserCF算法）是目前业界应用最多的算法C.UserCF算法的推荐更偏向社会化，而ItemCF算法的推荐更偏向于个性化D.UserCF算法推荐的是那些和目标用户有共同兴趣爱好的其他用户所喜欢的物品2多选推荐方法包括哪些类型A.专家推荐B.协同过滤推荐C.混合推荐D.基于统计
圆滚滚的老高头儿·2020-08-24 15:33

HDFS编程实战中出现的问题

问题来源：慕课网——厦门大学林子雨老师主讲《大数据技术原理与应用》——3.6-HDFS编程实战系统环境：ubuntu14.04LTSHadoop2.7.6Eclipse3.8.1javaSE-1.7补充
黯叶·2020-08-21 15:17

[大数据技术原理与应用笔记] 第七讲 MapReduce

7.1MapReduce模型简介传统数据处理理念：数据向计算靠拢MapReduce理念:计算向数据靠拢，即将应用程序分发到数据所在的机器具体来说就是当要处理数据块A的时候，将距离数据块A最近的map分配给数据块A，而往往它们是在同一块机器上的MapReduce架构:Master/Slave7.2MapReduce体系结构几个概念JobTrackerTaskTracker:接收JobTracker发
猛男落泪为offer·2020-08-20 23:17

[大数据技术原理与应用笔记] 第七讲 MapReduce

7.1MapReduce模型简介传统数据处理理念：数据向计算靠拢MapReduce理念:计算向数据靠拢，即将应用程序分发到数据所在的机器具体来说就是当要处理数据块A的时候，将距离数据块A最近的map分配给数据块A，而往往它们是在同一块机器上的MapReduce架构:Master/Slave7.2MapReduce体系结构几个概念JobTrackerTaskTracker:接收JobTracker发
猛男落泪为offer·2020-08-20 16:07

[大数据技术原理与应用笔记] 第七讲 MapReduce

7.1MapReduce模型简介传统数据处理理念：数据向计算靠拢MapReduce理念:计算向数据靠拢，即将应用程序分发到数据所在的机器具体来说就是当要处理数据块A的时候，将距离数据块A最近的map分配给数据块A，而往往它们是在同一块机器上的MapReduce架构:Master/Slave7.2MapReduce体系结构几个概念JobTrackerTaskTracker:接收JobTracker发
猛男落泪为offer·2020-08-20 16:07

虚拟机总结（大数据技术原理与应用概念、存储、处理、分析与应用(第2版)）

第一章大数据概论2.信息科技为大数据时代提供技术支持:①存储（存储设备容量不断增加）②计算（CPU处理能力大幅提升）③网络（网络带宽不断增加）3.数据产生方式:运营式系统阶段->用户原创内容阶段->感知式系统阶段（物联网）4.大数据（1）是数据与大数据技术的综合体；（2）特性（4V）:大量化、快速化、多样化、价值密度低；（3）由结构化数据和非结构化数据组成；（4）影响:全样而非样、效率而非精确、相
路漫漫小菜狗·2020-08-19 07:45

林子雨—大数据技术原理与应用—上机实验五

题目：MapReduce编程初级实践实验环境：操作系统：ubuntu16.04hadoop版本:1.2.1（伪分布式）JDK版本:1.8Eclipse3.8解题思路：1.编程实现文件合并和去重操作。【注释】数据去重的最终目标是让原始数据中出现次数超过一次的数据在输出文件中只出现一次。由于shuffle过程会有合并相同key值记录的过程，会想到将不同文件中相同内容数据的Key设置成一样的，即是Map
程序猿一帆·2020-08-09 20:49

【大数据处理技术】期末复习整理

所用教材：《大数据技术原理与应用——概念、存储、处理、分析与应用（第2版）》，由厦门大学计算机科学系林子雨编著。
鸽子不二·2020-08-04 17:22

win10下安装Ubuntu14.04双系统以及无法进入win10的解决方案

win10下安装Ubuntu14.04双系统以及无法进入win10且一直重启的解决方案1.首先我是按照下面链接也就是大数据技术原理与应用第二章大数据处理架构Hadoop学习指南进行win10下安装Ubuntu14.04
rothschildlhl·2020-07-29 06:26

大数据技术原理与应用课程建设经验分享

大数据技术原理与应用课程建设经验分享林子雨厦门大学信息科学与技术学院,福建厦门361005摘要：大数据专业人才的培养是世界各国新一轮科技较量的基础，高等院校承担着大数据人才培养的重任。
唐名威·2020-07-28 23:59

NoSQL数据库简介——《大数据技术原理与应用》课程学习总结

NoSql数据库NoSql简介NoSql兴起的原因关系数据库无法满足Web2.0的需求关系数据库的关键特性在Web2.0时代优势不再明显Nosql与关系数据库的比较NoSql的四大类型键值数据库列族数据库文档数据库图数据库NoSQL的三大基石CAPBASE最终一致性从NoSQL到NewSQL数据库NoSql简介NoSql是一种不同于关系数据库的数据库管理系统设计方式，是对非关系型数据库的统称。它所
who is bug·2020-07-28 22:40

大数据技术原理与应用【第五讲】NoSQL数据库：5.1 NoSQL概论&5.2 NoSQL与关系数据库的比较...

5.1NoSQL概论最初：反SQL概念演变，现在：NotonlySQL特点：1.灵活的可扩展性所以支持海量数据存储2.灵活的数据模型例如：HBase3.和云计算的紧密结合（一）nosql兴起原因:1.关系性数据库无法满足web2.0的需求;传统的关系数据库优点：1.非常完备的关系理论基础2.具有事务机制的支持3.高效的查询优化机制传统的关系数据库性能上的缺陷：1.无法满足海量数据的管理需求：互联网
Musecho·2020-07-28 13:19

《大数据技术原理与应用》—— 提纲

1.1大数据时代1.1.1第三次信息化浪潮1.1.2信息科技为大数据时代提供技术支撑1）存储设备容量不断增加2）CPU处理能力大幅提升3）网络带宽不断增加1.1.3数据产生方式的变革促成大数据时代的来临运营式系统阶段——>用户原创内容阶段——>感知式系统阶段1.1.4大数据的发展历程萌芽期上世纪90年代至本世纪初商业智能工具和知识管理技术开始被应用成熟期本世纪前十年Web2.0应用迅猛发展，非结构
yaoqinghao·2020-07-10 11:08

大数据技术原理与应用——NoSQL数据库

大数据技术原理与应用——NoSQL数据库5.1NoSQL简介特点1.灵活的可扩展性传统的关系型数据库由于自身设计机理的原因，通常很难实现“横向扩展”，在面对数据库负载大规模增加时，往往需要通过升级硬件来实现
linjiayina·2020-07-09 19:27

大数据技术原理与应用——数据仓库

大数据技术原理与应用——数据仓库8.1数据仓库的概念根本目的数据仓库概念数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。
linjiayina·2020-07-09 19:54

大数据技术原理与应用——Hadoop 再探讨

大数据技术原理与应用——Hadoop再探讨9.1Hadoop的优化与发展Hadoop的局限和不足1.抽象层次低。2.表达能力有限。3.开发者自己管理作业之间的依赖关系。4.难以看到程序整体逻辑。
linjiayina·2020-07-09 19:54

大数据技术原理与应用——MapReduce

大数据技术原理与应用——MapReduce7.1.1分布式并行编程概述MapReduce是一种分布式并行编程框架数据处理能力提升的两条路线1.单核CPU到双核到四核到八核2.分布式并行编程：借助一个集群通过多台机器同时并行处理大规模数据集并行编程模型和传统的并行编程框架的区别
linjiayina·2020-07-09 19:54

大数据技术原理与应用（一）：大数据概述

大数据时代大数据开始被人们所熟知是在2010年前后。2010年前后，以云计算、大数据、物联网的普及为标志迎来第三次信息化浪潮大数据的概念与影响4V大数据由结构化和非结构化数据组成，90%都是非结构化的结构化数据是指存储在关系型数据库当中的非常规范的数据大数据对我们思维方式的影响全样而非抽样（已经由足够的空间和计算能力对全样数据进行存储和分析而不用去抽样了）效率而非精确（抽样时追求精确性方式应用到全
hxxjxw·2020-07-09 17:27

大数据技术原理与应用 第二章 大数据处理架构Hadoop

厦门大学林子雨老师课程——大数据技术原理与应用学习笔记参考资料：http://dblab.xmu.edu.cn/post/bigdata-online-course/#lesson01.Hadoop的核心是分布式文件系统
chenhui229·2020-07-09 14:15

大数据技术原理与应用——第一章 大数据概述

第一章大数据概述1.1大数据时代1.1.1第三次信息化浪潮信息化浪潮发生时间标志解决的问题代表企业第一次浪潮1980年前后个人计算机信息处理Intel、AMD、IBM、苹果、微软、联想、戴尔、惠普等第二次浪潮1995年前后互联网信息传输雅虎、谷歌、阿里巴巴、百度、腾讯等第三次浪潮2010年前后物联网、云计算和大数据信息爆炸亚马逊、谷歌、IBM、VMWare、Palantir、Hortonworks
linjiayina·2020-07-09 08:57

大数据技术原理与应用之【HBase】习题

1.试述在Hadoop体系架构中HBase与其他组成部分的相互关系答：HBase利用HadoopMapReduce来处理HBase中的海量数据，实现高性能计算；利用Zookeeper作为协同服务，实现稳定服务和失败恢复；使用HDFS作为高可靠的底层存储，利用廉价集群提供海量数据存储能力;Sqoop为HBase的底层数据导入功能，Pig和Hive为HBase提供了高层语言支持，HBase是BigTa
Alice菌·2020-07-08 22:50

大数据技术原理与应用之【HDFS】习题

1.试述分布式文件系统设计的需求。设计需求含义HDFS的实现情况透明性具备访问透明性、位置透明性、性能、和伸缩透明性只能提供一定程度的访问透明性，完全支持位置透明性、性能和伸缩透明性并发控制客户端对于文件的读写不应该影响其他客户端对同一个文件的读写机制非常简单，任何时候都只允许有一个程序写入某个文件文件复制一个文件可以拥有不同位置的多个副本HDFS采用了多副本机制硬件和操作系统的异构性可以在不同的
Alice菌·2020-07-08 22:19

大数据技术原理与应用 - 实验二 熟悉常用的 HDFS 操作

一、实验目的（1）理解HDFS在Hadoop体系结构中的角色。（2）熟练使用HDFS操作常用的Shell命令。（3）熟悉HDFS操作常用的JavaAPI。二、实验平台操作系统：Linux。Hadoop版本：2.7.3或以上版本。JDK版本：1.7或以上版本。JavaIDE：IDEA三、实验内容和要求（1）编程实现以下指定功能，并利用Hadopp提供的Shell命令完成相同的任务。1.向HDFS中上
weixin_33922672·2020-07-08 16:07

大数据技术原理与应用【第五讲】NoSQL数据库：5.3 NoSQL的四大类型

5.3NoSQL的四大类型5.3.1键值数据库和列族数据库可以分为四大类产品:键值数据库，列族数据库，文档数据库，图数据库(代表)1.键值数据库:用的多:redis云数据库:SimpleDB典型应用:要求的数据模型非常简单，不涉及到存储结构化信息；要求非常好的写性能；涉及非常频繁的读写操作。内容缓存，如:会话，配置文件，参数，购物车等存储配置，用户数据信息等移动应用。优点:（扩展性好）数据规模扩大
Musecho·2020-07-08 09:18

大数据技术原理与应用 实验二HDFS文件系统操作与编程 基于java的HDFS文件操作（扩展实验2）

(1)编程实现一个类“MyFSDataInputStream”，该类继承“org.apache.hadoop.fs.FSDataInputStream”，要求如下：实现按行读取HDFS中指定文件的方法“readLine()”，如果读到文件末尾，则返回空，否则返回文件一行的文本。记得启动hadoop代码如下：importorg.apache.hadoop.conf.Configuration;imp
sanyiji·2020-07-08 04:54

林子雨—大数据技术原理与应用—上机实验三

题目：熟悉常用的HBase操作实验环境：操作系统：ubuntu16.04hadoop版本:1.2.1JDK版本:1.8Eclipse3.8HBase0.98.24实验内容：1.用Hadoop提供的HBaseShell命令完成下列任务：（1）列出HBase所有的表的相关信息，例如表名；（2）在终端打印出指定的表的所有记录数据；（3）向已经创建好的表添加和删除指定的列族或列；（4）清空指定的表的所有记
程序猿一帆·2020-07-07 08:59

林子雨—大数据技术原理与应用—上机实验二

题目：熟悉常用的HDFS操作实验环境：操作系统：ubuntu16.04hadoop版本:1.2.1JDK版本:1.8Eclipse3.8实验内容：1.利用Hadoop提供的Shell命令完成下列任务。（1）向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有的文件；（2）从HDFS中下载指定文件，如果本地文件与要下载的文件名称相同，则自动对下
程序猿一帆·2020-07-07 08:59

大数据技术原理与应用第4讲：分布式数据库HBase

1HBase是一种数据库A.列式数据库B.键值数据库C.文档数据库D.关系数据库2下列对HBase数据模型的描述错误的是A.HBase中执行更新操作时，会删除数据旧的版本，并生成一个新的版本B.每个HBase表都由若干行组成，每个行由行键（rowkey）来标识C.HBase列族支持动态扩展，可以很轻松地添加一个列族或列D.HBase是一个稀疏、多维度、排序的映射表，这张表的索引是行键、列族、列限定
周杰伦今天喝奶茶了吗·2020-07-06 18:29

大数据技术原理与应用 实验二HDFS文件系统操作与编程 基于java的HDFS文件操作

首先在eclipse中创建一个项目，创建项目后添加jar包，这里要注意了。如果你的hadoop是2.x的，添加以下jar包即可（1）”/usr/local/hadoop/share/hadoop/common”目录下的hadoop-common-2.7.1.jar和haoop-nfs-2.7.1.jar；（2）/usr/local/hadoop/share/hadoop/common/lib”目录
sanyiji·2020-07-06 18:20

大数据技术原理与应用-大数据概述

文章目录1大数据时代1.1第三次信息化浪潮1.2信息科技为大数据时代提供技术支撑1.2.1存储设备容量不断增加1.2.2CPU处理能力大幅提升1.2.3网络带宽不断增加1.3数据产生方式的变革促成大数据时代的来临1.4大数据的发展历程2大数据概念2.1数据量大2.2数据类型繁多2.3处理速度快2.4价值密度低3大数据的影响4大数据的应用5大数据关键技术6大数据计算模式7大数据产业8大数据与云计算、
wolfchenxing·2020-07-06 07:45

大数据技术原理与应用-分布式文件系统HDFS

文章目录1分布式文件系统1.1计算机集群结构1.2分布式文件系统的结构2HDFS简介3HSFD相关概念3.1块3.2名称节点3.2.1名称节点的数据结构3.2.2FsImage文件3.2.3名称节点的启动3.2.4SecondaryNameNode的作用3.3数据节点4HDFS体系结构4.1HDFS体系结构概述4.2HDFS命名空间管理4.3通信协议4.4客户端4.5HDFS体系结构的局限性5HD
wolfchenxing·2020-07-06 07:45

大数据技术原理与应用之【大数据处理架构Hadoop】习题

1.试述hadoop和谷歌的mapreduce、gfs等技术之间的关系答：Hadoop的核心是分布式文件系统HDFS和MapReduce，HDFS是谷歌文件系统GFS的开源实现，MapReduces是针对谷歌MapReduce的开源实现。2.试述Hadoop具有哪些特性。答：高可靠性，高效性，高可扩展性，高容错性，成本低，运行在Linux平台，支持多种编程语言3.试述Hadoop在各个领域的应用情
Alice菌·2020-07-06 05:17

大数据处理框架 Hadoop 简介，安装与使用教程——《大数据技术原理与应用》课程学习总结

第二章2.1概述2.1.1Hadoop简介Hadoop是基于Java语言开发的，具有很好的跨平台特性，并且可以部署在廉价地计算机集群中。Hadoop的核心是分布式文件系统（HDFS）和MapReduce。HDFS是针对谷歌文件系统（GFS）的开源实现，是面向普通硬件环境的分布式文件系统，具有较高的读写速度、很好的容错性和可很伸缩性，支持大规模数据的分布式存储，其荣誉数据存储的方法很好地保证了数据的
who is bug·2020-07-06 05:22

大数据技术原理与应用第3讲：分布式文件系统HDFS

分布式文件系统HDFS单元测验HDFS的命名空间不包含A.字节B.块C.文件D.目录对HDFS通信协议的理解错误的是A.客户端通过一个可配置的端口向名称节点主动发起TCP连接，并使用客户端协议与名称节点进行交互B.名称节点和数据节点之间则使用数据节点协议进行交互C.客户端与数据节点的交互是通过RPC（RemoteProcedureCall）来实现的D.HDFS通信协议都是构建在IoT协议基础之上的
周杰伦今天喝奶茶了吗·2020-07-05 12:16

大数据技术原理与应用第10讲：Spark

Spark单元测验1单选(2分)SparkSQL目前暂时不支持下列哪种语言A.PythonB.JavaC.MatlabD.Scala2单选(2分)RDD操作分为转换（Transformation）和动作（Action）两种类型，下列属于动作（Action）类型的操作的是A.mapB.countC.groupByD.filter3单选(2分)下列说法错误的是A.RDD提供的转换接口既适用filter
周杰伦今天喝奶茶了吗·2020-07-05 12:16

大数据技术与应用原理

贴上地址，中国大学MOOC《大数据技术原理与应用》:课程地址https://www.icourse163.org/course/X
Elinice·2020-07-05 12:13

大数据技术原理与应用 第二章 大数据处理架构Hadoop 学习指南

点击这里观看厦门大学林子雨老师主讲《大数据技术原理与应用》授课视频【版权声明：本指南为厦门大学林子雨编著的《大数据技术原理与应用》教材配套学习资料，版权所有，转载请注明出处，请勿用于商业用途】本指南介绍
lldouble·2020-07-04 22:06

《大数据技术原理与应用》第二章：大数据处理架构Hadoop

感兴趣的戳MOOC《大数据技术原理与应用》。
ErinLiu❤·2020-07-04 22:35

大数据技术原理与应用（二）：大数据处理架构Hadoop

Hadoop简介Hadoop是Apache软件基金会旗下开源软件，是一个开源分布式计算平台Hadoop屏蔽了大数据底层实现的细节，只需要按照它提供的更高层的接口，做一些简单的编程操作，后台所有的工作全部由整个系统自己实现。Hadoop平台是利用java平台来开发的。但是Hadoop可以支持多种语言Hadoop两大核心——HDFS（分布式文件系统）+MapReduce（分布式并行框架）Hadoop特
hxxjxw·2020-07-04 18:30

大数据技术原理与应用 第四章 分布式数据库HBase

厦门大学林子雨老师课程——大数据技术原理与应用学习笔记参考资料：http://dblab.xmu.edu.cn/post/bigdata-online-course/#lesson0https://www.ibm.com
chenhui229·2020-07-04 13:41

大数据技术原理与应用 第三章 分布式文件系统HDFS

厦门大学林子雨老师课程——大数据技术原理与应用学习笔记参考资料：http://dblab.xmu.edu.cn/post/bigdata-online-course/#lesson0https://hadoop.apache.org
chenhui229·2020-07-04 13:10

大数据技术原理与应用-大数据处理架构Hadoop

文章目录1概述1.1Hadoop简介1.2Hadoop发展简史1.3Hadoop的特性1.4Hadoop的应用现状1.5ApacheHadoop版本演变1.6Hadoop各种版本2Hadoop项目结构3Hadoop的安装与使用3.1准备工作3.2创建hadoop用户3.3SSH登录权限设置3.4安装Hadoop3.5Hadoop单机模式测试3.6Hadoop伪分布式配置3.6.1修改配置文件cor
wolfchenxing·2020-07-04 03:16

《大数据技术原理与技术》复习知识点

参考书目：《大数据技术原理与应用》第二版出版社：中国工信出版集团丨人民邮电出版社编著：林子雨（北京大学博士）教材官网：dblab.xmu.edu.cn/post/bigdatapractice-----
「己汪销」·2020-07-02 03:51

林子雨—大数据技术原理与应用—上机实验四

题目：NoSQL和关系数据库的操作比较实验环境：操作系统：ubuntu16.04hadoop版本:1.2.1JDK版本:1.8Eclipse3.8Redis版本:3.0.6MongoDB版本:2.6.0实验内容：1.Redis数据库操作1.根据上面给出的键值对，用Redis的哈希结构设计出上述表格;(键值可以用student.zhangsan,student.lisi来表示两个键值属于同一个表格)
程序猿一帆·2020-07-02 01:07

大数据技术原理与应用 第1章 大数据概述

云计算：基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。云计算关键技术包括：虚拟化、分布式存储、分布式计算、多租户等。物联网：物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过新的方式联在一起，形成人与物、物与物相联，实现信息化和远程管理控制。物联网中的关键技术
ginnyuki·2020-07-02 01:00

《大数据技术原理与应用》笔记

一、大数据概述大数据的特征（4V）：1、Volume，数据量大2、Variety，数据类型多大数据由结构化和非结构化数据组成：10%的结构化数据，存储在数据库中；90%的非结构化数据，与人类信息密切相关。3、Velocity，处理速度快4、Value，价值密度低大数据的关键技术：1、分布式存储分布式数据库分布式文件系统2、分布式处理分布式并行处理技术MapReduce大数据的计算模式：不同的计算模
zjlamp·2020-06-30 18:37

Hadoop的安装与使用

大数据技术原理与应用第二章大数据处理架构Hadoop学习指南一、Ubuntu18.04双系统安装1.下载Ubuntu18.042.把U盘格式化为ntfs格式再制作启动盘，否则“安装程序向硬盘复制文件时遇到错误
CongYao666·2020-06-30 06:14
上一页 1 2 3 4 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他