大数据系列

大数据系列之Hadoop----（1）集群搭建

1.准备Linux环境（本地虚拟机VMWare下）1.0先将虚拟机的网络模式选为NAT1.1修改主机名vi/etc/sysconfig/networkNETWORKING=yesHOSTNAME=had###1.2修改IP两种方式：第一种：通过Linux图形界面进行修改进入Linux图形界面->右键点击右上方的两个小电脑->点击Editconnections->选中当前网络Systemeth0->
ityangs·2020-06-21 22:52

大数据系列文章之数据中台-一:如何理解数据中台？

如果说中台提供的是通用的业务解决方案+通用的技术解决方案，那么对应到数据中台，就是提供可复用的数据业务能力+可复用的数据技术能力。举个例子，对于小团队而言，希望通过我们的数据中台分析潜在的商业机会，这时候直接甩过去几张表就不合适。从小团队的视角看，我们希望有一个分析平台，有一些自主分析工具，能够快速了解我们目前能够统计到的数据及其涵义。那么这个时候，数据中台=数据仓库+BI分析工具+元数据平台+前
千锋教育官方博客·2020-06-21 20:30

凯哥带你从零学大数据系列之Java篇---第十一章:枚举

课程重点:枚举的基本定义枚举的基本使用11.1.枚举的简介11.1.1.枚举的概念枚举也是一种自定义的数据类型，是一个引用数据类型。枚举经常用来被描述一些取值范围有限的数据。例如：性别:只有两个值，此时可以用枚举来表示月份:只有12个值，此时可以用枚举来表示星期:只有七个值，此时可以用枚举来表示11.2.枚举的基本定义和使用11.2.1.枚举的定义定义枚举类型，需要使用到关键字enum。枚举的名字
千锋教育官方博客·2020-06-21 20:59

凯哥带你从零学大数据系列之Java篇---第十章:包装类和常用类

课程重点:包装类(会用)装箱拆箱(会用)字符串与基本数据类型的转换(会用)常用类Math(常用的几个方法会用)常用类Random(会用)常用类BigInteger,BigDecimal(会用)常用类Date(会用)常用类SimpleDateFormat(会用)(重点)常用类Calendar(了解)10.1.包装类的简介10.1.1.包装类的概念包装类，就是在基本数据类型的基础上，做一层包装。每一个
千锋教育官方博客·2020-06-21 20:59

大数据系列文章之Redis与Kafka的区别

第一:Kafka与RedisPUB/SUB之间较大的区别在于Kafka是一个完整的系统，而RedisPUB/SUB只是一个套件(utility)——没有冒犯Redis的意思，毕竟它的主要功能并不是PUB/SUB。第二:Redis消息推送（基于分布式pub/sub）多用于实时性较高的消息推送，并不保证可靠。（推荐学习：Redis视频教程）其他的mq和Kafka保证可靠但有一些延迟（非实时系统没有保证
千锋教育官方博客·2020-06-21 20:27

凯哥带你从零学大数据系列之Java篇---第十二章:异常

课程重点:异常的理解异常的分离trycatch结构多异常捕获trycatchfinally结构自定义异常12.1.异常的简介12.1.1.异常是什么异常是对程序在运行过程中的种种不正常的情况的描述。如果程序遇到了未经处理的异常，会导致这个程序无法进行编译或者运行。例如：ArrayIndexOutOfBoundsException:数组下标越界异常，会导致程序无法继续运行。NullPointerEx
千锋教育官方博客·2020-06-21 20:27

浅显易懂入门大数据系列：四、HBase（超详细）

文章目录一、HBase的起源二、HBase的概念三、HBase产生的背景四、HDFS与HBase的相关特点以及场景分析HDFS的适用场景分析HBase的适用场景分析五、HBase的存储结构行存储的优缺点列存储的优缺点HBase的底层存储结构存储结构总结六、配套教程详解配套教程六之HBase集群的安装与配置七、常见错误总结文章总览一、HBase的起源前面我们已经学习了Hadoop的HDFS、YARN
邵奈一·2020-06-21 07:03

大数据系列之hadoop第一天（hadoop介绍和伪分布式安装）

前言：大数据系列包括hadoop，zookeeper，hive，flume，kafka，hbase，storm，spark等组件，我在这里会很详细跟大家分享集群的搭建和全部组件的使用，会有具体的案例。
下页丶莫·2020-06-09 20:05

大数据系列（一）：初识Hadoop

学习计划BigDataSpecializationfromtheUniofCalifornia,SanDiegoHadoop权威指南本文HadoopPlatformandApplicationFrameworkWeek1:**HadoopBasics**Hadoop权威指南第一章：初识HadoopHadoop是什么？ApacheHadoop是在商用硬件集群上储存并大规模处理数据集的开源软件框架（A
Carlin_entheos·2020-04-12 16:20

《SparkSql使用教程》--- 大数据系列

一、SQLContext、HiveContext、SparkSessionSQLContext：是sparksql的一个分支入口，可以用来操作sql，这个主要是针对spark来说HiveContext：是sparksql中另外分支，用来操作hive。SparkSession：Spark2.0中引入了SparkSession的概念，它为用户提供了一个统一的切入点来使用Spark的各项功能，用户不但可
xbmchina·2020-04-12 12:17

大数据概述----《大数据系列》

一、大数据之hadoop学习框架最简单快捷的方法是看官网：http://hadoop.apache.org/Hadoop是一个框架，它可以允许分布式处理大数据集可以用简单工程模式实现计算机集群。它涉及有一个简单服务器转换成千上万机器，每一个本地计算和存储。然而硬件传送高可用，框架自己可以监测和处理错误在应用层，所以传送高可用服务在计算机集群。Hadoop项目主要包括以下几个模块：1、hadoop通
xbmchina·2020-04-10 01:54

Hadoop大数据系列一 整体介绍

基本组件HDFS:Hadoop'sDistributedFileSystemHadoopYARN:AframeworkforjobschedulingandclusterresourcemanagementHadoopMapReduce:AYARN-basedsystemforparallelprocessingoflargedatasets.扩展组件HBase:Ascalable,distrib
adasfasfasrry·2020-03-27 15:45

Python专题——五分钟带你了解map、reduce和filter

不知道大家看到map和reduce的时候有没有什么感觉，如果看过之前我们大数据系列介绍MapReduce文章的同学，想必有些印象。
TechFlow2019·2020-03-17 08:00

天津餐饮大数据系列其二——炎炎夏日，大家都在吃什么

header.jpg\0x0前言民以食为天，工作之余，小饮杯酌，倍感惬意。不谈外面这40度高温，过去的一个月，经历了欧洲杯，经历了大雨倾盆，经历了烈日库晒，但是，这一切都不曾阻止吃货们上街扫货的热情，酷暑的7月，依然是吃货的7月。话是这么说，看着外面酷热的天，刚冲完的澡浑身就黏得跟泥里滚出来一样，想出门吃饭却不知道该吃些什么，遂拿起手里的笔，来看看大家过去的一个月都吃了些什么吧。\0x1数据综述这
吃货速报·2020-03-01 01:56

厦大会计系课程（九）：唯你网人工智能研究院陈凯教授开讲

11月29日晚，唯你网和厦门大学会计系联合举办的题为《大数据时代下会计审计实务与变革》的财税大数据系列课程第九堂课如期开讲。
南乎乎·2020-02-13 21:26

大数据系列：Spark学习笔记

1.关于Spark2009年，spark诞生于伯克利大学的amplab。最重要的是，spark只是一个实验项目，只包含很少的代码，属于轻量级框架。2010年，伯克利大学正式启动了Spark项目。2013年6月，Spark成为Apache基金会的一个项目，并进入了高速开发阶段。第三方开发人员贡献了大量代码，并且非常活跃2014年2月，Spark被称为Apache的顶级项目。与此同时，大数据公司clo
yiyidsj·2020-02-07 16:39

Hadoop大数据系列三 - MapReduce

MapReduce：分布式计算框架MapReduceisasoftwareframeworkforeasilywritingapplicationswhichprocessvastamountsofdata(multi-terabytedata-sets)in-parallelonlargeclusters(thousandsofnodes)ofcommodityhardwareinareliab
adasfasfasrry·2020-02-02 21:18

厦大会计系大数据课程(十一)：课程回顾及未来畅想

唯你网和厦门大学会计系联合举办的题为《大数据时代下会计审计实务与变革》的财税大数据系列课程已经接近尾声，本次课程，唯你网大数据总监邱涛带领学生追溯大数据的过去、立足大数据的现在、畅想大数据的未来，以互动的方式了解学生对知识的掌握程度
南乎乎·2020-01-08 00:21

大数据系列 3：漫画解读 HDFS 原理

image转载自：https://blog.csdn.net/hudiefenmu/article/details/37655491英文原版作者：ManeeshVarshney,[email protected]写数据写数据1写数据2写数据3HDFS读数据读数据容错故障类型和其检测方法1故障类型和其检测方法2读写故障DataNode故障副本存放策略副本存放策略文|Skye个人博客：ht
Skye_kh·2020-01-04 16:11

大数据系列4：MapReduce 编程模型原理

MapReduce本文将介绍Google三架马车中的第二架——MapReduce计算框架MapReduce是什么MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。它极大地方便了编程人员将自己的程序运行在分布式系统上。这种编程模型在很长时间以前就出现了，但在以前这个编程模型不是非常火热。当Google关于MapReduce计算框架的论文发布，紧接着Hadoop的开源使这个编
Skye_kh·2020-01-03 17:52

大数据岗位要求之数据挖掘

    继续介绍大数据系列岗位的要求，今天是“最热门”岗位数据挖掘，数据挖掘岗位的真正兴起是随着互联网的发展起来的，主要是因为互联网行业数据包含的价值较大、数据类型较多（包括结构化数据、文本数据、语音、
数据追随者·2019-12-26 01:21

20181122-大数据系列读书笔记

《大数据系列》为笔者近期阅读相关书籍或报告观点和案例内容的摘录集合，后期持续更新~《大数据时代-生活、工作与思维的变革》-英维克托.迈尔-舍恩博格（通俗易懂，对大数据有初步认识）1）2009年甲型H1N1
小岩_Polaris·2019-12-17 07:48

大数据系列面试一

1.简要描述如何安装配置apache的一个开源Hadoop，只描述即可，无需列出具体步骤，列出具体步骤更好①根据Hadoop版本安装匹配的JDK版本，配置JAVA_HOME；②解压安装Hadoop，配置HADOOP_HOME,将hadoop安装目录下bin/sbin加入到PATH中，方便以后使用；③配置hadoop的配置文件，core-site.xml,hdfs-site.xml,mapred-s
苏坡闷·2019-12-15 09:10

大数据岗位要求之数据仓库

    继续介绍大数据系列岗位的要求，今天是数据仓库岗位，数据仓库岗位在“大数据”这仨字出来之前就已经存在好多年，不过基本是在传统的银行、通信运营商行业。
数据追随者·2019-12-14 22:43

大数据岗位要求之数据测试

    继续介绍大数据系列岗位的要求，今天是“最冷门”的岗位数据测试，如果大数据要发挥真正的价值，前提条件是非常多的，比如数据量要大、要有相应的人才等，这其中还包括数据质量，数据质量给很多人带来的痛，要远比表达出来的少的多的多
数据追随者·2019-12-13 01:20

大数据岗位要求之大数据开发工程师

    继续介绍大数据系列岗位的要求，今天是“最热门”的岗位大数据开发工程师，之所以说热门主要是基于2个原因，一是因为很多应届生或者想转入大数据行业的同学，都是期望从事“大数据开发”这一定位不是很清晰的岗位
数据追随者·2019-11-30 00:13

厦大会计系大数据课程(十)：如何发挥大数据的价值

唯你网和厦门大学会计系联合举办的题为《大数据时代下会计审计实务与变革》的财税大数据系列课程继续开讲，本次课程，唯你网大数据总监邱涛重点围绕“如何更高效的发挥大数据的价值”讲述了大数据下的数据管理方法和理念
南乎乎·2019-11-03 08:49

大数据系列（五）之 Flume 数据传输

目录一、Flume简介二、Flume架构2.1Flume基本组件2.2Flume常见数据流模型三、Source，Channel，Sink详解3.1Source3.2Channel3.3Sink一、Flume简介Flume是一个分布式的，可靠的，高可用的海量日志采集，聚合和传输的系统。它也是Hadoop生态圈中的关键组件之一。Flume通过可扩展，插件化，组合式，高可用，高容错的设计模式，为用户提供
古小龙·2019-10-11 15:51

大数据系列报道：贵州交警大数据之二十八

“雷山经验”示范引领筑牢农村交通安全基础全省大数据+农村交通管理现场会在雷山县召开8月17日，全省大数据+农村道路交通管理工作现场会在雷山县召开，会议深入贯彻落实省委“7.24”会议精神，进一步分析全省农村道路交通安全形势，认真观摩推广了雷山县农村公路防控体系、警保合作劝导站、交通安全示范村、路长制、生命防护工程建设情况以及“通村村”调度运维等好经验、好做法，对下步全省农村道路交通事故预防工作进行
不死冥王·2019-08-20 16:57

【实战演练】大数据系列01-Hadoop安装&使用MapReduce实现单词统计

1、环境准备1.1、安装CentOS71.2、安装JDK7tar -zxvf jdk-8u211-linux-x64.tar.gzmkdir /usr/java/mv jdk1.8.0_211/ /usr/java/jdk18alternatives --install /usr/bin/java java /usr/java/jdk18/bin/java 2#配置JAVA环境变量（由于openj
繁星亮·2019-07-13 23:42

大数据系列——Spark学习笔记Spark Streaming

1.SparkStreamingSparkStreaming是一个基于SparkCore之上的实时计算框架，可以从很多数据源消费数据并对数据进行处理SparkStreaing中有一个最基本的抽象叫DStream（代理）,本质上就是一系列连续的RDD，DStream其实就是对RDD的封装DStream可以认为是一个RDD的工厂，该DStream里面生产都是相同业务逻辑的RDD，只不过是RDD里面要读
EVAO_大个子·2019-06-14 00:00

大数据系列——Sqoop学习笔记

1.Sqoop简介ApacheSqoop是一种专门为hadoop和比如关系型数据库等结构化数据库之间的高效数据转换一种工具。数据的搬运工Sqoop在大多数自动化数据转换的过程中，依托于数据库相关的Schema描述信息，转换的过程是使用MapReduce来进行的Sqoop目前有两个版本，完全不兼容，Sqoop和Sqoop2.可以通过版本号来进行简单的区分，1.4.x为sqoop或sqoop1，1.9
EVAO_大个子·2019-06-14 00:00

大数据系列——Spark学习笔记之 Spark SQL

1.SparkSQL是什么?处理结构化数据的一个spark的模块它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用2.SparkSQL的特点多语言的接口支持(javapythonscala)统一的数据访问完全兼容hive支持标准的连接3.为什么学习SparkSQL?我们已经学习了Hive，它是将HiveSQL转换成MapReduce然后提交到集群上执行，大大简化了编写Ma
EVAO_大个子·2019-06-14 00:00

大数据系列——Hbase学习笔记

1.Hbase简介Hadoop-Database根据'bigtable'论文实现的分布式可扩展的大数据存储技术随机访问实时读写海量数据存储数'十亿行百万列'的数据高可靠性、高性能、面向列、可伸缩的分布式存储系统hbase的底层存储基于hdfs利用Zookeeper作为协调工具2.Hbase是什么?分布式开源数据库，基于hadoop分布式文件系统（HDFS）模仿提供了Google文件系统的BigTa
EVAO_大个子·2019-06-14 00:00

大数据系列——Spark学习笔记之Spark中的RDD

1.Spark中的RDDResilientDistributedDatasets(弹性分布式数据集)Spark中的最基本的抽象有了RDD的存在我们就可以像操作本地集合一样操作分布式的数据包含所有元素的分区的集合RDD包含了很多的分区2.RDD中的弹性RDD中的数据是可大可小的RDD的数据默认情况下存放在内存中的，但是在内存资源不足时，Spark会自动将RDD数据写入磁盘RDD有自动容错功能,当其中
EVAO_大个子·2019-06-14 00:00

大数据系列——Storm安装和API

1.实时计算有别于传统的离线批处理操作(对很多数据的集合进行的操作)实时处理，说白就是针对一条一条的数据/记录进行操作实时计算计算的是无界数据2.有界数据和无界数据2.1有界数据离线计算面临的操作数据都是有界限的，无论是1G、1T、1P、1EB、1NB数据的有界必然会导致计算的有界2.2无界数据实时计算面临的操作数据是源源不断的向水流一样，是没有界限的数据的无界必然导致计算的无界3.计算中心和计算
EVAO_大个子·2019-06-14 00:00

大数据系列——Spark学习笔记之初识Spark

1.Spark简介2009年，Spark诞生于伯克利大学的AMPLab实验室。最出Spark只是一个实验性的项目，代码量非常少，属于轻量级的框架。2010年，伯克利大学正式开源了Spark项目。2013年6月，Spark成为了Apache基金会下的项目，进入高速发展期。第三方开发者贡献了大量的代码，活跃度非常高2014年2月，Spark以飞快的速度称为了Apache的顶级项目，同时大数据公司Clo
EVAO_大个子·2019-06-14 00:00

大数据系列——shell的简单语法

1.Linux简介Linux内核最初只是由芬兰人李纳斯·托瓦兹（LinusTorvalds）在赫尔辛基大学上学时出于个人爱好而编写的Linux是一套免费使用和自由传播的类Unix操作系统Linux能运行主要的UNIX工具软件、应用程序和网络协议2.Linux的发行版Linux的发行版说简单点就是将Linux内核与应用软件做一个打包Ubuntu(图形化接口,个人用户操作比较良好)RedHat(企业使
EVAO_大个子·2019-06-14 00:00

大数据系列——kafka学习笔记

1.大数据领域数据类型1.1有界数据一般批处理(一个文件或者一批文件),不管文件多大，都是可以度量mapreducehivesparkcoresparksql1.2无界数据源源不断的流水一样(流数据)StormSparkStreaming2.消息队列(MessageQueue)消息Message网络中的两台计算机或者两个通讯设备之间传递的数据,例如说：文本、音乐、视频等内容队列Queue一种特殊的
EVAO_大个子·2019-06-14 00:00

大数据系列—— Scala的初步认识和语法入门

1.Scala简介Scala是一门多范式（multi-paradigm）的编程语言，设计初衷是要集成面向对象编程和函数式编程的各种特性Scala运行在Java虚拟机上，并兼容现有的Java程序(Scala是类Jvm言)Scala源代码被编译成Java字节码，所以它可以运行于JVM之上，并可以调用现有的Java类库Spark和flink等大数据框架都是使用Scala开发的2.Scala的版本2.10
EVAO_大个子·2019-06-06 00:00

大数据系列文章-Hadoop基础介绍（一）

Hadoop项目背景简介2003-2004年，Google公开了部分GFS个Mapreduce思想的细节，以此为基础DougCutting等人用了2年的业余时间，实现了DFS和Mapreduce机制，一个微缩版：Nutch名字来源于DougCutting儿子的玩具大象Hadoop于2005年秋天作为Lucene的子项目Nutch的一不分正式引入Apahce基金会。2006年3月份，Map-Redu
非法小恋·2019-05-21 08:35

大数据系列之并行计算引擎Spark介绍

Spark:ApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数
大数据和云计算·2019-05-18 21:38

64-天亮大数据系列教程之练手小项目-微博ETL实战项目

目录一、项目背景与目标二、需求分析三、主要思路与考点详情一、项目背景与目标项目背景微博作为web2.0时代的代表性产物，成为很多数据类项目争相依赖的数据源，也批量产出了很多各式各样的数据采集工程师，他们经常以采集微博平台的各种数据为工作，并将数据持久化、结构化存储或交易给第三方需求者。但往往在数据交易时，数据是以各种各样的数据文件格式存储，如何将这些各式各样的数据文件快速通过ETL转化成我方需要的
周天亮·2019-03-24 18:58

55-天亮大数据系列教程之海量数据秒级布署与实时查询项目-课堂笔记-12

1、程序计算用时实用方法System.currentTimeMillis获取系统的当前时间在程序调用和结束时，分别调用如上方法，可以获取开始和结束时，结束-开始即为程序计算所用时间。注意事项：用时计算时，不要加入任何与计算无关的代码，如中间结果输出或查看等。即为代码测试最小化原则的使用思路。2、mr之自定义应用参数传递在海量数据实时搜索项目当中的使用？已提交到git中，项目是big_data_se
周天亮·2019-01-19 09:29

大数据系列 1：大数据技术发展历程

2014年，马云提出，“人类正在从IT时代走向DT时代”。如果说在IT时代是以自我控制、自我管理为主，那么到了DT（DataTechnology）时代，则是以服务大众、激发生产力为主。在DT时代，人们比以往任何时候更能收集到更丰富的数据。数据正在变革我们的生活，催生了大数据行业的发展。百度百科中这样定义大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是
数据工程师金牛·2018-12-30 14:23

大数据系列 2：分布式文件系统 HDFS

题图Google三架马车中，第一架即是GFS（GoogelFilesystem）文件系统从垂直伸缩到水平伸缩早期，为了提升计算机的运算以及存储能力，主要靠的是垂直伸缩的方式。摩尔定律提出集成电路上晶体管的数目每两年会增加一倍。当时，半导体行业大致按照摩尔定律发展了半个多世纪。独立硬盘冗余阵列（RAID,RedundantArrayofIndependentDisks）可以认为是一种垂直伸缩。其基本
Skye_kh·2018-12-24 15:01

大数据系列 1：大数据技术发展历程

题图2014年，马云提出，“人类正在从IT时代走向DT时代”。如果说在IT时代是以自我控制、自我管理为主，那么到了DT（DataTechnology）时代，则是以服务大众、激发生产力为主。在DT时代，人们比以往任何时候更能收集到更丰富的数据。数据正在变革我们的生活，催生了大数据行业的发展。百度百科中这样定义大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合
Skye_kh·2018-12-18 08:57

马蜂窝：2018中国省域自由行大数据系列报告之东北地区（附下载）

2018年12月12日，中国旅游研究院与马蜂窝旅游网联合成立的“自由行大数据联合实验室”发布《冰雪东北——中国省域自由行大数据系列报告之东北地区》。
199it·2018-12-17 00:00

马蜂窝：2018中国省域自由行大数据系列报告之东北地区（附下载）

2018年12月12日，中国旅游研究院与马蜂窝旅游网联合成立的“自由行大数据联合实验室”发布《冰雪东北——中国省域自由行大数据系列报告之东北地区》。
199it·2018-12-17 00:00

大数据系列之HBase命令行操作

1、课程简介本文章先会介绍HBase命令行，接着会介绍java代码对hbase中的表进行增删改查。本文章中所有命令均在CentOS-6.4-x86_64，hadoop-2.5.2，jdk1.8.0_152，zookeeper-3.4.11，hbase-1.2.6中运行通过，为减少linux权限对初学者造成影响，所有命令均在linux的root权限下进行操作。2、理论回顾HBase是一个高可靠性、高
万和IT教育·2018-12-06 15:04
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他