大数据系列

hadoop系列四:mapreduce的使用(二)

转载请在页首明显处注明作者与出处一：说明此为大数据系列的一些博文，有空的话会陆续更新，包含大数据的一些内容，如hadoop,spark,storm,机器学习等。
weixin_30828379·2020-07-08 14:50

大数据系列教程003-hadoop伪分布式环境搭建步骤01-安装vmware12

声明：大数据系列教程文章由Java潘老师辛苦原创，免费公开供java爱好者学习。
Java潘老师·2020-07-05 00:04

《Hadoop安装教程》---大数据系列

一、Hadoop安装需要什么呢？最低配置4G以上的内存，40g的硬盘是最好的(暂时可用阿里云)。本文是基于阿里云centos7.3来搞的。所需软件安装包：hadoop-2.6.0-cdh5.7.0.tar.gzjdk-8u172-linux-x64.tar.gz在centos中以下链接就可以下载所需的软件安装包wgethttp://archive.cloudera.com/cdh5/cdh/5/h
xbmchina·2020-07-04 11:42

带你从零学大数据系列之Java篇---第二十五章:文件操作详解

课程大纲文件操作的简介绝对路径和相对路径分隔符File类(重点)1.文件操作的简介顾名思义，操作磁盘上的某一个文件或者某一个文件夹。可以对他们进行创建、删除、移动、属性获取、属性设置等操作。但是，并不包含读取文件的内容、拷贝文件。在Java中，使用java.io.File类描述一个文件，或者是一个文件夹。2.绝对路径和相对路径2.1.相关概念路径:用来描述一个文件所在的地址，用来定位一个文件的。可
QF大数据·2020-07-02 15:28

带你从零学大数据系列之Java篇---第二十四章:JVM优化

课程重点:JVM的简单理解课程目录第一章.JVM简介1.1.JVM位置JVM是运行在操作系统之上的，它与硬件没有直接的交集。JVM直接翻译为Java虚拟机但实际应该是Java虚拟机规范。1.2.三种JVMSun公司的HotSpot、BEA公司的JRockit、IBM公司的J9VM提起HotSpotVM，相信所有Java程序员都知道，它是SunJDK和OpenJDK中所带的虚拟机，也是目前使用范围最
QF大数据·2020-07-02 15:28

带你从零学大数据系列之Java篇第二十二章:Lambda表达式

课程重点:1函数式接口函数式接口的概念函数式接口的判断@FunctionalInterface2lambda表达式的语法基础的语法语法的精简（参数、方法体）3函数引用静态、非静态、构造方法的引用对象方法的特殊引用22.1.Lambda表达式的简介22.1.1.Lambda表达式的概念lambda表达式，是Java8的一个新特性，也是Java8中最值得学习的新特性之一。lambda表达式，从本质来讲
QF大数据·2020-07-02 15:28

带你从零学大数据系列之Java篇---第二十六章:IO流详解

课程大纲:IO流的简介基础的IO流(重点)常见的其他流http://1.IO流的简介1.1.什么是IO流IO流：Input/OutputStream流:指的是一串流动的数据，在数据在流中按照指定的方向进行流动。实现数据的读取、写入的功能。1.2.IO流的使用场景使用File类，只能做关于文件的操作，获取属性、创建文件、删除文件、移动文件等操作，但是不包含读取文件中的内容。如果需要读取、修改文件中的
QF大数据·2020-07-02 15:28

大数据系列八：Flink实时流计算-时间窗口（Kafka to MySQL）

一.前言相对Storm&Spark来说，Flink在业界使用可能没前者那么广泛，从搜索引擎检索量&网络文章的质量可见一斑，相关概念介绍的比较混乱，官网文档相对也不是太清晰。二.概念Flink的集群部署模式：Standalone(最简单,缺点资源隔离做的不太好，存在deployjob不均衡),YARN（比较成熟，常用于生成环境）,Mesos,Docker。本文主要介绍Flinkonyarn,此模式j
henry.zhu·2020-07-01 23:33

多地争抢数字经济 国家大数据综合试验区有望扩容

为进一步落实国家大数据战略，构建全国一体化的国家大数据中心体系，中央和地方正迎来大数据系列政策的密集落地期。
安徽省机电行业协会·2020-07-01 16:45

大数据系列 -- 数据埋点

俗话说“巧妇难为无米之炊”，对数据分析师来说，好的数据源，是数据分析的根基。在整个数据分析流程中，数据采集，是整个数据流的起点，也是最重要的环节之一。采集到的数据质量与准确性直接决定数据广度和质量，影响整个分析报告的所有环节。在获得高质量数据的过程中，数据埋点这一动作尤为必要，这是针对特定用户行为或事件进行捕获、处理和发送的相关技术及其实施过程。今天我们来说说如何做好数据埋点，为收集优质数据垒实基
无精疯·2020-07-01 16:51

大数据系列 -- 用户流失率计算

有同学问：用户流失该怎么分析？用户流失率的数据可以算，可算出来以后呢？只看数据似乎完全看不出什么流失原因，只知道用户已经X个月没有来了，也不知道看到这个能干啥。今天系统解答一下。用户流失分析常见错误☆错误1：试图挽留每一位用户。这是运营最常见的错误，很多新人都会踩这个坑。不购物了就发券，不登录了摇转盘。结果空烧经费，养出来一帮无利不起早的羊毛客。实际上，用户流失是不可避免的，天下没有100%的留存
无精疯·2020-07-01 01:42

史上最全，几百本常用书籍等你来取（面试，java，c,大数据，AI，python，数据结构等）

NLP、机器学习，深度学习等等），大数据系列(Spark,Hadoop,Scala,kafka等)，程序员必修系列（C、C++、java、数据结构、linux，设计模式、数据库等等）程序
五角钱的程序员·2020-07-01 00:47

政务大数据系列９:再谈“政务互联网+”&“政务大数据”

政务是个大市场，阿里、腾讯、电信、华为都在赔本赚吆喝。本文作者宇同学是资深从业人士，研发总监，他会写一系列文章来阐述政务云全景。前面九篇分别深入阐述：政务大数据的本质：《浅谈政务大数据的本质》政务大数据的全景图：《政务大数据的全景图》政务大数据的上下文范围：《政务大数据的上下文范围》政务大数据的概念模型：《政务大数据的概念模型》政务大数据的逻辑模型：《政务大数据的逻辑模型》政务大数据的物理模型：《
大数据和云计算技术·2020-06-30 12:49

政务大数据系列7：政务大数据的部署结构

政务是个大市场，阿里、腾讯、电信、华为都在赔本赚吆喝。本文作者宇同学是资深从业人士，研发总监，他会写一系列文章来阐述政务云全景。前面六篇分别深入阐述：政务大数据的本质：《浅谈政务大数据的本质》政务大数据的全景图：《政务大数据的全景图》政务大数据的上下文范围：《政务大数据的上下文范围》政务大数据的概念模型：《政务大数据的概念模型》政务大数据的逻辑模型：《政务大数据的逻辑模型》政务大数据的物理模型：《
大数据和云计算技术·2020-06-30 12:18

政务大数据系列９：政务大数据的价值链

政务是个大市场，阿里、腾讯、电信、华为都在赔本赚吆喝。本文作者宇同学是资深从业人士，研发总监，他会写一系列文章来阐述政务云全景。前面八篇分别深入阐述：政务大数据的本质：《浅谈政务大数据的本质》政务大数据的全景图：《政务大数据的全景图》政务大数据的上下文范围：《政务大数据的上下文范围》政务大数据的概念模型：《政务大数据的概念模型》政务大数据的逻辑模型：《政务大数据的逻辑模型》政务大数据的物理模型：《
大数据和云计算技术·2020-06-30 12:18

政务大数据系列6：政务大数据的物理模型

政务是个大市场，阿里、腾讯、电信、华为都在赔本赚吆喝。本文作者宇同学是资深从业人士，研发总监，他会写一系列文章来阐述政务云全景。前面三篇分别深入阐述：政务大数据点本质：《浅谈政务大数据的本质》政务大数据的全景图：《政务大数据的全景图》政务大数据的上下文范围：《政务大数据的上下文范围》政务大数据的概念模型：《政务大数据的概念模型》政务大数据的逻辑模型：《政务大数据的逻辑模型》反响非常好，本篇接上一篇
大数据和云计算技术·2020-06-30 12:18

政务大数据系列8：政务大数据的安全体系

政务是个大市场，阿里、腾讯、电信、华为都在赔本赚吆喝。本文作者宇同学是资深从业人士，研发总监，他会写一系列文章来阐述政务云全景。前面七篇分别深入阐述：政务大数据的本质：《浅谈政务大数据的本质》政务大数据的全景图：《政务大数据的全景图》政务大数据的上下文范围：《政务大数据的上下文范围》政务大数据的概念模型：《政务大数据的概念模型》政务大数据的逻辑模型：《政务大数据的逻辑模型》政务大数据的物理模型：《
大数据和云计算技术·2020-06-30 12:18

2018第一季度原创作者获奖名单公布

文章作者政务大数据系列10：政务大数据的运营宇尘埃政务大数据系列９：政务大数据的价值链宇尘埃政务大数据系列8：政务大数据的安全体系宇尘埃政务大数据系列7：政务大数据的部署结构宇尘埃政务大数据系
大数据和云计算技术·2020-06-30 12:18

政务大数据系列10：政务大数据的运营

政务是个大市场，阿里、腾讯、电信、华为都在赔本赚吆喝。本文作者宇同学是资深从业人士，研发总监，他会写一系列文章来阐述政务云全景。前面九篇分别深入阐述：政务大数据的本质：《浅谈政务大数据的本质》政务大数据的全景图：《政务大数据的全景图》政务大数据的上下文范围：《政务大数据的上下文范围》政务大数据的概念模型：《政务大数据的概念模型》政务大数据的逻辑模型：《政务大数据的逻辑模型》政务大数据的物理模型：《
大数据和云计算技术·2020-06-30 12:18

58同城离线计算平台设计与实践（大数据进阶）

分享嘉宾：余意58同城高级架构师编辑整理：史士博内容来源：58大数据系列直播出品平台：DataFun导读：58离线计算平台基于Hadoop生态体系打造，单集群4000
yyoc97·2020-06-30 11:52

文章目录

1.大数据系列Hadoop：Hadoop-伪分布式安装、Hadoop集群搭建-full完全分布式、Hadoop集群搭建-HA（手动切换）flink：ApacheFlink系列（1）-概述2.Java开发系列
weixin_30439067·2020-06-27 19:49

《Yarn的使用教程》--- 大数据系列

一、Yarn简介：YARN主要是将资源管理和作业监控拆分成了两个独立的服务：1.ApplicationMaster:每个应用程序特有的，负责单个应用程序的管理。2.ResourceManager:一个全局的资源管理器，负责整个系统的资源管理和分配。Yarn原理图上图解析：ResourceManager和NodeManager设计源自于数据计算框架。ResourceManager主要负责资源调度，而
xbmchina·2020-06-27 14:12

大数据系列全套学习路线图

ClouderaManagerClouderaManager平台部署说明书Hadoop大数据Hadoop系列之Hadoop分布式集群部署大数据Hadoop系列之Hadoop机架感知配置大数据Hadoop系列之HDFS命令讲解大数据Hadoop系列之Hadoop服务开机自启动配置大数据Hadoop系列之HadoopWeb控制台添加身份验证大数据Hadoop系列之Map-ETL实战开发Hive大数据H
王者的路注定孤独·2020-06-27 11:04

大数据系列之Flume--几种不同的Sources

1.flume概念flume是分布式的，可靠的，高可用的，用于对不同来源的大量的日志数据进行有效收集、聚集和移动，并以集中式的数据存储的系统。flume目前是apache的一个顶级项目。flume需要java运行环境，要求java1.6以上，推荐java1.7.将下载好的flume安装包解压到指定目录即可。2.flume中的重要模型2.1.1.flumeEvent：flume事件，被定义为一个具有
豆豆1223·2020-06-27 06:00

大数据系列之Sqoop（十、大数据ETL工具Sqoop）

Sqoop是用来做什么的Sqoop官网是这样介绍：ApacheSqoop(TM)isatooldesignedforefficientlytransferringbulkdatabetweenApacheHadoopandstructureddatastoressuchasrelationaldatabases.就是说Sqoop是一款用来在Hadoop（Hive）和关系型数据库之间传输数据的工具。
snail_bing·2020-06-26 13:56

大数据系列之flume（四、flume简介及原理概述）

ApacheFlume概述Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。目前是Apache的顶级项目。当前Flume有两个版本Flume0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-
snail_bing·2020-06-26 13:55

大数据系列之flume（六、flume配置选择器、处理器、拦截器详解）

目录一、Selector（选择器）Selector概述复制模式多路复用（路由）模式二、Interceptors（拦截器）Interceptors概述1、TimestampInterceptor2、HostInterceptor3、StaticInterceptor4、UUIDInterceptor5、SearchandReplaceInterceptor6、RegexFilteringInterc
snail_bing·2020-06-26 13:55

大数据系列之hadoop（三、HA hadoop集群搭建）

HAhadoop集群完美搭建此博文可以堪称史上最全、宇宙最详细的HAhadoop集群搭建攻略，是本人呕心制作，亲自搭建完成后的全过程笔录。在看下面内容之前，希望你先去看一下这几篇博文，熟悉整个hadoop集群环境搭建流程：linux系统jdk安装教程。zookeeper集群搭建教程。hadoop伪分布式集群环境搭建教程。ok，看完这几篇博文之后相信你已经了解并熟悉了hadoop集群搭建的主要流程，
snail_bing·2020-06-26 13:55

大数据系列之flume（五、flume安装及配置详解）

安装flume1、去官网下载flume安装包，注意版本，下载完成后放到服务器上做好安装前准备。2、直接解压安装即可。如图：3、进入安装后的根目录，找到其目录中的conf文件夹，如图：4、找到模板配置文件，复制一个并更改文件名为：flume-*.properties，修改其中的配置。配置flume#命名Agenta1的组件，a1为agent的名称，r1、k1、c1分别为source、sinks、ch
snail_bing·2020-06-26 13:55

大数据系列之hadoop（一、hadoop简介）

Hadoop介绍大数据解决四大核心问题：1、数据的存储（BigDataStorage），海量数据需要处理和分析，但前提是要进行有效的存储。Hadoop的诞生突破了传统数据文件系统的单机模式。HDFS使得数据可以跨越不同的机器与设备，并且用一个路径去管理不同平台上的数据。2、数据的计算（DataCalculation），在数据有效存储的基础上，对数据的统计和分析本质上就是数据的计算。在大数据领域常见
snail_bing·2020-06-26 13:55

浅显易懂入门大数据系列：二、MapReduce、YARN（超详细）

文章目录一、MapReduce概念及架构MapReduce的定义MapReduce的特点MapReduce的架构二、YARN的背景及架构产生YARN的背景YARN的架构三、YARN的调度流程及原理MapReduceonYARN任务调度流程一个形象例子理解YARN流程四、配套教程详解配套教程四之YARN与MapReduce的配置与使用配套教程五之MapReduce实现WordCount单词计数五、常
邵奈一·2020-06-26 08:15

浅显易懂入门大数据系列：一、HDFS（超详细）

文章目录一、Hadoop的诞生Hadoop的定义及组成HDFS产生的背景背景下所面临的挑战二、Hadoop概念及原理HDFS应运而生HDFS的存储特点HDFS的架构特点HDFS的架构原理三、配套教程详解配套教程一之域名映射与免密码登录配套教程二之JDK8的安装与配置配套教程三之HDFS的安装与配置四、常见错误总结文章总览一、Hadoop的诞生Hadoop的定义及组成说到Hadoop，接触过大数据学
邵奈一·2020-06-26 08:15

浅显易懂入门大数据系列：三、Zookeeper（超详细）

文章目录一、Zookeeper在Hadoop生态圈的位置分布式环境下常见的问题二、Zookeeper的概念及特点Zookeeper的概念Zookeeper的特点Zookeeper的相关名词解释三、Zookeeper的常用应用场景四、配套教程详解配套教程六之Zookeeper集群的安装与配置五、常见错误总结文章总览前面的过程已经学习完了Hadoop的三大组件了，那么就可以去学习新的东西了，原本是应该
邵奈一·2020-06-26 08:15

邵奈一的技术博客导航

教程目录0x00说明0x01大数据系列专栏专栏一：复制粘贴玩大数据（Docker实现环境搭建）专栏二：浅显易懂入门大数据（理论+大数据学习之路指南实战）0x02大数据学习之路指南模块一：大数据基础准备模块二
邵奈一·2020-06-26 08:14

大数据平台运维之Flume

大数据系列之运维（自主搭建的大数据平台）（8）Flume运维在master节点安装启动Flume组件，打开LinuxShell运行flume-ng的帮助命令，查看Flume-ng的用法信息。
希望不是梦·2020-06-26 03:12

Hadoop完美实战系列视频(七天全)

课程介绍：这个大数据系列的课程，可以让大家从一完全零基础的朋友，从Java和Linux基础入门，一直到Hadoop核心课程，以及Hadoop生态圈的其他知识点都能够有一个完美认识，非常推荐！！
qq_42872377·2020-06-26 00:07

【直播大课】2019 FMI人工智能&大数据系列直播

光环影响力•全球跨年大课作为光环的一个系列内容，邀请过众多知名企业大咖，围绕大数据应用、AI前沿技术等进行分享，其影响波及了近10万余技术人士。在本年度的年中直播活动中，我们将再次汇聚中国国内各大知名互联网公司产品大咖，围绕“新内容、新消费、新商业、新技术”，分享行业的成功案例，诠释产品的创新动向，共同携手探索产品的未来新趋势及有效落地。这场盛大的知识跨年，为大家盘点了2018年最热的几个话题：平
FMI飞马网·2020-06-25 18:35

带你从零学大数据系列之Java篇---第十一章:枚举

课程重点:枚举的基本定义枚举的基本使用11.1.枚举的简介11.1.1.枚举的概念枚举也是一种自定义的数据类型，是一个引用数据类型。枚举经常用来被描述一些取值范围有限的数据。例如：性别:只有两个值，此时可以用枚举来表示月份:只有12个值，此时可以用枚举来表示星期:只有七个值，此时可以用枚举来表示11.2.枚举的基本定义和使用11.2.1.枚举的定义定义枚举类型，需要使用到关键字enum。枚举的名字
QF大数据·2020-06-24 21:35

带你从零学大数据系列之Java篇---第十二章:异常

课程重点:异常的理解异常的分离trycatch结构多异常捕获trycatchfinally结构自定义异常12.1.异常的简介12.1.1.异常是什么异常是对程序在运行过程中的种种不正常的情况的描述。如果程序遇到了未经处理的异常，会导致这个程序无法进行编译或者运行。例如：ArrayIndexOutOfBoundsException:数组下标越界异常，会导致程序无法继续运行。NullPointerEx
QF大数据·2020-06-24 21:35

从零学大数据系列之Java篇---第十章:包装类和常用类

课程重点:包装类(会用)装箱拆箱(会用)字符串与基本数据类型的转换(会用)常用类Math(常用的几个方法会用)常用类Random(会用)常用类BigInteger,BigDecimal(会用)常用类Date(会用)常用类SimpleDateFormat(会用)(重点)常用类Calendar(了解)10.1.包装类的简介10.1.1.包装类的概念包装类，就是在基本数据类型的基础上，做一层包装。每一个
QF大数据·2020-06-24 21:35

大数据系列文章之数据中台-一:如何理解数据中台？

如果说中台提供的是通用的业务解决方案+通用的技术解决方案，那么对应到数据中台，就是提供可复用的数据业务能力+可复用的数据技术能力。举个例子，对于小团队而言，希望通过我们的数据中台分析潜在的商业机会，这时候直接甩过去几张表就不合适。从小团队的视角看，我们希望有一个分析平台，有一些自主分析工具，能够快速了解我们目前能够统计到的数据及其涵义。那么这个时候，数据中台=数据仓库+BI分析工具+元数据平台+前
QF大数据·2020-06-24 21:35

大数据系列-scala类型定义

核心1、scala的基本类型2、scala的类型操作scala的基本类型scala中的基本数据类型有类型范围Byte8位Short16位Int32位Long64位Char16位StringasequenceofCharsFloat32位Double64位Booleantrue和false从上表中可以看出，scala的基本数据类型与java中的基本数据类型是一一对应的，不同的是scala的基本数据类
Xlucas·2020-06-24 19:12

大数据系列3-第一章-大数据概论

1.大数据概论移动硬盘-tb级别数据分析的场景：金融行业-信息密集；；股票市场预测；；小额贷款；；支付宝信用：给用户打标签，银行贷款；；互联网需求更大（更多的是一个媒体）：精准营销，流量运营，通过流量做营收，流量变现，ctr预测，；；电信-移动互联网；；政府行业；；用户服务-云平台1）大数据技术框架nosql指的是key-value的引擎（mygdb，hbase，单机（redis），，解决了扩展问
nancy_princess·2020-06-24 17:17

大数据(六) - ZooKeeper

大数据系列文章汇总链接-更新到15篇Zookeeper是什么是一个针对大型分布式系统的可靠协调系统；提供的功能包括：配置维护、名字服务、分布式同步、组服务等；目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效
IT十年·2020-06-24 13:35

交集、并集和补集（阿里大数据系列）

本文为您介绍UNION、UNOINALL、UNIONDISTINCT并集，INTERSECT、INTERSECTALL、INTERSECTDISTINCT交集，EXCEPT、EXCEPTALL、EXCEPTDISTINCT补集等SQL语法。语法格式select_statementUNIONALLselect_statement;select_statementUNION[DISTINCT]sele
大数据谭志坚·2020-06-24 12:48

大数据系列第二课：scala基础

第一阶段：Sparkstreaming、sparksql、kafka、spark内核原理（必须有一个大型项目经验）；第二阶段：spark运行的各种环境，各种故障的解决，性能优化（精通spark内核、运行原理）；第三阶段：流处理、机器学习为鳌头，需要首先掌握前两个阶段的内容；跟随王家林老师的零基础讲解，注重动手实战，成为spark高数，笑傲大数据之林！第一部分：学习笔记本期内容：1Scala中的类、
kxr0502·2020-06-24 01:05

大数据系列第一课：scala基础

第一阶段：Sparkstreaming、sparksql、kafka、spark内核原理（必须有一个大型项目经验）；第二阶段：spark运行的各种环境，各种故障的解决，性能优化（精通spark内核、运行原理）；第三阶段：流处理、机器学习为鳌头，需要首先掌握前两个阶段的内容；跟随王家林老师的零基础讲解，注重动手实战，成为spark高数，笑傲大数据之林！第一部分：学习笔记内容：1Scala的重大价值2
kxr0502·2020-06-24 01:04

使用 Spring、Elasticsearch 及 Logstash 构建企业级数据搜索和分析平台

使用Spring、Elasticsearch及Logstash构建企业级数据搜索和分析平台[复制链接]电梯直达楼主发表于前天13:32|只看该作者大数据系列零基础由入门到实战视频本帖最后由eying于2015
javastart·2020-06-23 21:09

大数据之“用户行为分析”

编者按：本文由卢东明为36氪撰写，是大数据系列文章的第2篇。卢东明是SAP公司全球数据库解决方案亚太区技术总监；拥有长达20年数据库、数据仓库开发管理经验。
一只鸟的天空·2020-06-23 14:27

大数据系列hadoop——MapReduce实例——单词计数

目录一、简介二、思路三、实现一、简介这个应该是mapReduce里面最简单，也是所有人写的第一个例子吧。二、思路map阶段，分词，把每个词作为key，value为1reduce阶段，把每个词的value相加三、实现@Slf4jpublicclassWordCountJob{/****@paramargs0|profile;1|input;2|output;3|master-ip;4|operato
guduyishuai·2020-06-23 11:25
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他