hadoop大数据

从零开始学Hadoop大数据分析之ZooKeeper实战

导言上一节我学习了关于ZooKeeper基础知识，接下开始ZooKeeper的实战，只有从实战中学习才能进步更快。ZooKeeper命令集zookeeper常用命令大致分为连接，获取，修改，删除,关闭连接五步。zookeeper常用命令.png实战导入架包org.apache.zookeeperzookeeper3.4.14实现Watcher对象publicclassZooKeeperUtilim
渝聆墨·2019-12-15 08:03

从零开始学Hadoop大数据分析之HDFS 实战

导言通过上两节学习了hadoop基础理论知识以及hdfs相关知识，同时也搭建了相关运行环境，今天开始hdfs实践操作。开发环境1.java环境：jdk1.82.IDEA编辑器3.maven集成环境清单开发hadoop相关项目基础集成包主要为：hadoop-common，hadoop-hdfs，hadoop-mapreduce-client-core，hadoop-client，hadoop-yar
渝聆墨·2019-12-15 07:25

从零开始学Hadoop大数据分析之MapReduce

导言通过上面几部分学习了hadoop基础，以及hdfs、zookeeper的相关知识，hadoop是大数据处理框架，既然说到数据对其最常见的操作就是数据存储与数据计算，接下就要开始学习hadoop另外一大重要成员——MapReduce(分布式离线计算框架)。MapReduce基础知识mapreduce.pngMapReduce是一个离线计算框架，它使用大型海量数据离线计算，因为数据块比较庞大，往往
渝聆墨·2019-12-14 11:24

《Hadoop大数据技术体系：原理、内幕与项目实践》课程体系

《Hadoop大数据技术体系：原理、内幕与项目实践》课程体系课程特色：本课程以“互联网日志分析系统”这一大数据应用案例为主线，依次介绍相关的大数据技术，涉及数据收集，存储，数据分析以及数据可视化，最终会形成一个完整的大数据项目
Albert陈凯·2019-12-14 10:59

java如何快速入门Hadoop大数据技术？

给大家推荐一本比较系统的Hadoop大数据书籍，方便大家快速入门图书简介：本书以Hadoop及其周边框架为主线，介绍了整个Hadoop生态系统主流的大数据开发技术。
qunqun8889·2019-12-11 12:59

==星环科技(hadoop发行版)~Transwarp

//一站式Hadoop大数据平台『星环科技』获得1.55亿B轮融资-http://www.jianshu.com/p/eb27202c22c9简单概括，星环科技就是提供一站式Hadoop大数据平台，可以理解为大数据数据库
葡萄喃喃呓语·2019-12-08 08:41

大数据平台多租户管理实现（理论篇）

在公司内部，多用户业务应用架设在同一个Hadoop集群上，容易出现数据与集群资源混乱无序的状态，需要建立统一的调度平台实现数据统一管理、任务合理化调度，集群资源按需分配；从集群使用角度延申，Hadoop
DengheLiu·2019-12-08 05:08

知名大厂如何搭建大数据平台&架构

淘宝大数据平台淘宝可能是中国互联网业界较早搭建了自己大数据平台的公司，下图是淘宝早期的Hadoop大数据平台，比较典型。image淘宝的大数据平台基本也是分成三个部分
大数据技术进阶·2019-12-07 04:32

大厂大数据平台

淘宝大数据平台淘宝可能是中国互联网业界较早搭建了自己大数据平台的公司，下图是淘宝早期的Hadoop大数据平台，比较典型。
do_young·2019-12-01 22:25

[简介]Hadoop大数据生态系统及常用组件简介

Hadoop大数据生态系统及常用组件简介-CSDN.NEThttp://www.csdn.net/article/a/2016-07-28/3775摘要：云智慧的李林同学就为大家介绍一下Hadoop生态圈一些常用的组件
葡萄喃喃呓语·2019-12-01 11:58

《Hadoop大数据技术开发实战》学习笔记（一）

基于CentOS7系统新建用户1、使用“su-”命令切换到root用户，然后执行命令：adduserzonkidd2、执行以下命令，设置用户zonkidd的密码：passwdzonkidd修改用户权限1、切换到root用户，然后修改sudoers：vi/etc/sudoers2、在文本rootALL=(ALL)ALL的下方加入代码，使hadoop用户可以使用sudo命令：hadoopALL=(AL
zonkidd·2019-11-23 22:00

知名大厂如何搭建大数据平台&架构

淘宝大数据平台淘宝可能是中国互联网业界较早搭建了自己大数据平台的公司，下图是淘宝早期的Hadoop大数据平台，比较典型。淘宝的大数据平台基本也是分成三个部分，上面是数
大数据技术进阶·2019-11-19 21:04

Hadoop运行环境搭建

这也是阻碍很多新人学习hadoop大数据技术的一个原因。那我们在学习
我是老薛·2019-11-08 12:19

Hadoop1-认识Hadoop大数据处理架构

一、简介概述1、什么是HadoopHadoop是Apache软件基金会旗下的一个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构Hadoop是基于java语言开发，具有很好的跨平台的特性，并且可以部署在廉价的计算机集群中Hadoop的核心是分布式文件系统HDFS（HadoopDistributeFileSystem）和MapReduce，安装完Hadoop默认就已经安装了HDFS和
乐章·2019-11-08 12:00

零基础学习大数据，搭建Hadoop大数据处理

科多大数据小课堂告诉你，在互联网的世界中数据都是以TB、PB的数量级来增加的，特别是像BAT光每天的日志文件一个盘都不够，更何况是还要基于这些数据进行分析挖掘，更甚者还要实时进行数据分析，学习，如双十一淘宝的交易量的实时展示。大数据什么叫大？4个特征：体量化Volume，就是量大。多样化Variety，可能是结构型的数据，也可能是非结构行的文本，图片，视频，语音，日志，邮件等快速化Velocity
大数据在说话·2019-11-08 02:03

2017年3月大数据精华文章集锦

大数据在金融风控领域的思考与探索Hadoop生态安全管理框架ApacheRanger升级为顶级项目干货跻身数据科学领域的五条职业规划道路看看你最适合走上哪条数据科学行业职业之路优秀数据分析团队应该做好这些事情HadoopDIYHadoop
司小幽·2019-11-07 22:51

Kyligence Analytics Platform Enterprise

：ARM模板软件包：kap2.3kyanalyzer2.3apachekylinbasicsoftwarebibigdatacubedatawarehousekapkyligenceolapsqlonhadoop
ITknight·2019-11-07 12:29

TiDB / TiSpark 在易果集团实时数仓中的创新实践

项目背景目前企业大多数的数据分析场景的解决方案底层都是围绕Hadoop大数据生态展开的，常见的如HDFS+Hive+Spark+Presto+Kylin，在易果集团，我们初期也是采取这种思路，但是随着业务规模的快速增长和需求的不断变化
PingCAP·2019-11-05 01:38

标题：DKhadoop大数据处理平台监控数据介绍

标题：DKhadoop大数据处理平台监控数据介绍2018年国内大数据公司50强榜单排名已经公布了出来，大快以黑马之姿闯入50强，并摘得多项桂冠。
本宫没空8·2019-11-03 04:23

Hadoop ，大数据，云计算之间有什么关系？

编辑：于占胜组别：研0组【嵌牛导读】大数据开发入门课程：hadoop大数据与hadoop云计算，Hadoop最擅长的事情就是可以高效地处理海量规模的数据，这样Hadoop就和大数据及云计算结下了不解之缘
于占胜·2019-11-02 18:18

hadoop大数据之shuffle过程

学习hadoop已有一月之余，由于前段时间不太上心，导致脑海之中并没有留下什么映像，但是这两天的集中学习让我对于mapreduce过程中的shuffle有了一定的了解，所以现在赶紧记下这难得的感触，不期望能给别人带来感悟什么的，但求给自己留下一个记录和以后的自己留下一个“当初”。好了，言归正传，众所周知，hadoop的核心框架就是hdfs跟mapreduce，而hdfs主要负责的就是类似于Wind
萝卜切丝·2019-11-02 05:34

hadoop - 环境搭建

参考1.Hadoop大数据平台架构与实践--基础篇相关软件ubuntujdkhadoop-1.2.1环境搭建jdki.安装#安装位置：/usr/lib/jvm/...sudoapt-getinstall-yopenjdk
风云雄霸天下123456·2019-11-02 01:21

Spring Batch 3 - 入门HelloWorld

其应用场景介于数据库存储过程与Hadoop大数据加工之间。可以处理日常的批处理任务，监控任务的执行情况。从现在开始，我们就慢慢深入研究下SpringBatch如何使用。
heichong·2019-10-31 18:59

Hadoop2-认识Hadoop大数据处理架构-单机部署

一、Hadoop原理介绍1、请参考原理篇：Hadoop1-认识Hadoop大数据处理架构二、centos7单机部署hadoop前期准备1、创建用户[root@web3~]#useradd-mhadoop-s
乐章·2019-10-25 17:00

读书笔记-Hadoop大数据shuffle

想要说起shuffle，先从整体的流程说起，shuffle包括也就是对map端的数据处理，依次进行分区，排序，切割，然后在reduance端进行merger在排序向reduce发送数据，这就是shuffle的一个整体流程。那么在细致一点根据源码说的的话，map端输出数据会由collector端进行处理，也就是调用collect函数，首先呢map端会将输出数据写出到内存环里，等到内存环达到了一定的阈
SpringzZ·2019-10-22 11:00

Hadoop大数据开发基础系列：五、MapReduce进阶编程

五、MapReduce进阶编程目录：1.筛选日志文件并生成序列化文件2.HadoopJavaAPI读取序列化日志文件3.优化日志文件统计程序4.Eclipse提交日志文件统计程序5.小结6.实训7.小练习任务背景：网站运营方又提出来新的需求，为了比较今年与去年同期的用户访问数据，要求分别统计出2016年1月与2月的用户访问次数，并输出到不同的目录中。在本章中，将引入一些高级的编程技巧，使得整体编程
Nelson_hehe·2019-10-17 23:50

[转帖]Hive 快速入门(全面)

Hive快速入门(全面)2018-07-3016:11:56琅琊山二当家阅读数4343更多分类专栏：hadoop大数据转载:https://www.codercto.com/a/5110.html前言我写这篇文章的目的是尽可能全面地对
济南小老虎·2019-10-13 10:00

Hadoop大数据开发基础系列：四、MapReduce初级编程

第四章、MapReduce编程入门目录结构1.使用Eclipse建立MapReduce工程1.1下载与安装Eclipse1.2配置MapReduce环境1.3新建MapReduce工程2.通过源码初识MapReduce工程2.1通俗理解MapReduce原理2.2了解MR实现词频统计的执行流程2.3读懂官方提供的WordCount源码3.编程实现按日期统计访问次数3.1分析思路与处理逻辑3.2编写
Nelson_hehe·2019-10-07 20:39

Hadoop大数据开发基础系列：三、Hadoop基础操作

第三章、Hadoop基础操作目录结构：1.查看Hadoop集群的基本信息1.1查询集群的存储系统信息1.2查询系统的计算资源信息2.上传文件到HDFS目录2.1了解HDFS文件系统2.2掌握HDFS的基本操作2.3任务实现3.运行首个MapReduce任务3.1了解Hadoop官方的示例程序包3.2提交MapReduce任务给集群运行4.管理多个MapReduce任务4.1查询MapReduce任
Nelson_hehe·2019-10-05 13:43

Hadoop大数据开发基础系列：一、初识Hadoop

目录结构1.Hadoop概述1.1Hadoop简介1.2Hadoop发展史1.3Hadoop特点2.Hadoop核心2.1分布式文件系统——HDFS2.2分布式计算框架——MapReduce2.3集群资源管理器——YARN3.Hadoop生态系统4.Hadoop应用场景5.小结一、Hadoop介绍1.Hadoop概述两大核心：HDFS和MapReduce用于资源与任务调度的框架：YARN1.1Ha
Nelson_hehe·2019-10-03 16:09

知名大厂如何搭建大数据平台&架构

淘宝大数据平台淘宝可能是中国互联网业界较早搭建了自己大数据平台的公司，下图是淘宝早期的Hadoop大数据平台，比较典型。淘宝的大数据平台基本也是分成三个部分，上面是数
XIAO的博客·2019-09-30 11:00

知名大厂如何搭建大数据平台&架构

淘宝大数据平台淘宝可能是中国互联网业界较早搭建了自己大数据平台的公司，下图是淘宝早期的Hadoop大数据平台，比较典型。淘宝的大数据平台基本也是分成三个部分，上面是数
XIAO的博客·2019-09-30 11:00

Apache Ranger && HDFS

ApacheRanger&&HDFS标签（空格分隔）：HadoopHDFSHDFS对于任何Hadoop大数据平台来说都是核心组成部分，为了加强对Hadoop平台的数据保护，将安全控制深入到HDFS层是非常有必要的
Zeus~·2019-08-23 17:00

hadoop大数据——mapreduce程序提交运行模式及debug方法

本地运行模式（1）mapreduce程序是被提交给LocalJobRunner在本地运行（2）而处理的数据及输出结果可以在本地文件系统，也可以在hdfs上怎样实现本地运行？：写一个程序，不要带集群的配置文件（本质是你的mr程序的conf中是否有mapreduce.framework.name=local以及yarn.resourcemanager.hostname参数）集群运行模式（1）mapre
学亮编程手记·2019-08-16 21:02

25款大数据入门与实战电子书+视频教程（全程干货）

本资源由菜鸟窝大数据教研团队整理的，共有1.3GB学习资源（电子书）含Hadoop大数据与挖掘实战、Hbase实战、Spark大数据处理技术、Spark高级数据分析、大数据存储MongoDB实战、大数据架构师指南
Bella人工智能爱好者·2019-08-06 14:45

hadoop大数据平台安全基础知识入门

概述以HortonworksDataPlatform(HDP)平台为例,hadoop大数据平台的安全机制包括以下两个方面:身份认证即核实一个使用者的真实身份，一个使用者来使用大数据引擎平台，这个使用者需要表明自己是谁
hdpdriver·2019-08-05 23:00

2019年国内Hadoop大数据平台专业的计算引擎：MapReduce+Tez+Spark

MapReduce+Tez+Spark是Hadoop大数据开发的三种框架，YARN上流行的各种计算框架，在海量数据计算、分析、存储过程中都发挥着重要的作用！Hadoop大数据平台是如何发展起来的？
qq5d3552831efc5·2019-07-22 14:14

Apache Atlas2.0 第二节 架构理解

Atlas是一个可伸缩且功能丰富的数据管理系统，深度集成了Hadoop大数据组件。
强子no2·2019-07-11 12:17

hadoop大数据架构

概要大数据是目前非常火热的词，基本各行各业都离不开大数据，利用金融数据分析一个公司的走势，利用监控数据可以抓住一个在逃逃犯。这些都是大数据应用程序。大数据技术的相关概念数据无处不在，各行各业无时无刻不在产生大量的数据。如何保存和分析像海洋一样的数据，成为了一道难题。传统的单机存储存在存储容量小、读写速率慢、计算效率低下的缺点。Google提出了一系列大数据技术。比如MapReduce，bigtab
木木甫·2019-07-07 17:17

hadoop大数据架构

概要大数据是目前非常火热的词，基本各行各业都离不开大数据，利用金融数据分析一个公司的走势，利用监控数据可以抓住一个在逃逃犯。这些都是大数据应用程序。大数据技术的相关概念数据无处不在，各行各业无时无刻不在产生大量的数据。如何保存和分析像海洋一样的数据，成为了一道难题。传统的单机存储存在存储容量小、读写速率慢、计算效率低下的缺点。Google提出了一系列大数据技术。比如MapReduce，bigtab
木木甫·2019-07-07 00:00

淘宝、美团、滴滴的大数据平台

淘宝大数据平台淘宝可能是中国互联网业界较早搭建了自己大数据平台的公司，下图是淘宝早期的Hadoop大数据平台，比较典型。
威少JAVA·2019-06-13 15:33

Hadoop分布式集群的搭建

Hadoopubuntu分布式集群环境搭建ssh网络配置java环境date:2019-5-1911:09author:foochaneurlname:2019051901categories:大数据tags:hadoop
foochane·2019-06-13 00:00

02 HDFS的命令行操作

HDFS是Hadoop大数据平台中的分布式文件系统，为上层应用或其他大数据组件提供数据存储，如Hive，Mapreduce，Spark，HBase等。
张力的程序园·2019-05-28 22:23

Hadoop大数据生态：SpringBoot整合hive，使用spring的jdbcTemplate操作Hive

简介使用开发工具连接hive客户端，整合SpringBoot与Hive的连接，同时进行数据的增删查改；创建hive连接，放入druid数据库连接池，自动注入jdbctemplate；开发前提：已经安装hive客户端，可参考博客：阿里云ECS7安装搭建：hive-2.1.1客户端；版本配置：hadoop2.7.6，hive1.3.3；实践1.首先，pom文件加入hive依赖；org.apache.h
尘光掠影·2019-05-18 14:19

Hadoop大数据生态：hive与hbase整合

简介hive和hbase都是基于hadoop大数据生态而衍生的不同的技术，hbase是一种nosql的key/value数据库，主要用于数据的实时查询，速度比较快，而hive主要使用HQL语言运行MapReduce
尘光掠影·2019-05-17 17:19

八大行业Hadoop大数据应用回顾和展望

第一个现象是大数据技术优先应用在采用SQL进行结构化数据处理上，来解决数据量增大带来的处理能力的挑战;这与很多人宣传的大数据技术最适合处理非结构化数据(而不适合结构化数据处理)相反。我们发现企业面临两方面的挑战，一方面是累积的数据量越来越大，从GB增长到了TB(拥有PB级的企业客户也有，但是少数)，另一方面，随着应用的增多和复杂化，计算能力越来越不能满足要求。大多数企业多年来根据业务需求在传统的关
IT时代周刊·2019-05-16 10:27

Hadoop大数据可以帮助医疗机构5种方法

在医疗行业的所有信息中非结构化数据大约占80％，并且增长速度比大多数人甚至可以理解的速度要快。通过数据排序，查找需要的病人信息，并做研究的诊断和治疗几乎是不可能没有的Hadoop的巨大技术能力的。该MAPR分布，包括Hadoop是帮助供应商组织医疗文件，与其他医生，患者和组织，流程和实验室结果，财务数据，临床资料，影像学报告，和输出的医疗设备进行通信交流。该功能几乎是无止境的，而Hadoop的新的
机器学习和人工智能·2019-05-09 21:46

大数据、云计算系统顶级架构师课程学习路线图

大数据、云计算系统架构师顶级课程阶段一、大数据、云计算-Hadoop大数据开发技术课程一、大数据运维之Linux基础本部分是基础课程，帮大家进入大数据领域打好Linux基础，以便更好地学习Hadoop，
haotian1685·2019-05-09 21:34

基于Hadoop的简易数据云盘系统的实现【升级版】

1.引言项目来源《Hadoop大数据开发案例教程与项目实战》开发一款基于Hadoop的数据云盘，来理解开发的原理和Hadoop相关知识点，学会Hdoop、HDFS的操作以及JavaWeb的开发。
樊领·2019-05-06 15:54

最新Hadoop大数据开发学习路线图

Hadoop发展到今天家族产品已经非常丰富，能够满足不同场景的大数据处理需求。作为目前主流的大数据处理技术，市场上很多公司的大数据业务都是基于Hadoop开展，而且对很多场景已经具有非常成熟的解决方案。作为开发人员掌握Hadoop及其生态内框架的开发技术，就是进入大数据领域的必经之路。下面详细介绍一下，学习Hadoop开发技术的路线图。Hadoop本身是用java开发的，所以对java的支持性非常
数据工程师金牛·2019-04-23 20:00
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他