E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop大数据
日志
hadoop大数据
分析项目:hive以及hbase是如何入库以及代码实现
apache日志
hadoop大数据
分析项目:数据时如何导入hbase与hive的到了这里项目的基本核心功能已经完成。这里介绍一下hive以及hbase是如何入库以及代码实现。
卡搜偶
·
2018-05-14 14:34
2018-04-23
对于我们新手入门学习
hadoop大数据
存储的朋友来说,首先了解一下云计算和云计算技术是有必要的。
JACKbayue
·
2018-04-23 22:46
dk
hadoop大数据
处理架构详解
这里就通过大快DKhadoop为大家详细介绍一下
hadoop大数据
平台架构内容。目前国内的商业发行版hadoop除了大快DKhadoop以外还有像华为云等。虽然发行方不同,但
adnb34g
·
2018-04-08 16:17
hadoop
大数据
处理架构
hadoop
hadoop大数据
平台架构之DKhadoop详解
这里就通过大快DKhadoop为大家详细介绍一下
hadoop大数据
平台架构内容。目前国内的商业发行版hadoop除了大快DKhadoop以外还有像华为云等。虽然发行方不同,但
adnb34g
·
2018-04-08 15:31
hadoop
Hadoop大数据
分析及数据挖掘 读书笔记(1)
前言阅读时间:20180318-20180322来源:Kindle数据挖掘基础数据挖掘的概念:从数据中“淘金”,从大量数据(文本)中挖掘出隐含的、未知的、对决策有潜在的关系、模型和趋势,并用这些知识和规则建立用于决策支持的模型,提供预测性决策支持的方法、工具和过程,这就是数据挖掘。它是利用各种分析工具在大量数据中寻找其规律和发现模型与数据之间关系的过程,是统计学、数据技术和人工职能技术的综合。数据
蓝坠星
·
2018-03-23 15:13
大数据
Hadoop免费大数据平台CDH、HDP
1)免费大数据平台简介2)CDH有两个类型的平台(大数据套装、单机版虚拟机镜像)(1)大数据套装:由各个
Hadoop大数据
生态组件组成,只需简单配置就可部署。
houfengfei668
·
2018-03-19 23:32
Hadoop
1年开发经验,2.5万月薪的1个捷径,80%程序员都不知道
目前,普通的
Hadoop大数据
工程师起薪也在25K/月,数据挖掘、机器学习、人工智能相关人才薪资更高。麦肯锡公司报告指出,大数据、人工智能方面人才紧缺,需求量激增。
爱编程_
·
2018-03-19 00:00
学习
hadoop大数据
基础框架需要什么基础
什么是大数据?进入本世纪以来,尤其是2010年之后,随着互联网特别是移动互联网的发展,数据的增长呈爆炸趋势,已经很难估计全世界的电子设备中存储的数据到底有多少,描述数据系统的数据量的计量单位从MB(1MB大约等于一百万字节)、GB(1024MB)、TB(1024GB),一直向上攀升,目前,PB(等于1024TB)级的数据系统已经很常见,随着移动个人数据、社交网站、科学计算、证券交易、网站日志、传感
adnb34g
·
2018-03-14 10:28
2018想要薪资翻倍?你需要掌握这个技能
近期很多人都在说想学习
hadoop大数据
,马云也说了:“未来最大的资源就是数据,不参与大数据十年后一定会后悔!”
运维派V
·
2018-03-08 00:00
Embulk开门篇
笔者之前在一些博客中给大家介绍过Linkedin开源的Gobblin,它也是一个通用的数据抽取框架,可以将很多数据源(大家可以访问http://gobblin.apache.org,查看到具体的数据源有哪些,有动画演示)抽取到
Hadoop
Free World
·
2018-03-06 23:16
Embulk
Hadoop大数据
框架研究(1)——基础环境准备
近期对hadoop生态的大数据框架进行了实际的部署测试,并结合ArcGIS平台的矢量大数据分析产品进行空间数据挖掘分析。本系列博客将进行详细的梳理、归纳和总结,以便相互交流学习。测试环境及软件版本:操作系统(虚拟机环境):CentOS-7-x86_64-DVD-1511JDK:jdk-8u151-linux-x64.tar.gzHadoop:hadoop-2.7.5.tar.gzSpark:spa
gisxy
·
2018-02-22 10:11
Hadoop
开源大数据周刊-第20期
摘要:关注:对话Hadoop之父、E-MapReduce助力数据仓库建设、携程基于
Hadoop大数据
实践、一号店基于Hadoop的推荐系统、Hive性能优化阿里云E-Mapreduce动态E-Mapreduce
aliyun32183
·
2018-02-05 10:55
云栖社区开源大数据周刊
hadoop yarn hdfs 原理和联系
hadoop大数据
工程师/hadoop工程师目的:高效的存储、处理这些海量、多种类、高速流动的数据hadoop来源google03~06年的三篇论文hadoop利用分而治之的朴素思想为大数据处理提供了一整套新的解决方案
M糯米团子Q
·
2018-01-31 10:54
搭建
Hadoop大数据
处理-环境
由于hadoop需要运行在Linux环境中,而且是分布式的,因此个人学习只能装虚拟机,本文都以VMwareWorkstation为准,安装CentOS7,具体的安装此处不作过多介绍,只作需要用到的知识介绍。VMware的安装,装好一个虚拟机后利用复制虚拟机的方式创建后面几个虚拟机,省时省力,需要注意的是需要修改每个虚拟机的IP与主机名。所有虚拟机采用NAT模式上网,而且要保证与物理主机的IP互相能
guangyinglanshan
·
2018-01-16 14:06
大数据
2018年最新
Hadoop大数据
开发学习路线图
Hadoop发展到今天家族产品已经非常丰富,能够满足不同场景的大数据处理需求。作为目前主流的大数据处理技术,市场上很多公司的大数据业务都是基于Hadoop开展,而且对很多场景已经具有非常成熟的解决方案。作为开发人员掌握Hadoop及其生态内框架的开发技术,就是进入大数据领域的必经之路。下面详细介绍一下,学习Hadoop开发技术的路线图。Hadoop本身是用java开发的,所以对java的支持性非常
八斗学院
·
2018-01-11 14:38
【大数据】2008年美国每月最低气温
Hadoop大数据
分析
2008年美国每个月最低气温分析1.点击https://pan.baidu.com/s/1c1MPnSs下载2008.txt文件(这里是将2008.txt文件放在E盘中,跟Hadoop文件同处于一个盘)2.在命令提示符下Hadoop-2.7.3\sbin中输入start-all.cmd开启Hadoop服务3.准备输入、输出文件夹,在HDFS文件系统中创建。Hadoop中所有的数据都必须放在HDFS
符智生
·
2018-01-08 11:50
大数据
Hadoop视频大汇总
一慕课网1.
Hadoop大数据
平台架构与实践--基础篇(已学习)链接:https://www.imooc.com/learn/3912.Hadoop进阶(已学习)链接:https://www.imooc.com
cakincqm
·
2017-12-22 22:24
Hadoop
TiDB / TiSpark 在易果集团实时数仓中的创新实践
项目背景目前企业大多数的数据分析场景的解决方案底层都是围绕
Hadoop大数据
生态展开的,常见的如HDFS+Hive+Spark+Presto+Kylin,在易果集团,我们初期也是采取这种思路,但是随着业务规模的快速增长和需求的不断变化
tidb_pingcap
·
2017-12-21 10:21
TiDB
hadoop
spark
Hadoop大数据
处理技术综合实验
实验任务这篇博客是我们一个学期作业,记录在这里,只是方便我写作和一些解决过程的记录。具体实验步骤参考:http://dblab.xmu.edu.cn/post/7499/任务如下:本地数据集上传到数据仓库Hive;Hive数据分析Hive、MySql、HBase数据互导;利用Python/R进行数据可视化分析;利用Apriori基于关联规则的购物篮分析。本地数据集上传到数据仓库Hive实验数据的准
一个追逐自我的程序员
·
2017-12-08 11:23
大数据
hadoop运维工程师必备命令
Hadoop大数据
平台运维工程师须掌握的基本命令1、列出所有HadoopShell支持的命令$bin/hadoopfs-help2、显示关于某个命令的详细信息$bin/hadoopfs-helpcommand-name3
dubendi
·
2017-11-23 14:42
如何为Hadoop集群选择正确的硬件
当我们想搭建一个
Hadoop大数据
平台时,碰到的第一个问题就是我们到底该如何选择硬件。虽然Hadoop被设计为可以运行在标准的X86硬件上,但在选择具体服务器配置的时候其实没那么简单。
javastart
·
2017-11-15 20:39
系统架构
大数据
不错的大数据课程体系(感谢某机构,希望不属于侵权)
2019独角兽企业重金招聘Python工程师标准>>>阶段一、大数据、云计算-
Hadoop大数据
开发技术课程一、大数据运维之Linux基础本部分是基础课程,帮大家进入大数据领域打好Linux基础,以便更好地学习
weixin_34088838
·
2017-11-13 23:00
大数据
scala
面试
Spark大数据计算引擎介绍
本文内容参考《Spark与
Hadoop大数据
分析》[美]文卡特·安卡姆著;《大数据架构详解从数据获取到深度学习》朱洁罗华霖著。大数据生态的两个主要部分是Hadoop软件框架和Spark内存级计算引擎。
Young_win
·
2017-11-08 21:12
如何让HDFS更高效之利用数据冷热度篇
在典型的
Hadoop大数据
平台中,人们使用HDFS作为存储服务的核心。而在大数据发展之初,最主要的应用场景仍然是离线批处理场景,对存储的需求追求的是吞吐量,HDF
LinuxProbe2016
·
2017-11-02 13:38
linuxprobe
如何让HDFS更高效之利用数据冷热度篇
在典型的
Hadoop大数据
平台中,人们使用HDFS作为存储服务的核心。而在大数据发展之初,最主要的应用场景仍然是离线批处理场景,对存储的需求追求的是吞吐量,HDF
LinuxProbe2016
·
2017-11-02 13:38
linuxprobe
hadoop大数据
概述
阅读更多一Hadoop的应用领域二Hadoop学习意义三goole大数据技术MapReduce、BigTable、GFS革命性的变化1:成本降低、能用PC机,就不用大型机和高端存储革命性地变化2:软件容错硬件故障视为常态,通过软件保证可靠性革命性地变化3:简化并行分布式计算,无须控制节点同步和数据交换但是,Google只发表了相关的技术论文,没有开放源代码一个模仿Google大数据技术的开源实现来
cakin24
·
2017-10-11 20:00
hadoop
大数据
Apache Kylin安装部署
0x01Kylin安装环境Kylin依赖于
hadoop大数据
平台,安装部署之前确认,大数据平台已经安装Hadoop,HBase,Hive。
ningwang
·
2017-10-11 00:00
apache
kylin
hadoop
【大数据系统架构师】学习目录
0.2Linux基础0.3MySQL基础1.Hadoop开发技术基础1.1.Linux基础1.2大数据基础Hadoop2.X1.3大数据仓库Hive1.4大数据协作框架1.5分布式数据库HBase2.
Hadoop
沙漏哟
·
2017-10-07 13:00
基于
Hadoop大数据
分析应用场景与实战
为了满足日益增长的业务变化,京东的京麦团队在京东大数据平台的基础上,采用了Hadoop等热门的开源大数据计算引擎,打造了一款为京东运营和产品提供决策性的数据类产品-北斗平台。一、Hadoop的应用业务分析大数据是不能用传统的计算技术处理的大型数据集的集合。它不是一个单一的技术或工具,而是涉及的业务和技术的许多领域。目前主流的三大分布式计算系统分别为Hadoop、Spark和Strom:Hadoop
csdn郭芮
·
2017-09-29 16:57
基于
Hadoop大数据
分析应用场景与实战
点击查看全文为了满足日益增长的业务变化,京东的京麦团队在京东大数据平台的基础上,采用了Hadoop等热门的开源大数据计算引擎,打造了一款为京东运营和产品提供决策性的数据类产品-北斗平台。一、Hadoop的应用业务分析大数据是不能用传统的计算技术处理的大型数据集的集合。它不是一个单一的技术或工具,而是涉及的业务和技术的许多领域。目前主流的三大分布式计算系统分别为:Hadoop、Spark和Strom
Mc顽固份子
·
2017-09-28 14:05
大数据
hadoop
apache
storm
c语言
大数据
阿里云
大数据领域三个大的技术方向资料
大数据领域三个大的技术方向:1、
Hadoop大数据
开发方向2、数据挖掘、数据分析&机器学习方向3、大数据运维&云计算方向大数据学习什么Python:Python的排名从去年开始就借助人工智能持续上升,现在它已经成为了语言排行第一名
ejinxian
·
2017-09-27 09:12
架构设计
技术文章 | 零基础搭建
Hadoop大数据
处理-环境
本文来源于阿里云-云栖社区,原文点击这里。由于Hadoop需要运行在Linux环境中,而且是分布式的,因此个人学习只能装虚拟机,本文都以VMwareWorkstation为准,安装CentOS7,具体的安装此处不作过多介绍,只作需要用到的知识介绍。VMware的安装,装好一个虚拟机后利用复制虚拟机的方式创建后面几个虚拟机,省时省力,需要注意的是需要修改每个虚拟机的IP与主机名。所有虚拟机采用NAT
Mr_zebra
·
2017-08-29 13:44
技术文章
大数据云计算学习路线
大数据开发篇项目部分大数据之阿里云企业级认证篇仅限面授与直播学员大数据之Java企业级核心技术篇大数据之PB级别网站性能优化篇项目部分大数据之数据挖掘分析机器学习篇项目部分大数据之运维云计算平台篇项目部分阶段一大数据云计算-
Hadoop
AI李俊超
·
2017-08-17 22:28
大数据
【福利】3980元的
Hadoop大数据
视频教程限量领取!!!
近期很多人都在说想学习
hadoop大数据
,马云也说了:“未来最大的资源就是数据,不参与大数据十年后一定会后悔!”
java一日一条
·
2017-08-15 17:00
如何进入大数据领域
希望能帮到大家
Hadoop大数据
学习线路图入门知识对于我们新手入门学习hadoop的朋友来说,首先了解一下云计算和云计算技术是有必要的。下面先是介绍
IQYOU1
·
2017-06-18 16:26
0基础搭建
Hadoop大数据
处理-集群安装
经过一系列的前期环境准备,现在可以开始Hadoop的安装了,在这里去apache官网下载2.7.3的版本http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz不需要下载最新的3.0版本,与后续Hive最新版本有冲突,不知道是不是自己的打开方式不对。hadoop有三种运行方式:单机、伪分布
欢醉
·
2017-05-10 09:11
Hadoop大数据
平台入门——第一个小程序WordCount
首先我们需要安装Hadoop,并对Hadoop进行配置。这里我们就不赘述了,详情看这篇博客:Hadoop安装配置值得注意的是,配置的时候,需要给Hadoop权限才能正确执行。最简单的办法就是讲hadoop以及其目录下所有文件都归在一个组中。chown-Rhadoop:hadoophadoop文件夹就可以了。配置完成之后,我们我们还需要什么?1.需要在HDFS中保存有文件。2.需要一个程序jar包,
a60782885
·
2017-05-07 10:30
Hadoop
大数据
Hadoop大数据
平台入门——HDFS和MapReduce
随着硬件水平的不断提高,需要处理数据的大小也越来越大。大家都知道,现在大数据有多火爆,都认为21世纪是大数据的世纪。当然我也想打上时代的便车。所以今天来学习一下大数据存储和处理。随着数据的不断变大,数据的处理就出现了瓶颈:存储容量,读写速率,计算效率等等。google不愧是走在世界前列的大公司,为了处理大数据,google提出了大数据技术,MapReduce,BigTable和GFS。这个技术给大
a60782885
·
2017-05-06 21:57
Hadoop
大数据
hadoop,大数据面试都会问哪些问题
转载自:
hadoop大数据
笔试面试都会问哪些问题1、hdfs原理,以及各个模块的职责2、mr的工作原理3、map方法是如何调用reduce方法的4、shell如何判断文件是否存在,如果不存在该如何处理?
SCGH_Fx
·
2017-05-03 17:00
hadoop
hive
hbase
0基础搭建
Hadoop大数据
处理-初识
在互联网的世界中数据都是以TB、PB的数量级来增加的,特别是像BAT光每天的日志文件一个盘都不够,更何况是还要基于这些数据进行分析挖掘,更甚者还要实时进行数据分析,学习,如双十一淘宝的交易量的实时展示。大数据什么叫大?4个特征:体量化Volume,就是量大。多样化Variety,可能是结构型的数据,也可能是非结构行的文本,图片,视频,语音,日志,邮件等快速化Velocity,产生快,处理也需要快。
吴金瑞
·
2017-05-03 13:04
服务器
计算机
互联网
新课程上线:Hadoop 2.x(六) 使用Avro实现序列化
//edu.51cto.com/pack/view/id-806.html赵强老师博客地址:http://collen7788.blog.51cto.com/Avro是一个通用的序列化数据结构形式,在
Hadoop
collen7788
·
2017-04-29 17:23
Hadoop
大数据
Avro
Hadoop大数据
平台架构与实践 | hadoop概述与安装
e>
Hadoop大数据
平台架构与实践--基础篇目录内容概要Hadoop前生Hadoop的功能与优势Hadoop的生态系统和版本Hadoop安装内容概要1、大数据技术的相关概念2、Hadoop的架构和运行机制
拾壹北
·
2017-04-28 13:06
2017年3月大数据精华文章集锦
大数据在金融风控领域的思考与探索Hadoop生态安全管理框架ApacheRanger升级为顶级项目干货跻身数据科学领域的五条职业规划道路看看你最适合走上哪条数据科学行业职业之路优秀数据分析团队应该做好这些事情HadoopDIY
Hadoop
司小幽
·
2017-04-10 21:25
大数据学习笔记
Apache
Spark学习笔记
2017年3月大数据精华文章集锦
大数据在金融风控领域的思考与探索Hadoop生态安全管理框架ApacheRanger升级为顶级项目干货跻身数据科学领域的五条职业规划道路看看你最适合走上哪条数据科学行业职业之路优秀数据分析团队应该做好这些事情HadoopDIY
Hadoop
BlackEnn
·
2017-04-10 21:00
spark
大数据
HDP 2.5安装搭建部署
前言HDP全称HortonworksDataPlatform(HDP),是Hortomworks公司提供的一个大数据平台,它整合了开源hadoop生态圈的大部分组件,能够很简单便捷的帮助我们搭建起
Hadoop
风格lu
·
2017-04-07 00:27
大数据分布式
ambari 搭建
hadoop大数据
平台系列4-配置ambari-server
ambari搭建
hadoop大数据
平台系列4-配置ambari-server,分为三部分:官网:https://docs.hortonworks.com/HDPDocuments/Ambari-2.4.2.0
TIMES2020
·
2017-04-04 17:34
hadoop
hbase
ambari
大数据-hadoop生态圈
ambari 搭建
hadoop大数据
平台系列3-搭建本地仓库
ambari搭建
hadoop大数据
平台系列3-搭建本地仓库1.官方参考https://docs.hortonworks.com/HDPDocuments/Ambari-2.4.2.0/bk_ambari-installation
TIMES2020
·
2017-04-04 17:13
local
repository
ambari
大数据-hadoop生态圈
ambari 搭建
hadoop大数据
平台系列2-客户机配置
本案例搭建的环境介绍如下:Ambari2.4.2+HDP2.5(hadoop2.7;hive1.2;Tez;Spark2.0)+jdk1.8.25+centos7.0,这里首先要关注些注意事项,至于为什么会一一说明。第一部分:注意事项:版本必须低于7.2selinux必须关闭firewalld必须关闭127.0.0.1hosts该条记录删除本地仓库必须搭建root账户ssh启用指定hdfsdata
TIMES2020
·
2017-04-04 17:00
hadoop
hbase
ambari
大数据-hadoop生态圈
ambari 搭建
hadoop大数据
平台系列1-概述
最近要为第三方搭建一套大数据平台,中间先进行了虚拟机版本,测试通过后,进行了物理机版本的生产环境,网上关于ambari的文章并不多,但好在ambari官方文档质量略高,社区比较活跃,便整理该系列的文档,将埋掉的坑抛出来,帮助小伙伴们更加快速的搭建自己的hadoop平台。分三个部分:1.为什么选择ambari来搭建说到ambari,主要的对手cloudreamanager,大家比较熟悉,至于各自长短
TIMES2020
·
2017-04-04 16:36
hadoop
hbase
ambari
大数据-hadoop生态圈
Hadoop入门
慕课网《
Hadoop大数据
平台架构与实践--基础篇》学习笔记1.初识Hadoop历史Google三驾马车:MapReduce,BigTable,GFS带来了革命性的变化成本降低,可以用PC机软件容错,可以使硬件故障视为常态简化并行分布式计算
C就要毕业了
·
2017-04-01 23:35
上一页
8
9
10
11
12
13
14
15
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他