***大数据框架***

scala随笔之入门篇（一）

运行在JVM之上scala和kotlin、groovy、clojure一样是多范式编程语言，支持函数式编程scala常用领域是并发编程大数据框架spark是用scala实现的，play框架支持scalascala
freexyxyz·2018-10-18 15:37

简述大数据实时处理框架

此篇文章简述利用大数据框架，实时处理数据的流程与相关框架的介绍，主要包括：数据实时处理的概念和意义数据实时处理能做什么数据实时处理架构简介数据实时处理代码演示数据实时处理的概念和意义什么是数据实时处理呢
Java大生·2018-09-18 15:25

简述大数据实时处理框架

此篇文章简述利用大数据框架，实时处理数据的流程与相关框架的介绍，主要包括：数据实时处理的概念和意义数据实时处理能做什么数据实时处理架构简介数据实时处理代码演示数据实时处理的概念和意义什么是数据实时处理呢
跨过山河大海·2018-09-18 15:38

大数据框架hadoop服务角色介绍

翻了一下最近一段时间写的分享，DKHadoop发行版本下载、安装、运行环境部署等相关内容几乎都已经写了一遍了。虽然有的地方可能写的不是很详细，个人理解水平有限还请见谅吧！我记得在写DKHadoop运行环境部署的时候，遗漏了hadoop服务角色的内容，本篇特地补上这部分内容吧，不然总觉得不舒服。要在集群中运行DKHadoop服务，需要指定集群中的一个或多个节点执行该服务的特定功能，角色分配是必须的，
adnb34g·2018-09-11 08:55

大数据入门之Hadoop生态系统(1) -- Hadoop概述

大数据包括了以Hadoop和Spark为代表的基础大数据框架。还包括了数据挖掘、数据分析、实时数据处理、离线数据处理、利用机器学习算法进行预测分析等技术。好了，大体了解了大数据的概念之后，我
Kiku_xq·2018-08-19 14:34

Hadoop与Spark等大数据框架介绍

分类目录：《大数据与云计算》总目录海量数据的存储问题很早就已经出现了，一些行业或者部门因为历史的积累，数据量也达到了一定的级别。很早以前，当一台电脑无法存储这么庞大的数据时，采用的解决方案是使用NFS(网络文件系统)将数据分开存储。但是这种方法无法充分利用多台计算机同时进行分析数据。一个实际的需求场景：日志分析日志分析是对日志中的每一个用户的流量进行汇总求和。对于一个日志文件，如果只有这么几行数据
洪远·2018-08-09 00:00

大数据笔记

介绍主要分为以下几个部分，首先是大数据的概述，会介绍各种类型的大数据框架和相应的技术，其次是spark的笔记23号开始，在这个目录里面加入大数据算法的内容大数据原理大数据笔记（一）：HDFSIntellijidea
Ding_xiaofei·2018-08-08 00:00

linux系统下hadoop的安装

hadoop3.5.1解压hadoop3.5.2修改配置文件3.5.3启动hadoop3.5.4通过浏览器访问hadoophadoop简介：Hadoop是Apache提供的开源的海量数据离线处理框架，是最知名的大数据框架之一
饥饿的石头HWL·2018-07-21 11:03

网络云盘项目实战-王建立-专题视频课程

网络云盘项目实战—94人已学习课程介绍本课程通过项目实战的方式整合了Java框架springmvc/spring和大数据框架hdfs/hbase。主要包括用户管理、网盘管理、关注用户及分享管理模块。
java大数据编程·2018-07-04 15:20

菜鸟的Hadoop快速入门

大数据包括了以Hadoop和Spark为代表的基础大数据框架，还包括实时数据处理，离线数据处理，数据分析，数据挖掘和用机器算法进行预测分析等技术。
汇巨科技·2018-07-03 11:17

大数据都学什么？（初学者）

一、学习大数据需要的基础javaSE，EE(SSM)90%的大数据框架都是java写的MySQLSQLonHadoopLinux大数据的框架安装在Linux操作系统上二、需要学什么第一方面：大数据离线分析一般处理
IT_laobai·2018-06-11 17:33

什么是Hadoop

大数据框架按功能来划分海量数据存储：HDFS、Hive（本质存储数据还是HDFS）、Hbase、ES（ElasticSearch）海量数据分析MapReduce、Spark、SQL最原始的Hadoop框架数据存储
一只行走在闹市的猪·2018-06-10 15:47

大数据是什么？学大数据要掌握的基础是？（简单的介绍）

一、学习大数据需要的基础javaSE，EE(SSM)90%的大数据框架都是java写的如：MongoDB--最受欢迎的，跨平台的，面向文档的数据库。
IT_laobai·2018-06-09 08:37

大数据？这些你了解吗？

一.学习大数据的基础首先，要知道的是90%的大数据框架都是用Java写的，所以说要掌握JavaSE，EE(SSM);那么大数据是对数据的处理和分析，所以SQL语句是要熟练掌握的(MySQLSQLonHadoop
ζMonster°·2018-06-08 21:19

平台搭建---大数据框架---RPC 框架

来源1来源2RPC，全称为RemoteProcedureCall，即远程过程调用，它是一个计算机通信协议。它允许像调用本地服务一样调用远程服务。它可以有不同的实现方式。如RMI(远程方法调用)、Hessian、Httpinvoker等。另外，RPC是与语言无关的。本地过程调用RPC就是要像调用本地的函数一样去调远程函数。在研究RPC前，我们先看看本地调用是怎么调的。假设我们要调用函数Multipl
diggerTT·2018-06-08 20:55

要想月薪达到5万，要必备以下9项技能,阿里前大数据工程师说的

目前很火，数据源头，各种炫酷新技术，搭建hadoop、Hive、Spark、Kylin、Druid、Beam~，前提是你要懂Java，很多平台都是用Java开发的.这里面要解决的是实时、近实时和离线的大数据框架如何搭建
鲸落大叔·2018-06-03 20:36

2018-05-03 开胃学习Data系列 - Amazon EMR

AmazonEMR是一个托管集群平台，可简化在AWS上运行大数据框架(如ApacheHadoop和ApacheSpark)以处理和分析海量数据的操作。
Kaiweio·2018-05-31 07:04

大数据框架——pig学习权威指南

应用场景Pig并不适合所有的数据处理任务，和MapReduce一样，它是为数据批处理而设计的，如果想执行的查询只涉及一个大型数据集的一小部分数据，Pig的实现不会很好，因为它要扫描整个数据集或其中很大一部分。随着新版本发布，Pig的表现和原生MapRedece程序差距越来越小，因为Pig的开发团队使用了复杂、精巧的算法来实现Pig的关系操作。除非你愿意花大量时间来优化JavaMapReduce程序
宁哥说·2018-05-27 22:02

Docker 在分布式和大数据框架中的应用

简介Docker容器技术也是一种虚拟化技术，相比KVM，VMWare虚拟机，Docker实现了一种轻量的虚拟化技术，具有很好的性能和安全性。基于Docker可以实现CaaS（ContainersasaService）微服务架构，一般一个应用程序会提供多个服务，包括内部服务和外部服务，将所有的服务单独用容器包装起来，分别部署和运行，这样简化了整个应用程序维护的复杂度，同时解耦了模块之间的耦合性，便于
AlbenXie·2018-05-24 11:43

大数据知识(五)：Hadoop基础HDFS详解

在大数据中的应用：为大数据框架提供储存数据的服务重点概念：文件分块、副本存放、元数据。HDFS的概念和特性首先，它是一个文件系统，用于存储文件，通过统一的命名空间——目录树来定位文件。
Oeljeklaus·2018-05-23 22:29

阿里云 EMR最佳实践和容灾

[阿里云EMR（ElasticMapReduce）是一项Web服务，简化了大数据处理，提供的大数据框架可以让您轻松、高速、经济、安全、稳定地处理大数据，满足如日志分析、数据仓库、商业智能、机器学习、科学模拟等业务需求
云栖技术·2018-05-16 14:42

Hadoop、Spark等5种大数据框架对比，你的项目该用哪种？

数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非易失存储中读取的数据，或处理刚刚摄入到系统中的数据。数据的计算则是指从大量单一数据点中提取信息
Alukar·2018-04-28 19:58

第一讲 spark简介

本章要点：什么是sparkSpark生态圈RDD编程模型1.1什么是SparkApacheSpark是一个由加州大学伯克利分校开发的一站式通用大数据框架，是围绕速度、易用性和复杂分析构建的大数据处理框架
农民工进城·2018-04-19 20:34

Spark和Hadoop的异同

解决问题的层面不一样首先，Hadoop和ApacheSpark两者都是大数据框架，但是各自存在的目的不尽相同。
菜鸟级的IT之路·2018-04-17 23:17

hbase 表的设计与其它大数据框架的集成

一：hbase表的设计管理二：hbasehive集成三：sqoop与hbase的集成四：hbase与hue集成五：hbase表的修复一：hbase表的设计管理1.1hbase的shell命令1.1.1创建一个命名空间在新版本的hbase中表是存储在命名空间当中，默认的命名空间是default创建一个命名空间：create_namespace'ns2'查看有多少个命名空间：list_namespac
flyfish225·2018-04-12 16:56

大数据框架—Flink与Beam

Flink概述Flink是Apache的一个顶级项目，ApacheFlink是一个开源的分布式流处理和批处理系统。Flink的核心是在数据流上提供数据分发、通信、具备容错的分布式计算。同时，Flink在流处理引擎上构建了批处理引擎，原生支持了迭代计算、内存管理和程序优化。现有的开源计算方案，会把流处理和批处理作为两种不同的应用类型，因为它们所提供的SLA（Service-Level-Aggreem
ZeroOne01·2018-04-09 20:26

平台搭建---大数据框架---大数据组件的安装及部署

大数据组件图解所有组件的安装最好都在自己操作的用户下，以免影响root用户下的文件，因为安装如果出错，可能无法还原这些文件,而且存在安全隐患；但有些组件如mysql必须用root用户来安装，因为涉及到修改root用户权限的问题，root用户安装可以避免因一些权限问题导致中间的安装不完全，root用户安装的软件其他用户可读可执行但无法修改。如果安装的软件涉及到写文件，比如第一次开机，会在配置的某个目
diggerTT·2018-04-01 23:23

Centos下部署Hadoop2.6.5

Centos下部署Hadoop2.6.5一、Hadoop简介说到Hadoop，就必须先说说大数据，我们知道，大数据包括了以Hadoop和Spark为代表的基础大数据框架，其中又包括了实时数据处理、离线数据处理
gan_ke·2018-03-21 00:14

大数据框架资源汇集

Scala安装版本：2.11.12环境需要：Java8JDK下载地址：https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz使用帮助：点击查看Spark安装版本：Spark2.3.0环境需要：Java8+,Python2.7+/3.4+andR3.1+.Scala(2.11.x).下载地址：https://www.apache
困境囚徒·2018-03-07 14:30

Hadoop大数据框架研究（1）——基础环境准备

近期对hadoop生态的大数据框架进行了实际的部署测试，并结合ArcGIS平台的矢量大数据分析产品进行空间数据挖掘分析。本系列博客将进行详细的梳理、归纳和总结，以便相互交流学习。
gisxy·2018-02-22 10:11

新公司-心得

之前一直都是在分享技术,专心写blog.研究各种主流的大数据框架.但是换了一家新公司以后,发现之前用的技术都用不上.也就一直没有更新.其实在2018我最开心的事情就是来到一个自己满意的公司,做着自己喜欢的事情
R角落里·2018-02-07 11:33

Hadoop与Spark的区别

有以下四个不同：1.解决问题的层面不一样Hadoop和ApacheSpark两者都是大数据框架，但是各自存在的目的不尽相同。
DanyHgc·2017-12-22 17:43

Hadoop和Saprk的异同

解决问题的层面不一样首先Hadoop和Spark两者都是大数据框架，而Hadoop实质上更多是一个分布式数据基础设施：它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，除了HDFS分布式文件系统以外
gamedevv·2017-12-21 17:07

秒懂Hadoop和Spark联系与区别

解决问题的层面不一样首先，Hadoop和ApacheSpark两者都是大数据框架，但是各自存在的目的不尽相同。
大漠穷秋_·2017-12-11 10:29

大数据框架资源下载列表CDH5.13.0

http://archive.cloudera.com/cdh5/cdh/5/avro-1.7.6-cdh5.13.0.tar.gzhttp://archive.cloudera.com/cdh5/cdh/5/bigtop-jsvc-1.0.10-cdh5.13.0.tar.gzhttp://archive.cloudera.com/cdh5/cdh/5/bigtop-tomcat-6.0.53-
Albert陈凯·2017-11-21 00:21

大数据框架Hadoop主要模块介绍

本文涉及到的所有模块，都是属于Apache组织，不包括其他第三方的模块。核心模块：HadoopCommon:包括Hadoop常用的工具类，由原来的Hadoopcore部分更名而来。主要包括系统配置工具Configuration、远程过程调用RPC、序列化机制和Hadoop抽象文件系统FileSystem等。它们为在通用硬件上搭建云计算环境提供基本的服务，并为运行在该平台上的软件开发提供了所需的AP
巴黎圣母小院·2017-08-24 16:29

Hadoop、Spark、Samza等5种大数据框架对比

编辑：于占胜组别：研0组【嵌牛导语】本文将介绍并对比5种主流大数据框架，助你更深层次了解这些框架，从而在项目中更好地使用它们。
于占胜·2017-08-07 11:24

Docker 在分布式和大数据框架中的应用

简介Docker容器技术也是一种虚拟化技术，相比KVM，VMWare虚拟机，Docker实现了一种轻量的虚拟化技术，具有很好的性能和安全性。基于Docker可以实现CaaS（ContainersasaService）微服务架构，一般一个应用程序会提供多个服务，包括内部服务和外部服务，将所有的服务单独用容器包装起来，分别部署和运行，这样简化了整个应用程序维护的复杂度，同时解耦了模块之间的耦合性，便于
AlbenXie·2017-06-20 02:53

浅谈大数据框架调用过程中用到的RPC

在大数据框架的调用中，在一个节点上经常会需要调用另一个节点上的程序，这时就需要用到RPC。RPC——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务。RPC采用客户机/服务器模式。
蜗牛0·2017-04-09 23:49

30分钟概览Spark Streaming 实时计算

与其他大数据框架Storm、Flink一样，SparkStrea
xwc35047·2017-02-18 17:49

[大数据]大数据框架Hadoop和Spark的异同

转载地址:http://mp.weixin.qq.com/s?__biz=MjM5ODE1NDYyMA==&mid=2653381212&idx=2&sn=be85119297e51e8764e1e8ac8b189680&scene=21#wechat_redirect谈到大数据，相信大家对Hadoop和ApacheSpark这两个名字并不陌生。但我们往往对它们的理解只是停留在字面上，并没有对它们
BaiHuaXiu123·2017-01-19 10:00

挨踢部落直播课堂第一期:起航2017——拥抱大数据

1.大数据框架结构和全景概览；2.企业大数据场景和不同数据源整合利用；3.大数据学习与高薪求职；一、大数据框架结构和全景概览似乎一夜之间，大数据(BigData)变成一个IT行业中最时髦的词汇。
51CTO编辑部·2017-01-18 09:34

2分钟读懂Hadoop和Spark的异同

谈到大数据框架，现在最火的就是Ha
葡萄喃喃呓语·2016-12-10 08:16

Hadoop、Spark等5种大数据框架对比，你的项目该用哪种？

Hadoop、Spark等5种大数据框架对比，你的项目该用哪种？
小溪·2016-11-23 08:48

2分钟读懂大数据框架Hadoop和Spark的异同

解决问题的层面不一样首先，Hadoop和ApacheSpark两者都是大数据框架，但是各自存在的目的不尽相同。
FishBear_move_on·2016-10-08 16:30

大数据架构师之路-大数据框架大全

大数据架构师之路-大数据框架大全服务器脚本系列:�1.shell2.python3.perl4.ruby数据仓库系列:�1.hive2.sparksql3.ClouderaImpala4.kylin介绍
葡萄喃喃呓语·2016-09-25 19:11

spark VS Hadoop 两大大数据分析系统深度解读

推荐两大应用最广泛、国人认知最多的Apache开源大数据框架系统：sparkHadoopSpark：速度快、易于使用Spark以性能见长，但是它也因易用性而小有名气，原因是它随带易于使用的API，支持
cloudwater·2016-06-17 14:37

spark VS Hadoop 两大大数据分析系统深度解读

推荐两大应用最广泛、国人认知最多的Apache开源大数据框架系统：sparkHadoopSpark：速度快、易于使用Spark以性能见长，但是它也因易用性而小有名气，原因是它随带易于使用的API，支持
cloudwater·2016-06-17 14:37

spark VS Hadoop 两大大数据分析系统深度解读

推荐两大应用最广泛、国人认知最多的Apache开源大数据框架系统：sparkHadoopSpark：速度快、易于使用Spark以性能见长，但是它也因易用性而小有名气，原因是它随带易于使用的API，支持
景龙Edward·2016-06-16 11:29

[转]数据从哪里来、应去服务谁，看完这个才知道！

三篇文章主题分别是：不一样的大数据框架、不一样的大数据采集平台
Sting·2016-06-04 00:52
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他