***大数据框架***

2018-05-16

阿里云EMR最佳实践和容灾阿里云EMR（ElasticMapReduce）是一项Web服务，简化了大数据处理，提供的大数据框架可以让您轻松、高速、经济、安全、稳定地处理大数据，满足如日志分析、数据仓库、
玲小喵·2019-12-15 04:03

从Hadoop框架讨论大数据生态

之后的大数据框架比如Hbase,Hive,Spark都依赖于Hadoop。主要解决海量数据的存储和海量数据的计算问题。广义上讲Hadoop通常指一个更为广泛的概念-Hadoop生态圈。
BlueSkyBlue·2019-12-01 18:12

Hadoop、Spark等5种大数据框架对比，你的项目该用哪种？

Hadoop、Spark等5种大数据框架对比，你的项目该用哪种？大家还在纠结用哪个框架合适？
木迪_2a4e·2019-11-30 23:55

一、zookeeper的工作机制

的一个子项目，主要是用来解决分布式应用中遇到的一下数据管理问题，如集群管理，统一命名服务，分布式配置管理，分布式消息队列，分布式锁，分布式通知协调等Zookeeper没有具体的功能，他在大数据中的作用是协调大数据框架的
heypon·2019-11-28 10:44

学了大数据能干啥

今天这篇文章我结合我自己的经历，按照数据处理的上下游关系，简单划分目前大数据的职位：大数据框架开发工程师：主要开发分布式计算、存储框架，这个岗位主要在大公司有应用，尤其是云计算业务，中小企业基本上应用云服务或者开源的框架
渡码·2019-11-11 13:00

Netty框架简介

Netty框架介绍早已听说Netty牛逼了，最近有时间学习学习，官网地址：https://netty.io/，Java系的多种服务器/大数据框架，都离不开Netty做出的贡献，例如dubbo，elasticsearch
Touch&·2019-11-06 22:47

大数据学习笔记——Linux完整部署篇(实操部分)

Linux环境搭建完整操作流程(包含mysql的安装步骤)从现在开始，就正式进入到大数据学习的前置工作了，即Linux的学习以及安装，作为运行大数据框架的基础环境，Linux操作系统的重要性自然不言而喻
终极菜鸡·2019-11-02 15:00

22##大数据职位所需的数据场技能

如果数据量比较大，可以使用Hadoop等大数据框架处理。在深入挖掘上，可用Python或者R语言进行编程，应用以概率统计为支撑的机器学习算法。摘要：除了报表统计外，还需要对数据的
葡萄喃喃呓语·2019-10-31 13:13

01_Hadoop

学习目标：第一天接触具体的大数据框架，总目标是让学习者建立起大数据和分布式的宏观概念1、理解hadoop是什么，用于做什么，大体上怎么用2、理解hive是什么，用于做什么，大体上怎么用3、通过一个案例的演示说明
对方不想理你并向你抛出一个异常·2019-10-30 20:55

深刻自省：我是一个什么样的人

我对外号称DATA小王子我自认自己精通linux，shell，python等开发语言精通mysql，oracle，pg等数据库和数据库语言精通Hadoop，阿里云等大数据框架和其各个生态产品精通DataX
Mochou_liqb·2019-10-29 09:03

centos7搭建flink-1.7.2-bin-hadoop27-scala_2.12 yarn模式集群

但是相对来说，因为yarn能够同时支持hadoopmapreduce和spark等大数据框架，因此普遍使用yarn模式来管理集群资源。因此这里主要对yarn模式进行介绍
ASN_forever·2019-10-20 00:22

HIVE 优化浅谈

引言随着商务/运营同学执行的HQL越来越多，整体HIVE执行效率变低，本文从HIVE切入，分析HQL面临的问题和待优化部分，结合其他大数据框架来解决实际问题。
·2019-09-06 00:00

企业级大数据平台

Hadoop发行版本：Apache、CDH（tar包、rpm包、parcel包，必须由clouderamanager进行管理）、HDP注意：大数据框架内禁用IPV6；同时要修改用户的最大进程数、单个进程打开的最大文件数量
perfectgum·2019-09-03 11:59

数据分析实战之开篇闲谈

数据分析伴随着人工智能，大数据的技术在近些年真的火起来了，python，机器学习，神经网络等专业术语也跟着火了，那么学好数据分析，我是学R语言还是学python呢，我要不要学hadoop等大数据框架呢？
数据分析杂杂念·2019-08-06 19:33

菜鸟的Hadoop快速入门

大数据包括了以Hadoop和Spark为代表的基础大数据框架，还包括实时数据处理，离线数据处理，数据分析，数据挖掘和用机器算法进行预测分析等技术。
数澜·2019-08-02 14:44

菜鸟的Hadoop快速入门

大数据包括了以Hadoop和Spark为代表的基础大数据框架，还包括实时数据处理，离线数据处理，数据分析，数据挖掘和用机器算法进行预测分析等技术。
数澜科技·2019-08-02 00:00

Kubernetes集群概述/体系结构/相关核心概念

Kubernetes是谷歌严格保密十几年的秘密武器---Borg的一个开源版本，据说在GG员工都签署了保密协议，即使离职也不能泄露机密（业界大数据框架：Hadoop，也是受GG公开文献启发GFS和BigTable
zjdevops·2019-07-13 20:01

Kubernetes集群概述/体系结构/相关核心概念

Kubernetes是谷歌严格保密十几年的秘密武器---Borg的一个开源版本，据说在GG员工都签署了保密协议，即使离职也不能泄露机密（业界大数据框架：Hadoop，也是受GG公开文献启发GFS和BigTable
chaozi1975·2019-07-13 20:01

大数据框架Hive——Hive的优化：中间表、设置压缩格式、列式存储、列式存储格式结合压缩格式

Hive优化——中间表为什么使用中间表一张大的表中，常涉及几十到上百个字段但是分析数据时需要的数据，只有几个字段但如果此时分析原表，需要扫描的字段就太多了那么，可以将需要使用到的字段抽取出来，存放到另一张表中可以节省时间，可以理解为使用了更多的空间换取更快的执行速度使用中间表的方法方法一：抽取字段，建立新表该方法就是建立一张新的表，表中的字段是从大表中抽取出的部分字段分析时直接使用新建的表而且使用
无名一小卒·2019-07-12 18:49

大数据框架hive——创建表，创建分区表；设置严格模式；建立外部表与分区表；hive与Mysql的区别；启动HiveServer2，使用Beeline客户端连接hive；使用fecthTask

hive常见创建表方式查看表结构详情：descformatted表名方式一：createtable指定字段信息方式二：CTAS通过子查询创建表createtableasSelect方式三：createlike创建类似表createtablenew_tablelikeold_table/viewHive分区表什么地方会使用到分区表首先，如果要每一个月统计一次一线城市与准一线城市的交通数据那么，如何存
无名一小卒·2019-07-09 21:28

[大数据]大数据体系整理

大数据体系整理开发语言分布式存储分布式计算数据仓库技术机器学习开发语言Java大数据框架的编写支持很多开发语言，但是Java在大数据开发方面有很大的优势，目前流行的大数据Hadoop框架、map-reduce
朱同学·2019-07-09 13:26

大数据框架Hive——使用hive—sql心得体会，查看sql执行计划，聚和函数使用注意事项

最近在使用hive进行数据处理因为hive使用的语句sql语句与mysql中基本类似但是还有很多不同的小点，也就是坑，需要注意sql语句的执行顺序在mysql中，sql语句的执行顺序是这样的fromwheregroupbyhivingorderbyselectlimit这个顺序有什么意义呢？要知道，在mysql的早期版本时，hiving中是无法使用select中的别名的但是在mysql的新版本中，
无名一小卒·2019-07-08 22:23

大数据框架——hive：设置日志文件存储位置；设置reduce task数量

hive中设置日志存储目录修改配置文件名称：具体位置为hive目录下的conf目录中mvhive-log4j.properties.templatehive-log4j.properties修改配置Hive中设置reduceTask数量思考：某个MapReduce程序，到底有多少个MapTask和reduceTaskmapTask：要处理的数据放在HDFS上，有多少个Block就有几个Maptas
无名一小卒·2019-07-08 22:57

大数据就业方向展望

这意味着从大数据框架Hadoop开始。它是由ApacheFounda
肖晓晓·2019-07-08 14:11

老程序员告诉你什么是大数据框架

大数据架构是用于摄取和处理大量数据(通常称为“大数据”)的总体系统，因此可以针对业务目的进行分析。该架构可视为基于组织业务需求的大数据解决方案的蓝图。大数据架构旨在处理以下类型的工作：•批量处理大数据源。•实时处理大数据。•预测分析和机器学习。精心设计的大数据架构可以节省企业资金，并帮助其预测未来趋势，从而做出明智的业务决策。大数据架构的好处可用于分析的数据量每天都在增长。而且，流媒体资源比以往更
QYUooYUQ·2019-07-08 10:57

hadoop框架介绍与分布式概念的简单理解

大数据框架按照功能划分海量数据存储HDFS、Hive（本质还是HDFS）、HBASE（底层依旧是HDFS）海量数据分析MapReduce、Spark、Hive（SQL）Hadoop起源Google的3篇论文
无名一小卒·2019-07-01 21:50

hue框架介绍和安装部署

我现在在北京学习大数据，我想把学到的东西分享给大家，想和大家一起学习hue框架介绍和安装部署hue全称：HUE=HadoopUserExperience他是cloudera公司提供的一个web框架，和其他大数据框架整合
你好！Mr陈·2019-06-20 20:00

Hadoop相关概念

Hadoop是什么Hadoop是一个开源的大数据框架Hadoop是一个分布式计算的解决方案Hadoop=HDFS（分布式文件系统）+MapReduce（分布式计算）Hadoop核心HDFS分布式文件系统
么啥好说的·2019-06-10 22:26

大数据系列—— Scala的初步认识和语法入门

Scala运行在Java虚拟机上，并兼容现有的Java程序(Scala是类Jvm言)Scala源代码被编译成Java字节码，所以它可以运行于JVM之上，并可以调用现有的Java类库Spark和flink等大数据框架都是使用
EVAO_大个子·2019-06-06 00:00

秒懂Hadoop和Spark联系与区别

解决问题的层面不一样首先，Hadoop和ApacheSpark两者都是大数据框架，但是各自存在的目的不尽相同。
北环阳光·2019-05-29 14:18

大数据框架Hadoop中理论与工程的错位

Hadoop是当前重要的大数据计算平台，它试图摒弃传统数据库的理念，重新构建一套新的大数据体系。但是，这并不是件很容易的事，在Hadoop的设计和实现中能看到一些先天不足的地方，其中一点就是把理论问题和工程问题给搞拧了。所谓理论方法，是指试图解决问题的一般情况，设计通用的算法能适应尽量多的情况，并努力使算法的复杂度降低。在研究问题时不会考虑具体环境下某个具体动作是否可以执行以及该动作消耗的资源，而
IT资讯科技·2019-05-25 18:00

如何选择适合零基础入门大数据框架

技术最终为业务服务，没必要一定要追求先进性，各个企业应根据自己的实际情况去选择自己的技术路径。它不一定具有通用性，但从一定程度讲，这个架构可能比BAT的架构更适应大多数企业的情况，毕竟，大多数企业，数据没到那个份上，也不可能完全自研，商业和开源的结合可能更好一点，权当抛砖引玉。大数据平台架构的层次划分没啥标准，以前笔者曾经做过大数据应用规划，也是非常纠结，因为应用的分类也是横纵交错，后来还是觉得体
阿里十年程序员生活·2019-05-24 19:59

大数据框架Kafka史上最详细原理总结-学完肯定是觉得干活满满

如果你恰好在学大数据，想要通过本篇文章就学好大数据，我建议你可以把页面关闭掉，大数据是入门学容易，达到高薪是绝对需要系统学习的，当然如果你想着通过大数据提高你的收入，可以详细阅读我推荐的文章推荐阅读文章大数据工程师在阿里面试流程是什么？学习大数据需要具备怎么样基础？年薪30K的大数据开发工程师的工作经验总结？KafkaKafka是最初由Linkedin公司开发，是一个分布式、支持分区的（parti
IT资讯科技·2019-05-22 22:00

大数据框架分布式部署

大数据内容都是在伪分布式下完成的，若想了解伪分布式，可以找前几天的内容，今天主要是针对与分布式部署。安装方式在Linux上手动将配置好的Hadoop分发给其他机器。不使用工具。Linux环境的配置：ip(几台虚拟机都在一个网段中)主机名(主机名最好一样，后面跟个数字)本地映射，DNS，防火墙，selinux(/etc/selinux/config)扩展：Hadoop启动的过程方式：之前的启动都是一
IT时代周刊·2019-05-21 11:42

大数据学习

现如今，正式为了应对大数据的这几个特点，开源的大数据框架越来越多，越来越强，先列举一些常见的：文件存储：HadoopHDFS、Tac
iimpact·2019-05-13 15:11

简述大数据实时处理框架

此篇文章简述利用大数据框架，实时处理数据的流程与相关框架的介绍，主要包括：数据实时处理的概念和意义数据实时处理能做什么数据实时处理架构简介数据实时处理代码演示数据实时处理的概念和意义什么是数据实时处理呢
懂天马·2019-05-10 10:29

druid+superset安装和简单使用

最近一直在折腾大数据框架，后续会把KYLIN框架也玩起来首安装druid最开始是使用docker安装方式，因为配置文件认证的KEY报错，自己编译又没有通过，直接放弃，然后直接下载安装包，ZOOKEEPER
大树168·2019-04-02 16:18

Java内部类相关注意点

背景：无论是看分布式、多线程相关源码，还是Java编写Spark、Flink相关大数据框架代码，都会遇到各种各样的内部类，今天复习下内部类相关注意点吧~一、分类静态内部类：定义在类内部的静态类成员内部类
深寒丶·2019-03-26 22:25

常用的大数据框架

2、数据的处理技术处理海量数据的核心技术：海量数据存储：分布式海量数据运算：分布式3、常用的大数据框架这些核心技术的实现是不需要用户从零开始造轮子的存储和运算，都
itcats_cn·2019-03-26 13:05

全面解析大数据框架Hadoop主要模块

hadoopCommon:包括Hadoop常用的工具类，由原来的Hadoopcore部分更名而来。主要包括系统配置工具Configuration、远程过程调用RPC、序列化机制和Hadoop抽象文件系统FileSystem等。它们为在通用硬件上搭建云计算环境提供基本的服务，并为运行在该平台上的软件开发提供了所需的API。HadoopDistributedFileSystem(HDFS):分布式文件
Joker_影·2019-03-26 11:46

干货|50个大数据面试问题及答案第三篇：10个大数据Hadoop面试问题

《干货|50个大数据面试问题及答案第一篇:10个大数据面试入门级问题》《干货|50个大数据面试问题及答案第二篇：10个大数据面试中级问题》10个大数据Hadoop面试的专业问题Hadoop是最受欢迎的大数据框架之一
慧都大数据·2019-03-08 11:24

hadoop框架搭建（一）

tar.gz，实现免密登陆（安装虚拟机，jdk环境配置完了写）我是在/opt/下mkdirprogramsdatastaskstargz（programs放的是安装目录，datas放的是数据，tasks放的是大数据框架
云起迎风燕·2019-03-07 15:36

大数据基准测试——HiBench7.0代码升级

HiBench是一个大数据基准测试套件，可帮助评估大数据框架的速度，吞吐量和系统资源利用率。
雾幻·2019-01-21 11:03

Hadoop, MapReduce,Hive, HBase, Storm, Spark, Flink, Kylin等大数据框架的角色和关系

各种大数据框架近几年发展得如火如荼，比如Hadoop,MapReduce,Hive,Hbase,Storm,Spark,Flink,Kylin等，各个框架的角色是怎么样的？如何配合起来使用？
flywind800·2019-01-17 14:17

Flink基础入门

Flink架构图Flink的流处理与批处理l在大数据处理领域，批处理任务与流处理任务一般被认为是两种不同的任务，一个大数据框架一般会被设计为只
Jiny_li·2019-01-06 00:00

Spark Stream 消费 Kafka 踩坑

在有网络并发基础和大数据框架算法基础情况下，算法和理解源码并不是最耗时的（大概），因为如果首次自己搭建火花在卡夫卡消费应用框架，并且缺乏可执行演示情况下，总会莫名其妙出现一些奇怪问题。
farcicalbird·2018-12-19 23:37

Ubuntu 下 PySpark 安装

ApacheSpark是基于内存计算，这是他与其他几种大数据框架相比的一大优势。ApacheSpark是开源的，也是最著名的大数据框架之一。当它使用内存计算时，
庆CP3·2018-12-15 17:23

Hadoop_HDFS的概念及优缺点

Hadoop是一个开源的大数据框架   Hadoop是一个分布式计算的解决方案   Hadoop=HDFS(分布式文件系统)+MapReduce(分布式计算)   HDFS用于解决大数据的存储问题   
b15735105314·2018-11-29 00:00

大数据主要学习什么？

学习大数据需要的基础1、javaSE、EE（SSM）90%的大数据框架都是Java写的2、MySQLSQLonHadoop3、Linux大数据的框架安装在Linux操作系统上-需要学什么大数据离线分析一般处理
大数据开发交流·2018-11-26 14:00

快速步入hadoop世界

概述：1.了解HADOOP产生背景及HADOOP生态圈2.体会HADOOP和大数据、云计算等概念之间的关系3.了解HADOOP的相关应用案例4.了解分布式系统的概念首次接触大数据框架，总体是让学生建立起大数据和分布式的感性认识和宏观概念
Z_Data·2018-11-06 20:26
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他