E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
大数据组件
kudu 导入/导出 数据
日萌社人工智能AI:KerasPyTorchMXNetTensorFlowPaddlePaddle深度学习实战(不定时更新)
大数据组件
使用总文章Impala操作/读写Kudu,使用druid连接池Kudu
あずにゃん
·
2020-06-30 17:20
Kudu
大数据
Hive 的使用和配置、底层原理(第二部分)
日萌社人工智能AI:KerasPyTorchMXNetTensorFlowPaddlePaddle深度学习实战(不定时更新)
大数据组件
使用总文章Hive的使用和配置、底层原理(第一部分)Hive的使用和配置
あずにゃん
·
2020-06-30 17:19
Hive
大数据
Java Web数据库篇之Redis概述
Redis是一个K-V的非关系型数据库(NoSQL),常见的NoSQL数据库有:K-V数据库如Redis、Memcached,列式数据库如
大数据组件
H
藏呆羊
·
2020-06-30 12:18
Java
Web知识总结
大数据组件
Presto,Spark SQL,Hive相互关系
大数据组件
Presto,SparkSQL,Hive相互关系工作上经常写SQL,有时候会在Presto上查表,或者会Prestoweb页面上写SQL语句。
奥卡姆的剃刀
·
2020-06-30 07:51
SQL
大数据
Spark
Hive
Flume+Kafka+Storm+Redis构建大数据实时处理系统
如何一步步构建我们的实时处理系统(Flume+Kafka+Storm+Redis)实时处理网站的用户访问日志,并统计出该网站的PV、UV将实时分析出的PV、UV动态地展示在我们的前面页面上如果你对上面提及的
大数据组件
已经有所认识
此id已存在
·
2020-06-30 05:29
框架
使用
大数据
Storm
Redis
Kafka
Flume
实时处理
Scala学习系列(一)——Scala为什么是大数据第一高薪语言
所以掌握Scala不仅可以学习
大数据组件
的源码,而且会极大的提升大数据开发的效率。这也是Scala的薪资水平一直遥遥领先的原因。根据2019年全球编程语言薪资统计,排名前几名的Scala无疑是
xiangwang2206
·
2020-06-29 23:27
kudu 添加master
kudu添加master节点不像其他
大数据组件
直接添加即可,操作比较复杂,步骤如下:1.kudu添加master节点,集群不可用2.Master节点数为奇数3.在已存在master节点查看wal和数据目录
kevin_wf
·
2020-06-29 18:12
kudu
个人总结
Data Lake 三剑客——Delta、Hudi、Iceberg 对比分析
对Hadoop、Spark、Hive、Druid等
大数据组件
有深入研究。目前从事大数据云化相关工作,专注于计算引擎、存储结构、数据库事务等内容。
weixin_45906054
·
2020-06-29 16:38
大数据组件
图谱
转载地址:http://blog.csdn.net/u010039929/article/details/70157376
大数据组件
图谱文件系统数据存储内存技术数据搜集消息系统数据处理查询引擎分析和报告工具调度与管理服务机器学习开发平台文件系统
weixin_42774642
·
2020-06-29 06:48
hadoop
Centos7部署HDP集群------
备注:此博客为转载,原作者地址请点击此处之前安装
大数据组件
都是一个一个手动安装的,最多弄一个脚本自动安装。手动安装麻烦不说,还没有可以监控集群的可视化界面,而且组件的稳定性也是个问题。
陆山右
·
2020-06-29 02:26
大数据
【线上直播】分布式消息队列Kafka
讲师:刘镇砚讲师简介:游戏公司资深大数据SRE工程师,数据中心基础服务负责人,专注于
大数据组件
基础优化以及平台建设服务化等工作。
weixin_34413357
·
2020-06-28 19:34
Centos7搭建CDH6.0.1(单机版)
学习
大数据组件
,最好的方式是直接参照官网。不过官网的教程也让我吃了一坑,在此记录一下。因在个人笔记本资源有限,在此安装为单机版安装二、搭建。
weixin_34220834
·
2020-06-28 14:21
开源OLAP引擎测评报告(SparkSql、Presto、Impala、HAWQ、ClickHouse、GreenPlum) ...
本文为博主公司原创文章,仿冒必究,转载请回复留言**开源OLAP引擎测评报告(SparkSql、Presto、Impala、HAWQ、ClickHouse、GreenPlum)易观CTO郭炜序现在
大数据组件
非常多
weixin_33724659
·
2020-06-28 04:04
Redis 原理及应用(1)--数据类型及底层实现方式
Redis是一个K-V的非关系型数据库(NoSQL),常见的NoSQL数据库有:K-V数据库如Redis、Memcached,列式数据库如
大数据组件
HBase,文档数据库如mogoDB。
冷面寒枪biu
·
2020-06-27 07:12
Web开发
分布式
你不知道的冷知识 | 指数退避思想及其在Flume/Hadoop中的应用
这是大学计算机网络课程会讲到的知识,本文权当复习,并且看看它的思想是如何应用在
大数据组件
中的。
大数据技术与架构
·
2020-06-27 06:47
大数据平台Lambda架构详解
Lambda架构整合离线计算和实时计算,融合不可变(Immutability,读写分离和隔离一系列构原则,可集成Hadoop,Kafka,Storm,Spark,HBase等各类
大数据组件
。
独行夏
·
2020-06-27 06:38
Bigdata
message
BigData - Lambda架构 vs Kappa架构
其整合离线计算与实时计算,融合不可变性、读写分离和复杂性隔离等原则,可集成Hadoop,Kafka,Spark,Storm等各类
大数据组件
。
天地不仁以万物为刍狗
·
2020-06-26 19:58
系统级总结
系统架构
各
大数据组件
介绍
一、zookeeperZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。ZooKeeper
三方三方
·
2020-06-26 11:37
What are the advantages of Lambd architecture
Lambda整合离线计算和实时计算,融合不可变性、读写分离和复杂性隔离等一系列架构原则,可集成Hadoop、Kafka、Storm、Spark、Hbase等各类
大数据组件
。
qwfys200
·
2020-06-26 04:45
Design
大数据平台系统的关系
平台:一套独立的产品系统:某一个J2EE项目+某些
大数据组件
+ssm+redis:那么大数据平台主要是做的什么,数据是从什么地放来的。
树下有树根
·
2020-06-26 00:21
技术
学习kettle插件
因为开发周期短暂,需要快速的响应,开发出可用的产品,所以决定借鉴开源程序Kettle,开发一个文件解析组件,然后利用Kettle平台的
大数据组件
进行与数据中心大数据平台对接。
乐观的
·
2020-06-25 14:37
CSDN积分排名规则详解及博主排名上升记录(持续更新)
博主从2020年2月13日开始写博客,擅长领域为数据挖掘、机器学习和
大数据组件
(相应学习资料可关注公众号:雨云飞回复“学习资料”获取);此篇文章持续更新,旨在给大家提供排名上升参考和个人纪念,同时每周都会把被推到首页或者进入热推的好文链接附上
大数据之眸
·
2020-06-25 12:28
项目
Apache Kylin 分布式安装
大数据环境的崩溃不得不迫使我对CDH上的服务进行恢复,除了恢复CDH已经集成的
大数据组件
,额外的我们安装的kylin服务也需要恢复,为了不让这次重复安装的操作没有意义,特意写下这篇kylin分布式安装,
再难也要坚持
·
2020-06-25 12:17
Kylin
hadoop、spark各
大数据组件
介绍
hadoop相关组件hadoop体系结构,如图:hadoop核心设计,如图HadoopCommonHadoop体系最底层的一个模块,为Hadoop各子项目提供各种工具,如:配置文件和日志操作等。HDFS是Hadoop应用程序中主要的分布式存储系统,HDFS集群包含了一个NameNode(主节点),这个节点负责管理所有文件系统的元数据及存储了真实数据的DataNode(数据节点,可以有很多)。HDF
戰士
·
2020-06-25 11:23
架构
基础知识
大数据组件
之----HIVE,win10下安装以及配置hadoop详细步骤
HIVE其本质是以Hadoop作为基础的数据仓库基础设施。其中hadoop为数据的存储和运行在商业机器上提供了可扩展以及容错性的可能,其中容错性可通过副本来进行理解。目标:HIVE是让数据汇总更加简单和针对大容量数据的查询和分析,提供了SWL来使得用户可以更简单查询,汇总和数据分析,其中HIVE的SQL为用户提供了多中地方来融合他们自己的方法实现自定义分析,例如UDFS。特性:(1)HIVE不是为
qq_35561207
·
2020-06-25 09:08
大数据组件
分享近期将发表的重要博客文章
1、SparkStreaming核心设计理解 前面的博客中Hadoop、Yarn、Spark、Hive、HBase、Flume、Kafka
大数据组件
基本讨论完,当然之后也会结合大数据实时项目遇到的每个组件的核心问题单独给出博客讨论
yield-bytes
·
2020-06-24 20:51
Spark
数据分析与处理
Flume安装与详解
大数据组件
Flume前言:里面的各种source,channel和simk时可以参考官网去满足自己的需求,看着官网可以很快的实现;https://flume.apache.org/releases/content
jhchengxuyuan
·
2020-06-23 21:02
hadoop
hive
大数据
洪增林:网易游戏统一数据流平台架构与实践
讲师简介:洪增林,网易游戏资深开发工程师,网易游戏数据中心开发负责人,专注于统一数据流建设、大数据作业平台设计开发和
大数据组件
优化等工作。
coqonmdrr954803650
·
2020-06-23 00:45
互联网数仓之:Lambda架构 vs Kappa架构
其整合离线计算与实时计算,融合不可变性、读写分离和复杂性隔离等原则,可集成Hadoop,Kafka,Spark,Storm等各类
大数据组件
。
BabyFish13
·
2020-06-21 17:29
大数据平台架构
Hive 的使用和配置、底层原理(第一部分)
日萌社人工智能AI:KerasPyTorchMXNetTensorFlowPaddlePaddle深度学习实战(不定时更新)
大数据组件
使用总文章Hive的使用和配置、底层原理(第一部分)Hive的使用和配置
あずにゃん
·
2020-06-21 15:45
Hive
大数据
开源OLAP引擎综评:HAWQ、Presto、ClickHouse
大家都知道开源
大数据组件
种类众多,其中开源OLAP引擎包含Hive、SparkSQL、Presto、HAWQ、ClickHouse、Impala、Kylin等。
百分点大数据团队
·
2020-06-21 14:00
开源
olap
引擎
Azkaban入门介绍与安装
本篇博客,小菌为大家带来的时候
大数据组件
之一的——Azkaban的介绍。
Alice菌
·
2020-06-21 13:00
Hadoop
#
Azkaban
flink实战教程-flink streaming sql 初体验
SQL,StructuredQueryLanguage:结构化查询语言,作为一个通用、流行的查询语言,不仅仅是在传统的数据库,在大数据领域也变得越来越流行,hive、spark、kafka、flink等
大数据组件
都支持
大数据技术与应用实战
·
2020-06-21 10:53
flink
大数据
flink
sql
流处理
java
大数据平台搭建------CM 和CDH安装
一、安装说明CM是由cloudera公司提供的
大数据组件
自动部署和监控管理工具,相应的和CDH是cloudera公司在开源的hadoop社区版的基础上做了商业化的封装的大数据平台。
春梦了却了无痕
·
2020-06-21 07:33
平台搭建
python3 与主流
大数据组件
大数据领域主要是以java为主,次要的编程语言为python,scala等,本文介绍和python相关的大数据:python所需要的版本为python3.6:数据源:MySQL:oracle:MSSQLserver:postgresql:pipinstallpsycopg2MongoDB:Neo4J:Redis:大数据处理:Hadoop:(HDFS、MapReduce、YARN)pipinstal
vkingnew
·
2020-06-20 21:49
Python
linkis实现的spingcloudgateway解析
linkis是一个连接执行引擎与上层应用之间的
大数据组件
。其中防火墙模块按照Gateway的多WebSocket请求转发实现来重写的。
yt438936731
·
2020-06-17 18:12
大数据
如何避免jps中一大堆spark-submit+Spark交互模式启动速度+正确的退出spark-shell/pyspark/SparkR/hbase的习惯
如果经常强制退出交互模式,那么jps中就会有一大堆的submit大概是因为纯面向对象语言的关系,交互式模式不支持Java.启动交互式模式的命令所属
大数据组件
启动速度编程语言退出命令spark-shell
Applied Sciences
·
2020-05-05 14:34
PySpark
Scala学习系列(一)——Scala为什么是大数据第一高薪语言
所以掌握Scala不仅可以学习
大数据组件
的源码,而且会极大的提升大数据开发的效率。这也是Scala的薪资水平一直遥遥领先的原因。根据2019年全球编程语言薪资统计,排名前几名的Scala无疑是
实时计算
·
2020-04-11 16:16
人工智能
大数据笔记(学习归纳)
修改记录时间内容2020年4月10日第一次发布2020年4月16日添加MaxComputeSQL部分2020年9月14日新增数仓部分笔记大数据架构基础知识题
大数据组件
概念集群:多个人做同样的事分布式:多个人协作
宇宙中的Philip
·
2020-04-10 11:43
大数据
大数据
数据仓库
Scala学习系列(一)——Scala为什么是大数据第一高薪语言
所以掌握Scala不仅可以学习
大数据组件
的源码,而且会极大的提升大数据开发的效率。这也是Scala的薪资水平一直遥遥领先的原因。根据2019年全球编程语言薪资统计,排名前几名的Scala无疑是
实时流式计算
·
2020-04-10 11:00
Scala学习系列(一)——Scala为什么是大数据第一高薪语言
所以掌握Scala不仅可以学习
大数据组件
的源码,而且会极大的提升大数据开发的效率。这也是Scala的薪资水平一直遥遥领先的原因。根据2019年全球编程语言薪资统计,排名前几名的Scala无疑是
独孤风
·
2020-04-10 11:00
网易云音乐用户画像大数据项目实战
而这篇将会把以前的大部分知识点串联起来,搞一个完整的项目,主要涉及的流程为模拟用户日志数据的生成,ETL以及编写sql分析函数进行最终的APP层数据的生成,由于该项目之前有做过,因此本次会在以前基础上做一些改进,将
大数据组件
的选型由原来的
终极菜鸡
·
2020-04-07 20:00
Azkaban Learning
title:AzkabanLearningdate:2017-01-1111:54:03tags:[Azkaban,调度系统,
大数据组件
]categories:"调度系统"Azkaban关键字:Azkaban
duval
·
2020-03-28 08:40
01 在CentOS中安装Sqoop
在
大数据组件
之间进行数据的迁移是必不可少的,本文将阐述数据迁移的重要工具之一sqoop。
阿力的程序园
·
2020-03-27 16:02
百分点大数据评测报告:开源OLAP引擎综评(HAWQ、Presto、ClickHouse)
大家都知道开源
大数据组件
种类众多,其中开源OLAP引擎包含Hive、SparkSQL、Presto、HAWQ、ClickHouse、Impala、Kylin等。
wx5e2559231090a
·
2020-03-09 16:39
大数据测评
HAWQ
Presto
大数据组件
知识点总结(3) - Spark
Spark使用DAG计算引擎、RDD模型,基于内存执行分布式计算,适合做迭代式计算和交互式计算。主要特点性能高效基于内存计算(RDD可内存、磁盘、混合);通用DAG计算引擎(数据通过内存、磁盘流向其他单元,MR是通过HDFS);高度优化、重新设计。简单易用支持多种语言:Java、Scala、Python、R;提供多种高层次API,代码量大幅减少。与Hadoop集成YARN、HDFS、HBase编程
千反田爱瑠爱好者
·
2020-02-22 03:42
大数据学习十五:Hive1.1.0编译及安装
1、使用CDH版本
大数据组件
可以避免在编程中遇到的jar包冲突等问题,下载地址:http://archive.cloudera.com/cdh5/cdh/5/2、Hive官方地址,https://hive.apache.org
RacyFu
·
2020-02-07 05:22
08 通过docker安装zookeeper
zookeeper是一个起协调服务的组件,在分布式当中做注册中心,在各
大数据组件
当中做一致性服务。本文将讲述使用docker安装zookeeper。
阿力的程序园
·
2020-02-07 01:17
开始搞事情 - 《每日五分钟搞定大数据》
上面的
大数据组件
分组其实是比
大叔据
·
2019-12-31 14:28
大数据用户画像解决方案视频课程
大数据用户画像解决方案视频课程提取:x2eh课程特色:1、规划全面:内容涵盖用户标签指标体系、数据分析、数据开发、ETL、搭建开发环境、kafka和hbase等常用
大数据组件
的介绍、画像的产品形态、以及如何应用用户标签和效果评估
几度丶春秋
·
2019-12-29 19:58
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他