E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数据湖
数据湖
之iceberg系列(三)iceberg快速入门
1环境准备准备大数据集群.安装HDFS,HIVE,SAPRK,FLINK下载运行集群环境运行是需要的jar包下载地址:http://iceberg.apache.org/releases/2spark将读写iceberg表中数据准备spark集群,并配置iceberg环境在spark的配置目录中添加hadoop和hive的配置文件方便spark与hadoop和hive整合在spark的jars包中
白眼黑刺猬
·
2020-12-01 21:05
数据湖
存储计算解耦合,构建中国人英语语音数据库
简介:通过阿里云为流利说量身打造的
数据湖
解决方案,解决了流利说多种应用的各类数据的统一存储,帮助流利说构建数据规模高达上千亿的“中国人英语语音数据库”。
阿里云云栖号
·
2020-11-30 11:09
javascript
存储计算解耦合,构建中国人英语语音数据库
简介:通过阿里云为流利说量身打造的
数据湖
解决方案,解决了流利说多种应用的各类数据的统一存储,帮助流利说构建数据规模高达上千亿的“中国人英语语音数据库”。
阿里云云栖号
·
2020-11-30 10:07
javascript
ieee33节点潮流计算_十年酝酿,AWS
数据湖
如何打开云计算的新篇章?
数据湖
,也是亚马逊发展了近十年的一项技术。AWS每一次变革和成长,都在云计算的历史中写下了自己的足迹,成绩令人瞩目。而云上
数据湖
,经过十年的酝酿,将会产生什么样的推动力呢
weixin_39537397
·
2020-11-29 17:19
ieee33节点潮流计算
Data Lakehouse (湖仓一体) 到底是什么
本文转载自https://mp.weixin.qq.com/s/Il...背景
数据湖
(DataLake),湖仓一体(DataLakehouse)俨然已经成为了大数据领域最为火热的流行词,在接受这些流行词洗礼的时候
鸿乃江边鸟
·
2020-11-28 16:02
大数据
云湖共生,下一代
数据湖
来了?
简介:导语:应用导向呈现数据价值,阿里云在
数据湖
上的创新实践,支撑起数据快速洞察和数据输出迭代。导语:应用导向呈现数据价值,阿里云在
数据湖
上的创新实践,支撑起数据快速洞察和数据输出迭代。
阿里云开发者
·
2020-11-25 20:41
【spark系列1】delta.io到底解决了什么问题
我们期待在今年(2019年)或者是未来,很快,DeltaLake将会成为
数据湖
的主流或者说是事实标准。在9月份公布的2019年最佳开源软件奖名单
鸿乃江边鸟
·
2020-11-24 15:44
spark
大数据
数据湖
| 多数据源一站式入湖解决方案
背景
数据湖
作为一个集中化的数据存储仓库,支持的数据类型具有多样性,包括结构化、半结构化以及非结构化的数据,数据来源上包含数据库数据、binglog增量数据、日志数据以及已有数仓上的存量数据等.
数据湖
能够将这些不同来源
大数据技术架构
·
2020-11-23 22:55
数据库
大数据
编程语言
人工智能
数据分析
鹰角网络全球海量数据,一键轻松统一存储与处理
简介:对于鹰角网络遇到的数据激增以及数据统一收治方面的问题,阿里云对象存储OSS为其提供了统一的数据存储池,方便鹰角网络将全球收集到的海量不同数据进行统一存储,同时阿里云对象存储OSS可无缝对接云原生
数据湖
分析
阿里云云栖号
·
2020-11-23 10:17
jquery
鹰角网络全球海量数据,一键轻松统一存储与处理
简介:对于鹰角网络遇到的数据激增以及数据统一收治方面的问题,阿里云对象存储OSS为其提供了统一的数据存储池,方便鹰角网络将全球收集到的海量不同数据进行统一存储,同时阿里云对象存储OSS可无缝对接云原生
数据湖
分析
阿里云云栖号
·
2020-11-23 10:22
jquery
【spark系列1】delta.io到底解决了什么问题
我们期待在今年(2019年)或者是未来,很快,DeltaLake将会成为
数据湖
的主流或者说是事实标准。在9月份公布的2019年最佳开源软件奖名单
鸿乃江边鸟
·
2020-11-20 16:20
spark
大数据
高性能利器!华为云MRS ClickHouse重磅推出!
摘要:华为智能
数据湖
MRS服务即将上线ClickHouse高性能引擎集群,用户只需要几分钟,就可以轻松方便地一键式完成集群部署搭建,快速拥有PB级数据的秒级交互查询分析能力,帮助用户带来极致的性能体验。
华为云开发者社区
·
2020-11-19 17:36
数据库
clickhouse
华为
高性能利器!华为云MRS ClickHouse重磅推出!
摘要:华为智能
数据湖
MRS服务即将上线ClickHouse高性能引擎集群,用户只需要几分钟,就可以轻松方便地一键式完成集群部署搭建,快速拥有PB级数据的秒级交互查询分析能力,帮助用户带来极致的性能体验。
华为云开发者社区
·
2020-11-19 17:36
数据库
clickhouse
华为
深度干货 | 如何借助云原生搞定Oracle备份快速恢复?
它不仅提供了传统备份所提供的Oracle备份能力外,还实现了无入侵流式备份能力,同时和云以及众多云产品深度结合,在备份数据上提供
数据湖
分析,并通过副本数据管理(CDM)技术提供Oracle秒级恢复及devops
阿里云云栖号
·
2020-11-19 11:08
jquery
使用 Iceberg on Kubernetes 打造新一代云原生
数据湖
背景大数据发展至今,按照Google2003年发布的《TheGoogleFileSystem》第一篇论文算起,已走过17个年头。可惜的是Google当时并没有开源其技术,“仅仅”是发表了三篇技术论文。所以回头看,只能算是揭开了大数据时代的帷幕。随着Hadoop的诞生,大数据进入了高速发展的时代,大数据的红利及商业价值也不断被释放。现今大数据存储和处理需求越来越多样化,在后Hadoop时代,如何构建
腾讯云原生
·
2020-11-19 11:14
腾讯云
大数据
kubernetes
google
深度干货 | 如何借助云原生搞定Oracle备份快速恢复?
它不仅提供了传统备份所提供的Oracle备份能力外,还实现了无入侵流式备份能力,同时和云以及众多云产品深度结合,在备份数据上提供
数据湖
分析,并通过副本数据管理(CDM)技术提供Oracle秒级恢复及devops
阿里云云栖号
·
2020-11-19 10:52
jquery
aws s3仅允许cloudfront访问_AWS
数据湖
十年,云计算老大哥的磨刀之路
数据湖
,也是亚马逊发展了近十年的一项技术。AWS每一次变革和成长,都在云计算的历史中写下了自己的足迹,成绩令人瞩目。而云上
数据湖
,经过十年的酝酿,将会产生什么样的推动力呢?1什么是数据
weixin_39688870
·
2020-11-19 00:23
aws
ieee33节点潮流计算
4万字全面掌握数据库, 数据仓库, 数据集市,
数据湖
,数据中台
↑↑↑关注后"星标"简说Python人人都可以简单入门Python、爬虫、数据分析简说Python推荐来源:数据社作者修鹏李One old watch, like briefpython如今,随着诸如互联网以及物联网等技术的不断发展,越来越多的数据被生产出来-据统计,每天大约有超过2.5亿亿字节的各种各样数据产生。这些数据需要被存储起来并且能够被方便的分析和利用。随着大数据技术的不断更新和迭代,数
简说Python
·
2020-11-18 19:00
数据仓库
sqlite
lamp
scipy
zk
“3+3”看华为云FusionInsight如何引领“数据新基建”持续发展
一、数据基建架构全景数据流向显示,左侧的数据源经数据处理(批量、实时流、事件流等)将数据统一汇聚到
数据湖
或数仓中,通过数据科学或机器学习进行AI分析,通过ADHoc和实时分析为客户或APP提供敏捷的结果数据
华为云开发者社区
·
2020-11-17 18:52
新基建
数据库
华为
“3+3”看华为云FusionInsight如何引领“数据新基建”持续发展
一、数据基建架构全景数据流向显示,左侧的数据源经数据处理(批量、实时流、事件流等)将数据统一汇聚到
数据湖
或数仓中,通过数据科学或机器学习进行AI分析,通过ADHoc和实时分析为客户或APP提供敏捷的结果数据
华为云开发者社区
·
2020-11-17 17:55
新基建
数据库
华为
湖仓一体:
数据湖
vs数据仓库之争?
本文介绍数据仓库和
数据湖
的区别是什么,作者对其来龙去脉进行深入剖析,来阐述两者融合演进的新方向——湖仓一体。导读:随着近几年
数据湖
概念的兴起,业界对于数据仓库和
数据湖
的对比甚至争论就一直不断。
公众号:肉眼品世界
·
2020-11-17 00:00
数据仓库
数据库
大数据
编程语言
hadoop
网易:Flink + Iceberg
数据湖
探索与实践
01数据仓库平台建设的痛点痛点一:我们凌晨一些大的离线任务经常会因为一些原因出现延迟,这种延迟会导致核心报表的产出时间不稳定,有些时候会产出比较早,但是有时候就可能会产出比较晚,业务很难接受。为什么会出现这种现象的发生呢?目前来看大致有这么几点要素:任务本身要请求的数据量会特别大。通常来说一天原始的数据量可能在几十TB。几百个分区,甚至上千个分区,五万+的文件数这样子。如果说全量读取这些文件的话,
ApacheFlink
·
2020-11-13 11:49
flink
大数据时代,如何用数据驱动精准营销
简介:针对Yeahmobi在全球业务中需要统一治理数据资产和提供高并发、高弹性的存储服务需求,阿里云为Yeahmobi构建了一站式的
数据湖
解决方案。
阿里云云栖号
·
2020-11-13 10:45
前端
使用 Iceberg on Kubernetes 打造新一代云原生
数据湖
背景大数据发展至今,按照Google2003年发布的《TheGoogleFileSystem》第一篇论文算起,已走过17个年头。可惜的是Google当时并没有开源其技术,“仅仅”是发表了三篇技术论文。所以回头看,只能算是揭开了大数据时代的帷幕。随着Hadoop的诞生,大数据进入了高速发展的时代,大数据的红利及商业价值也不断被释放。现今大数据存储和处理需求越来越多样化,在后Hadoop时代,如何构建
腾讯云原生
·
2020-11-06 18:42
kubernetes
云计算
iceberg
云原生
云原生数据湖
2020中国华录杯·
数据湖
算法大赛—定向算法赛(吸烟打电话检测)baseline-tensorflow2.3-python3.6
文章目录1.赛事背景1.主办方2.赛事介绍2.baseline2.1文件夹结构2.2demo1.01_train_test_split.py2.02_tf2_mobilev2_classes.py3.03_predict.py3.问题及改进4.修改记录1.赛事背景1.主办方赛事链接训练集测试集验证集2.赛事介绍1.【赛题描述】行为规范,即指某些特定的场景会对人物的行为做出特定的限制,比如加油站禁止
HJZ11
·
2020-10-20 10:51
#
深度学习项目
#
#
Kaggle
从聊城
数据湖
方案浅谈,数据中心为什么建设可视化坐席系统
2020年初,国家政府出台了加快新型基础设施建设的战略部署,大数据中心作为新型基础设施建设的7大领域之一,成为国内各个城市重点关注的建设产业。大数据中心是数据存储、处理和交互的中心,随着5G通信技术的普及,互联网新业务模式的显现,大数据中心的重要性进一步提升,大数据中心建设囊括了服务器、路由器、交换机、光模块、电源、软件、网络、机房的产业链条,以及集成运维、云服务和解决方案等高附加值的业务模式。在
u013801681
·
2020-10-16 16:42
Nexmark: 如何设计一个流计算基准测试?
背景随着数据时效性对企业的精细化运营越来越重要,“实时即未来”、“实时数仓”、“
数据湖
”成为了近几年炙手可热的
ApacheFlink
·
2020-10-10 01:26
flink
社区活动 | Apache Flink Meetup·深圳站,锁定 Flink 最佳实践
如何基于Flink+Iceberg构建企业级
数据湖
?HudionFlink有哪些生产环境应用实践?基于Flink搭建的监控体系如何更立体?AI+Flink可实现隐私保护?
ApacheFlink
·
2020-10-10 01:45
flink
中兴通讯刘明明:为数字经济筑路,助力金融行业升级
中兴通讯此次展出的内容既有数据中心、数据通信、服务器、分布式精准金融云、
数据湖
、金融级交易型分布式数据库GoldenDB等基础技术产品,也有融合视频能力打造的新一代联络中心、远程安全办公等产品和方案核心能力
飞象网
·
2020-10-10 00:00
光大银行刘淼:基于华为云GaussDB(DWS) 数据仓库创新实践
摘要:面向未来数据平台3.0要做架构减法,平台由N->1,华为云GaussDB(DWS)未来作为数据仓库唯一平台,数据链路实现从
数据湖
直接到华为云GaussDB(DWS)数据仓库。
华为云开发者社区
·
2020-10-09 19:54
华为
数据库
数据仓库
光大银行刘淼:基于华为云GaussDB(DWS) 数据仓库创新实践
摘要:面向未来数据平台3.0要做架构减法,平台由N->1,华为云GaussDB(DWS)未来作为数据仓库唯一平台,数据链路实现从
数据湖
直接到华为云GaussDB(DWS)数据仓库。
华为云开发者社区
·
2020-10-09 19:54
华为
数据库
数据仓库
Nexmark: 如何设计一个流计算基准测试?
背景随着数据时效性对企业的精细化运营越来越重要,“实时即未来”、“实时数仓”、“
数据湖
”成为了近几年炙手可热的
ApacheFlink
·
2020-10-09 13:13
flink
如何实现Spark on Kubernetes?
云原生背景介绍与思考“
数据湖
”正在被越来越多人提起,尽
阿里云开发者
·
2020-10-09 13:05
spark
kubernetes
大数据
如何实现Spark on Kubernetes?
云原生背景介绍与思考“
数据湖
”正在被越来越多人提起,尽
阿里云开发者
·
2020-10-09 13:05
spark
kubernetes
大数据
多数据源一站式入湖
简介:通过一站式入湖,将不同数据源的数据统一归并到以OSS对象存储为基础架构的集中式
数据湖
存储中,解决了企业面临的数据孤岛问题,为统一的数据分析打好了基础.背景
数据湖
作为一个集中化的数据存储仓库,支持的数据类型具有多样性
阿里云云栖号
·
2020-10-09 13:59
bootstrap
多数据源一站式入湖
简介:通过一站式入湖,将不同数据源的数据统一归并到以OSS对象存储为基础架构的集中式
数据湖
存储中,解决了企业面临的数据孤岛问题,为统一的数据分析打好了基础.背景
数据湖
作为一个集中化的数据存储仓库,支持的数据类型具有多样性
阿里云云栖号
·
2020-10-09 13:58
bootstrap
数据湖
架构,为什么需要“湖加速”?
简介:湖加速即为
数据湖
加速,是指在
数据湖
架构中,为了统一支持各种计算,对
数据湖
存储提供适配支持,进行优化和缓存加速的中间层技术。那么为什么需要湖加速?
数据湖
如何实现“加速”?
阿里云云栖号
·
2020-10-09 13:34
jquery
社区活动 | Apache Flink Meetup·深圳站,锁定 Flink 最佳实践
如何基于Flink+Iceberg构建企业级
数据湖
?HudionFlink有哪些生产环境应用实践?基于Flink搭建的监控体系如何更立体?AI+Flink可实现隐私保护?
ApacheFlink
·
2020-10-09 13:43
flink
技术揭秘:华为云DLI背后的核心计算引擎
摘要:介绍隐藏在华为云
数据湖
探索服务背后的核心计算引擎Spark,玩转DLI,,轻松完成大数据的分析处理。
华为云开发者社区
·
2020-10-09 12:04
dlib
spark
大数据
企业服务
华为云
Hadoop简介之望见
数据湖
1Hadoop概述随着信息化时代的来临,数据信息呈爆炸式增长。IBM的研究称,90%的人类文明数据是近两年产生的,而到了2020年,全球产生的数据量将是今天的44倍。传统的方法已难以应对越来越多的海量数据,因此海量数据的处理方法成为研究热点。大数据技术研究与应用推动互联网产业的快速发展,同时企业也促进了大数据技术的“新陈代谢”。在国外的计算机行业,Yahoo,Linkedin,Fackbook,e
贾斯汀玛尔斯
·
2020-09-28 15:37
hadoop
AWS的湖仓一体使用哪种
数据湖
格式进行衔接?
现在您可以使用AmazonRedshift查询AmazonS3
数据湖
中ApacheHudi/DeltaLake表数据。
leesf
·
2020-09-27 20:00
数据湖
与数据仓库的新未来:阿里提出湖仓一体架构
"关注,星标或置顶一起成长Flink从入门到精通系列文章作者:关涛、李睿博、孙莉莉、张良模、贾扬清(from阿里云智能计算平台)黄波、金玉梅、于茜、刘子正(from新浪微博机器学习研发部)近几年,随着
数据湖
概念的兴起
zhisheng_blog
·
2020-09-27 08:00
数据仓库
数据库
大数据
编程语言
hadoop
Apache Hudi和Presto的前世今生
1.概述ApacheHudi是一个快速迭代的
数据湖
存储系统,可以帮助企业构建和管理PB级
数据湖
,Hudi通过引入upserts、deletes和增量查询等原语将流式能力带入了批处理。
leesf
·
2020-09-22 07:00
数据湖
数据仓库 数据集市_您的
数据湖
足够开放吗? 要注意什么
数据湖
数据仓库数据集市
数据湖
是一个系统或存储库,它以原始格式存储数据以及转换后的可信数据集,并提供对这些数据的编程访问和基于SQL的访问,以执行各种分析任务,例如数据探索,交互式分析和机器学习。
cxq8989
·
2020-09-17 15:47
数据仓库
大数据
编程语言
python
人工智能
数据仓库、数据集市、
数据湖
、数据中台到底有什么区别?都得做吗?
导读:经常看到有人问这个问题,我也看过很多解释,感觉都不够直观,这里,我尝试用一个大家都理解的例子来说明。作者:GClover来源:一个数据玩家的自我修养(ID:Data_Player)01什么是数据仓库?大家都去宜家买过东西吧,还记得一楼的大仓库不,你如果看中了某个家具,想要自己去仓库提货,一般都会记下商品上的编码:这个编码对于顾客来说,肯定是没有任何含义的,看到这个编码,不可能知道他是一个什么
大数据v
·
2020-09-17 15:44
数据仓库
大数据
人工智能
编程语言
数据分析
Hudi:初识Hudi
可以说Hudi是一个
数据湖
或是数据库,但它又不是
数据湖
或是数据库。笔者理解为Hudi是除开计算引擎的Hive。
x950913
·
2020-09-17 05:56
hudi
Hudi原理 | Apache Hudi 典型应用场景介绍
1.近实时摄取将数据从外部源如事件日志、数据库提取到Hadoop
数据湖
中是一个很常见的问题。在大多数Hadoop部署中,一般使用混合提取工具并以零散的方式解决该问题,尽管这些数据对组织是非常有价值的。
大数据技术架构
·
2020-09-17 05:38
Data
Lake
数据湖
使用AWS Glue进行 ETL 工作
数据湖
数据湖
的产生是为了存储各种各样原始数据的大型仓库。这些数据根据需求,进行存取、处理、分析等。对于存储部分来说,开源版本常见的就是hdfs。
ZackFairT
·
2020-09-17 04:28
来看阿里云DLA如何快速构建
数据湖
一、
数据湖
方案的价值
数据湖
方案相比较数据库、数据仓库、Hadoop等,
数据湖
要处理的数据类型更加开放、更加复杂。
hzbooks
·
2020-09-16 15:51
数据库
大数据
编程语言
java
数据分析
算法面试必备-----数据仓库常见面试题
1、ER模型2、维度建模问题:
数据湖
的理解?问题:基本概念的解释:元数据:元数据的理解?技术元数据业务元数据元数据管理系统?
Avery123123
·
2020-09-16 14:47
算法岗面试笔试准备
上一页
22
23
24
25
26
27
28
29
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他