E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数仓(
BlockingQueue实现生产者和消费者
消费者有两个,每秒消费一个整
数仓
库里有20个数则生产者停止生产,小于则继续生产。
许宏川
·
2019-12-29 10:04
Kettle手册(十)- 跨库查询
有的时候,我们一个脚本,可能只是临时性的,或者需要实时的去查一下,同步到
数仓
的话,可能不太方便,我们就可以使用跨库查询的控件用到的表信息Kettle-handbook-10-01.pngKettle-handbook
橘猫吃不胖
·
2019-12-29 06:40
基于MaxCompute的
数仓
数据质量管理
随着业务的增加,数据的应用越来越多,企业在创建的
数仓
过程中对数据的管理也提出了更高的要求,而数据质量也是
数仓
建设过程不容忽视的环节。本文针对MaxCompute
数仓
建设过程中如何
阿里云云栖号
·
2019-12-27 07:17
大数据每周分享第 5 期
引用:https://en.wikipedia.org/wiki/Extract,_transform,_load大部分
数仓
的模式都采用了
cuteximi_1995
·
2019-12-25 18:27
基于MaxCompute的
数仓
数据质量管理
随着业务的增加,数据的应用越来越多,企业在创建的
数仓
过程中对数据的管理也提出了更高的要求,而数据质量也是
数仓
建设过程不容忽视的环节。本文针对MaxCompute
数仓
建设过程中如何
阿里云官网
·
2019-12-25 13:17
知乎实时
数仓
架构演进
从智能商业的角度来讲,数据的结果代表了用户的反馈,获取结果的及时性就显得尤为重要,快速的获取数据反馈能够帮助公司更快的做出决策,更好的进行产品迭代,实时
数仓
在这一过程中起到了不可替代的作用。
阿里云云栖号
·
2019-12-23 04:57
数仓
--Hive-面试之Hive与HBase的区别
需要从组件作用、架构设计多个方面进行学习,理论指导实践从使用方面讲Hive是一个构建在Hadoop平台上的数据仓库,可以将结构化的数据文件映射为一张数据库表。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言,这种语言最终被转化成Map/Reduce。HBase是基于HDFS平台的Key/Value类型的NoSql数据库,是一个分布式、可扩展、存储海量数据的数据库,
李小李的路
·
2019-12-21 18:49
Core Table Housekeeping案例1
分享一下自己做CoreTableHousekeeping的思路…首先说下背景:我们系统没有使用warehouse,用的是ODS,因为考虑到改动和测试量很大,所以暂不考虑建
数仓
。一、为什么要做数据清理?
小代嘚吧嘚
·
2019-12-21 10:39
Blink 有何特别之处?菜鸟供应链场景最佳实践
阿里妹导读:菜鸟供应链业务链路长、节点多、实体多,使得技术团队在建设供应链实时
数仓
的过程中,面临着诸多挑战,如:如何实现实时变Key统计?如何实现实时超时统计?如何进行有效地资源优化?
阿里云云栖号
·
2019-12-21 03:24
数仓
--Theory--对数据中台的理解
本文从概念和理论上进行整理学习数据中台是什么主流概念上讲数据中台是指通过数据技术,对海量数据进行采集、计算、存储、加工,同时统一标准和口径。数据中台把数据统一之后,会形成标准数据,再进行存储,形成大数据资产层,进而为客户提供高效服务。这些服务跟企业的业务有较强的关联性,是这个企业独有的且能复用的,它是企业业务和数据的沉淀,其不仅能降低重复建设、减少烟囱式协作的成本,也是差异化竞争优势所在。广义的数
李小李的路
·
2019-12-21 02:47
我只是同步了下Redis数据,怎么就服务瘫痪了?
简要描述:
数仓
WEB端进行新增事件后,会注入Redis中进行缓存,供给动参服务进行响应各端SDK的请求。
Java入门到入坟
·
2019-12-20 14:47
聊聊这一款能真正匹配大数据性能的BI工具
因此
数仓
之父Inmon提出大数据的识别特征为:(1)数据
帆软
·
2019-12-17 02:52
斑马600点打印机多少钱
能够更好地满足大多
数仓
储/制造和商业应用需求。通过USB2.
远景达
·
2019-12-17 00:40
产品选型——可视化分析工具
公司的
数仓
建设到一定阶段之后,对于业务类型比较复杂(比如存在不同业务形态的事业部)的公司,业务部门之间会彼此争抢技术资源,对数据的时效性、准确性也有越来越高的要求。
LinKiD_蔡
·
2019-12-16 15:00
说给你听
一直想写写关于记忆的往事,翻翻过去,依稀模糊记得的只是零零碎碎的心情拼凑而已,细
数仓
促岁月蹉跎了多少年华?他又辜负了我多少深情等待?是谁的错?没有!
LvPearl
·
2019-12-14 07:22
《HBase在滴滴出行的应用场景和最佳实践》
离线业务通常是
数仓
的定时大批量处理任务,对一段时间内的数据进行处理并产出结果,对任务完成的时间要求不是非常敏感,并且处理逻
cx_2016
·
2019-12-13 23:00
数仓
--Hive-面试之Hive支持的文件格式和压缩格式及各自特点
Hive中的文件格式1-TEXTFILE文本格式,Hive的默认格式,数据不压缩,磁盘开销大、数据解析开销大。对应的hiveAPI为:org.apache.hadoop.mapred.TextInputFormat和org.apache.hive.ql.io.HiveIgnoreKeyTextOutputFormat;可结合Gzip、Bzip2使用(系统自动检查,执行查询时自动解压),但是使用这种
李小李的路
·
2019-12-13 20:59
美团点评基于 Flink 的实时
数仓
建设实践
flink.png引言近些年,企业对数据服务实时化服务的需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景,介绍了美团如何通过Flink引擎构建实时数据仓库,从而提供高效、稳健的实时数据服务。此前我们美团技术博客发布过一篇文章《流计算框架Flink与Storm的性能对比》,对Flink和Storm俩个引擎的计算性能进行了比较。本文主要阐述使用Flink在实际数据生产上的经验。实时平台初期
美团技术团队
·
2019-12-13 14:49
聚水潭是如何基于AnalyticDB for PostgreSQL 构筑海量实时
数仓
平台的
聚水潭数据仓库业务介绍上海聚水潭网络科技有限公司成立于2014年。聚水潭创建之初,以电商SaaSERP切入市场,凭借出色的产品和服务,快速获得市场领先地位。随着客户需求的不断变化,如今聚水潭已经发展成为以SaaSERP为核心,集多种商家服务为一体的SaaS协同平台,为全国33万多家电商企业提供全面的信息化解决方案。来自阿里巴巴旗下商家服务市场的最新数据显示,聚水潭已是企业ERP类目中使用商家数最多
阿里云云栖号
·
2019-12-13 06:21
postgresql
数据库
数据仓库
性能
saas
应用案例 | Blink 有何特别之处?菜鸟供应链场景最佳实践
image本文授权转自阿里技术官方公众号(ali_tech):菜鸟供应链业务链路长、节点多、实体多,使得技术团队在建设供应链实时
数仓
的过程中,面临着诸多挑战,如:如何实现实时变Key统计?
Ververica
·
2019-12-12 08:46
我只是同步了下Redis数据,怎么就服务瘫痪了?
简要描述:
数仓
WEB端进行新增事件后,会注入Redis中进行缓存,供给动参服务进行响应各端SDK的请求。
buildupchao
·
2019-12-12 00:19
redis
同步
崩溃分析
Flink在OPPO实时计算平台的研发与应用实践
同时欢迎关注OPPO互联网技术团队的公众号:OPPO_tech导读:为了全面推动
数仓
实时化,OPPO基于Flink打造的实时计算平台OStream,已广泛服务于实时ETL/实时报表/实时标签等应用场景。
OPPO互联网技术
·
2019-12-11 19:10
flink
大数据
数据库
Hive迁移Presto的技术实践
欢迎关注我们的公众号:OPPO_techhive设计之初,就被定位一款离线
数仓
产品,虽然Hortonworks喊出了MakeApacheHive100xFaster的牛逼口号,也在上面做了大量的优化,然而性能提升依旧不大
OPPO互联网技术
·
2019-12-11 19:38
数据仓库
大数据
hive
presto
基于 Flink SQL 构建实数据仓库:OPPO 数据中台之基石
本文主要内容如下:-OPPO实时
数仓
的演进思路;-基于FlinkSQL的扩展工作;-构建实时
数仓
的应用案例;-未来工作的思考和展望。
·
2019-12-11 00:00
dev
数据SCT定律:存储,计算,时间
比如为了加快计算,我们会通过构建Cube,物化视图或者中间表(
数仓
里的分层)来完成,但这样对存储
祝威廉
·
2019-12-07 08:43
大数据浪潮下——
数仓
数据时效性分析和解决方案
近些年随着大数据的火爆,尤其是数据实时性需求越来重要,我们原来那套已经捉襟见肘了,流行的方案是kafka+streaming+redis+mysql实现准实时,但是其实在大多时候由于技术框架和应用场景限制,时效性的问题归根到底还是管理和规范的问题。先就不改变应用和技术架构的情况就这些场景的改进做个总结吧:一资源1、调度资源调整资源数和作业调度优先级。Job运行的先决条件是按序检查包括incondi
BodhiPonder
·
2019-12-06 22:37
实时
数仓
有必要吗?
传统的数据仓库或者数据集市并没有包括当前最新的数据,其数据是按周甚至按天导入到
数仓
里面的。然而,有一些公司已经开始着手建设实时或近实时BI数据库了。
Mekal
·
2019-12-06 08:44
数据仓库功能建设路线
进阶路线一、开启
数仓
的技能数据仓库建立是为了满足企业对数据的管理和使用的需求。企业的各个系统业务数据统一纳入数
悟成
·
2019-12-01 09:05
2019-10-21 OneData建设探索之路:SaaS收银运营
数仓
建设(整理)
https://mp.weixin.qq.com/s/MyzhP-HGwNnjHeRjQk8fqQ(1)模型分层(2)模型数据流向重构之后,稳定业务按照标准的数据流向进行开发,即ODS-->DWD-->DWA-->APP。非稳定业务或探索性需求,可以遵循ODS->DWD->APP或者ODS->DWD->DWT->APP两个模型数据流。在保障了数据链路的合理性之后,又在此基础上确认了模型分层引用原则
佳兰小筑
·
2019-12-01 07:14
【系列】思考:数据挖掘应用的几种误区
误区3:数据挖掘很快就会收回投资一开始数据清洗,准备,
数仓
搭建将会是一笔比较大的投资,也是最
秋小鱼Sandy
·
2019-11-30 16:08
如何在茫茫人海认出你的女朋友~
其实这是一篇介绍
数仓
模型的短文~有人说,人是直立行走的动物;有人说,人会穿衣服,会使用工具,会生火做饭;女儿说,我是我爸爸的女儿,我知道我爸爸的样子;媳妇说,我老公啥样我闭上眼睛就能想象出来;说了这么多
Zhu_Yue
·
2019-11-29 23:22
《从零开始学外汇》5.1.6.4策略EA和人工智能EA
比如突破EA,那么就是在突破前高做多,突破前低做空,然后具体需要考虑的就是用什么办法确定前高前低,回调是否加仓,再次突破是加仓还是减仓,止损止盈位置的设置,手
数仓
位的大小,是否移动止损等。
张英_3af8
·
2019-11-29 16:33
InfluxDB介绍及使用
年大数据火起来之后,到现在也经历了6年多,有些公司已经逐步废弃传统的关系型数据库,逐渐引入大数据平台,有些公司可能已经通过大数据平台从百亿基本数据中找到的其真正的价值,但是这个过程总是缓慢的,总要经历:数据的迁移、
数仓
的建设
原生zzy
·
2019-11-22 11:20
InfluxDB介绍及使用
对接大数据的常用数据库
离线项目(三)数据仓库的设计
**数据集市**:3.数据仓库和数据集市的区别:三:
数仓
模型(星型模型和雪花模型)1.星型模型2.雪花模型四:项目相关1.分层ODS层:DWD层:DWS层:1.dws_visit,访客表2.按照时间维度统计
Keep hunger
·
2019-11-14 19:16
项目实战
项目实战
【论文】timescale-2017
数仓
等查询性能和不能更新。用了postgresql的分区表,完成分区。no
梦想家
·
2019-11-05 14:25
数据库
心理罪系列
,对文字百般挑剔的我,就这样心甘情愿深陷……有太多想倾诉,有太多想分享,有太多太多的呼之欲出,可冷静沉淀过后好像又无话可说……脑海中很多关键词,善良和温暖,法律和秩序,牺牲和救赎,人性和人心,在今后无
数仓
皇奔波的岁月中
another琼
·
2019-11-05 13:51
TiDB / TiSpark 在易果集团实时
数仓
中的创新实践
项目背景目前企业大多数的数据分析场景的解决方案底层都是围绕Hadoop大数据生态展开的,常见的如HDFS+Hive+Spark+Presto+Kylin,在易果集团,我们初期也是采取这种思路,但是随着业务规模的快速增长和需求的不断变化,一些实时或者准实时的需求变得越来越多,这类业务除了有实时的OLTP需求,还伴随着一些有一定复杂度的OLAP的需求,单纯地使用Hadoop已经无法满足需求。现有的准实
PingCAP
·
2019-11-05 01:38
数仓
建模 - 维度 vs 关系
发展至今以维度建模和关系建模为主,而随着互联网的发展,数据从GB到PB的裱花,企业业务迭代更新亦是瞬息万变,对维度模型的偏爱渐渐有统一互联网
数仓
建模标准的趋势。
别停下思考
·
2019-11-04 15:42
布袋风管解决医药仓库通风难题
医药物流仓库一般空间高大,空调使用面积大,使用传统铁皮风管系统点式送风模式,送风不均匀,无法精确控制仓库内温湿度,对药品的品质影响较大;同时,大多
数仓
库风管使用时间长,百叶风口或散流器经常会产生冷凝水、
武汉艾唯斯
·
2019-11-01 05:30
以纤维织物风管为核心的医药仓库通风方案
医药物流仓库一般空间高大,空调使用面积大,使用传统铁皮风管系统点式送风模式,送风不均匀,无法精确控制仓库内温湿度,对药品的品质影响较大;同时,大多
数仓
库风管使用时间长,百叶风口或散流器经常会产生冷凝水、
武汉艾唯斯
·
2019-10-31 22:21
企业实践 | 如何更好地使用 Apache Flink 解决数据计算问题?
基于Flink的数据平台构建、运用Flink解决业务场景中的具体问题等随着Flink被更广泛的应用于广告、金融风控、实时BI、实时
数仓
、实时推荐等多种业务场景,在生产实践中已有丰富的案例与优秀的经验。
Ververica
·
2019-10-30 17:21
深刻自省:我是一个什么样的人
shell,python等开发语言精通mysql,oracle,pg等数据库和数据库语言精通Hadoop,阿里云等大数据框架和其各个生态产品精通DataX,Kettle,OGG等ETL门类工具精通数据上云和
数仓
建设熟悉
Mochou_liqb
·
2019-10-29 09:03
神夕成长之路
云栖干货回顾 | 更强大的实时
数仓
构建能力!分析型数据库PostgreSQL 6.0新特性解读
AnalyticDBPG6.0版本大幅提升并发事务处理能力,更好的满足实时
数仓
场
大涛学长
·
2019-10-27 21:41
算法-数据结构
算法
云栖干货回顾 | 更强大的实时
数仓
构建能力!分析型数据库PostgreSQL 6.0新特性解读
AnalyticDBPG6.0版本大幅提升并发事务处理能力,更好的满足实时
数仓
场
51小二
·
2019-10-23 15:36
从关系型数据库到分布式机器学习,揭秘腾讯大数据十年发展历程
如今,大数据技术逐渐成熟,涵盖了计算、存储、
数仓
、数据集成、可视化、NOSQL、OLAP分析、机器学习等丰富领域。在未来,大数据技术还会往引擎容器化、大数据机器学习、数据湖等方面不断延伸。
腾讯技术资讯
·
2019-10-23 13:44
腾讯
数仓
中的口径及常用口径
最近去面试,被面试官问到,你们的
数仓
搭建过程中的口径是什么?当时一脸懵逼,不知道如何回答,这是什么鬼?
樱*雪儿
·
2019-10-20 17:53
数仓面试小细节
从关系型数据库到分布式机器学习,揭秘腾讯大数据十年发展历程
如今,大数据技术逐渐成熟,涵盖了计算、存储、
数仓
、数据集成、可视化、NOSQL、OLAP分析、机器学习等丰富领域。在未来,大数据技术还会往引擎容器化、大数据机器学习、数据湖等方面不断延伸。
腾讯资讯
·
2019-10-18 18:33
大数据;Angel
OneData建设探索之路:SaaS收银运营
数仓
建设
但由于缺乏前期规划,导致后期
数仓
出现了严重的数据质量问题,这给数据治理工作带来了很大的挑战
美团技术团队
·
2019-10-17 19:00
AnalyticDB for PostgreSQL 6.0 新特性介绍
ADBPG6.0版本大幅提升并发事务处理能力,更好的满足实时
数仓
场景,同时通过事务锁等优化,完
大涛学长
·
2019-10-17 03:24
数据库
DataWrehouse(一)数据仓库的分层
如果不进行
数仓
分层,源业务系统的业务规则发生变化,将会影响整个系统的清洗工作,工作量巨大。
做一只精致IT小白
·
2019-10-12 16:04
大数据
数据仓库
上一页
77
78
79
80
81
82
83
84
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他