数仓（

【数仓】数据仓库的数据质量任务监控（四）

我想在本文说说数据质量，ETL任务管理和监控数仓系列：【数仓】数据仓库的思考（一）：https://blog.csdn.net/lsr40/article/details/105576047【数仓】数据仓库的建设
lsr40·2020-07-13 07:33

我该建数仓、大数据平台还是数据中台？看完脑子终于清醒了

一、层出不穷的新名词现在各种新名词层出不穷：顶层的有数字城市、智慧地球、智慧城市、城市大脑；企业层面的有数字化转型、互联网经济，数字经济、数字平台；平台层面的有物联网，云计算，大数据，5G，人工智能，机器智能，深度学习，知识图谱；技术层面的有数据仓库、数据集市、大数据平台、数据湖、数据中台、业务中台、技术中台等等。总之是你方唱罢他登场，各种概念满天飞…在比拼新经济的过程中，其实比拼的是流量也就是用
不夜De星空·2020-07-13 05:25

基于MaxCompute的数仓数据质量管理

随着业务的增加，数据的应用越来越多，企业在创建的数仓过程中对数据的管理也提出了更高的要求，而数据质量也是数仓建设过程不容忽视的环节。本文针对MaxCompute数仓建设过程中如何
weixin_34023863·2020-07-12 23:40

大数据演进：从数据仓库到数据中台

scm=1002.44003c.17c024f.PC_ARTICLE_REC作者：颜博，马蜂窝数仓研发总监第一阶段21世纪的第一个10年，企业级数据仓库（EDW）从萌芽到蓬勃发展，“IOT”(IBM、Oracle
BabyFish13·2020-07-12 21:42

阿里数据总监来谈谈中台、数仓和报表平台的区别，你看的都不对

我对一些当下较为热门的概念做了一些梳理，其实想要了解区别，我觉得得先知道它们各自的定义。1、先说数据中台它的起源我就不说了，相信大家或多或少都看过这个有趣的故事：15年马云携高管访问supercell这个游戏公司，这个游戏公司为什么牛逼？就是因为它的员工不多，但是却造出了很多知名的游戏，原因就在于它的中台战略深入人心，如何像他们一样提高人效？这才是高管们关心的。回到国内，中台的概念就被造出来了，从
Leo.yuan·2020-07-12 21:27

AnalyticDB for PostgreSQL 6.0 新特性介绍

ADBPG6.0版本大幅提升并发事务处理能力，更好的满足实时数仓场景，同时通过事务锁等优化，完
zhaowei121·2020-07-12 19:04

Java实现执行CMD命令

今日需求：使用java程序将一个tbuild脚本到数仓去执行1.环境准备：由于工程使用docker部署，首先需要挂载一个服务器上的路径，否则在docker容器中创建的目录及文件在重新启动docker服务的时候都会清掉
Alisazxy·2020-07-12 11:40

举个栗子！Tableau 技巧（99）：用 创建主组 解决数据融合的性能问题

多数情况下，企业数仓的建设通常采取“先污染，后治理”的原则，让原本很容易提取到的数据，不得不通过融合多个数据源才能得到。
阿达_优阅达·2020-07-12 11:35

飞行中换发动机——金融数仓架构转型的最佳实践

中国建设银行有着将近20年的数据仓库建设历史，其技术平台的转型和应用建设过程，既是引领国内各大银行数据仓库建设的标杆和榜样，同时也可以说是国内银行业数仓建设历程的一个缩影。
Kyligence·2020-07-12 10:39

马蜂窝数据总监分享：从数仓到数据中台，大数据演进技术选型最优解

大家好，今天分享的议题主要包括几大内容：带大家回顾一下大数据在国内的发展，从传统数仓到当前数据中台的演进过程；我个人认为数据中台的核心组成，以及一些技术选型参考；数据研发是数据中台很重要的一环，会分享一些我们在数据研发方面的实践
天秤座的架构师·2020-07-12 03:38

大数据/数仓面试灵魂30问

可简单说下理解与思路3.数据仓库、数据中台、数据湖的理解4.传统数仓的程度（建模工具、ETL工具、BI报表工具、调度系统）5.传统数仓和大数据数仓的异同？有哪些大的变化？6.印象最深刻的项目？为什么？
大数据技术架构·2020-07-12 02:41

Apache Flink 任意 Jar 包上传致 RCE 漏洞复现

l实时推荐系统l实时报表l实时数仓与ETLl复杂事件处理l实时欺诈与实时信用评估l大数据安全监测Flink核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据
RH002·2020-07-11 23:19

实战-基于阿里云搭建数据仓库（离线与实时）

离线数仓：数据流程主要分为两部分：用户行为数仓和业务数仓用户行为数仓的来源是埋点的用户行为日志文件，通过Flume（Source–channel-datahubSink）采集导入至DataHub中；埋点数据本质上是
圆觉_·2020-07-11 23:57

千亿级数仓>缓慢变化维

文章目录4缓慢变化维4.1什么是缓慢变化维（SCD)4.2SCD问题的几种解决方案数仓项目-拉链表技术介绍商品历史快照案例方案一：快照每一天的数据到数仓方案一：MySQL到Hive数仓代码实现方案二：使用拉链表保存历史快照方案二
千千匿迹·2020-07-11 21:19

知乎 Hive Metastore 实践：从 MySQL 到 TiDB

作者介绍：胡梦宇，知乎数据架构平台开发工程师背景ApacheHive是基于ApacheHadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并且提供了HiveSQL进行查询和分析，在离线数仓中被广泛使用
PingCAP·2020-07-11 13:25

海量数据查询的一些关键技术

水平切分，数据sharding，newsql或者传统数仓都是这么做的，一般是基于keyrange。除非有大量的hotspot的查询，否则不会用hash方式。codegen。把查询的S
百科全书学派·2020-07-11 11:22

【与数据同行】开通招聘、产品、数仓、分析、建模、治理等专业群，欢迎加入！...

【与数据同行】社群提供给大家一个开放的平台进行交流，分为【数据专业群】与【招聘交流群】两大类型，当前已经连接了超1万的数据专业人士。1、数据专业群介绍分为综合、数据仓库、数据分析、产品经理、数据治理及机器学习六大专业群，综合群必选，其他专业群可以选择1-2个加入，扫以下二维码加入：活动内容包括：1、原创文章：傅一平的实践原创文章2、它山之石：业界最棒的深入浅出的DT文章精选3、话题讨论：对业界关心
fuyipingwml1976124·2020-07-11 06:37

【与数据同行】开通招聘、产品、数仓、分析、建模、治理等专业群，欢迎加入！...

【与数据同行】社群提供给大家一个开放的平台进行交流，分为【数据专业群】与【招聘交流群】两大类型，当前已经连接了超1万的数据专业人士。1、数据专业群介绍分为综合、数据仓库、数据分析、产品经理、数据治理及机器学习六大专业群，综合群必选，其他专业群可以选择1-2个加入，扫以下二维码加入：活动内容包括：1、原创文章：傅一平的实践原创文章2、它山之石：业界最棒的深入浅出的DT文章精选3、话题讨论：对业界关心
fuyipingwml1976124·2020-07-11 06:37

一文搞懂企业级数据仓库实战

历史的浪潮1、数仓痛点感受到疼痛的点烟囱式开发形成的数据孤岛和重复计算：–建模规范和开发规范各业务系统都存在汇率、证券信息等公开市场信息的重复计算，重复做；客户信息表是全量，更新很少，但需要某个历史时刻的客户状态
圆觉_·2020-07-10 18:09

深入解读Flink资源管理机制

基本概念当前机制与策略未来发展方向Tips：点击「下方链接」可查看更多数仓系列视频～https://ververica.cn/developers/fl
阿里云云栖号·2020-07-10 14:02

核桃编程Delta Lake实时数仓应用实践

作者：卢圣刚，核桃编程数据架构师，拥有多年的大数据开发和架构经验。曾担任易观数据挖掘工程师，熊猫TV大数据架构师。核桃编程简介核桃编程成立于2017年8月9日，作为少儿编程教育行业的领导者，始终秉持“让每个孩子爱学习、会学习，让优质的教育触手可及”的使命，致力于以科技手段促进编程教育，凭借首创的AI人机双师教学模式与十级进阶课程体系，实现规模化因材施教，“启发中国孩子的学习力”。截止2019年8月
weixin_45906054·2020-07-10 11:47

如何通过数据模型设计生成数仓开发脚本(DML)

众所周知在数据建模工具中设计的ER图可以直接产生DDL脚本并执行到数据库生成数据库schema，称为正向工程．另一方面,在数仓设计开发过程中常常使用DML，DML是DataManipulationLanguage
datablau国产数据库建模工具·2020-07-10 09:02

数据中台和传统数仓的区别

2019独角兽企业重金招聘Python工程师标准>>>中台系统把业务层同性的算法能力，服务能力，业务能力高度集成，有效组织，动态规划。更好的帮助上层业务。今天就让我们看看关于数据中台的问答吧。1Q:什么是数据中台？A:数据中台是指通过数据技术，对海量数据进行采集、计算、存储、加工，同时统一标准和口径。数据中台把数据统一之后，会形成标准数据，再进行存储，形成大数据资产层，进而为客户提供高效服务。这些
weixin_34337381·2020-07-10 09:06

数据仓库简介

数据仓库构建数仓架构图：数据仓库的三个阶段：第一阶段：使用大量成熟的开源框架，主要是离线批处理为主，外围系统自研能力较弱，数据量和集群资源少。
飞翔的HL·2020-07-10 00:11

一个被“新冠”催熟的独角兽

出品|虎嗅科技组作者|张雪封面|ICphoto近日，自动化数仓集成服务商Fivetran宣布完成了1亿美元的C轮融资，此次融资后，Fivetran便成为了云计算领域的最新独角兽，估值为12亿美元。
虎嗅网·2020-07-10 00:00

被问懵逼的数仓面试

数仓构建：1).前期业务调研需求调研数据调研技术选型2).提炼业务模型，总线矩阵，划分主题域；3).定制规范命名规范、开发规范、流程规范4).数仓架构分层：一般分为操作数据层（ODS）、公共维度模型层（
花未全开*月未圆·2020-07-09 22:00

Oracle Goldengate 打通数据贯通的金桥--原厂笔记

通过这些数据可以预见未来多云环境下的数据同步需求将出现爆发式的增长数据集成的需求零停机迁移、为数据湖/数仓供数、读写分离、多云之间数据同步、双活容灾、流数据实时分析这些需求都需要实时数据同步来解决，所以在今天人们比以往更需要数据实时同步
Murkey学习之旅·2020-07-09 20:42

OPPO数据中台之基石：基于Flink SQL构建实数据仓库

3.OPPO是如何来构建自己的实时数仓呢？4.为什么要用FlinkSQL?
forever428·2020-07-09 16:49

gc current request 引起长期锁表的故障

gccurrentrequest引起长期锁表的故障故障描述：一个数仓系统长期跑批时出现锁表，锁表偶尔严重时影响整体跑批流程，进而影响第2天业务运行。根据业务请求需要进行优化。
cqrw65623·2020-07-09 14:13

线上的 kettle 作业 中文乱码怎么办？？？

公司的MySQL生长库杭州库使用的MySQL8.0版本，美国库使用的是MySQL5.7，我们数仓团队在使用kettle从Mysql杭州抽到mysqlAmerican库的时候，中文字段出现了乱码，在Spoon.bat
六成2020的猿生·2020-07-09 13:00

MySQL内置函数梳理

近期一直围绕数据治理分析项目中数据可视化部分进行工作的开展，在从ODS中间库拉取数据到数仓时通常用MySQL函数进行数据的处理，期间接触使用到的函数也是各种各样的，包含字符串处理、日期处理、计算函数等，
数通畅联·2020-07-09 13:18

美团点评 Flink 实时数仓经验分享[转]

原文地址实时数仓建设目的解决传统数仓的问题实时数仓是一个很容易让人产生混淆的概念。实时数仓本身似乎和把PPT黑色的背景变得更白一样，从传统的经验来讲，我们认为数仓有一个很重要的功能，即能够记录历史。
zfylin·2020-07-09 11:19

2020年上半年总结

今年上半年主要还是负责一些可视化数仓相关项目。
Jmayday·2020-07-09 11:42

知乎爆赞干货：顶级大公司的OLAP数据仓库，这是全网最好的总结

一、有哪些类型的OLAP数仓？1、按数据量划分对一件事物或一个东西基于不同角度，可以进行多种分类方式。对数仓产品也一样。
Leo.yuan·2020-07-09 04:45

元数据管理系统解决方案及产品调研-数仓系列（一）

元数据管理系统产品选型分析1概述需要给目前数据仓库适用一套元数据管理系统，目的减少人为的维护工作量、web页面协同工作（多人统一入口使用）、元数据权限管理等1.1应用背景目前数据仓库没有专业的元数据管理系统，部分业务模型使用excel文档维护，分散、协同性不好。没有权限管理，没有报表、指标、数据字典、没有血缘或影响关系分析等复杂功能1.2业务目的减少人为的维护工作量、web页面协同工作（多人统一入
果木·2020-07-09 01:37

美团外卖亿级风控实时数据仓库实践！

美团外卖风控的实时数仓是为了满足实时化风控&自动化决策需求，目前系统每天承载几十亿量级的数据，怎么样保证这么大量级的实时数仓的准确性、一致性和低
肉眼品世界·2020-07-08 23:45

我理解的用户画像

我理解的用户画像用户画像介于数仓推荐系统的中间.用户画像能用来做什么?比如精准营销、精细化运营、推荐系统等等应用于电商金融医疗等等我来一下简单的架构流程用户画像的目的就是为了分群，为了给用户贴上标签。
船儿·2020-07-08 23:05

师兄大厂面试遇到这条 SQL 数据分析题，差点含泪而归！

如果你也对数据中台、数据建模、数据分析以及Flink/Spark/Hadoop/数仓开发感兴趣，可以关注我的动态，让我们一起挖掘大数据的价值~每天都要进步一点点，生命不是要超越别人，而是要
云祁·2020-07-08 23:00

美团点评基于 Flink 的实时数仓平台实践

摘要：数据仓库的建设是“数据智能”必不可少的一环，也是大规模数据应用中必然面临的挑战，而Flink实时数仓在数据链路中扮演着极为重要的角色。
Ververica·2020-07-08 23:24

TiDB / TiSpark 在易果集团实时数仓中的创新实践

2019独角兽企业重金招聘Python工程师标准>>>项目背景目前企业大多数的数据分析场景的解决方案底层都是围绕Hadoop大数据生态展开的，常见的如HDFS+Hive+Spark+Presto+Kylin，在易果集团，我们初期也是采取这种思路，但是随着业务规模的快速增长和需求的不断变化，一些实时或者准实时的需求变得越来越多，这类业务除了有实时的OLTP需求，还伴随着一些有一定复杂度的OLAP的需
powerx_yc·2020-07-08 17:14

【云+社区极客说】新一代大数据技术：构建PB级云端数仓实践

本文来自腾讯云技术沙龙，本次沙龙主题为构建PB级云端数仓实践在现代社会中，随着4G和光纤网络的普及、智能终端更清晰的摄像头和更灵敏的传感器、物联网设备入网等等而产生的数据，导致了PB级储存的需求加大。
weixin_30752699·2020-07-08 14:57

58同城宝实时数仓建设实践

本文主要介绍58同城宝团队在实时数仓建设中的一些实践经验。实时数仓的演进早期的数据仓库是将业务数据集中进行存
过往记忆·2020-07-08 12:27

MVC + EFCore 项目实战 - 数仓管理系统3 - 完成整体样式风格配置

上次课程我们新建了管理员的模板页。本次我们就完善这个模板页，顺便加入样式和一些基本的组件，配置好整个项目的UI风格。一、引入共用的css和js文件后端库用nuget,前端库用libman.右键wwwroot文件夹，选择菜单Add/Client-SideLibrary我们使用admin-lte作为前端UI。输入admin-lte搜索会自动产生推荐的版本号，如下图，安装路径默认在wwwroot/lib
编程小纸条·2020-07-08 09:00

MVC + EFCore 项目实战 - 数仓管理系统3 - 完成整体样式风格配置

上次课程我们新建了管理员的模板页。本次我们就完善这个模板页，顺便加入样式和一些基本的组件，配置好整个项目的UI风格。一、引入共用的css和js文件后端库用nuget,前端库用libman.右键wwwroot文件夹，选择菜单Add/Client-SideLibrary我们使用admin-lte作为前端UI。输入admin-lte搜索会自动产生推荐的版本号，如下图，安装路径默认在wwwroot/lib
我们的征途是星辰大海·2020-07-08 09:00

实时数仓的概念及实现方式

目前企业数据架构基本也就包含3种模式，离线数仓，实时数仓，实时流。离线数仓没有任何歧义，实时数仓和实时流之前有什么区别呢？
tom_fans·2020-07-08 07:53

Hive底层执行引擎的深度剖析（免费）

一、装备升级作为一个数据仓库工程师，你在职场中是不是日趋频繁使用数仓工具Hive？作为一个进阶SQLer，你是否仰望着大数据计算的技术圣殿感到举步维艰？
naixuejiaoyu·2020-07-07 17:16

MVC + EFCore 项目实战 - 数仓管理系统2- 搭建基本框架配置EFCore

本次课程就正式进入开发部分。首先我们先搭建项目框架，还是和之前渐进式风格保持一致，除必备组件外，尽量使用原生功能以方便大家理解。开发工具：vs2019或以上数据库：SQLSERVER2017或以上其他需要用到的我们在项目过程中再提。一、新建MVC项目1、打开VS2019，Createanewproject,选择ASP.NETCoreWebApplication2、填入项目名称相关信息DWMS3、选
编程小纸条·2020-07-07 08:00

数仓Hive基础调优

引言此篇文章主要针对hive在执行hql时候，所面临的执行效率慢、数据倾斜、jobs任务过多情况进行分析调优；由于本人也是初次了解hive调优方面知识，在网上也查阅了很多资料，写下此篇文章也是为了巩固自己的知识点及能够与各位同学相互交流学习。以下本人会针对配置参数、HQL语句两个方面进行相关调优说明，另外在优化过程中，需要结合业务逻辑去优化会达到事半功倍的效果，后续会陆续更新此方面知识。一、配置参
Monstar_L·2020-07-06 23:59

大数据之Hudi + Kylin的准实时数仓实现

在近期的ApacheKylin×ApacheHudiMeetup直播上，ApacheKylinPMCChair史少锋和Kyligence解决方案工程师刘永恒就Hudi+Kylin的准实时数仓实现进行了介绍与演示
贝拉美·2020-07-06 20:11

数据中台（读书笔记）-4-体系建设

统一数仓层DW又分为【明细数据层DWD】和【汇总数据层DWS】DWD：dataware
^果然好^·2020-07-06 15:50
上一页 70 71 72 73 74 75 76 77 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他