E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数据中台
如何更好地建设
数据中台
?
“
数据中台
”也成为挖掘数据价值、辅助企业快速决策,实现降本增效,甚至重构企业商业模式的关键。然而在TOP50房企里,仅有38%的企业实现了内部系统数据的互通。
数据中台
为何建不起来?
WakeData惟客数据
·
2023-12-26 14:09
大数据
人工智能
自动化
数据库
案例 |
数据中台
如何支撑6000+门店降本提效?
对于企业来说,上中台不是目的,借助
数据中台
让企业建立数据驱动意识,并结合
数据中台
持续做好各项业务运营,才是根本。那么对于零售行业来说,该如何利用
数据中台
为业务赋能?
WakeData惟客数据
·
2023-12-26 14:39
大数据
人工智能
数据中台
与数据仓库有什么区别?
数字化转型浪潮卷起各种新老概念满天飞,
数据中台
、数据仓库轮番在朋友圈刷屏,企业还没推开数字化大门,先被各种概念绊了一脚。今天咱们就来看下这两者究竟有啥区别。
WakeData惟客数据
·
2023-12-26 14:38
数据仓库
数据挖掘
人工智能
HBase 超大表迁移、备份、还原、同步演练手册:全量快照 + 实时同步(Snapshot + Replication)不停机迁移方案
博主历时三年精心创作的《大数据平台架构与原型实现:
数据中台
建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行,点击《重磅推荐:建大数据平台太难了!给我发个工程原型吧!》
Laurence
·
2023-12-26 10:34
大数据专题
hbase
数据库
大数据
数据中台
包含哪些模块
本文将通过对
数据中台
架构的介绍,让大家了解
数据中台
总体架构、包含的模块、模块之间的关系以及运转机制。
xuanxing123
·
2023-12-24 15:05
功能强大的开源
数据中台
系统 DataCap 1.18.0 发布
推荐一套基于SpringBoot开发的简单、易用的开源权限管理平台,建议下载使用:https://github.com/devlive-community/authx推荐一套为Java开发人员提供方便易用的SDK来与目前提供服务的的OpenAI进行交互组件:https://github.com/devlive-community/openai-java-sdk推荐一套全平台数据库管理工具,建议下载
qianmoQ
·
2023-12-24 02:36
DataCap
开源
Java
开源
DataCap
机场数据治理系列介绍(1):机场行业
数据中台
中的数据管理顶层设计方案
目录1、战略目标与价值2、组织架构与角色分配3、数据流程管理4、数据质量管理5、数据安全与隐私保护6、技术平台选择与部署7、数据服务与API管理8、数据培训与文化推广9、持续改进与优化民航机场行业的
数据中台
中
机场信息系统研究员
·
2023-12-24 02:27
数据治理
机场信息化
大数据
数据中台
机场数据治理
数据治理
机场数据中台
秋天的第一杯奶茶
关注微信公众号:一个数据人的自留地1、回复“
数据中台
”,获取2、回复“数据产品”,获取3、回复“商业分析”,获取4、回复“交个朋友”,进入大家是不是在这周突然被“秋天的第一杯奶茶”这个梗刷屏了呢?
一个数据人的自留地
·
2023-12-22 19:24
浅谈
数据中台
之数据开发
目录01前言02中台概念及背景03
数据中台
建设方法04数据开发实践01前言2015年阿里在国内首次提出了中台概念,由阿里引领发展,迅速在互联网企业中形成了一股浪潮。
EAWorld
·
2023-12-21 10:03
大数据
7.
数据中台
--- 数据开发:数据体系建设
数据中台
数据体系是在全域原始数据的基础上,进行标准定义及分层建模,数据体系建设最终呈现的结果是一套完整、规范、准确的数据体系,可以方便的支撑数据应用。
enlyhua
·
2023-12-21 09:30
大数据
数据
数据中台
之旅(五)数据开发介绍
功能介绍数据开发包含:作业开发(sqoop\hive\impala\python\shell)、实时开发(flink)、调度管理(工作流\定时调度\DAG查询)、日志管理(定时调度日志\作业运行日志)建设思路作业开发:数仓开发使用频率最高的一个功能。通过web化的开发方式大大提升开发效率,降低技术门槛。以前在平安使用的是shell、sql脚本,自己写整套的指令。我希望的是,开发人员只要关注业务逻辑
belialxing
·
2023-12-21 09:59
总结
数据平台
数据中台
架构原理与开发实战:数据集成与数据交换
作者:禅与计算机程序设计艺术1.背景介绍
数据中台
(DataStudio)是由数据团队在业务部门和技术部门协同下,通过构建统一的数据运维中心,实现数据集成、数据质量管理、数据分析及数据价值转化等数据的价值的一种方法论
禅与计算机程序设计艺术
·
2023-12-21 09:56
AI大模型企业级应用开发实战
大数据
人工智能
语言模型
Java
Python
架构设计
数据中台
架构原理与开发实战:从监控告警到故障处理
1.背景介绍
数据中台
概述
数据中台
(DataHub)是一个数据服务平台,它提供了包括各种数据源、数据采集、清洗、计算、存储和分析等数据服务功能。
禅与计算机程序设计艺术
·
2023-12-21 02:17
AI实战
大数据AI人工智能
Python实战
大数据
人工智能
语言模型
AI
LLM
Java
Python
架构设计
数据中台
未来一定需要具备三种能力
这在
数据中台
就表现为数据的中心化,也就是数据的高内聚、低耦合,需要对共性问题抽象出业务的规则,建立数据模型。
求知笔记
·
2023-12-20 20:07
数据中台
架构原理与开发实战:
数据中台
的数据可视化工具与平台
1.背景介绍概述如今互联网业务呈爆炸式增长,用户需求也日渐复杂,数据处理能力要求越来越高。大量的数据产生、存储、分析和管理必然会给企业带来巨大的挑战。数据仓库和数据湖作为企业级的基础设施建设的重要组成部分,可以提供数据源头,汇聚和加工各种异构数据源并形成统一的价值信息。然而,对于企业中不同业务线的应用部门,往往需要通过不同的界面或方式才能看到这些数据。比如对于零售部门,可能只能通过APP进行数据的
禅与计算机程序设计艺术
·
2023-12-20 05:03
大数据AI人工智能
Python实战
架构师必知必会系列
大数据
人工智能
语言模型
Java
Python
架构设计
数据中台
架构原理与开发实战:实例解析
数据中台
项目
作者:禅与计算机程序设计艺术1.背景介绍
数据中台
(DataCenterDataWarehouse,DCDW)是企业为了整合数据而建立的一个集中化平台,主要包括数据采集、存储、处理、分析、智能决策支持等环节
禅与计算机程序设计艺术
·
2023-12-20 05:00
AI大模型企业级应用开发实战
大数据
人工智能
语言模型
Java
Python
架构设计
用Q-learning算法实现自动走迷宫机器人
2019独角兽企业重金招聘Python工程师标准>>>【技术沙龙002期】
数据中台
:宜信敏捷
数据中台
建设实践|宜信技术沙龙将于5月23日晚8点线上直播,点击报名项目描述:在该项目中,你将使用强化学习算法
weixin_33901641
·
2023-12-19 15:59
人工智能
matlab
python
订单峰值激增 230%,Serverless 如何为世纪联华降本超 40%?|双11 云原生实践
作者|朱鹏导读:2020年双11,世纪联华基于阿里云函数计算(FC)弹性扩容,应用于大促会场SSR、线上商品秒杀、优惠券定点发放、行业导购、
数据中台
计算等多个场景,业务峰值QPS较去年提升230%,研发效率交付提效超过
阿里云云原生
·
2023-12-19 14:10
云原生
serverless
阿里云
前端
java
数据中台
架构原理与开发实战:数据服务与API接口
1.背景介绍“
数据中台
”是一个新的IT技术概念,它是指将数据、计算、应用等技术能力进行整合的一体化平台。
禅与计算机程序设计艺术
·
2023-12-19 07:48
AI实战
大数据AI人工智能
Python实战
大数据
人工智能
语言模型
AI
LLM
Java
Python
架构设计
我对大数据的理解
在这种大环境下,部分企业或政府建立的大数据平台,并且在此之上建立了数据湖、数据仓库、
数据中台
。相关概念或定义如下:大数据平台是一个以处
王永翔
·
2023-12-19 07:54
大数据
数据分析
数据中台
与数据仓库有什么区别?
数字化转型浪潮卷起各种新老概念满天飞,
数据中台
、数据仓库轮番在朋友圈刷屏,企业还没推开数字化大门,先被各种概念绊了一脚。今天咱们就来看下这两者究竟有啥区别。
惟客数据
·
2023-12-19 00:48
数据中台
演进的四个阶段
数据中台
的演进可以分为四个阶段,分别是:数据库阶段;数据仓库阶段;数据平台阶段;
数据中台
阶段。
求知笔记
·
2023-12-18 08:20
什么是BI、数据仓库、数据湖和
数据中台
,他们有什么差异?
随着大数据技术的不断更新和迭代,数据管理工具得到了飞速的发展,相关概念如雨后春笋一般应运而生,如从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据湖、
数据中台
等,这些概念特别容易混淆,本文对这些名词术语及内涵进行系统的解析
公众号:肉眼品世界
·
2023-12-17 15:03
数据仓库
数据挖掘
大数据
编程语言
机器学习
数据中台
:企业数据质量参差不齐?听听专家怎么说
本文节选自《
数据中台
》作者:付登坡,江敏,任寅姿,孙少忆等1数据质量管理的目标数据质量管理主要解决“数据质量现状如何,谁来改进,如何提高,怎样考核”的问题。
中生代技术
·
2023-12-17 14:30
大数据
编程语言
人工智能
数据分析
java
数据中台
架构原理与开发实战:ETL过程深度解析
1.背景介绍随着互联网的蓬勃发展,越来越多的企业和机构开始在线存储、分析、报告各种数据。数据存储成为新旧应用、新旧数据管理和数据报表需求交织相成的一个重要原因。为了解决这个难题,数据仓库(DataWarehouse)应运而生。它是一个集中汇聚所有业务数据并提供统一视图的数据集合。同时也充当了数十年来存储、分析、报告数据的“单点故障”。数据仓库不仅能够满足内部各个部门对数据的查询需求,还可以作为“云
禅与计算机程序设计艺术
·
2023-12-17 14:29
AI实战
大数据AI人工智能
Python实战
大数据
人工智能
语言模型
AI
LLM
Java
Python
架构设计
数据采集方法
数据采集过程是数据流入
数据中台
的关键步骤,主要通过认证鉴权、关键数据源管控、采集数据传输安全、临时数据限制、日志记录和告警等多种措施来保障采安全性。
manok
·
2023-12-16 11:23
安全
供应链安全
数据安全
DataFunSummit:2023年数据科学在线峰会-核心PPT资料下载
数据中台
如何发挥功效?用户增长有捷径吗?数据科学的最佳实践有哪些?本次峰会共包含了:机器学习与数据挖掘、AB实验、因果推断、
数据中台
与数字化转型、用户增长与运营、数据科学最佳实践等6大论坛。
百家峰会
·
2023-12-16 02:39
大数据
数据治理
数据科学
大数据
数据科学
数据治理
6000字长文,终于将
数据中台
架构体系讲明白了
数据中台
的出现弥补了数据开发和应用开发之间由于开发速度不匹配而出现的响应力不足等缺陷问题。
数据中台
是国内学者提出的概念,起始于阿里的“大中台、小前台”概念。阿里的中台是从管理的角度出发,以中台
公众号:肉眼品世界
·
2023-12-15 19:46
数据安全
大数据
编程语言
人工智能
数据分析
数据中台
架构原理与开发实战:理解数据湖与
数据中台
的关系
但是,由于需求的不断变化,公司面临的数据维度爆炸、数据价值难以量化、数据分析延迟增长等一系列数据管理难题,如何构建一个具有自主知识产权保护能力和数据价值的
数据中台
成为迫切需求。
禅与计算机程序设计艺术
·
2023-12-15 19:08
AI实战
大数据AI人工智能
Python实战
大数据
人工智能
语言模型
AI
LLM
Java
Python
架构设计
马骑顿部署实在RPA,所产价值超该项目投入6倍
2022年,马骑顿搭建企业
数据中台
,统一管理线上数据,但在做数据化的时候,发现很难将各个模块的数据链路打通。
实在智能RPA
·
2023-12-15 12:46
行业数字化解决方案
rpa
实践分享 |
数据中台
高效交付的秘笈
基于保障数字化转型成功的
数据中台
建设过程中,“速度”决定了市场竞争力——建设周期越短,能节约越多成本;中台上线越快,能释放越多价值。
美林数据Tempodata
·
2023-12-15 10:08
大数据
记一次系统上线的JVM调优
前言开发了大半年的
数据中台
系统,近期在测试环境上线压测,监控JVM时发现GC频繁,开启GC日志后发现隔几秒就要做一次MinorGC(对新生代内存进行回收),并且堆内存不到十分之一的时候就进行GC(测试-
南风过境jz
·
2023-12-06 04:05
数据中台
学习和实战系列文章
【华为数据之道学习笔记】1-2华为数字化转型与数据治理-CSDN博客【华为数据之道学习笔记】非数字原生企业的特点-CSDN博客【数字化转型方法论读书笔记】选型
数据中台
的几大建议-CSDN博客【数字化转型方法论读书笔记
码农丁丁
·
2023-12-05 22:32
#
数据中台
数据中台
【
数据中台
】开源项目(4)-BitSail
介绍BitSail是字节跳动开源的基于分布式架构的高性能数据集成引擎,支持多种异构数据源间的数据同步,并提供离线、实时、全量、增量场景下的全域数据集成解决方案,目前服务于字节内部几乎所有业务线,包括抖音、今日头条等,每天同步数百万亿数据。开源地址:GitHub-bytedance/bitsail:BitSailisadistributedhigh-performancedataintegratio
码农丁丁
·
2023-12-05 22:55
#
大数据
#
数据中台
开源
数据中台
BitSail
《
数据中台
:让数据用起来》书评
有幸被选中为数澜科技《
数据中台
:让数据用起来》抢鲜品鉴者,首先感谢数澜科技的小伙伴们能够系统的介绍和分享关于
数据中台
相关理念、知识、技术及工具。
礼_7f0b
·
2023-12-04 06:36
数据中台
架构原理与开发实战:数据分析与决策支持
作者:禅与计算机程序设计艺术1.背景介绍
数据中台
(DataStudio)是一个重要的开源工具和框架,用于帮助企业进行数据采集、清洗、加工、存储、分析和可视化。
禅与计算机程序设计艺术
·
2023-12-03 23:15
AI大模型应用实战
大数据
人工智能
语言模型
Java
Python
架构设计
【
数据中台
】开源项目(3)-Linkis
关于LinkisLinkis在上层应用程序和底层引擎之间构建了一层计算中间件。通过使用Linkis提供的REST/WebSocket/JDBC等标准接口,上层应用可以方便地连接访问MySQL/Spark/Hive/Presto/Flink等底层引擎,同时实现统一变量、脚本、用户定义函数和资源文件等用户资源的跨上层应用互通,以及通过REST标准接口提供了数据源管理和数据源对应的元数据查询服务。作为计
码农丁丁
·
2023-12-03 23:42
#
数据中台
#
大数据
开源
数据中台
Linkis
数据中台
方案
平台引擎DataSphereStudio基于插拔式的集成框架设计,及计算中间件Linkis,可轻松接入上层各种数据应用系统,让数据开发变得简洁又易用。在统一的UI下,DataSphereStudio以工作流式的图形化拖拽开发体验,将满足从数据交换、脱敏清洗、分析挖掘、质量检测、可视化展现、定时调度到数据输出应用等,数据应用开发全流程场景需求。数据治理引擎数据平台的数据治理:数据治理是一个大而全的治
aaaak_
·
2023-12-03 23:11
大数据
大数据
【
数据中台
】开源项目(3)-DataSphere Studio
DataSphereStudio(简称DSS)是微众银行自研的数据应用开发管理集成框架。基于插拔式的集成框架设计,及计算中间件Linkis,可轻松接入上层各种数据应用系统,让数据开发变得简洁又易用。在统一的UI下,DataSphereStudio以工作流式的图形化拖拽开发体验,将满足从数据交换、脱敏清洗、分析挖掘、质量检测、可视化展现、定时调度到数据输出应用等,数据应用开发全流程场景需求。DSS通
码农丁丁
·
2023-12-03 23:10
#
数据中台
数据中台
读书笔记
开源
浅析
数据中台
技术架构
@toc引言
数据中台
总体架构图前面我们通过理论层面对
数据中台
有了一定的了解,下面我们通过架构层面来详细看一下
数据中台
的设计。
数据中台
是位于底层存储计算平台与上层的数据应用之间的一整套体系。
kobe_OKOK_
·
2023-12-03 15:23
架构
大数据
大数据湖项目建设方案:文档全文101页,附下载
关键词:大数据解决方案,数据湖解决方案,数据治理解决方案,
数据中台
解决方案一、大数据湖建设思路1、明确目标和定位:明确大数据湖的目标和定位是整个项目的基础,这可以帮助我们确定项目的内容、规模、所需的技术以及如何评估项目的效果
方案365
·
2023-12-03 08:05
大数据
数据中台
数据治理
大数据湖
大数据湖项目
数据治理
数据中台
数据分析
云计算
【
数据中台
】开源项目(5)-Amoro
介绍AmoroisaLakehousemanagementsystembuiltonopendatalakeformats.WorkingwithcomputeenginesincludingFlink,Spark,andTrino,Amorobringspluggableandself-managedfeaturesforLakehousetoprovideout-of-the-boxdataw
码农丁丁
·
2023-12-03 08:05
#
大数据
#
数据中台
开源
数据中台
Amoro
复杂JSON的实时接入解析与可视化展示
数据在后端处理好通过API将JSON返回给前端页面2、SaaS产品对外通过WebAPI返回JSON提供数据服务,而不是让用户直接连接到数据库(这样太危险,而且数据库服务通常是多租户公用,无法直接登录访问)3、
数据中台
已经得到广泛应用
Crystalllleee
·
2023-12-02 21:46
开源多组件
数据中台
整体框架设计
本文参考该论证思维工具,结合自身的工作经验,来论证下当前为什么“开源多组件
数据中台
”是政务数据应用的选择之一。一、什么是
数据中台
?
开源数据中台
·
2023-12-02 01:50
开源
数据挖掘
数据仓库
数据中台
架构原理与开发实战:
数据中台
项目管理流程
作者:禅与计算机程序设计艺术1.背景介绍数据架构概述数据架构(DataArchitecture)作为IT企业运用新型信息技术(IT)技术革命带来的变革,已经成为越来越重要的领域。随着互联网、移动互联网、物联网、云计算等新一代技术的发展,人类活动产生的数据量正在以指数级增长。而数据架构就成为了构建和维护这些海量数据的基石。由于数据量的爆炸性增长,传统单体数据库已无法满足业务需求的同时,还面临新的挑战
禅与计算机程序设计艺术
·
2023-12-02 01:49
AI大模型应用实战
大数据
人工智能
语言模型
Java
Python
架构设计
数据中台
架构原理与开发实战:数据可视化与数据报表
2017年,阿里巴巴集团发布了"支付宝
数据中台
",该平台旨在打通数据分析、决策制定和营
禅与计算机程序设计艺术
·
2023-12-01 23:48
AI大模型应用实战
大数据
人工智能
语言模型
Java
Python
架构设计
数据中台
之核心调度模块的设计
目录1.DAG图的设计1.1功能设计要点1.2数据库设计要点2.调度器设计2.1XXL-JOB调度架构特点
数据与后端架构提升之路
·
2023-12-01 12:51
数据中台
调度系统
数据中台
之OneService
OneService定义数据服务(OneService)作为统一的数据服务出口,实现了数据的统一市场化管理,有效地降低数据开放门槛的同时,保障了数据开放的安全。如何构建OneService●第一步:API定义API的定义包括:快速配置参数、选择排序字段、API类型多样性、数据预览、复制字段等方面。API的类型又包括生成API、注册API、服务分组及服务编排这4个方面。●第二步:API发布API的发
数据与后端架构提升之路
·
2023-12-01 12:50
数据中台
大数据
一文读懂:制造业头部企业如何构建经营分析数字化体系
用BI数据分析手段,通过SAPBW/4HANA、SAPSACPlanning、
数据中台
、Hadoop等构建大数据平台,实现企业经营分析的数字化在近年逐步被认可和推崇,尤其是数字化场景的经营分析会成为数字化转型的亮点应用之一
智扬信达
·
2023-12-01 09:11
业务
big
data
数据挖掘
数据分析
制造
基于Apache doris怎么构建
数据中台
(五)-数据质量管理
上一次我们讲了,数据怎么进行快速的接入,这次我们讲在接入及后续的数据处理中质量怎么控制如何更加合理、高效的监控每类作业的运行状态,并将原本分散、孤岛式的监控日志信息通过规则引擎集中共享、关联、处理;洞察关键信息,形成事前预判、事中监控、事后跟踪的质量管理闭环流程;沉淀故障问题,搭建解决方案的知识库体系。在数据质量监管平台的规划建设中,面临如下挑战:缺乏统一监控视图,离线和实时作业监控分散,影响性、
张家锋
·
2023-11-30 17:48
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他