E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数据架构
大
数据架构
师的岗位工作职责及应具备的能力
技术研发类岗位包括大
数据架构
师、数据仓库架构师、大数据开发工程师、数据采集工程师、数据仓库开发工程师、系统开发工程师、算法开发工程师。本文主要介绍大
数据架构
师的岗位工作职责及应具备的能力。如下图所示
皮皮杂谈
·
2023-06-07 07:18
智慧水务系统如何进行有效的
数据架构
整改?三个企业的改造实践分享
为了帮助有以上问题的企业更好地进行
数据架构
整改,本篇文章汇总了三个典型智慧水务场景下的
数据架构
升级实践,
·
2023-06-06 22:51
数据库tdengine涛思数据
架构师书籍推荐
分类如下业务洞察:架构设计定义问题
数据架构
架构师非职权影响力架构思维架构治理架构演进架构落地架构设计领域建模业务洞察1、好战略,坏战略(畅销版)作者:理查德•鲁梅尔特(RichardRumelt)豆瓣评分
江无羡
·
2023-04-21 06:01
技术书籍
数据架构
简析
简单了解大数据Hadoop最初指代的是分布式文件系统HDFS和Mapreduce计算框架,但是它一路高歌猛进,在此基础之上像搭积木一般快速发展成为一个庞大的生态(包括Yarn,Hive,HBase,Spark等十种之多)为解决海量数据下分析查询性能问题,数据仓库的基础上衍生出的概念1、对数据仓库进行分层,通过层层递进形成数据集市,减少最终查询的数据体量2、提出数据立方体的概念,通过对数据预先处理,
熊猫姐姐90
·
2023-04-21 06:43
数据架构
big
data
hadoop
hive
数据架构
亚马逊云科技帮助BMW Financial Services设计和构建
数据架构
BMWGroup和亚马逊云科技于2020年宣布达成全面战略合作。在re:Invent2019上,BMW和亚马逊云科技展示了新的云数据中心平台,先是大致介绍了不同的数据平台原型,然后介绍了构建BMWGroup云数据中心的过程。AmazonDataLab使用亚马逊云科技的云数据中心,帮助欧洲BMW市场之一构建监管报告应用程序。解决方案概览在监管报告背景下,BMWFinancialServices处理包
XZ战
·
2023-04-20 21:19
bard
gitlab
visualstudio
查询提速 20 倍,Apache Doris 在 Moka BI SaaS 服务场景下的应用实践
作者|Moka
数据架构
师
SelectDB技术团队
·
2023-04-20 20:01
大数据
人工智能
数据库
数据分析
apache
查询提速 20 倍,Apache Doris 在 Moka BI SaaS 服务场景下的应用实践
作者|Moka
数据架构
师
·
2023-04-20 19:11
数据库大数据saasbi报表
一文看懂阿里、京东、滴滴大
数据架构
变迁
上一篇:39岁阿里P9失业了,总资产1.5亿……01大数据技术变迁概述大数据的概念从上世纪90年代被提出,03-06年Google的3篇经典论文(GFS、MapReduce、Bigtable)作为奠基,Hadoop等优秀系统的出现使之繁荣,经历了十余年的时间。从GartnerHypeCycle这一行业技术发展的趋势图看,大数据从2011年进入该图谱,2014年被标记为进入衰退期,2015年开始不再
互联网架构
·
2023-04-20 14:39
大数据
编程语言
hadoop
人工智能
java
12年经验的大
数据架构
师,想和你谈谈…
就在本周,又有一位资深大
数据架构
师加入菜鸟窝的大数据讲师团队,基于他长达6页的工作履历,小姐姐马上对这位大咖做一个快速访谈,感兴趣的小伙伴们,我们很快就能在公开课上和Dennis老师实时交流了!
菜鸟窝
·
2023-04-20 10:42
调度系统: Quartz
元数据设计参考了atlas、metcat、datahus,模型设计、
数据架构
、技术架构基本完成。现在设计调度系统,才发现调度系统不像别的系统,主要是理清业务属性,进行模型抽象。
wandy0211
·
2023-04-19 14:58
java
servlet
开发语言
云数据库时代:企业
数据架构
的云化智能重构和变革(含大会PPT)
在2018年11月16日举行的『数据技术嘉年华』大会上,我对行业近期的观察和思考做了一个总结,在此和大家分享商榷。(下载大会PPT,关注公众号回复:2018DTC,内容持续更新中,尚不完整)我以为,近代数据库技术的发展可以划分为三个阶段,分别是:商业数据库时代:以Oracle、DB2、Sybase、SQLServer等产品为代表,开创了一个企业级软件时代;开源数据库时代:以MySQL、Postgr
数据和云
·
2023-04-18 23:09
从 ClickHouse 到 Apache Doris,腾讯音乐内容库数据平台架构演进实践
目前,内容库数据平台的
数据架构
已经从1.0演进到了4.0,经历了分析引擎从ClickHouse到ApacheDoris的替换、经历了
数据架构
语义层的初步引入到深度应用,有效提高了数据时效性、降低了运维成本
·
2023-04-18 22:06
「
数据架构
」TOGAF建模之
数据架构
:数据迁移图
数据迁移图的目的是显示从源应用程序到目标应用程序的数据流。该图将提供源/目标分布的可视化表示,并作为数据审核和建立可追溯性的工具。该图可以根据需要进行细化或增强。例如,该图可以只包含迁移环境的总体布局,也可以包含单个应用程序元数据元素的详细信息。可以在概念级或物理级表达迁移。应用程序通信图也可以用来表示数据迁移。“迁移”依赖关系是正式化迁移的关键元素。UML/BPMNEAPProfile业务实体:
超级架构师
·
2023-04-18 03:55
架构
应用架构、
数据架构
、技术架构
本文的以思维导图的方式将应用架构、
数据架构
、技术架构的定义、目标、设计内容、以及设计的步骤都展现出来:其实应用架构和
数据架构
支持业务架构、业务架构作为应用架构与
数据架构
的输入、技术架构支撑着应用架构和
数据架构
遇见更好的自己、
·
2023-04-18 02:45
架构师升级历程
架构
数据架构
中的数据问题
然而,大模型对数据丰富性的依赖更加严重,面向机器学习以及深度学习的
数据架构
又是怎样的呢?
Python进阶者
·
2023-04-17 13:41
人工智能
机器学习
深度学习
python
开发语言
云数据库时代:企业
数据架构
的云化智能重构和变革(含大会PPT)
在2018年11月16日举行的『数据技术嘉年华』大会上,我对行业近期的观察和思考做了一个总结,在此和大家分享商榷。(下载大会PPT,关注“数据和云”公众号回复:2018DTC,内容持续更新中,尚不完整)我以为,近代数据库技术的发展可以划分为三个阶段,分别是:商业数据库时代:以Oracle、DB2、Sybase、SQLServer等产品为代表,开创了一个企业级软件时代;开源数据库时代:以MySQL、
-云和恩墨-
·
2023-04-16 12:15
数据库
运维
分布式
大数据
人工智能
云数据库时代:企业
数据架构
的云化智能重构和变革
在2018年11月16日举行的『数据技术嘉年华』大会上,我对行业近期的观察和思考做了一个总结,在此和大家分享商榷。我以为,近代数据库技术的发展可以划分为三个阶段,分别是:商业数据库时代:以Oracle、DB2、Sybase、SQLServer等产品为代表,开创了一个企业级软件时代;开源数据库时代:以MySQL、PostgreSQL、MongoDB、Redis等产品为代表,推动了互联网时代;云数据库
cuibu3268
·
2023-04-16 12:13
运维
大数据
数据库
DAMA数据管理知识体系指南》读书笔记-第四章(
数据架构
)
目录一、前言二、内容结构三、主要内容1.引言2.活动3.工具4.方法5.实施指南6.
数据架构
治理四、思考与总结一、前言本文是《DAMA数据管理知识体系指南》第四章的读书笔记,对数据管理中的
数据架构
构建进行讲解阐述
浊酒南街
·
2023-04-16 08:03
hive
hadoop
big
data
DAMA、DCMM等数据管理框架各个能力域的划分是否合理?有内在逻辑吗?
《DAMA》针对数据管理体系给出了自己的框架,如下图:《DAMA》确定了10个数据管理职能,也就是10个能力域,分别是
数据架构
管理、数据开发、数据操作管理、数据安
hzp666
·
2023-04-16 08:33
其他
企业信息化转型
企业级数据管理——DAMA数据管理
11个数据管理职能数据管理职能包括数据治理、
数据架构
、数据建模和设计、数据存储和操作、数据安全、数据集成和互操作、文档和内容管理、参考数据和主数据管理、数据仓库与商务智能、元数据管理、数据质量管理。
四月天03
·
2023-04-16 08:33
数据治理DAMA
big
data
DAMA数据管理知识体系指南之
数据架构
管理
第4章4.1简介
数据架构
管理是定义和维护如下规范的过程:提供标准的、通用的业务术语/辞典。表达战略性的数据需求。为满足如上需求,概述高层次的整合设计。使企业战略和相关业务架构相一致。
道理你都懂
·
2023-04-16 08:33
架构
数据库
大数据
什么是
数据架构
--读DAMA数据管理有感
随着企业数字化转型智能化发展的不断深入,很多地方都在提架构,一般来说的架构主要有业务架构、
数据架构
、技术架构和应用架构,有时候还会提一点功能架构。
一马平川的大草原
·
2023-04-16 08:02
数据管理
读书笔记
架构
大数据
运维
DAMA-第四章(
数据架构
)
一、前言本文是《DAMA数据管理知识体系指南》第四章的读书笔记,对数据管理中的
数据架构
构建进行讲解阐述。
四月天03
·
2023-04-16 08:32
数据治理DAMA
架构
java
数据库
SOA学习路线图之SOA概念层次
与此同时,将安全架构、
数据架构
、集成架构、服务质量管理等,应用共同的设施提取出来形成不同的层次,为所有的服务所共有。SOA包含八个概念层次:1.操作系统层。
weoln
·
2023-04-16 04:55
SOA
soa
商业智能
bi
【译】Cloudera Manager(CDH)入门系列之二 (架构)
请输入图片描述扫码关注微信公众号"Kooola大数据"扫码关注微信公众号号"Kooola大数据",一起聊聊大
数据架构
(Architecture)如下图所示,ClouderaManager的核心是ClouderaManagerServer
Kooola大数据
·
2023-04-15 22:47
涅磐:时序数据库的终局与重生
近年来,物联网、车联网、工业互联网和智慧城市快速发展,时序数据库成为
数据架构
技术栈的标配。
特仑苏_T
·
2023-04-15 07:29
DB
时序数据库
数据库
分布式计算技术(下):Impala、Apache Flink、星环Slipstream
它与基于数据库的计算模型有本质区别,实时计算是固定的计算任务加上流动的数据,而数据库大多是固定的数据和流动的计算任务,因此实时计算平台对数据抽象、延时性、容错性、数据语义等的要求与数据库明显不同,面向实时计算的
数据架构
也就发展起来
星环科技
·
2023-04-14 12:01
apache
flink
大数据
大
数据架构
模式lambda和kappa的对比
一.lambda架构如图所示,将收集到的数据通过kafka和flume等传递到计算层;数据存储在hdfs或者redis等组件中;计算部分分为两种,实时计算和离线计算;实时计算有storm,flink,stormstreaming和flinkstream;离线部分包括hive和sparksql等数据计算完之后,存储到组件中;其它业务可以从这里拉取计算结果优势(1)经过多年发展,比较稳定,也有比较多的
w970069059
·
2023-04-13 18:47
大数据
Lambda架构,Kappa架构和去ETL化的IOTA架构
经过这么多年的发展,已经从大数据1.0的BI/Datawarehouse时代,经过大数据2.0的Web/APP过渡,进入到了IOT的大数据3.0时代,而随之而来的是
数据架构
的变化。
zxfBdd
·
2023-04-13 18:45
大数据治理
大数据
银行数据管理办法
第二条本办法适用于我行企业
数据架构
管理、数据标准管理、数据质量管理、主数据管理、元数据管理、数据安全管理、数据生命周期管理、数据基础平台管理、数据应用以及数据需求与规划管理共十项数据管理领域的管理活动。
数据智能谷
·
2023-04-13 02:44
数据架构
与算法——C++详细讲解Prim(普里姆)算法【建议收藏】
一、普里姆算法介绍普里姆(Prim)算法,是用来求加权连通图的最小生成树的算法。基本思想:对于图G而言,V是所有顶点的集合;现在,设置两个新的集合U和T,其中U用于存放G的最小生成树中的顶点,T存放G的最小生成树中的边。从所有uЄU,vЄ(V-U)(V-U表示出去U的所有顶点)的边中选取权值最小的边(u,v),将顶点v加入集合U中,将边(u,v)加入集合T中,如此不断重复,直到U=V为止,最小生成
简说Linux内核
·
2023-04-12 17:47
算法
c++
python
数据结构
java
2023年4月企业内部定制课程简章
2023年4月企业内部定制课程简章》》数据治理内训数据管理基础数据处理伦理数据治理
数据架构
数据建模和设计数据安全数据集成和互操作文件和内容管理参考数据和主数据数据仓库和商务智能元数据管理数据质量大数据和数据科学数据管理成熟度评估数据管理组织与角色期望数据管理和组织变革管理
hb15302782362
·
2023-04-12 15:10
弘博创新培训
数据治理
产品经理
数据仓库
企业内训
数据治理内训
产品管理内训
项目管理内训
「
数据架构
」什么是实体关系图(ERD)?
数据库绝对是软件系统不可分割的一部分。在数据库工程中充分利用ER关系图,可以保证在数据库创建、管理和维护中产生高质量的数据库设计。ER模型还提供了一种通信手段。今天我们将带你了解所有你需要知道的关于ER图解的知识。通过阅读ERD指南,您将获得关于ER图和数据库设计的基本知识和技能。你会学到ERD是什么,为什么,ERD符号,如何画ERD,等等,以及一些ERD的例子。什么是ER图?首先,什么是实体关系
超级架构师
·
2023-04-12 11:00
数据库
可视化
大数据
编程语言
java
MySQL开发05-MySQL开发规范
文章目录1、命名规范2、表设计规范3、索引规范4、SQL语句规范5、SQL脚本规范6、
数据架构
规范7、配置文件建议8、其他规范9、总结1、命名规范命名应有意义,包括库名、表名、用户名等,以使用方便记忆、
豪杰笑开怀
·
2023-04-12 05:39
MySQL开发
mysql
数据库
sql
服务器
大
数据架构
师:日访问百亿级
日志数据是最常见的一种海量数据,以拥有大量用户群体的电商平台为例,双11大促活动期间,它们可能每小时的日志数量达到百亿规模,海量的日志数据暴增,随之给技术团队带来严峻的挑战。本文将从海量日志系统在优化、部署、监控方向如何更适应业务的需求入手,重点从多种日志系统的架构设计对比;后续调优过程:横向扩展与纵向扩展,分集群,数据分治,重写数据链路等实际现象与问题展开。我自己是一个从事了6年的Java全栈工
编程小世界
·
2023-04-11 20:25
Tapdata 与 Apache Doris 完成兼容性互认证,共建新一代
数据架构
2022年4月,Tapdata启动PDK插件生态共建计划,致力于全面连接数据孤岛,加速构建更加开放的数据生态,旨在充分激发实时数据流动的价值,助力各行各业完成从传统
数据架构
平滑过渡到新一代数据库架构,为用户提供更好的数据服务体验
Tapdata 钛铂数据
·
2023-04-11 18:30
apache
架构
数据库
大数据
实时数据
图文详解CDC技术,看这一篇就够了!
在大多数情况下,此类项目从最小的
数据架构
开始。例如,像MySQL或PostgreSQL这样的关系数据库足以处理和存储许多用户可以使用的数据。
zhisheng_blog
·
2023-04-11 08:01
数据库
数据仓库
大数据
python
java
大
数据架构
流程图
平台
数据架构
流程图标准大数据平台架构,标准大数据平台架构,大数据平台架构,数据仓库,数据集市,大数
ixiaoyang8
·
2023-04-10 21:12
数据治理服务解决方案(word)
(一) 数据治理核心域1
数据架构
管理数据模型是数据构架中重要一部分,包括概念数据模型、逻辑数据模型和物理数据模型,是数据治理的关键、重点。
数字化动态
·
2023-04-10 04:59
大数据
Nginx实战应用-负载均衡,大
数据架构
设计方案
2.Nginx配置upstream块upstreamname{…}upstreamgupao{server192.168.12.1:8081;server192.168.12.1:《一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义》【docs.qq.com/doc/DSmxTbFJ1cmN1R2dB】完整内容开源分享8082;server192.168.12.1:8
m0_64867152
·
2023-04-10 01:54
程序员
面试
java
后端
togaf 为指导的云计算规划
1、云计算规划面临主要问题2、企业架构与云计算的关系3、以togaf为指导的云计算规划方法企业架构的定位项目管理企业架构战略项目1业务架构战略计划1项目2应用架构项目3
数据架构
项目4技术架构安全架构云的商用模式
半_调_子
·
2023-04-08 22:01
togaf架构
架构
系统架构
阿里云多模数据库会给未来带来什么?
他还将在QCon全球软件开发大会(深圳站)“现代
数据架构
”专题中进行《阿里云
jisuyunzzc
·
2023-04-08 10:03
阿里云
如何做架构设计和评审
架构设计可根据从业务需求到系统实现的不同需要分为:业务架构、应用架构、
数据架构
、技术架构。下面以电商系统为例进行架构设计。
Impl_Sunny
·
2023-04-08 06:03
架构&理论
架构设计
架构评审
下秒数据李元佳:湖仓一体带来现代数据栈变革
传统
数据架构
及问题受存储成本及计算能力的限制,传统
数据架构
在处理数据时主要采用分段进行。数据集成部分主要是采用Oracle及HBase等做OD
CSDN云原生
·
2023-04-08 01:36
大数据
云原生
数据架构
湖仓一体
现代数据栈
【大数据是什么】
大数据运维工程师数据仓库开发工程师ETL工程师大数据开发工程师BI工程师算法工程师大数据平台开发工程师大
数据架构
师讲述一下自己的大数据学习之路大数据是做什么的?
BigDataTuTu
·
2023-04-07 16:11
大数据
大数据
阿里云
云计算
五个顶级的大
数据架构
自从像AWS这样的公共云产品开辟了大数据分析功能以来,小企业通过挖掘大量的数据做到只有大企业才能做到的事情,至今大约有10年时间。这些事情其中包括网络日志、客户购买记录等,并通过按使需付费的方式提供低成本的商品集群。在这十年中,这些产品蓬勃发展,涵盖了从实时(亚秒级延迟)流媒体式分析到用于分析批量模式工作的企业数据仓库,而企业数据仓库则可能需要数天或数周才能完成。以下将介绍用于大数据堆栈的五个最有
大数据Arry
·
2023-04-07 16:07
大数据
大数据资讯
人工智能
互联网资讯
大数据
数据分析
程序员
编程语言
还没弄明白微服务
数据架构
事务管理+ACID+一致性+CAP+BASE理论吗,看完彻底解决疑惑
事务管理理论事务管理概述事务(Transaction)提供一种机制,它将一个执行过程涉及的所有操作都纳入一个不可分割的执行单元。组成事务的所有操作只有在所有操作均能正常执行的情况下方能提交,只要其中任一操作执行失败,都将导致整个事务的回滚。事务拥有ACID特性,后面我们会对事务的ACID特性做进一步说明。本地事务和分布式事务本地事务是在同一个进程实例中调用不同的资源形成事务,紧密依赖底层资源管理器
Java爱好狂.
·
2023-04-07 04:39
java
微服务
后端
吃透这篇微服务
数据架构
,数据分类存储特性,关系数据库你就行了
微服务
数据架构
微服务架构强调技术的多样性,选择最合适的技术解决业务的实际问题,这一原则同样适用于微服务数据存储领域。
nuzzzzz
·
2023-04-07 04:06
大数据
java
架构
微服务
数据架构
,数据分类及存储特性,SpringData与NoSQL的集成
SpringData与NoSQL的集成下面介绍使用SpringData集成MongoDB、Redis实现SpringBoot应用与NoSQL数据库的集成和开发。SpringBoot集成MongoDB●方式一:使用MongoDBRepository使用SpringDataMongoDBRepository可以让你不用写相关的查询组合语句,只要按规定定义好接口名就可以。Repository接口是Spr
nuzzzzz
·
2023-04-07 04:36
大数据
一夜就把微服务
数据架构
,数据分类及存储特性,SpringData搞懂了
SpringData针对数据库和NoSQL存储数据,一种理想的方式是使用统一的数据访问模型进行数据操作,通过对象关系映射模式,屏蔽底层数据存储层的差异和细节,提高开发人员的生产效率。SpringData正是为这个目标而存在的。SpringData的使命是为数据访问提供熟悉且一致的基于Spring的编程模型,同时保留底层数据存储的特性。它使数据访问技术、关系数据库和非关系数据库、Map-Reduce
nuzzzzz
·
2023-04-07 04:36
java
上一页
5
6
7
8
9
10
11
12
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他