E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数据架构
分布式文件存储系统不得不说的灵动元数据服务
本文我们就来分布式文件存储系统是如何设计元
数据架构
的。元数据的重要性元数据是用来描述文件系统和文件特征的系统数据,例如文件类型、文件大小、访问权限和数据索引信息等。
新爷话数据
·
2023-01-07 17:03
分布式
经验分享
大数据
云计算
同盾科技 x TiDB丨实时
数据架构
为风控智能决策保驾护航
经过长时间调研,他们最终选择了新一代分布式数据库TiDB作为离线层的核心数据库,基于TiDB打造的实时
数据架构
为风控智能决策保驾护航。
·
2023-01-06 19:48
tidb
同盾科技 x TiDB丨实时
数据架构
为风控智能决策保驾护航
经过长时间调研,他们最终选择了新一代分布式数据库TiDB作为离线层的核心数据库,基于TiDB打造的实时
数据架构
为风控智能决策保驾护航。
·
2023-01-06 19:46
tidb
python基础语法(一),快来看看你掌握了没?
Python支持各种
数据架构
的迭代和扩展:列表(list)推导式字典(dict)推导式集合(set)推导式元组(tuple)推导式列表推导式列表推导式格式为:[表达式 for 变量 in 列表] [out_exp_res
Echo-Niu
·
2023-01-06 10:11
python基础知识
python
开发语言
实时数仓之 Kappa 架构与 Lambda 架构
今天,我们先了解一下数据仓库架构的演变过程,本文主要从五个方面进行介绍数据仓库概念离线大
数据架构
Lambda架构Kappa架构Lambda架构与Kappa架构的对比1数据仓库概念数据仓库是一个面向主题的
智慧化智能化数字化方案
·
2023-01-06 01:22
架构
数据仓库
数据库
6万字新型智慧城市一网统管顶层设计方案
第一部分建设背景3一、发展趋势3二、发展现状6三、面临挑战9第二部分总体思路12一、指导思想12二、发展原则12三、愿景目标13四、总体架构设计16(一)总体框架16(二)业务架构19(三)应用架构20(四)
数据架构
数字化方案
·
2023-01-04 13:27
大数据
ETL数据清洗
大多数据仓库的
数据架构
可以概括为:数据源-->ODS(操作型数据存储)-->DW-->DM(datamart)ETL贯穿其各个环节。一、数据抽取:可以理解为是把源数据的数据抽取到ODS或者DW中。
jerry-89
·
2022-12-31 10:45
ETL
etl
数据仓库
数据挖掘
「经验汇总」基于TDengine的时序数据解决方案
在此背景下,一些企业开始尝试进行
数据架构
改造,选择适合的时序数据库(TimeSeriesDat
·
2022-12-30 17:58
数据无序增长的终结者-数据模型虚拟化
但由此带来的数据无序增长直接导致了
数据架构
不可挽回地滑向腐朽深渊,大量的重复数据以及数不尽的数据烟囱成为数据“不好找、不敢用、风险大、成本高”的元凶。业务敏捷和数据有序代表了数据驱动型业务的两个根本性
·
2022-12-30 15:47
数据虚拟化
Alluxio为Presto赋能跨云的自助服务能力
设计数据平台的考虑因素结论本文重点介绍两大流行开源项目Alluxio和Presto之间的协同作用,并展示如何利用两者实现跨云自助服务
数据架构
。
Alluxio
·
2022-12-30 09:26
Alluxio技术与实践
java
数据库
大数据
Presto
Alluxio
数据治理:数据治理之道-数据战略
参考《一本书讲透数据治理》、《数据治理》等文章目录数据战略定义DAMA对数据战略的定义DCMM对数据战略的定义《一本书讲透数据治理》对数据战略理解数据战略与企业战略、
数据架构
的关系数据战略的3个要素战略定位短期目标中期目标长期目标实施策略行动计划实施数据战略的
小明同学YYDS
·
2022-12-29 23:54
大数据
数据治理
大数据
人工智能
java
数据治理
分享思路:Python+Spark招聘爬虫可视化系统 招聘数据分析 Hadoop职位可视化 大数据毕业设计 51job数据分析(可选加推荐算法)
开发技术Hadoop、HDFS、Spark、SpringBoot、echarts、PySpark、Python、MySQL创新点大
数据架构
、爬虫、数据可视化啰里啰嗦适合大数据毕业设计、数据分析、爬虫类计算机毕业设计可二次开发选加推荐算法
haochengxu2022
·
2022-12-27 10:01
机器学习
爬虫
python数据分析
爬虫
python
spark
数据分析
hadoop
DCMM评估内容
DCMM评估内容DCMM定义了数据战略、数据治理、
数据架构
、数据应用、数据安全、数据质量、数据标准和数据生存周期8个核心能力域和28个能力项:1.数据战略分为数据战略规划、数据战略实施和数据战略评估3个能力项
HB_18660785998
·
2022-12-26 22:02
大数据
人工智能
数据治理的成功要素2:
数据架构
设计
本文对从
数据架构
概述、
数据架构
的设计进行简要说明,并对
谈数据
·
2022-12-23 09:42
数据治理
安全架构
系统架构
big
data
酷开科技 × StarRocks:统一 OLAP 分析引擎,全面打造数字化的 OTT 模式
作者:周桂民,大
数据架构
师和负责人,主要负责大数据平台基础建设工作酷开科技,全称深圳市酷开网络科技股份有限公司,成立于2006年,自主研发了智能电视操作系统——酷开系统。
StarRocks_labs
·
2022-12-23 08:35
科技
大数据
云计算
推荐系统(Recommender System)笔记 04:推荐系统工程实现
推荐系统(RecommenderSystem)04:推荐系统工程实现推荐系统的数据流批处理大
数据架构
(BatchProcessing)流计算大
数据架构
(StreamingProcessing)Lambda
MYJace
·
2022-12-22 14:50
推荐系统
学习笔记
深度学习
人工智能
推荐系统
spark
tensorflow
TDengine:国内4家大型物流公司的
数据架构
改造实例汇总
同时,伴随着数字化、智能化的不断加速,数据更是呈现出爆发式增长,老旧的
数据架构
越来越难以应对业务发展需求。
涛思数据(TDengine)
·
2022-12-21 10:44
用户案例
TDengine技术解密
tdengine
大数据
时序数据库
元宇宙岗位薪资排行榜,出炉
在具体TOP20薪资岗位比如深度学习、机器学习、
数据架构
师、移动开发、机器视觉等岗位中,深度学习岗位的薪资位居榜首。就研发、设
财高八斗者
·
2022-12-19 12:45
Java程序员
Java编程
Java
人工智能
java
企业架构概述及业务架构详解
在业务战略方面,它定义企业的愿景/使命、目标/目的/驱动力、组织架构、职能和角色;在IT战略方面,定义业务架构、
数据架构
、应用架构和技术架构,是I
天秤座的架构师
·
2022-12-17 17:53
数字化创新赋能实验室
架构
大数据
数据库
InfoQ《大咖说》:大数据平台如何进行云原生改造 | 内附视频回放
策划|褚杏娟来源|InfoQInfoQ《大咖说》本期嘉宾:智领云联合创始人兼CEO彭锋博士,拥有20余年软件开发,大数据及云计算经验,曾任Twitter大
数据架构
师及技术带头人、ask.com工程总监。
LinkTime_Cloud
·
2022-12-16 16:32
运维
大数据
编程语言
hadoop
人工智能
数据治理一体化实践之体系化建模
1前言2什么是体系化建模3为什么要进行体系化建模3.1体系化建模可以对
数据架构
进行实质有效的管理,从源头消除“烟囱式”开发3.2体系化建模沉淀
王知无(import_bigdata)
·
2022-12-15 16:04
大数据
人工智能
机器学习
数据分析
数据仓库
【数据治理】浅谈数据治理
随着大数据平台和工业互联网兴起,数据治理平台主要采用数据中台技术和微服务架构初步替代传统架构,面向大
数据架构
下,为数据资源中心与外部数据系统提供数据服务。那么,数据治理到底治什么?
菜鸟蜀黍
·
2022-12-14 10:04
数据治理
cloudera
hadoop
hive
Amazon Glue Data Quality 将以预览的形式推出
尽管我们得到了
数据架构
,但总是会发现开发人员必须使用一些方式来表示事先没有预料到的值。例如,为患有异色症(不同颜色眼睛)的人编码。异色症:https://en.wikiped
亚马逊云开发者
·
2022-12-14 08:42
主数据怎么治理?
编辑:辉总来源:大
数据架构
师(ID:bigdata_arch)早在十几年前,主数据管理就已经是企业信息化建设中的核心部分。
大数据架构师Evan
·
2022-12-13 20:55
大数据
人工智能
编程语言
java
区块链
主题域、概念、逻辑、物理四种模型有什么区别与联系?
编辑:彭文华来源:大
数据架构
师(ID:bigdata_arch)彭友萌好,我是你的老彭友。上周,有个彭友给我提了一个问题,说对主题域、概念、逻辑和物理模型不太理解,能不能解释一下。
大数据架构师Evan
·
2022-12-13 12:42
数据仓库
大数据
设计模式
java
编程语言
【招聘内推】软告招聘大
数据架构
师
百度地图招聘服务研发工程师荣耀推荐算法架构演进实践.pdf大规模推荐类深度学习系统的设计实践.pdf推荐系统在腾讯游戏中的应用实践.pdf清华大学256页PPT元宇宙研究报告.pdf(附下载链接)软告招聘大
数据架构
师
智能推荐系统
·
2022-12-11 21:38
大数据
hadoop
分布式
元数据是什么?怎么管?
编辑:彭文华来源:大
数据架构
师(ID:bigdata_arch)彭友萌好,今天老彭友小羊羊找到我,想要元数据管理相关的内容,说找遍了所有文章,都没找到详解元数据管理的内容。
大数据架构师Evan
·
2022-12-11 18:54
大数据
java
编程语言
人工智能
数据库
大
数据架构
之端到端方案综述(3)数据仓储&Hive
1数据仓库介绍1.1数据仓库简介数据仓库是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合,主要针对来自多个数据源的历史数据进行细粒度、多维度的分析,输出用于企业的数据分析、数据挖掘、数据报表等方向,帮助管理者或业务分析人员做出商业战略决策。数据仓库可概括为四个特点:面向主题:数据仓库都是基于某个明确主题,仅需要与该主题相关的数据,其他的无关细节数据将被排除掉。不同于传统数据库对
小事儿Phil
·
2022-12-11 11:20
大数据
数据仓库
主题
Hive
Hbase
表妹问:区块链是啥?
编辑:彭文华来源:大
数据架构
师彭友们好,我是老彭啊。最近小表妹又转行了,去了一家区块链公司。区块链太复杂了,表妹的小脑袋瓜感觉有点转不过来了。唉...关键时刻,还得老彭出马区块链是个啥?
大数据架构师Evan
·
2022-12-10 09:37
非结构化数据怎么盘点?
编辑:彭文华来源:大
数据架构
师也是很奇怪的事情,最近几个彭友都不约而同地开始讨论非结构化数据治理的工作,难道是群体意识觉醒了?
大数据架构师Evan
·
2022-12-10 09:37
大数据
人工智能
编程语言
java
机器学习
数据要素市场研究资料合集
编辑:彭文华来源:大
数据架构
师彭友们好,我是老彭。最近有个博士彭友在为论文挠头,到处找数据要素市场的资料。
大数据架构师Evan
·
2022-12-10 09:37
区块链
数据资产目录建设之数据分类全解(上)
编辑:彭文华来源:大
数据架构
师彭友们好,我是老彭。春天来了,各种项目已经开始规划了,有些速度快的已经开始做了。
大数据架构师Evan
·
2022-12-10 09:07
java
人工智能
大数据
机器学习
数据分析
【史上最全】数据分级分类标准、指南和模板
编辑:彭文华来源:大
数据架构
师(ID:bigdata_arch)彭友萌好,我是老彭。昨天有一位老彭友在群里求一份资料,很着急的样子:我一看,哟,这不是《中国移动大数据安全管控分类分级实施指南》么?
大数据架构师Evan
·
2022-12-10 09:06
数据安全
人工智能
大数据
安全
java
喜大普奔!工信部数据管理人才证书!!!
编辑:彭文华来源:大
数据架构
师(ID:bigdata_arch)彭友们!同志们!!!奔走相告啊!还记得我之前跟大家说的么?工信部正在研究数据管理人才队伍建设的事情,最近要出证书了!这不,证书出来了!
大数据架构师Evan
·
2022-12-10 09:06
大数据
人工智能
java
机器学习
编程语言
数据中台之OneID (ID-Mapping)架构设计细节全解
编辑:诸葛子房来源:大
数据架构
师(ID:bigdata_arch)彭友们好,我是老彭。之前抽空写了一篇《OneID中的核心技术ID-Mapping究竟是怎么实现的?》
大数据架构师Evan
·
2022-12-10 09:06
百度
大数据
python
ai
app
大局视角看上海,数据集团定乾坤!
编辑:彭文华来源:大
数据架构
师彭友们好,我是老彭啊。今天早上一觉睡到8点多,睁眼就被这份文件给刷屏了。这个话题在各大群里都聊疯了。主要在以下几个问题上集中讨论:1、上海数据集团是干啥的?
大数据架构师Evan
·
2022-12-10 08:00
人工智能
大数据
java
区块链
编程语言
阿里十年技术沉淀|深度解析百PB级数据总线技术
云原生场景下数据总线需求场景及挑战数据总线简介数据总线作为大
数据架构
下的流量中枢,在不同的大数据组件之间承载着数据桥梁的作用。
阿里云云栖号
·
2022-12-09 21:17
kafka
java
大数据
阿里云
云计算
应用实践|知乎用户画像与实时数据的架构与实践
知乎数据赋能团队以ApacheDoris为基础,基于云服务构建高响应、低成本、兼顾稳定性与灵活性的实时
数据架构
,同时支持实时业务分析、实时算法特征、用户画像三项核心业务流,显著提升对于时效性热点与潜力的感知力度与响应速度
ApacheDoris
·
2022-12-09 11:23
算法
大数据
分布式
编程语言
数据库
元宇宙岗位薪资排行榜,出炉!
在具体TOP20薪资岗位比如深度学习、机器学习、
数据架构
师、移动开发、机器视觉等岗
xhmj12
·
2022-12-09 03:32
游戏
人工智能
编程语言
java
大数据
CDGA|加快民航数据治理落地,发挥数据业务价值
民航局一直高度重视行业数据治理和行业大数据体系建设发展,先后赋予民航局信息中心“民航大数据中心”职能,出台民航数据治理规范《框架与管理机制》《
数据架构
》等5部标准,启动民航智慧监管服务平台项目建设。
hb15302782362
·
2022-12-06 14:23
弘博创新培训
深圳CDGA认证
深圳DAMA数据治理认证
大数据
CDGA
CDGP
DAMA
数据治理认证
DAMA数据管理大纲图
精读章节(★★★)第1章数据管理2第3章数据治理13第4章
数据架构
26第10章参考数据和主数据36第12章元数据管理56第13章数据质量49第14章大数据和数据科学54第15章数据管理成熟度评估58第16
红桃六
·
2022-12-02 12:30
数据仓库
大数据
跨越速运如何构建实时统一的运单分析
作者:张杰,跨越速运大
数据架构
师(本文为作者在StarRocksSummitAsia2022上的分享)作为大型现代化综合速运企业,跨越速运拥有3000多家服务网点,日均处理30多万票运单。
StarRocks_labs
·
2022-12-01 19:05
java
开发语言
数据库
数据治理之数据标准
数据治理体系是指从组织架构、管理制度、操作规范、IT应用技术、绩效考核支持等多个维度对组织的数据模型、
数据架构
、数据质量、数据安全、数据生命周期等各方面进行全面的梳理、建设以及持续改进的体系。
智能方案
·
2022-12-01 10:13
人工智能
大数据
运维
什么是中台,定义中台的角度是什么?_光点科技
单体系统中的业务架构、
数据架构
、应用架构和技术架构体系通过把可共享组织服务、可共享数据服务、可共享业务服务、可共享技术服务等提取沉淀,进化为融合企业架构组织中台架构、数据中台架构、业务中台架构和技术中台架构体系
光点数据治理
·
2022-12-01 10:17
科技
数据库
java
机器学习前瞻
前者属于大
数据架构
范畴,后者则很大程度上依赖机器学习技术。机器学习专注与将数据集划分为训练数据和测试数据,以创建一个模型,来提高对未来做决策的能力。数据挖掘则是尽可能精确地挖掘目标区域,而无需使
语或
·
2022-11-30 14:27
机器学习笔记
跨越速运如何构建实时统一的运单分析
作者:张杰,跨越速运大
数据架构
师(本文为作者在StarRocksSummitAsia2022上的分享)**作为大型现代化综合速运企业,跨越速运拥有3000多家服务网点,日均处理30多万票运单。
·
2022-11-30 14:25
数据库
数据仓库建设规范
版本编号V1.0发布日期2017-07-19作者发布范围产研大数据团队目录1
数据架构
概述21.1原始数据层(ODS)31.2数据仓库层(DW)31.3数据集市层(DM)42数据库命名规范43表命名规范53.1
zgm_226610
·
2022-11-30 10:06
大
数据架构
师、开发人员、公司必读:国外大数据应用的10个项目案例(图表)
问题导读1.大数据如何应用于电力能源项目,带来效益?2.数据可视化有哪些应用?3.是否可以将可视化应用于空气污染?4.大数据如何应用于各种(手机)应用?5.你认为大数据还可以应用于那些场景?小编翻译了意大利大数据应用10个项目案例例,供感兴趣的读者享用:一、数据分析案例1:题目:感测人类行为,预测能源消费应用领域:能源消费预测模型项目负责人:AndreyBogomolov项目简介:项目致力于优化意
cz-神算子
·
2022-11-29 22:58
hadoop
当下火爆的大数据技术及算法怎么还能不知道 一起来学习互联网巨头的大
数据架构
实践!
大数据被称为新时代的黄金和石油,相关技术发展迅猛,所应用的行业也非常广泛,从传统行业如医疗、教育、金融、旅游,到新兴产业如电商、计算广告、可穿戴设备、机器人等。大数据技术更是国家科技发展和智慧城市建设的基础。当前“互联网+”新业态的发展,其核心也是大数据的采集、分析、价值挖潜和应用。当今全球大数据的竞争及战略布局,突出体现在大数据的技术创新和人才培养方面。技术创新能够保障在大数据发展的浪潮中始终处
Java技术那些事儿
·
2022-11-28 21:03
大数据
系统架构
学习
大数据技术
java
大数据从业人员需要哪些技能?
大数据团队的构成与基本要求一般来说,企业内部建立大数据团队,至少会包含以下几个类别:大数据开发工程师、大数据运维工程师、大
数据架构
师、有的还会有偏向业务侧的数据分析工程师。先说大数据运维工程师,从职责
IT转型指北
·
2022-11-27 21:10
hadoop
上一页
10
11
12
13
14
15
16
17
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他