E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数据架构
Tapdata 的 2.0 版 ,开源的 Live Data Platform 现已发布
时代为何需要一个全新的实时
数据架构
?Tapdata技术架构有何优势和特性?Tapdata的开源路线图又是怎样?
Tapdata钛铂数据
·
2022-07-07 22:00
ZooKeeper与CAP是什么关系?适用于哪些场景?
典型大
数据架构
有哪些?我该怎么选择?2、要有亲自动手的意识,并积极主动接触和学习新技术。PS:最好能有一个自己的测试环境(有大量朋友因为环境而止步!)3、学到的知识,多在合适的业务场景进行试用和验证。
arno_wzk
·
2022-07-05 10:34
大数据
zookeeper
大数据
数据仓库架构
大
数据架构
演变(数仓架构演变)传统离线大
数据架构
21世纪初随着互联网时代的到来,数据量暴增,大数据时代到来。
Keven He
·
2022-07-04 12:53
#
数仓
数据仓库
17-ETL工具、大
数据架构
、Flume介绍、Flume组件介绍
9.8ETL9.8.1概念描述ETL理解ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程,目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据设计分为3部分数据抽取数据的清洗转换数据的加载对3部分的理解在设计ETL的时候我们也是从这三部分出发。数据的抽取是从各个不同的数据源抽取到ODS(OperationalDataStore,操作型数据存储)中——这
大数据下的画像人
·
2022-07-02 09:20
大数据
大数据
etl
架构
面向未来,我们来聊一聊什么是现代化
数据架构
在不那么遥远的旧IT时代,有这样一个段子——假如把数据库们”聚在一起“开会”。Oracle:我们需要企业级数据库。MySQL:Oracle不开源。PostgreSQL:MySQL的功能不够多。SQLite:你可以把我嵌入到任何地方。这样,4种数据库够大家用了。MongoDB:为什么我们要用join和模式(schema)?Bigtable:MongoDB的对web的扩展性不好。Hbase:Bigta
亚马逊云开发者
·
2022-06-17 10:32
数据库
java
分布式
大数据
编程语言
高考作文:如何下好“数据治理”这盘大棋?
编辑:彭文华来源:大
数据架构
师彭友们好,我是老彭。今天是众多考生的大日子,全国高考。我没在彭友圈里给考生加油,因为他们根本看不到。所以,我准备用自己的方式重温高考——写一篇高考作文,请各位彭友品鉴。
大数据架构师Evan
·
2022-06-13 11:22
人工智能
编程语言
数据挖掘
网易
sqlserver
黑客入侵微软邮件服务器、Windows零日漏洞可获管理员权限|11月23日全球网络安全热点
这是国家加强网络数据法治化的又一重要举措,对数据处理企业、数字化转型企业而言,将在搭建
数据架构
、完善数据合规体系等方面具有促进作用。
腾讯安全
·
2022-06-11 07:20
恶意软件
漏洞安全
网络安全
安全
网络
web安全
技术趋势-大
数据架构
细数一下,大
数据架构
目前比较热的词包括:*数据湖、湖仓一体*批流合一、实时计算*存算分离、存储虚拟化*交易和分析融合,OLAP、HTAP、HSAP等等,基本上还是围绕大数据平台的存储和计算的两大主题。
舟行
·
2022-06-01 04:25
大
数据架构
设计阶段之——Zookeeper
zookeeper从入门到实战(简介)本文是对架构设计阶段的zookeeper进行总结1.入门1.1概述:1.zookeeper是一个开源分布式的,为分布式应用提供协调服务的·Apache项目。2.zookeeper=文件系统+通知机制zookeeper的工作机制:是一个基于观察者模式设计的分布式服务管理框架,他负责存储和管理大家都关心的数据,,然后接受观察者的注册,一旦这些数据的状态发生了变化,
D奋斗的小菜鸟!
·
2022-05-28 02:38
大数据
架构设计阶段
#
Zookeeper
大话DDD — 服务、实体、值对象、聚合根
基于DDD的程序设计,就是将前面的领域模型映射成
数据架构
中的程序设计,从而通过领域驱动提升软件设计质量,那么应该进行映射,让领域模型指导程序设计。
小胖学编程
·
2022-05-27 10:04
解密云原生数据库|Data Infra 研究社第一期
【DataInfra研究社】创办的初衷就是希望通过业界大佬们的知识共享来打造一个良好的学习氛围,期待更多人能关注到
数据架构
,并加入其中共同探讨,深入研究,一起推动行业的发展。
·
2022-05-20 10:18
数据结构数据库云原生
大
数据架构
师进阶之路-技术学习路线
大
数据架构
师进阶之路自大学毕业从事IT行业已有两年有余,虽在这两年一直没有停止学习的脚步,但总是感觉,不成体系,再就是学过的技术长时间不用,也忘记了,写篇博客的目的,是想在工作之余,一是充实自己,将学习的痕迹记录下来
俺是刘铁柱
·
2022-04-27 08:20
随笔杂谈
企业架构概述及业务架构详解
在IT战略方面,定义业务架构、
数据架构
、应用架构和技术架构,是IT战略规划的最佳实践的指引。企业架构是承接企业业务战略与IT战略之间的桥梁与标准接
iamgaoshuai
·
2022-04-23 18:45
2019年大数据从入门到精通应该具备的知识体系
入门知识推荐书籍1、舍恩伯格的《大数据时代》;2、巴拉巴西的《爆发》;3、涂子沛的《大数据》;4、吴军《智能时代》;5、《大
数据架构
商业之路:从业务需求到技术方案》工具技能1、hadoop:常用于离线的复杂的大数据处理
小迪和夫人
·
2022-04-22 07:03
大数据
大数据
大数据入门
学习线路
Tapdata 与阿里云 PolarDB 开源数据库社区联合共建开放数据技术生态
一直专注实时数据服务平台的Tapdata,也宣布开源其数据源开发框架——PDK(PluginDevelopmentKit),并同步启动PDK插件生态共建计划,旨在充分激发实时数据流动的价值,助力企业完成从传统
数据架构
平滑过渡到新一代数据库架构
·
2022-04-13 15:43
数据库
阿里云PolarDB开源数据库社区与 Tapdata 联合共建开放数据技术生态
一直专注实时数据服务平台的Tapdata,也宣布开源其数据源开发框架——PDK(PluginDevelopmentKit),并同步启动PDK插件生态共建计划,旨在充分激发实时数据流动的价值,助力企业完成从传统
数据架构
平滑过渡到新一代数据库架构
·
2022-04-12 17:38
5、数据仓库抽象ODS/DW/DWS
我们可以知道所谓的大数据实际上就是系统在运行过程中产生的各种日志的汇总集合,那么为了更进一步使数据能高复用,产生了数据仓库的概念,本章就是笔者结合自己的工作经历梳理数据仓库中的抽象层级,以便于加深对大
数据架构
的理解
朗如行玉山_5b30
·
2022-04-11 15:26
Flink基础系列35-Flink CDC简介
名称来看有点乱,我们先从之前的
数据架构
来看CDC的内容。 以上是之前的mysqlbinlog日志处理流程,例如canal监听binlog把日志写入到kafka中。
只是甲
·
2022-04-08 15:48
业务中台、数据中台、技术中台到底是什么?
00中台能力总体框架01业务中台02数据中台数据应用技术发展迅猛
数据架构
更加灵活数据来源更加多元化,数据格式更加多样化数据智能化应用将会越来越广泛03技术中台1.API网关2.开发框架3.微服务治理4.
一个写湿的程序猿
·
2022-03-30 08:27
数据治理
数据中台
用户画像
推荐系统
大数据
分布式
数据分析
为什么大型互联网都爱用kafka?
Kafka通常用于实时流
数据架构
,以提供实时分析。Kafka正在爆炸式增长。超过三分之一的财富500强企业都使用Kafka。
我是小泽呀!
·
2022-03-25 09:59
架构技术
程序员
java
kafka
架构技术
IT互联网
化繁为简--百度智能小程序主
数据架构
实战总结
导读:企业数据孤岛、共享数据管理、数据服务性能面临挑战,高可用的主数据管理服务越来越被企业所重视,本文内容是基于百度智能小程序主数据实战经验的一些总结,从解决百度智能小程序核心业务数据模型的质量和共享协同入手,重新定义业务数据模型边界,提供企业高可用的数据管理服务的演进过程,希望帮助大家在主数据应用的道路上获得更多帮助。全文5262字,预计阅读时间16分钟一、主数据概念1.1主数据概念介绍主数据(
·
2022-03-24 14:46
后端数据库架构小程序百度
IBM系统分析——架构设计五视图+数据设计
目录一、架构设计五视图1.逻辑架构2.开发架构3.运行架构4.物理架构5.
数据架构
二、数据设计1.数据库的逻辑模型2.数据库的常用模型3.实现从面对对象模型到表的转换4.数据库的物理模型一、架构设计五视图
ღ冷风20°C᭄ꦿ࿐
·
2022-03-23 13:02
IBM系统分析
个人笔记
软件工程
经验分享
墨天轮国产数据库沙龙 | 四维纵横姚延栋 :MatrixDB,All-in-One高性能时序数据库
中国开源社区创始人、PostgreSQL中文社区常委、壹零贰肆数字基金会(非营利组织)联合发起人整理:墨天轮社区导读物联网、车联网、工业互联网的快速发展,标志着我们正在加速进入万物互联的时代,时序数据库成为
数据架构
技术栈的标配
·
2022-03-15 15:10
数据库时序数据库matrix
如何成为一名优秀的数据工匠?
点击视频查看完整直播回放01优秀
数据架构
师成长之路盖国强:「
QcloudCommunity
·
2022-03-09 08:10
数据库
分布式
大数据
编程语言
consul
视频教程-零基础Python人工智能自然语言处理文本挖掘关键词提取-NLP
零基础Python人工智能自然语言处理文本挖掘关键词提取6年开发经验,具有丰富的移动端、中台、后端、大数据、NLP、语音生成、图像识别开发经验,团队管理经验;擅长
数据架构
,NLP。
weixin_28756549
·
2022-03-02 07:48
体验了一把当架构师的感觉
最近公司数据方面的需求变得更多元化了,导致原有的大
数据架构
满足不了公司现有的需求。
·
2022-02-27 21:52
java
Snowflake如日中天是否代表Hadoop已死?大数据体系到底是什么?
本文试从系统架构的角度,就大
数据架构
热点,每条技术线的发展脉络,以及技术趋势和未解问题等方面做一概述。
阿里云云栖号
·
2022-02-25 15:43
云栖号技术分享
hadoop
大数据
StarRocks Contributor 人数破百!极速统一,你我协力!
作为新一代极速全场景MPP数据库,带着开创极速统一的全新
数据架构
的梦想,StarRocks于2021年9月8日在Github上将源代码正式开放!自此,StarRocks社区扬帆起航。
·
2022-02-25 14:08
数据库sql
全面解析湖仓一体与大数据演进历程|内含技术工具选型策略
大
数据架构
的演进历程对于大部分人来说,大
数据架构
所涉及的概念及术语繁多且复杂。如何将这些混乱的词汇转化
·
2022-02-25 11:17
透过数字化转型再谈数据中台(一):关于数字化转型的几个见解
编者按:《透过数字化转型再谈数据中台》系列连载6-8篇左右,作者结合自己在数据中台领域多年实践经验,总结了
数据架构
知识、BI知识,以及分享给大家一些产业互联网实施经验。本文是系列文章中的第一篇。
松子无核
·
2022-02-21 09:59
大数据
经验分享
如何使用Bioconductor进行单细胞分析?
但是,单细胞数据为分析提出了独特的挑战,需要开发专用的方法和
数据架构
才能成功解析数据背后的生物问题。Bioconductor项目托管了社区开发的开源R包以满足这些分析需求。
生信宝典
·
2022-02-19 21:57
Alluxio+WeRide|加速L4级自动驾驶技术开发进程
这一新的
数据架构
为每个位置都提供了本地化缓存,消除了对S3的冗余请求。除了解决手动数据同步的复杂性问题之外,Alluxio还直接将数据提供给位于同一办公室处理相同数据的工程师,规避与S3相关的传
·
2022-02-18 14:17
Java开发者职业生涯要看的200+本书
:入门书籍基础书籍多线程与并发网络编程数据结构语言基础进阶性能优化响应式编程JVM虚拟机代码&设计优化设计模式框架与中间件数据库缓存与NoSQL消息队列ORM框架Spring家族高并发分布式搜索引擎大
数据架构
分布式架构微服务架构架构方法论
rommel_c02e
·
2022-02-18 04:49
从码农到高级工程师:尚学堂1810期大数据全套视频教程全新上线
如今企业对于大数据高端人才的需求度越来越紧迫,在大数据团队主要分三种角色:大数据开发工程师、大数据运维工程师、大
数据架构
师。
北京尚学堂
·
2022-02-16 18:21
(转)
数据架构
-主数据&元数据管理
主数据管理主数据是指描述核心业务实体的数据,如客户、机构、员工、产品等。这些数据变化相对缓慢并通常在企业内跨业务重复使用。主数据管理适用于管理、协调、监控与企业主要业务实体相关联的主数据的一系列规则、技术、应用、策略和程序。hg主数据包括两类,一类是海关业务基础数据,具有更新周期相对缓慢而使用周期相对较长、被跨业务部门共享使用、从源应用系统集成而来、现势性要求高、非交易记录数据等特点,如海关注册企
达微
·
2022-02-14 17:00
KUDU 介绍
在阿里、小米、网易等公司的大
数据架构
中,KUDU都有着不可替代的地位。
两棵橘树
·
2022-02-13 21:36
大数据三分钟入门之五:与数据相关的职位
最后一篇来聊聊与大数据相关的职位:数据分析师(DataAnalyst),数据科学家(DataScientist),数据工程师(DataEngineer),数据库管理员(DBA),
数据架构
师(DataArchitect
北美枫叶
·
2022-02-13 13:45
华为数据之道"数据谷解读"之组织一数据管理部
华为作为一家国际知名的电信设备和手机制造商,这样大张旗鼓宣传内部数据流程与
数据架构
,看上去与之前华为在安全保密上谨慎风格,显得有点异常。
数据智能谷
·
2022-02-13 07:03
数据架构
与算法——字符串转数字的hash函数与布隆过滤器
一、布隆过滤器(BloomFilter)是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多,缺点是有一定的误识别率和删除困难。(1)基本概念如果想要判断一个元素是不是在一个集合里,一般想到的是将所有元素保存起来,然后通过比较确定。链表,树等等数据结构都是这种思路.但是随着集
深度Linux
·
2022-02-12 07:54
算法
数据结构
c++
字符串
python
大数据平台架构设计探究
第三部分会介绍lambda和kappa架构模式下的一般大
数据架构
第四部分介绍裸露的
数据架构
体系下数据端到端难点以及痛点。
GOGOYAO
·
2022-02-11 09:14
转:架构师之路16年精选50篇
单点系统架构的可用性与性能优化》《关于负载均衡的一切》《异构服务器负载均衡及过载保护》《LVS为何不能完全替代DNS轮询》《究竟啥才是互联网架构“高并发”》《究竟啥才是互联网架构“高可用”》《100亿数据1万属性
数据架构
设计
weixin_33963189
·
2022-02-11 07:37
系统架构
数据库
awk
系统架构设计师概述
现代信息系统架构三要素:构建、模式和规划软件系统架构是关于软件系统的结构、行为和属性的高级抽象系统架构设计师需具备九种能力1、战略规划能力2、业务流程建模能力3、信息
数据架构
能力4、技术架构选择与实现能力
战神汤姆
·
2022-02-11 03:25
搞懂深度学习到底需要哪些数学知识
【嵌牛鼻子】深度学习,大
数据架构
。【嵌牛提问】BP神经网络的思想?【嵌牛正文】IT互联网行业有个有趣现象,玩资本的人、玩产品的人、玩技术的人都能很好的在这个行业找到自己的位置并
梦里不知身是客_d549
·
2022-02-10 15:38
区块链数据的公开和共享
这不仅仅是简单的
数据架构
不同,更代表了不同的数据归属权。像Facebook和Google拥有了绝大多数的用户数据,虽然开放了部分算法,但依然掌握了绝大多数的用户的数据。
青企云
·
2022-02-10 09:35
JuiceFS 即将发布 1.0 并调整开源许可
开源一周年JuiceFS开始于2017年,是一款云原生分布式文件系统,旨在帮助企业解决多云、跨云、混合云环境下所面临的诸多挑战:数据安全和保护、大
数据架构
升级、海量小文件访问、Kubernetes标准存储等
JuiceFS
·
2022-02-09 16:43
云存储
分布式存储
hdfs
hadoop
云计算
十年资深大
数据架构
师教你python内置函数!看不看你决定!
Python具有丰富和强大的库。它常被昵称为胶水语言,能够把用其他语言制作的各种模块(尤其是C/C++)很轻松地联结在一起。常见的一种应用情形是,使用Python快速生成程序的原型(有时甚至是程序的最终界面),然后对其中有特别要求的部分,用更合适的语言改写,比如3D游戏中的图形渲染模块,性能要求特别高,就可以用C/C++重写,而后封装为Python可以调用的扩展类库。需要注意的是在您使用扩展类库时
大数据学习01
·
2022-02-08 13:31
关于Spring boot的最新最全面笔记
马士兵老师亲自认证的关于大
数据架构
的免费课程,想要的话快来!Springboot[if!supportLists]一、[endif]在STS中实现热部署STS本质上也是基于Eclipse的[if!
大数据客栈yi
·
2022-02-06 18:29
Hive的企业级应用
1.
数据架构
架构原则:先水平分层,再垂直分主题域。
数据架构
分三层源数据落地区(SDF
tl.ldp
·
2022-02-06 11:28
数据仓库
hive
hadoop
Hive企业应用
1.
数据架构
架构原则:先水平分层,再垂直分主题域。
数据架构
分三层源数据落地区(SDF
falconQI
·
2022-02-06 11:57
hive
数据仓库
数据库
hive从入门到实战No.4
extract)、转换(transform)至目的端的过程.数据仓库构架设计,即为公司针对自身业务场景实现的水平分层、垂直分主题的数据仓库构建过程的顶层设计.1.数据构架构架原则:先水平分层,在垂直分主题域
数据架构
Nikolala123
·
2022-02-06 11:27
hive
数据仓库
big
data
上一页
13
14
15
16
17
18
19
20
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他