大数据架构

InfoQ《大咖说》：大数据平台如何进行云原生改造 | 内附视频回放

策划|褚杏娟来源|InfoQInfoQ《大咖说》本期嘉宾：智领云联合创始人兼CEO彭锋博士，拥有20余年软件开发，大数据及云计算经验，曾任Twitter大数据架构师及技术带头人、ask.com工程总监。
LinkTime_Cloud·2022-12-16 16:32

【数据治理】浅谈数据治理

随着大数据平台和工业互联网兴起，数据治理平台主要采用数据中台技术和微服务架构初步替代传统架构，面向大数据架构下，为数据资源中心与外部数据系统提供数据服务。那么，数据治理到底治什么？
菜鸟蜀黍·2022-12-14 10:04

主数据怎么治理？

编辑：辉总来源：大数据架构师（ID：bigdata_arch）早在十几年前，主数据管理就已经是企业信息化建设中的核心部分。
大数据架构师Evan·2022-12-13 20:55

主题域、概念、逻辑、物理四种模型有什么区别与联系？

编辑：彭文华来源：大数据架构师（ID：bigdata_arch）彭友萌好，我是你的老彭友。上周，有个彭友给我提了一个问题，说对主题域、概念、逻辑和物理模型不太理解，能不能解释一下。
大数据架构师Evan·2022-12-13 12:42

【招聘内推】软告招聘大数据架构师

百度地图招聘服务研发工程师荣耀推荐算法架构演进实践.pdf大规模推荐类深度学习系统的设计实践.pdf推荐系统在腾讯游戏中的应用实践.pdf清华大学256页PPT元宇宙研究报告.pdf（附下载链接）软告招聘大数据架构师
智能推荐系统·2022-12-11 21:38

元数据是什么？怎么管？

编辑：彭文华来源：大数据架构师（ID：bigdata_arch）彭友萌好，今天老彭友小羊羊找到我，想要元数据管理相关的内容，说找遍了所有文章，都没找到详解元数据管理的内容。
大数据架构师Evan·2022-12-11 18:54

大数据架构之端到端方案综述（3）数据仓储&Hive

1数据仓库介绍1.1数据仓库简介数据仓库是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合，主要针对来自多个数据源的历史数据进行细粒度、多维度的分析，输出用于企业的数据分析、数据挖掘、数据报表等方向，帮助管理者或业务分析人员做出商业战略决策。数据仓库可概括为四个特点：面向主题：数据仓库都是基于某个明确主题，仅需要与该主题相关的数据，其他的无关细节数据将被排除掉。不同于传统数据库对
小事儿Phil·2022-12-11 11:20

表妹问：区块链是啥？

编辑：彭文华来源：大数据架构师彭友们好，我是老彭啊。最近小表妹又转行了，去了一家区块链公司。区块链太复杂了，表妹的小脑袋瓜感觉有点转不过来了。唉...关键时刻，还得老彭出马区块链是个啥？
大数据架构师Evan·2022-12-10 09:37

非结构化数据怎么盘点？

编辑：彭文华来源：大数据架构师也是很奇怪的事情，最近几个彭友都不约而同地开始讨论非结构化数据治理的工作，难道是群体意识觉醒了？
大数据架构师Evan·2022-12-10 09:37

数据要素市场研究资料合集

编辑：彭文华来源：大数据架构师彭友们好，我是老彭。最近有个博士彭友在为论文挠头，到处找数据要素市场的资料。
大数据架构师Evan·2022-12-10 09:37

数据资产目录建设之数据分类全解（上）

编辑：彭文华来源：大数据架构师彭友们好，我是老彭。春天来了，各种项目已经开始规划了，有些速度快的已经开始做了。
大数据架构师Evan·2022-12-10 09:07

【史上最全】数据分级分类标准、指南和模板

编辑：彭文华来源：大数据架构师（ID：bigdata_arch）彭友萌好，我是老彭。昨天有一位老彭友在群里求一份资料，很着急的样子：我一看，哟，这不是《中国移动大数据安全管控分类分级实施指南》么？
大数据架构师Evan·2022-12-10 09:06

喜大普奔！工信部数据管理人才证书！！！

编辑：彭文华来源：大数据架构师（ID：bigdata_arch）彭友们！同志们！！！奔走相告啊！还记得我之前跟大家说的么？工信部正在研究数据管理人才队伍建设的事情，最近要出证书了！这不，证书出来了！
大数据架构师Evan·2022-12-10 09:06

数据中台之OneID (ID-Mapping)架构设计细节全解

编辑：诸葛子房来源：大数据架构师（ID：bigdata_arch）彭友们好，我是老彭。之前抽空写了一篇《OneID中的核心技术ID-Mapping究竟是怎么实现的？》
大数据架构师Evan·2022-12-10 09:06

大局视角看上海，数据集团定乾坤！

编辑：彭文华来源：大数据架构师彭友们好，我是老彭啊。今天早上一觉睡到8点多，睁眼就被这份文件给刷屏了。这个话题在各大群里都聊疯了。主要在以下几个问题上集中讨论：1、上海数据集团是干啥的？
大数据架构师Evan·2022-12-10 08:00

阿里十年技术沉淀｜深度解析百PB级数据总线技术

云原生场景下数据总线需求场景及挑战数据总线简介数据总线作为大数据架构下的流量中枢，在不同的大数据组件之间承载着数据桥梁的作用。
阿里云云栖号·2022-12-09 21:17

跨越速运如何构建实时统一的运单分析

作者：张杰，跨越速运大数据架构师（本文为作者在StarRocksSummitAsia2022上的分享）作为大型现代化综合速运企业，跨越速运拥有3000多家服务网点，日均处理30多万票运单。
StarRocks_labs·2022-12-01 19:05

机器学习前瞻

前者属于大数据架构范畴，后者则很大程度上依赖机器学习技术。机器学习专注与将数据集划分为训练数据和测试数据，以创建一个模型，来提高对未来做决策的能力。数据挖掘则是尽可能精确地挖掘目标区域，而无需使
语或·2022-11-30 14:27

跨越速运如何构建实时统一的运单分析

作者：张杰，跨越速运大数据架构师（本文为作者在StarRocksSummitAsia2022上的分享）**作为大型现代化综合速运企业，跨越速运拥有3000多家服务网点，日均处理30多万票运单。
·2022-11-30 14:25

大数据架构师、开发人员、公司必读：国外大数据应用的10个项目案例（图表）

问题导读1.大数据如何应用于电力能源项目，带来效益？2.数据可视化有哪些应用？3.是否可以将可视化应用于空气污染？4.大数据如何应用于各种（手机）应用？5.你认为大数据还可以应用于那些场景？小编翻译了意大利大数据应用10个项目案例例,供感兴趣的读者享用：一、数据分析案例1：题目：感测人类行为，预测能源消费应用领域：能源消费预测模型项目负责人：AndreyBogomolov项目简介：项目致力于优化意
cz-神算子·2022-11-29 22:58

当下火爆的大数据技术及算法怎么还能不知道 一起来学习互联网巨头的大数据架构实践！

大数据被称为新时代的黄金和石油，相关技术发展迅猛,所应用的行业也非常广泛，从传统行业如医疗、教育、金融、旅游，到新兴产业如电商、计算广告、可穿戴设备、机器人等。大数据技术更是国家科技发展和智慧城市建设的基础。当前“互联网+”新业态的发展，其核心也是大数据的采集、分析、价值挖潜和应用。当今全球大数据的竞争及战略布局，突出体现在大数据的技术创新和人才培养方面。技术创新能够保障在大数据发展的浪潮中始终处
Java技术那些事儿·2022-11-28 21:03

大数据从业人员需要哪些技能？

大数据团队的构成与基本要求一般来说，企业内部建立大数据团队，至少会包含以下几个类别：大数据开发工程师、大数据运维工程师、大数据架构师、有的还会有偏向业务侧的数据分析工程师。先说大数据运维工程师，从职责
IT转型指北·2022-11-27 21:10

数仓深度 | 主数据管理

本文来源于网络，如有侵权，联系浪尖删除：langjianliaodashuju来源：BAT大数据架构导读：企业主数据指企业内一致并共享的业务主体。
浪尖聊大数据-浪尖·2022-11-23 10:41

零基础学习大数据路线和方向

大数据三大学习方向：大数据开发师、大数据架构师、大数据运维师大数据开发师和大数据架构师必须熟
bobo79888·2022-11-20 04:45

大数据架构师必读的NoSQL建模技术

1.前言为了适应大数据应用场景的要求，Hadoop以及NoSQL等与传统企业平台完全不同的新兴架构迅速地崛起。而下层技术基础的革命必将影响上层建筑：数据模型和算法。简单地将传统基于第四范式结构化关系型数据库的模型拷贝到新的引擎上，无异于削足适履，不仅增加了大数据应用开发的难度和复杂度，又无法发释放新框架的潜能。该如何构建基于NoSQL的数据模型?现在能供参考的公开知识积累要么是空虚简单的一句“去规
普通网友·2022-11-19 19:44

实时数仓架构那些事儿

作为一个IT码农，从Java研发工程师一步步做到大数据架构师，不是说我有多厉害，只是想说，我的文字水平很差，建议大家从一个技术宅男的角度看我写的文字。
登峰大数据·2022-11-19 11:14

【实用工具系列之爬虫】python爬取资讯数据

【实用工具系列之爬虫】python爬取资讯数据前言在大数据架构中，数据收集与数据存储占据了极为重要的地位，可以说是大数据的核心基础。而爬虫技术在这两大核心技术层次中占有了很大的比例。
szZack·2022-11-17 07:20

年薪30w还是白菜价？大数据工程师凭什么？

2020刚开始，这一场突如其来的疫情，企业告急，学校延迟开学，延迟开工，取消考试及比赛、应届生面临着开学即毕业的尴尬、更多人面临着失业……相比之下，大数据行业岗位供不应求，企业对有实战项目经验的大数据架构师人才求贤若渴
王知无(import_bigdata)·2022-11-08 21:13

BAT大厂的架构大数据你有了解么？解析大数据技术及算法

本篇从大数据架构的角度全面解析大数据技术及算法，探讨大数据的发展和趋势，全面介绍大数据的相关技术、算法和一些应用场景，帮助读者培养大数据的技术选型和系统架构能力。
娜布其 20224016017·2022-11-08 20:11

《大数据架构和算法实现之路：电商系统的技术实战》——1.2　分类任务的处理流程...

本节书摘来自华章计算机《大数据架构和算法实现之路：电商系统的技术实战》一书中的第1章，第1.2节，作者黄申，更多章节内容可以访问云栖社区“华章计算机”公众号查看。
weixin_33713707·2022-11-06 11:03

大数据基础课10 带你聊一聊标准化数据挖掘全流程

在上一个模块，我对大数据架构中最主要的工具进行了介绍，从数据获取，到数据存储，再到数据传输，最后是数据的计算。
办公模板库 素材蛙·2022-11-05 14:31

数据计算中间件技术综述

传统企业大数据架构的问题上图是大家都很熟悉的基于Hadoop体系的开源大数据架构图。在这个架构中，大致可以分成三层。
cowjlymz7800977460·2022-10-24 10:11

干货 | 分布式数据库TiDB在携程的实践

Rongjun，携程大数据架构开发，专注离线和实时大数据产品和技术。
携程技术·2022-10-16 22:33

博客导读

一、胡扯乱聊一万小时定律写给自己的2014年中回顾2015年完成的第一本英文原著书写给自己定2015第二次机器革命《大数据架构详解》答疑（一）为什么写《大数据架构详解》这本书书籍推荐：《大数据架构详解》
jiezhu2007·2022-10-14 07:18

基于神经网络的推荐算法,协同过滤推荐算法python

大数据相关工作岗位很多，有大数据分析师、大数据挖掘算法工程师、大数据研发工程师、数据产品经理、大数据可视化工程师、大数据爬虫工程师、大数据运营专员、大数据架构师、大数据专家、大数据总监、大数据研究员、大数据科学家等等数据分析师
wenangou·2022-10-08 11:43

【技思广益 · 腾讯技术人原创集】双周优秀作品回顾vol.03

❤️腾讯后台开发工程师jhonye《大数据架构系列：如何理解湖仓一体》这十多年大数据技术蓬勃发展，从市场的表现来看基于大数据的数据存储和计算是非常有价值的，其中以云数据仓库为主打业务的公司Snowf
·2022-09-23 16:57

《大数据架构和算法实现之路：电商系统的技术实战》——1.6　案例实践

本节书摘来自华章计算机《大数据架构和算法实现之路：电商系统的技术实战》一书中的第1章，第1.6节，作者黄申，更多章节内容可以访问云栖社区“华章计算机”公众号查看。
weixin_34240520·2022-09-23 15:35

关于数据治理工程师证书，你想知道的都在这里了

编辑：彭文华来源：大数据架构师（ID：bigdata_arch）彭友们好，我是你的老彭友。最近有很多很多彭友问我CDGA（数据治理工程师认证）的事情，我挨个回答效率也慢。
大数据架构师Evan·2022-09-22 19:20

CDPA考试的火热，代表中国数据行业驶上高速公路

编辑：彭文华来源：大数据架构师（ID：bigdata_arch）彭友们好，我是老彭。我今天去参加DAMA组织的数据治理工程师（CDGA）考试了。
大数据架构师Evan·2022-09-22 19:20

大数据浪潮下_前端工程师眼中的完整数据链图

原文链接月17日云栖精选夜读：大数据浪潮下，前端工程师眼中的完整数据链图yq传送门2017-05-1717:53:43浏览211评论0大数据架构java阿里云mysql高可用电商内存管理数加c#数据同步数据中心数据结构摘要
weixin_33744854·2022-09-22 14:58

数据仓库建设之数仓架构

一、离线数仓大数据架构1.数仓架构下面详细说明图中的各个组件及其所起的作用。图中显示的整个数据仓库环境包括操作型系统和数据仓库系统两大部分。ETL过程分成了抽取和转换装载两个部分。
chimchim66·2022-09-15 12:13

大数据架构系列：如何理解湖仓一体？

导语|本文推选自腾讯云开发者社区-【技思广益·腾讯技术人原创集】专栏。该专栏是腾讯云开发者社区为腾讯技术人与广泛开发者打造的分享交流窗口。栏目邀约腾讯技术人分享原创的技术积淀，与广泛开发者互启迪共成长。本文作者是腾讯后台开发工程师叶强盛。引言这十多年大数据技术蓬勃发展，从市场的表现来看基于大数据的数据存储和计算是非常有价值的，其中以云数据仓库为主打业务的公司Snowflake市值最高（截止当前44
·2022-09-14 18:05

大数据系列（未完，待续）

大数据架构大数据架构：搭建CDH5.5.1分布式集群环境Hive大数据：Hive常用参数调优SparkSpark基本架构及原理SparkContext原理解析SparkRDD、DataFrame原理及操作详解
weixin_30425949·2022-09-09 09:25

实时数仓和离线数仓的概念

目录1、数据仓库的发展趋势1.1数据仓库的趋势1.2数据仓库的发展2、数据仓库架构的演变2.1传统数仓架构2.2离线大数据架构2.3Lambda架构2.4Kappa架构2.5混合架构3、三种大数据数据仓库架构
灵境旅行家·2022-08-31 12:18

kudu-- 分布式数据库

在阿里、小米、网易等公司的大数据架构中，KUDU都有着不可替代的地位。
四月天03·2022-08-22 23:11

大数据知识体系

潇洒劫个妞-大数据体系笔记教程https://www.cnblogs.com/xsjgn/tag/it18%E6%8E%8C/、想成为一名合格的大数据架构师你必须要掌握这些内容https://cloud.tencent.com
提莫_·2022-08-18 01:37

SQL on Hadoop在快手大数据平台的实践与优化 | 分享实录

快手大数据架构工程师钟靓本文是根据快手大数据架构工程师钟靓于5月18-19日在A2M人工智能与机器学习创新峰会《SQLonHadoop在快手大数据平台的实践与优化》演讲中的分享内容整理而成。
msup789·2022-08-13 12:57

透过数字化转型再谈数据中台（三）：一文遍历大数据架构变迁史

编者按：《透过数字化转型再谈数据中台》系列连载6-8篇左右，作者结合自己在数据中台领域多年实践经验，总结了数据架构知识、BI知识，以及分享给大家一些产业互联网实施经验。本文是系列文章中的第三篇。在前面两篇“关于数字化转型的几个见解”、“唯一性定理中的数据中台”提到了数据中台发展问题。比如概念发展太快，信息量过载，以及存在广义、狭义的数据中台定义的差别等，涉及到的这些知识都离不开数据架构的范畴，所以
松子无核·2022-08-11 10:42

百度用户产品流批一体的实时数仓实践

文章整体包含4个部分，首先会介绍下大数据架构演进，从经典架构到Lambda架构再到Kappa架构；然后会介绍下我们做流批一体实时数仓的背景，旧架构面临的主要问题；第三会介绍下我们流批一体实时数仓的技术方案
·2022-08-10 12:42

首席数据官：从哪里来？到哪里去？

编辑：孙宁来源：大数据架构师（ID：bigdata_arch）数字经济是继农业经济、工业经济之后的主要经济形态。
大数据架构师Evan·2022-08-05 13:56
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他