大数据架构

如何从大数据架构师转型为行业人工智能产品经理？今晚直播！

他是程序员出身，深研技术成为大数据架构师，刻板印象里的程序员严谨、理性但略显内向，他却有着一颗RockNRoll的心。
weixin_33980459·2020-06-28 09:57

syslog+rsyslog+logstash+elasticsearch+kibana搭建日志收集

2019独角兽企业重金招聘Python工程师标准>>>来自CSDN博客[Logstash]使用详解https://www.cnblogs.com/xing901022/p/4802822.html大数据架构
weixin_33811961·2020-06-28 05:08

易观 CTO 郭炜：易观大数据架构的变迁

郭炜，EGO北京分会会员，2016年加入易观，担任易观CTO，构建易观技术团队，完成易观大数据采集、平台、数据挖掘等技术架构与体系，从无到有完成易观混合云搭建、易观SDK升级并发布易观秒算实时计算平台。郭炜毕业于北京大学，加入易观之前，曾任联想研究院大数据总监，万达电商数据部总经理，并曾在中金、IBM、Teradata公司担任大数据方向重要岗位，对大数据前沿领域研究，包括视频、智能WiFi等大数据
weixin_33770878·2020-06-28 05:04

Teradata大数据新动作：通过统一数据架构拥抱开源

我们知道Teradata的大数据架构中最引以为傲的就是将数据仓库、Aster以及Hadoop做了
weixin_33758863·2020-06-28 04:51

视频教程-大数据与数据仓库入门到精通-Hadoop

大数据与数据仓库入门到精通目前在国内独角兽企业从事大数据架构工作，从事数据行业10年+，精通数据架构，数据库架构，数据仓库及大数据平台化。
学院导师-王佳隆·2020-06-28 03:12

后Hadoop时代的大数据架构

提到大数据分析平台，不得不说Hadoop系统，Hadoop到现在也超过10年的历史了，很多东西发生了变化，版本也从0.x进化到目前的2.6版本。我把2012年后定义成后Hadoop平台时代，这不是说不用Hadoop，而是像NoSQL（NotOnlySQL）那样，有其他的选型补充。我在知乎上也写过Hadoop的一些入门文章如何学习Hadoop-董飞的回答，为了给大家有个铺垫，简单讲一些相关开源组件。
董老师·2020-06-28 01:09

程序员艺术家

今天参加了apache.flink北京站的公开演讲，自己受益匪浅，特意聊聊这件事：先来秀一把装装气势，今天参加的贵宾有小米大数据架构师，贝壳大数据架构师，阿里巴巴的金竹和五藏老师，通过他们的精彩演讲，使我内心澎湃和激动
weixin_30338481·2020-06-27 18:58

Kafka面试，你真的过关了吗？

在热招的大数据架构师岗位面试中，Kafka面试题被面试官选中的几率非常大，也是HR的杀手锏和狠招，一般来讲，面试题有以下几种：1.Kafka为什么这么快？2.如何对Kafka集群进行调优？
过往记忆·2020-06-27 12:56

Java架构师，大数据架构师，高并发设计模式，机器学习知识点分享

第一章：java精品课程目录大全1、亿级流量电商详情页系统的大型高并发与高可用缓存架构实战1课程介绍以及高并发高可用复杂系统中的缓存架构有哪些东西？32分钟2基于大型电商网站中的商品详情页系统贯穿的授课思路介绍7分钟3小型电商网站的商品详情页的页面静态化架构以及其缺陷11分钟4大型电商网站的异步多级缓存构建+nginx数据本地化动态渲染的架构9分钟5能够支撑高并发+高可用+海量数据+备份恢复的re
ljtyxl·2020-06-27 08:09

大数据架构简述（三）：流处理、批处理、交互式查询

我们将大数据处理按处理时间的跨度要求分为以下几类基于实时数据流的处理，通常的时间跨度在数百毫秒到数秒之间基于历史数据的交互式查询，通常时间跨度在数十秒到数分钟之间复杂的批量数据处理，通常的时间跨度在几分钟到数小时之间1.流处理流是一种数据传送技术，它把客户端数据变成一个稳定的流。正是由于数据传送呈现连续不停的形态，所以流引擎需要连续不断处理数据流处理的主要应用场景：金融领域和电信领域1.1Stom
郭大侠写leetcode·2020-06-27 07:43

大数据架构设计-lambda、kappa、以及delta lake详解

本篇着重从以下几个方面展开说明：大数据架构的发展史不同架构的使用场景datalake的优越感后hadoop时代的架构怎么发展1、大数据架构的发展史1.1、技术栈在搜索整理大数据架构的发展史之前，我必须要指出大数据都包含什么
枫叶的落寞·2020-06-27 06:29

数据治理概念架构数据质量生命周期安全分析建模审计元数据管理主数据

DataGovernance数据治理架构：大数据架构：大数据基础设施硬件基于普通商用服务器的集群。也可以与云计算平台结合，运用其中的虚拟化和弹性资源调度，为大数据提供可
韩梦飞沙S·2020-06-26 23:52

大数据架构师：hadoop、Storm该选哪一个？

首先整体认识：Hadoop是磁盘级计算，进行计算时，数据在磁盘上，需要读写磁盘；Storm是内存级计算，数据直接通过网络导入内存。读写内存比读写磁盘速度快n个数量级。根据HarvardCS61课件，磁盘访问延迟约为内存访问延迟的75000倍。所以Storm更快。注释：1.延时，指数据从产生到运算产生结果的时间，“快”应该主要指这个。2.吞吐，指系统单位时间处理的数据量。storm的网络直传、内存计
一个鬼脸让我难安·2020-06-26 20:48

整理总结 --- 大数据架构 Lambda， IOTA等

1、流式架构传统大数据架构优点：简单，易懂，对于BI系统来说，基本思想没有发生变化，变化的仅仅是技术选型，用大数据架构替换掉BI的组件。
天地不仁以万物为刍狗·2020-06-26 19:58

经典大数据架构案例：酷狗音乐的大数据平台重构

本文是酷狗音乐的架构师王劲对酷狗大数据架构重构的总结。
轨道秀·2020-06-26 11:29

常用的几种大数据架构剖析

大数据架构数据分析工作虽然隐藏在业务系统背后，但是具有非常重要的作用，数据分析的结果对决策、业务发展有着举足轻重的作用。
John_like521·2020-06-26 07:12

大数据与区块链相关好文章整理

article/UBch5BDK2TWGdo5x*UzN建设企业的数据化引擎，网易严选数据中台的经验和方法论https://www.infoq.cn/article/Zyq4a*yEI1Uz2iwHFJuF大数据架构如何做到流批一体
ruiyiin·2020-06-26 06:37

对比解读五种主流大数据架构的数据分析能力

数据分析工作虽然隐藏在业务系统背后，但是具有非常重要的作用，数据分析的结果对决策、对业务发展有着举足轻重的作用。随着大数据技术的发展，数据挖掘、数据探索等专有名词的曝光度越来越高，但是在类似于Hadoop系列的大数据分析系统大行其道之前，数据分析工作已经历了长足的发展，尤其是以BI系统为主的数据分析，已经有了非常成熟和稳定的技术方案和生态系统，对于BI系统来说，大概的架构图如下：可以看到在BI系统
linghujing·2020-06-26 00:50

如何快速成为一个优秀大数据架构师，拿到BAT 网络公司的offer

全球数据在现今的社会，大数据的应用越来越彰显他的优势，它占领的领域也越来越大，电子商务、O2O、物流配送等，各种利用大数据进行发展的领域正在协助企业不断地发展新业务，创新运营模式。有了大数据这个概念，对于消费者行为的判断，产品销售量的预测，精确的营销范围以及存货的补给已经得到全面的改善与优化。我是大数据程序员，弄一个大数据学习群593188212，里面每天分享学习大数据心得，还有学习资料分享“大数
arry86·2020-06-25 22:48

阿里云校招面试官解读为什么Java大数据是最火爆人工智能编程语言

《学习》+交流523401738可以听老师直播讲课阿里云程成都峰会未来10年将是大数据，人工智能爆发的时代，到时将会有大量的企业需要借助大数据，而Java最大的优势就是它在大数据领域的地位，目前很多的大数据架构都是通过
Java语言·2020-06-25 21:54

#《大数据架构详解》

//为什么写《大数据架构详解》这本书-大数据和云计算技术（欢迎关注同名微信公众号）-ITeye技术网站http://jiezhu2007.iteye.com/blog/2332319花了差不多一年半时间
葡萄喃喃呓语·2020-06-25 16:24

【备忘】2018年最新价值1699元的深入大数据架构师之路，问鼎40万年薪视频教程下载

大数据在这几年火得一塌糊涂了，甚至上升到了国家战略的高度，职场上30万-50万年薪的职位比比皆是。无数先知先觉的小伙伴已经华丽转身，实现了人生的小目标，你还在观望吗，还不赶紧上车，做一只随风飞舞的猪？还想着下趟车会有卧铺！！！大数据真的很难吗？不见得，如果你想做个开发工程师的话，mapreduce、spark的编程范式对于有一定开发经验的程序员来说，上手是很快的。但根据讲师自己多年的经验来说，单纯
qq_38472434·2020-06-25 14:56

2020 BAT大厂数据分析面试经验：“高频面经”之数据分析篇

注：数据分析主要侧重产品sence与Hive使用，也会有少量数据结构、大数据架构与算法相关内容（会放至其它相应篇中）。
大数据之眸·2020-06-25 12:25

易观 CTO 郭炜：易观大数据架构的变迁

今天跟大家分享易观大数据架构的变迁，包含三部分，第一先给大家讲易观的变化，也是易观产品技术的结果；第二是从技术角度来讲一下易观大数据技术架构的变迁；第三分享一点创新方向的心得。
乐投网·2020-06-25 12:09

互联网金融大数据架构概述与应用 - 大数据应用案例

如果需转载，请注明：乐投网-互联网金融大数据架构概述与应用IBM分析事业部IBM分析事业部是在过去一两年间逐步成型的，成立后分成了若干个小部门，如AnalyticsPlatform、CLOUDDATASERVICES
乐投网·2020-06-25 12:08

Lambda架构

文章目录Lambda架构架构简介架构之组成Lambda架构的Demo我的DemoLambda架构架构简介Lambda架构是大数据架构的一种，其作用无非是存储-处理-展示数据。
我的猪仔队友·2020-06-25 07:54

大数据架构师之路 | 概念术语理解

架构师，不明觉厉，也是我的追求目标，因此搜集了很多大数据架构相关的知识，理解并整理出来，一起学习。
大数据AI笔记·2020-06-25 04:58

大数据架构由哪些模块组成

今天我们就再来了解一下，大数据架构的组成模块都包含了哪些。
中琛源科技·2020-06-25 04:42

ELK-转载备份

由于扩展成分布式，容量和性能得到极大的提升，使得Elasticsearch得以成为目前许多大数据产品和大数据架构的核心组件。Logstash:一个灵活的数据传输和处理系统，在beat
爱学习爱聊天·2020-06-25 02:57

Apache Flink 在快手万亿级数据的应用实践总结

作者：董亭亭整理：蒋晓峰作者介绍：董亭亭，快手大数据架构实时计算引擎团队负责人。目前负责Flink引擎在快手内的研发、应用以及周边子系统建设。
weiqing687·2020-06-25 02:32

【深度学习】老师木讲架构：深度学习平台技术演进

报告包括深度学习的计算力问题、硬件基础、软件挑战、传统大数据架构、深度学习软件平台的技术演化等。
产业智能官·2020-06-24 17:43

零基础学习大数据适合什么方向

大数据三大学习方向：大数据开发师、大数据架构师、大数据运维师数据开发师和大数据架构师必须熟练Hadoop、Spark、Storm等主流大数据平台的核心框架。深入掌握如何编写MapReduce的作
美食江湖·2020-06-24 16:05

快手大数据架构演进实录

快手大数据架构团队组建于2017年，短短三年间已搭建起一个万亿级规模的大数据架构体系。快手的大数据架构是怎样演进的？在春晚红包活动中遇到了哪些挑战，又是如何应对的？
luck_man911·2020-06-24 09:04

大数据架构师是做什么的？

架构师按照专注领域不同，可分为企业架构师、基础结构架构师、特定技术架构和解决方案架构师等，专职架构师往往偏向基础结构架构师和特定技术架构师，专职架构师不负责具体的业务系统，而又对所有的系统负责，很少直接负责项目，但对项目要有提前把控，面对的是更大的团队和更大的问题域。想要成为专职架构师，就要明确专职架构师的职责，以下是专职架构师常见职责：职责一：全局的技术规划全局技术规划是专职架构师必须要做的工作
lmseo5hy·2020-06-24 08:33

大数据架构师技能图谱

一、大数据通用处理平台SparkFlinkHadoop二、分布式存储HDFS三、资源调度YarnMesos四、机器学习工具MahoutSparkMlibTensorFlow(Google系)AmazonMachineLearningDMTK(微软分布式机器学习工具)五、数据分析/数据仓库(SQL类)PigHivekylinSparkSQL,SparkDataFrameImpalaPhoenixEL
lipc_·2020-06-24 05:26

2019年大数据从入门到精通应该具备的知识体系

入门知识推荐书籍1、舍恩伯格的《大数据时代》；2、巴拉巴西的《爆发》；3、涂子沛的《大数据》；4、吴军《智能时代》；5、《大数据架构商业之路：从业务需求到技术方案》工具技能1、hadoop：常用于离线的复杂的大数据处理
yoku酱·2020-06-24 04:19

BDTC PPT集萃（国外篇）：Facebook、LinkedIn等分享的大数据架构

2016年12月8—10日，BDTC2016中国大数据技术大会将在北京新云南皇冠假日酒店隆重举办。回顾以往九届的技术盛宴，CSDN特整理部分PPT精粹，分两期进行分享，一起回忆那些年曾经带动企业发展的技术热点和实战经验。从2008年60人规模的“HadoopinChina”技术沙龙，到当下数千人规模的行业技术盛宴，九届BDTC（大数据技术大会）完整地见证了中国大数据技术与应用的变革，忠实地描绘了大
腾讯开发者·2020-06-24 00:10

大数据架构和模式（五）：利用大数据识别保险行业中的欺诈业务案例

大数据架构和模式（五）：利用大数据识别保险行业中的欺诈业务案例[复制链接]pig21232主题2069帖子1万积分超级版主积分11358收听TA发消息电梯直达楼主发表于2015-2-1400:29:34
javastart·2020-06-23 21:09

奈学教育《大数据架构师》课程大纲

深度剖析了各个基础技术的源码(ZooKeeper、Hive、Spark、Flink、Hadoop等)，对这些基础技术知识动态的排列组合，形成大数据全局架构观，并深入讲述大数据全局架构设计的方方面面，打造真正满足企业万亿级海量数据规模的数据中台，真正赋能前台业务。同时，在企业万亿级真实项目落地环节，采用高性能、高可用、高扩展的架构设计原则，技术上更是融合了企业级主流的离线架构和实时架构，带领大家构建
zsfz_053·2020-06-23 15:21

常用的几种大数据架构剖析

数据分析工作虽然隐藏在业务系统背后，但是具有非常重要的作用，数据分析的结果对决策、业务发展有着举足轻重的作用。随着大数据技术的发展，数据挖掘、数据探索等专有名词曝光度越来越高，但是在类似于Hadoop系列的大数据分析系统大行其道之前，数据分析工作已经经历了长足的发展，尤其是以BI系统为主的数据分析，已经有了非常成熟和稳定的技术方案和生态系统，对于BI系统来说，大概的架构图如下：可以看到在BI系统里
haboop·2020-06-23 12:13

Hadoop时代的大数据架构

提到大数据分析平台，不得不说Hadoop系统，Hadoop到现在也超过10年的历史了，很多东西发生了变化，版本也从0.x进化到目前的2.6版本。我把2012年后定义成后Hadoop平台时代，这不是说不用Hadoop，而是像NoSQL（NotOnlySQL）那样，有其他的选型补充。提到大数据分析平台，不得不说Hadoop系统，Hadoop到现在也超过10年的历史了，很多东西发生了变化，版本也从0.x
reylee911·2020-06-23 10:37

阿里资深技术专家胡月军：大数据十年，我看到的技术变化和趋势

正文开始作者|蔡芳芳采访嘉宾|胡月军编辑|NatalieAI前线导读：计算和存储分离是近几年大数据架构领域颇受关注的一个技术风向。
fuyipingwml1976124·2020-06-23 09:37

大数据架构如何做到流批一体？

目前，有哪些主流大数据架构模式及其发展？今天，我们都会一一解读，并介绍如何结合云上存储、计算组件，实现更优的通用大数据架构模式，以及该模式可以涵盖的典型数据处理场景。
fuyipingwml1976124·2020-06-23 09:07

MPP架构是什么？

MPP-Massive-ParallelProcessing海量并行处理架构MPPDB-ShareDisk-ShareNothing典型MPPDBGreenplumTeradataImpalaPrestoES学习笔记：大数据架构详解
coding-now·2020-06-23 07:53

大数据平台架构--学习笔记

具体见下图示例，这张图是比较经典的，也是妥协的结果，跟当前网上很多的大数据架构图都可以作一定
diaogu7954·2020-06-23 04:42

大数据平台基础组件选型主要的考量点有哪些？

同时，随着认知时代的到来，人工智能将能如何在大数据的基础之上更进一步地帮助金融企业业务创新也是当前大数据架构师们关注的问题。
李旭me·2020-06-23 03:59

提前突击了这近200道大数据面试题，果然头条、京东都给了Offer

面试题包括Java、大数据开发、大数据运维、大数据分析、大数据架构等等Q1：老师线上6000+规模集群，抛开一些其它组件集群，仅讨论HDFS数据存储集群，保守理应也在有3000节点左右，想知道这些存储节点只是单集群
大数据研习社·2020-06-23 02:00

中软卓越：数据技术和应用发展趋势

数据技术和应用发展趋势结合以上对行业发展背景的理解，下面总结一下笔者对未来几年金融行业的数据业务发展趋势的认识：趋势一：大数据服务的平台化和组件化策略是大数据架构的核心。
软妹子_40db·2020-06-23 01:32

大数据与机器学习的平台化建设

「AI+Cloud赋能行业新未来」为主题的NIUDAY成都站中，Camera360数据部门技术总监龚俊衡为大家带来了关于「大数据与机器学习平台话建设」的分享，龚老师有超过12年的研发经验和拥有4年相关大数据架构师的经验
数据工程师陈晨·2020-06-23 00:39

阿里前大数据架构师：如何快速的成长为一名优秀大数据架构师

什么是大数据架构师：围绕大数据系平台系统级的研发人员，熟练Hadoop、Spark、Storm等主流大数据平台的核心框架。
chouyin6182·2020-06-22 22:15
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他