大数据架构第9页

机器学习-实习记录篇

实习群各种实习，记录一下各个公司的要求，查漏补缺，加油~1.人工智能算法-长威科技岗位描述：1、负责设计、训练和测试机器学习、深度学习算法模型；2、负责数据收集、整理和分析，并设计模型的检验方案；3、参与设计大数据架构

哈哈哈哈士奇VIP·2020-08-08 16:32

从 Exadata 到 TiDB，中通快递 HTAP 实践

作者介绍：朱志友，中通快递大数据架构师。中通快递背景介绍中通快递业务的规模目前是世界第一，是第一个达成年百亿业务量的快递企业，在2019年的双十一更是完成了订单量超过2亿的佳绩。

PingCAP·2020-08-08 11:51

《大数据架构详解》读后感

《大数据架构详解》——读后感作者：朱洁罗华霖出版商：中国工信出版社电子工业出版社版次：2016年10月第1版印数：7001~12000册定价：69.00元本书花了大量笔墨讲了通信运营商的大数据应用案例及其使用的架构

Tony_仔·2020-08-07 09:49

IOTA架构下的数据采集

导读IOTA架构是基于IOTA和AI时代背景下的大数据架构模式，其整体技术结构的核心是贯穿于整体业务始终的数据模型，具有提高整体的预算效率的作用。

易观大数据·2020-08-06 04:41

大数据实战第十四课-若泽数据面试题

第一份面试题：1、自我介绍2、画出你们的大数据架构，然后针对架构提问，如何做到精准一次、小文件规避等https://blog.csdn.net/zhikanjiani/article/details/89284488

zhikanjiani·2020-08-04 22:58

奈学教育《大数据架构师》课程大纲

深度剖析了各个基础技术的源码(ZooKeeper、Hive、Spark、Flink、Hadoop等)，对这些基础技术知识动态的排列组合，形成大数据全局架构观，并深入讲述大数据全局架构设计的方方面面，打造真正满足企业万亿级海量数据规模的数据中台，真正赋能前台业务。同时，在企业万亿级真实项目落地环节，采用高性能、高可用、高扩展的架构设计原则，技术上更是融合了企业级主流的离线架构和实时架构，带领大家构建

yuemuyi·2020-08-04 09:24

大数据架构简述（一）：大数据的本质

1.大数据是什么大数据由SCI的首席科学家JohmR.Masey于1998年在USENIX大会上首次提出。他在其发表的一篇名为BigDaraandtheNextWaveofInfrastress的论文中首次提出BigData这个词。Google在2003-2006年公布的关于GFS、MapReduce和BigTable的三篇论文推动了Hadoop的实现，而Hadoop的诞生极大促进了大数据技术的发

郭大侠写leetcode·2020-08-04 03:21

springboot项目在spark yarn 集群上部署运行

环境：JDK：1.8操作系统：centos7.6大数据架构：Hadoop-Yarn-HA；spark、hive集群模型项目预期效果：.

manbufenglin·2020-08-03 01:46

【附答案】Java 大数据方向面试题，你会几个？

未来10年将是大数据，人工智能爆发的时代，到时将会有大量的企业需要借助大数据，而Java最大的优势就是它在大数据领域的地位，目前很多的大数据架构都是通过Java来完成的。你的Java内功如何呢？

谢承联NARUTO·2020-08-01 06:24

大数据架构：flume-ng+Kafka+Storm+HDFS 实时系统组合

个人观点：大数据我们都知道hadoop，但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理，hadoop还是比较适合的，但是对于实时性比较强的，数据量比较大的，我们可以采用Storm，那么Storm和什么技术搭配，才能够做一个适合自己的项目。下面给大家可以参考。可以带着下面问题来阅读本文章：1.一个好的项目架构应该具备什么特点？2.本项目架构是如何保证数据准确性的？3.什么是Kafk

wangmm0218·2020-07-30 17:01

大数据架构和模式（三）——理解大数据解决方案的架构层

概述这个“大数据架构和模式”系列的第2部分介绍了一种评估大数据解决方案可行性的基于维度的方法。如果您已经使用上一篇文章中的问题和提示分析

weixin_34318956·2020-07-30 12:39

大数据架构之Kappa

Linedln的高管JayKreps结合自己在公司的实践和理解，提出跟Lambda不一样的架构，虽然Lambda立足于构建一个同时处理离线数据和实时数据分布式系统，但是因为对于一分数据，你需要同时为离线和实时编写两套不同的代码，一当业务变更或者更换系统，又需要重新编码，需要消耗巨大的人力。基于自己的理解，Jay提出了基于Kafka的用实时完全实现数据处理的系统，他把它命名为Kappa。Kappa的

yyoc97·2020-07-30 11:52

大数据架构：Lambda和Kappa架构对比

Lambda架构如下图是Lambda的架构NathanMarz基于在Backtype和Twitter从事分布式数据处理系统工作的经验，提出了Lambda体系结构（LA）一词，意味着通用，可扩展且容错的数据处理体系。LA旨在满足对硬件故障和人为错误具体容错能力的健壮性的需求，该系统能够处理各种工作负载和用例，并且需要低延迟的读取和更新。生成的系统应该是线性可伸缩的，并且应该向外扩展而不是向上扩展。从

杨鑫newlfe·2020-07-30 09:34

Xen虚拟化技术+相关linux

Xen1.Xen是一种虚拟机器监视器2.能够提供服务，让多个操作系统同时工作共享计算机硬件3.负责cpu调度，内存分配4.但是不会管理网络以及外部存储，和IO，因此用domain0来负责管理网络和IO大数据架构

Blank2Geek·2020-07-30 04:33

入职 1 周，不懂技术的我就被丢到客户现场搞技术……

张小胖入职刚满一周，一个办公室里的同事还没认全，就被发往客户单位驻场办公，还是异地近千公里的那种，夜深了，张小胖可能也想儿子吧……忘了说了，张小胖是Kyligence新招的大数据架构师，一个不懂大数据技术

Kyligence·2020-07-30 03:44

物联网中的大数据架构、应用案例以及带来的好处

第一节简介近年来“物联网”(IoT)和“大数据”是两个最受瞩目的话题。在物联网的概念里，有关任何开和关切换到网络的设备皆会彼此连接，它们之间都彼此相互连结。这包括了手机、咖啡机、洗衣机、耳机、台灯以及可穿戴的设备，很多物品都是属于这个范畴(图11.1)。这也适用于机器零件，例如：飞机的喷气发动机或石油钻井平台的钻头。无论有没有意识到这一点，我们的生活周围已经被这些依赖于大数据的东西所包围了，不过这

weixin_33725270·2020-07-30 03:13

视频教程-Greenplum分布式数据库-大数据

Greenplum分布式数据库任老师，Cloudera管理/开发/分析认证讲师，华为高级特聘讲师，新华三大学高级特聘讲师，中国大数据技术与应用联盟高级讲师，全国高校大数据联盟特聘讲师，中国移动高级讲师，前IBM大数据架构师

weixin_33603123·2020-07-30 02:58

盘点SQL on Hadoop中用到的主要技术

中用到的主要技术发表于1小时前|165次阅读|来源github|0条评论|作者肥男爱肉转载自：http://www.csdn.net/article/2015-01-06/2823450HadoopSQL大数据架构摘要

山水佳音·2020-07-29 17:34

探秘HDFS —— 发展历史、核心概念、架构、工作机制（上）

在诸多大数据架构设计中，都能看到最底层是HDFS，用于数据的持久化。在Ha

Mr-Bruce·2020-07-29 07:03

大数据体系与SQL

1.大数据体系过程内容职位1数据平台DataPlatform，构建、维护稳定、安全的大数据平台，按需设计大数据架构，调研选型大数据技术产品、方案，实施部署上线。

牛奶没法用·2020-07-28 21:58

Flume概览

2.大数据架构数据采集(爬虫\日志数据\flume)数据存储(hdfs/hive/hbase(nosql))数据计算(mapreduce/hive

Movle·2020-07-28 18:32

大数据架构与技术选型

[toc]大数据架构源数据层(原始数据存储位置)sdk日志埋点日志文件：爬虫日志、业务日志关系型数据库：mysql,oracle等数据采集层(抽取源数据至数据存储层)离线：flume、Sqoop、Nifi

园狐·2020-07-28 17:00

上个月，我撸了一份阿里架构师 651 多个技术分支的脑图，要么？（限时领）...

经常有大数据工程师问我，自己想往大数据架构师方向发展，问我应该怎么努力！其实，蹲上架构师的坑需要的是更高层次的开发构架设计能力。这时候，架构师技术能力的强弱、素质的高低直接关乎了软件项目的成败！

过往记忆·2020-07-28 15:44

大数据架构师之路-大数据产品大全

1号店架构师王富平：一号店用户画像系统实践http://geek.csdn.net/news/detail/54940用户画像链接:http://blog.csdn.net/u010670689/article/details/50765668关于公安大数据的“冷思考”链接:http://mp.weixin.qq.com/s?__biz=MzA5NDExMTAzNA==&mid=264997959

rolin-刘瑞·2020-07-28 13:08

大数据架构师之路-大数据解决方案大全

每秒处理10万订单乐视集团支付架构http://geek.csdn.net/news/detail/729731号店交易系统架构如何向「高并发高可用」演进http://geek.csdn.net/news/detail/62985七牛是如何搞定每天500亿条日志的http://blog.qiniu.com/archives/3928【深度】解密阿里巴巴的技术发展路径http://www.yunto

rolin-刘瑞·2020-07-28 13:08

千亿级数据量的Kafka深度实践

讲师介绍严锁鹏，奇虎360大数据架构运维专家，具有10年基础架构与大数据开发经验。

乔治大哥·2020-07-28 09:16

「大数据就业」大数据开发：大数据可视化前端资深研发工程师

大数据架构师、资深研发工程师、工程师、管理员、运维、风控等具体岗位职责与任职要求又是怎样的呢？一起来了解下。

大数据基础入门教程·2020-07-28 03:33

大数据开发学习路线图

jkxqj·2020-07-27 18:54

阿里云产品之数据中台架构

2.解决方案阿里产品大数据架构图：从下到上，简要介绍下各个阿里产品作用及承担的任务：2.1云数据库RDS阿里云关系型数据库RDS（RelationalDatabaseService）是一种稳定可靠、可弹性伸缩的在线数据库服务

软件老王·2020-07-22 17:06

大数据架构体系与Hadoop生态系统

先说Hadoop什么是Hadoop？Hadoop是一个开源、高可靠、可扩展的分布式大数据计算框架系统，主要用来解决海量数据的存储、分析、分布式资源调度等。Hadoop最大的优点就是能够提供并行计算，充分利用集群的威力进行高速运算和存储。Hadoop的核心有两大板块：HDFS和MapReduce。HDFS全称HadoopDistributedFileSystem，是一种分布式文件存储系统。分布式文件

wwdede·2020-07-15 09:05

理论篇~第一章大数据数据仓库架构

接下来，我们以阿里巴巴大数据架构图来介绍。大数据系统体系分为数据采集层、数据计算层、数据服务层和数据应用层。

wer0735·2020-07-15 09:27

大数据架构和模式（一）——大数据分类和架构简介

这个“大数据架构和模式”系列提供了一种结构化和基于模式的方法来简化定义完整的大数据架构的任务。因为评估一个业务场景是否存在大数据问题很重要，所以

weixin_33901926·2020-07-15 04:16

视频教程-CM&CDH大数据运维官方课程-Hadoop

CDH大数据运维官方课程任老师，Cloudera管理/开发/分析认证讲师，华为高级特聘讲师，新华三大学高级特聘讲师，中国大数据技术与应用联盟高级讲师，全国高校大数据联盟特聘讲师，中国移动高级讲师，前IBM大数据架构师

weixin_33379282·2020-07-15 04:14

大数据技术生态体系组件概述

大数据架构如下图所示：图中涉及的技术名词解释如下：1）Sqoop：sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql)间进行数据的传递，可以将一个关系型数据库（例如

奔跑的乌班·2020-07-15 00:14

大数据架构师必读：常见的七种Hadoop和Spark项目案例

如果您的Hadoop项目将有新的突破，那么它必定与下边介绍的七种常见项目很相像。有一句古老的格言是这样说的，如果你向某人提供你的全部支持和金融支持去做一些不同的和创新的事情，他们最终却会做别人正在做的事情。如比较火爆的Hadoop、Spark和Storm，每个人都认为他们正在做一些与这些新的大数据技术相关的事情，但它不需要很长的时间遇到相同的模式。具体的实施可能有所不同，但根据我的经验，它们是最常

奔跑的小象·2020-07-15 00:22

【Hadoop】Hadoop大数据架构及关键组件

Hadoop大数据架构及关键组件1.Hadoop生态系统1.1架构大数据生态的主要组件及其关系大数据生态大数据架构1.HDFS（Hadoop分布式文件系统）：2.MapReduce(分布式计算框架)：3

游骑小兵·2020-07-14 03:36

常用的几种大数据架构剖析

数据分析工作虽然隐藏在业务系统背后，但是具有非常重要的作用，数据分析的结果对决策、业务发展有着举足轻重的作用。随着大数据技术的发展，数据挖掘、数据探索等专有名词曝光度越来越高，但是在类似于Hadoop系列的大数据分析系统大行其道之前，数据分析工作已经经历了长足的发展，尤其是以BI系统为主的数据分析，已经有了非常成熟和稳定的技术方案和生态系统，对于BI系统来说，大概的架构图如下：IT1.png可以看

小红牛·2020-07-13 19:33

大数据架构之数据存储

持久化存储关键概念:文件系统，数据库系统文件系统中，大量文件没有很好组织，缺乏对象之间关键，读取效率低，因此有了数据库。单台计算机无法满足数据存储和处理需求，需要集群化方案，如何高效读取分布式计算机文件，高效执行分布式数据库的SQL查询，就有了NOSQL。知名分布式文件系统HDFS，分布式非关系型(非结构化)数据库Hbase和MongoDB。分布式文件系统2003年，Google发布论文GFS，启

_Hook_·2020-07-13 05:42

架构设计和技术选型的思路总结

一、顶层架构Linux/Windows平台、CS/BS架构、大数据架构、应用领域（游戏、互联网、传统行业等）二、CS中的Client的技术选型1、GUI开发技术（1）微软技术体系MFC、WinForm、

三五月儿·2020-07-12 00:11

一篇文章帮你建立自己的大数据知识体系！

尚学先生·2020-07-11 17:51

【干货】你不可不知的 Greenplum实施与运维最佳实践

在近期结束的Pivotal全球数据路演中，我们的大数据架构师为大家介绍了很多Greenplum的宝贵经验和最佳实践。为了给大家提供更好的参阅信息，我们系统地整理了这篇干货长文与大家分享。

Murkey学习之旅·2020-07-11 13:28

8年京东大数据架构师推荐的大数据开发学习路线

一、我们先要了解大数据的工作方向01.大数据工程师02.数据分析师03.大数据科学家04.其他（数据挖掘本质算是机器学习，不过和数据相关，也可以理解为大数据的一个方向吧）二、大数据工程师的技能要求必须技能10条:01.Java高级(虚拟机、并发)02.Linux基本操作03.Hadoop（此处为侠义概念单指HDFS+MapReduce+Yarn）04.HBase（JavaAPI操作+Phoenix

haotian1685·2020-07-11 07:30

五年Java外包转型大数据架构，就是这么霸气

前言乔二爷(化名)是我学习群的元老，我们去年就认识，他是五年Java经验的老鸟。去年年底他刚开始学大数据的时候给我打过电话，咨询一些学习路线上的问题，那时刚转型大数据的我给了他几点不太成熟的建议，并提供了一些我自己整理的资料，今年年初就成功转型了，并且从数据开发到现在的架构，实属牛逼。个人介绍我乔二爷，专科，坐标二线城市。14年8月毕业开始从事Java开发，月薪3800，在外地驻场两年多，17年初

无精疯·2020-07-11 01:58

【PDF下载】金融技术峰会之蚂蚁金服大数据开放式创新实践

点击查看全文主讲人介绍徐红星蚂蚁金服高级技术专家，2009年加入阿里，先后参与阿里巴巴、蚂蚁金服数据平台的架构和规划设计，在大数据架构、数据平台业务与产品规划设计方面拥有丰富的实战经验，曾经规划和实现了蚂蚁内部小二的数据工作台和安全服务平台

Mc顽固份子·2020-07-10 21:42

牛人!百度T9大佬纯手打的Kafka学习笔记,吃透已胜过80%Java求职者

小灰工作3年了，一直在一家初创公司做大数据架构师，最近几次大厂的面试经历都百般不顺，小灰心如死灰，想着如果一直跳槽无望，只能跟着时下最火的地摊儿大军一起去出摊儿谋生了。

程序员黑哥·2020-07-10 11:30

核桃编程Delta Lake实时数仓应用实践

曾担任易观数据挖掘工程师，熊猫TV大数据架构师。

weixin_45906054·2020-07-10 11:47

Spark SQL 在字节跳动的核心优化实践

10月26日，字节跳动技术沙龙|大数据架构专场在上海字节跳动总部圆满结束。

过往记忆·2020-07-10 05:03

BATJ大数据架构师带你领略实时计算框架Flink的魅力！

你是不是经常体验或看到以下这些场景？“小张，你看能不能做个监控大屏实时查看促销活动销售额（GMV）？”“小王，我们现在搞促销活动能不能实时统计销量Top3啊？”“小李，我们1元秒杀促销活动中有件商品被某个用户薅了100件，怎么都没有风控啊？”......那这些场景对应着什么业务需求呢？我们来总结下，大概如下：从这些需求来看，最根本的业务都是需要实时查看数据信息，那么首先我们得想想如何去采集这些实时