大数据架构

一篇了解大数据架构及Hadoop生态圈

阅读建议，有一定基础的阅读顺序为1,2,3,4节，没有基础的阅读顺序为2,3,4,1节。第一节集群规划大数据集群规划（以CDH集群为例），参考链接：https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_host_allocations.htmlhttps://blog.csdn.net/xuefenxi/arti
小神龙q·2020-09-11 09:51

圣诞的礼物赠100G干货，Java入门精通视频，Python初级进阶资料，还有大数据架构师！

干货在下面，请花费1分钟时间看看图片发自App做一个实力派，不走弯路，便是捷径免费赠《Java入门到精通,Python初级进阶视频教程》图片发自App第一python很有前途，但你是实力派吗？实力决定一切图片发自App不要问小编python有没有前途，因为在python这个行业里，工资年薪几十万几百万的多的是，是一个根本不需要考虑前途就很有前途的行业，但是你有和前途配套的实力吗？而前途只属于有实力
Java工程诗·2020-08-24 16:35

大数据架构简述（二）：数据获取

1.数据分类按数据形态，我们把数据分为结构化数据和非结构化数据两种。结构化数据如传统的DataWarehouse数据，字段有固定的长度和语义，计算机程序可以直接处理非结构化数据有文本数据、图像数据、自然语言数据等，计算机程序无法直接进行处理，需要进行格式转换或信息提取。2.数据获取组件常见的信息获取组件包括电信特有的探针技术，为获取网页数据常用的爬虫，采集日志数据的组件Flume，以及用于消息转发
郭大侠写leetcode·2020-08-24 12:23

快速开发框架推荐使用 jeecg-boot

但随着技术不断进步，各种微服务，分布式突飞猛进，尤其在大数据架构和大并发进来，发现之前架构和写代码的地方有很多不足之处。于是去网上研究各大家的开源框架，对比之下，推荐使用jeecg
徐小笑·2020-08-23 11:21

大数据可以从事哪些职位，大数据就业方向有哪些？

大数据领域分为二个方向：一是大数据维护、研发、架构工程师方向；所涉及的职业岗位为：大数据工程师、大数据维护工程师、大数据研发工程师、大数据架构师等；二是大数据挖掘、分析方向；所
大数据在说话·2020-08-23 03:34

Kafka解耦原理浅析

一、高度耦合大数据架构1.每一个数据源都会有四个不同流向2.每一个数据接收者都可能有四个不同来源3.系统高度耦合，系统复杂度4*4=164.不利于程序开发、维护、升级二、Kafka解耦之后架构1.所有source
海若[MATRIX]·2020-08-23 02:18

[云框架]SMACK大数据架构

Github地址：https://github.com/cloudframe...SMACK是一种数据处理的技术组合，S代表Spark（引擎）、M代表Mesos（容器）、A代表Akka（模型）、C代表Cassandra（存储）、K代表Kafka（消息队列）。面对数据源数量急剧增加、数据样本获取难度升高、数据分析时效性差、数据分析投资回报率低等一系列挑战，SMACK可以解决Hadoop等熟知技术无法
weixin_33843409·2020-08-22 14:23

如何建设高吞吐量的日志平台



7月24日晚上8点，七牛云高级大数据架构师王珂在飞马网进行了题为《如何快速搭建智能化的统一日志管理系统》的音频直播，和大家探讨了日志平台建设中需要考虑的要点，并分享了七牛云在提高日志平台吞吐量上的实践经验
七牛云·2020-08-22 10:36

如何实现多维智能监控？--AI运维的实践探索【一】

SNG的哈勃多维监控平台在完成大数据架构改造后，尝试引入AI能力，多维根因分析是其中一试点，用于摸索AI的应用经验。本分分享探索过程和经验，希望可给后续AI应用提供参考。
腾讯织云·2020-08-22 10:56

大数据架构和模式（五）对大数据问题应用解决方案模式并选择实现它的产品

简介本系列的第3部分描述了针对最常见的、经常发生的大数据问题及其解决方案的原子模式和复合模式。本文将推荐可以用于架构大数据解决方案的三个解决方案模式。每个解决方案模式都使用了一个复合模式，该模式由逻辑组件构成（参见第3部分的介绍）。在本文末尾处，列出了产品和工具清单，它们可映射到每一个解决方案模式的组件。解决方案模式以下各节将介绍可以用于架构大数据解决方案的三个解决方案模式。为了说明这些模式，我们
DeveloperWorks·2020-08-22 01:27

大数据架构和模式（四）了解用于大数据解决方案的原子模式和复合模式

简介本系列的第3部分介绍了大数据解决方案的逻辑层。这些层定义了各种组件，并对它们进行分类，这些组件必须处理某个给定业务用例的功能性和非功能性需求。本文基于层和组件的概念，介绍了解决方案中所用的典型原子模式和复合模式。通过将所提出的解决方案映射到此处提供的模式，让用户了解需要如何设计组件，以及从功能角度考虑，应该将它们放置在何处。模式有助于定义大数据解决方案的架构。利用原子模式和复合模式可以帮助进一
DeveloperWorks·2020-08-22 01:26

大数据架构和模式（三）理解大数据解决方案的架构层

概述这个“大数据架构和模式”系列的第2部分介绍了一种评估大数据解决方案可行性的基于维度的方法。
DeveloperWorks·2020-08-22 01:55

大数据架构和模式（二）如何知道一个大数据解决方案是否适合您的组织

简介在确定投资大数据解决方案之前，评估可用于分析的数据；通过分析这些数据而获得的洞察；以及可用于定义、设计、创建和部署大数据平台的资源。询问正确的问题是一个不错的起点。使用本文中的问题将指导您完成调查。答案将揭示该数据和您尝试解决的问题的更多特征。尽管组织一般情况对需要分析的数据类型有一些模糊的理解，但具体的细节很可能并不清晰。毕竟，数据可能具有之前未发现的模式的关键，一旦识别了一种模式，对额外分
DeveloperWorks·2020-08-22 01:54

大数据架构和模式（一）大数据分类和架构简介

相关文章：大数据架构和模式（二）——如何知道一个大数据解决方案是否适合您的组织大数据架构和模式（三）——理解大数据解决方案的架构层大数据架构和模式（四）——了解用于大数据解决方案的原子模式和复合模式大数据架构和模式
DeveloperWorks·2020-08-22 01:54

Apache Hadoop 3.0.0（一、安装）

如果对大数据架构不清请的初学者可以参考网上一些公开课，了解要掌握哪些知识就好了，还是得在实际中应用多动手，言归正传。
spaceandroid·2020-08-21 16:09

从 Exadata 到 TiDB，中通快递 HTAP 实践

作者介绍：朱志友，中通快递大数据架构师。中通快递背景介绍中通快递业务的规模目前是世界第一，是第一个达成年百亿业务量的快递企业，在2019年的双十一更是完成了订单量超过2亿的佳绩。
PingCAP·2020-08-21 03:56

阿里巴巴飞天大数据架构体系与Hadoop生态系统

很多人问阿里的飞天大数据平台、云梯2、MaxCompute、实时计算到底是什么，和自建Hadoop平台有什么区别。先说Hadoop什么是Hadoop？Hadoop是一个开源、高可靠、可扩展的分布式大数据计算框架系统，主要用来解决海量数据的存储、分析、分布式资源调度等。Hadoop最大的优点就是能够提供并行计算，充分利用集群的威力进行高速运算和存储。Hadoop的核心有两大板块：HDFS和MapRe
阿里云云栖号·2020-08-20 22:19

通用大数据架构为什么不适合处理物联网数据？

为处理日益增长的互联网数据，众多的工具开始出现，最流行的应该是Hadoop体系。除使用大家所熟悉的Hadoop组件如HDFS，MapReduce,HBase,Hive外，通用的大数据处理平台往往还使用Kafka或其他消息队列工具，Redis或其他缓存软件，Flink或其他实时流式数据处理软件。存储上也有人选用MongoDB，Cassandra或其他NoSQL数据库。这样一个典型的大数据处理平台基本
涛思数据·2020-08-20 21:20

斗象科技NTA全流量大数据架构 VS 传统单机设备，底层差别到底在哪？

如今实战攻防对抗的形势下，基于全流量的安全分析技术扮演着越来越重要的角色。尽管NTA技术已在市场中得到广泛认同，但用户在对NTA与全流量技术的理解上依然存在差异。Gartner提出并定义网络流量分析（NetworkTrafficAnalysis,NTA）技术成为流量分析领域的新宠，它被认为是五种检测高级威胁的重要手段之一。Gartner对NTA定义：以网络流量为基础，应用人工智能、大数据处理等先进
斗象科技·2020-08-20 21:04

ELK和beats

由于扩展成分布式，容量和性能得到极大的提升，使得Elasticsearch得以成为目前许多大数据产品和大数据架构的核心组件。Logstash:一个灵活的数据传输和处理系统，在beats出来
P_Chou水冗·2020-08-20 20:44

ELK和beats

由于扩展成分布式，容量和性能得到极大的提升，使得Elasticsearch得以成为目前许多大数据产品和大数据架构的核心组件。Logstash:一个灵活的数据传输和处理系统，在beats出来
P_Chou水冗·2020-08-20 20:44

[译] 解密 Uber 数据团队的基础数据架构优化之路

但是，在这简单的流程背后其实是用Hadoop和Spark这样复杂的基础大数据架构来支撑的。Uber在现实世界和虚拟世界的十字路口有令人羡慕的一席之地。这令每天在各个城市穿行的数十万司机大军趋之若鹜。
HarryZhu·2020-08-20 20:59

[译] 解密 Uber 数据团队的基础数据架构优化之路

但是，在这简单的流程背后其实是用Hadoop和Spark这样复杂的基础大数据架构来支撑的。Uber在现实世界和虚拟世界的十字路口有令人羡慕的一席之地。这令每天在各个城市穿行的数十万司机大军趋之若鹜。
HarryZhu·2020-08-20 20:59

阿里巴巴飞天大数据架构体系与Hadoop生态系统

很多人问阿里的飞天大数据平台、云梯2、MaxCompute、实时计算到底是什么，和自建Hadoop平台有什么区别。先说Hadoop什么是Hadoop？Hadoop是一个开源、高可靠、可扩展的分布式大数据计算框架系统，主要用来解决海量数据的存储、分析、分布式资源调度等。Hadoop最大的优点就是能够提供并行计算，充分利用集群的威力进行高速运算和存储。Hadoop的核心有两大板块：HDFS和MapRe
阿里云云栖号·2020-08-20 16:07

阿里巴巴飞天大数据架构体系与Hadoop生态系统

很多人问阿里的飞天大数据平台、云梯2、MaxCompute、实时计算到底是什么，和自建Hadoop平台有什么区别。先说Hadoop什么是Hadoop？Hadoop是一个开源、高可靠、可扩展的分布式大数据计算框架系统，主要用来解决海量数据的存储、分析、分布式资源调度等。Hadoop最大的优点就是能够提供并行计算，充分利用集群的威力进行高速运算和存储。Hadoop的核心有两大板块：HDFS和MapRe
阿里云云栖号·2020-08-20 16:07

通用大数据架构为什么不适合处理物联网数据？

为处理日益增长的互联网数据，众多的工具开始出现，最流行的应该是Hadoop体系。除使用大家所熟悉的Hadoop组件如HDFS，MapReduce,HBase,Hive外，通用的大数据处理平台往往还使用Kafka或其他消息队列工具，Redis或其他缓存软件，Flink或其他实时流式数据处理软件。存储上也有人选用MongoDB，Cassandra或其他NoSQL数据库。这样一个典型的大数据处理平台基本
涛思数据·2020-08-20 16:29

通用大数据架构为什么不适合处理物联网数据？

为处理日益增长的互联网数据，众多的工具开始出现，最流行的应该是Hadoop体系。除使用大家所熟悉的Hadoop组件如HDFS，MapReduce,HBase,Hive外，通用的大数据处理平台往往还使用Kafka或其他消息队列工具，Redis或其他缓存软件，Flink或其他实时流式数据处理软件。存储上也有人选用MongoDB，Cassandra或其他NoSQL数据库。这样一个典型的大数据处理平台基本
涛思数据·2020-08-20 16:29

Windows中通过命令行新建文件夹、新建文件

主讲内容：docker/kubernetes云原生技术，大数据架构，分布式微服务，自动化测试、运维。腾讯课堂：点击进入网易课堂：点击进入7月1号-7月29号8折优惠！！！
小白白白又白cdllp·2020-08-20 14:45

大数据安全解决方案的八大原则

现有信息条件下的数据存储以一种大融合的方式存在，大数据架构与传统数据库并存。
昂楷科技·2020-08-20 09:18

WOT2016大数据技术峰会——百格活动

我们希望通过WorldOfTech（WOT）技术会议平台为中国大数据相关从业人员搭建一个互动学习交流的平台，通过大数据架构先进设计实践经验、大数据应用的典型成功案例、帮助参会者了解大
百格活动·2020-08-19 17:21

从 Flink 应用场景出发，了解它的设计思路

>>>点击蓝色“大数据每日哔哔”关注我加个“星标”，第一时间获取大数据架构，实战经验Flink主要应用场景有三类：1.Event-drivenApplications【事件驱动】2.DataAnalyticsApplications
程序员小陶·2020-08-19 07:25

关于架构设计的经验总结

下面是架构设计的经验分享：服务端架构和大数据架构有什么区别?所谓的“大数据”其实是海量数据采集清洗转换、数据存储、数据分析、数据服务等场景解决方案的一个统称，在每一个场景都包含了多种
女巫丽桑卓·2020-08-18 23:03

深入大数据架构师之路，问鼎40万年薪

[free]课程大纲:第1节课程体系介绍00:27:03分钟第2节hadoop精讲之mapreduce原理及代码演示00:30:25分钟第3节hadoop精讲之hdfs详解(1)00:21:35分钟第4节hadoop精讲之hdfs(2)00:25:35分钟第5节hadoop产品选型00:15:58分钟第6节实战.基于hadoopstreaming的wordcount00:23:47分钟第7节实战.
qq_42684078·2020-08-18 21:12

Hadoop学习笔记（1）－Hadoop生态系统

0.前言先介绍下现在的整体大数据架构的内容。见下图。右边的黑框部分是hadoop的核心架构。包括HDFS，MapReduce，yarn，hive，hbase。
XianMing的博客·2020-08-18 12:55

利用Sqoop将多种关系型数据库表导入Hive(不断更新)

由于数据量比较大，经常需要利用大数据架构去处理不同数据库之间数据存储问题，大数据架构下存储数据库工作中目前主要用hive,Sqoop是一个比较优秀的数据转储工具，这里主要记录Sqoop与各种数据库之间导入导出的语句
进击的强强·2020-08-16 21:47

大数据实践总结－－－一点思考

1，大数据架构师，产品经理需要写代码吗？需要，只不过写代码的程度不同。大数据架构师要详细了解大数据的各个模块功能，相关的接口参数。可以说，架构师要对代码有很详细的了解。
weixin_33709364·2020-08-16 09:45

实现Flume多维度metrics测量的解决方案

kafkametrics实现方式增强flume测量功能先定义全局的MetricsRegistry编写Interceptor创建监控服务InfluxMetricsServerreport出metrics总结由于公司大数据架构是
zhixingheyi_tian·2020-08-14 22:15

大数据架构基本逻辑梳理

大数据架构基本逻辑梳理流处理、批处理、交互式查询之间区别在文末大数据的特点：Value（价值）Velocity（速度）Variety（多样性）Volume（体量）大数据处理主要解决两个问题。
子鱼_sunmac·2020-08-13 15:38

Pravega架构小结

架构开源分布式流存储服务本质是在计算引擎与底层存储间充当解耦层，旨在解决新一代大数据平台在数据存储层上的挑战1、数据湖Pravega提供的Stream原语可以避免现有大数据架构中原始数据在多个开源存储搜索产品中移动而产生的数据冗余现象
码以致用·2020-08-13 10:00

TiDB 助力客如云餐饮 SaaS 服务

我们是客如云的大数据基础架构组，负责公司的大数据架构和建设工作，为公司提供大数据基础数据服务。业务发展遇到的痛点随
weixin_34177064·2020-08-12 13:57

网贷风控体系之-系统架构

网贷风控体系之-系统架构目前常见的大数据架构是基于实时大数据处理框架Lambda架构。Lambda架构的数据通道分为实时流和离线两部分。
李元乐·2020-08-11 21:50

大数据架构：flume-ng+Kafka+Storm+HDFS 实时系统组合

个人观点：大数据我们都知道hadoop，但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理，hadoop还是比较适合的，但是对于实时性比较强的，数据量比较大的，我们可以采用Storm，那么Storm和什么技术搭配，才能够做一个适合自己的项目。下面给大家可以参考。可以带着下面问题来阅读本文章：1.一个好的项目架构应该具备什么特点？2.本项目架构是如何保证数据准确性的？3.什么是Kafk
wxy_fighting·2020-08-11 01:29

DataFun活动回顾 | 画像在外卖智能调度的实践-详细版

本文根据百度外卖首席架构师梁福坤先生在DataFun大数据架构系列活动——大数据架构在O2O场景中的应用所作分享《画像在外卖智能调度的实践》编辑整理而来，在未改变原意的基础上略作删减。
数据猿·2020-08-10 14:26

spark大数据架构初学入门基础详解

Spark是什么a)是一种通用的大数据计算框架b)SparkCore离线计算SparkSQL交互式查询SparkStreaming实时流式计算SparkMLlib机器学习SparkGraphX图计算c)特点：i.一站式：一个技术堆栈解决大数据领域的计算问题ii.基于内存d)Spark2009年诞生于伯克利大学的AMPLab实验室2010年正式开源了Spark项目2013年Spark成为Apache
星月情缘02·2020-08-10 04:28

什么样的基础设施适合快速和大数据架构？

较新的快速的数据架构与大数据架构有着显著区别，并且快速数据提供了真正的联机事务处理工具。理解大数据和快速数据需求的变化能够帮助你做出正确的硬件和软件选择。
cheyan5318·2020-08-09 20:35

neo4j的查询语法Cypher+python演示

主讲内容：docker/kubernetes云原生技术，大数据架构，分布式微服务，自动化测试、运维。
数据架构师·2020-08-09 17:27

centos 7.4 安装zabbix 3.4

Centos7.4安装Zabbix3.4如有兴趣请加群进行交流：435303957可以关注微信公众号：GZ-Big-Data、贵州大数据架构师如需转载请注明出处！
weixin_30516243·2020-08-09 13:27

视频教程-Python Web开发之Flask原理与实战-Python

精通Python，C/C++，机器学习框架sicikit-learn，深度学习框架tensorflow，keras，大数据架构Hadoop，Spark。
学院导师-刘声·2020-08-09 13:51

HBase从入门到放弃（经典收藏）

前言HBase是大数据架构中最常用的面向半结构、非结构化的存储系统，是Google三驾马车之一Bigtable的开源实现(Apache顶级项目)，具备高可靠、高性能、可伸缩能力。
zhengqiangtan·2020-08-09 12:02

ubuntu启动配置ftp服务端

主讲内容：docker/kubernetes云原生技术，大数据架构，分布式微服务，自动化测试、运维。
数据架构师·2020-08-08 17:18
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他