大数据架构

计算机毕业设计全网首发Python+Spark招聘爬虫可视化系统 招聘数据分析 Hadoop职位可视化 大数据毕业设计 51job数据分析(可选加推荐算法)

开发技术Hadoop、HDFS、Spark、SpringBoot、echarts、PySpark、Python、MySQL创新点大数据架构、爬虫、数据可视化啰里啰嗦适合大数据毕业设计、数据分析、爬虫类计算机毕业设计可二次开发选加推荐算法
计算机毕业设计大神·2023-08-07 19:45

挂载 机械硬盘_揭秘Kafka的硬盘设计方案，快速完成PB级数据扩容需求！

腾讯云kafka作为腾讯医疗大数据架构中的关键组件。在面对业务短时间内成倍的数据存储需求的情况下，如何快速响应、快速扩容以支持业务的稳定运行的呢?
weixin_39701735·2023-08-03 22:46

大数据架构师从入门到精通，你get到了吗？

经常有初学者在博客和QQ问我，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你的专业是什么，对于计算机/软件，你的兴趣是什么？是计算机专业，对操作系统、硬件、网络、服务器感兴趣？是软件专业，对软件开发、编程、写代码感兴趣？还是数学、统计学专业，对数据和数字特别感兴趣。其实这就是
yoku酱·2023-08-03 01:18

2分钟大白话：什么是大数据架构。人人好懂

问题背景在40岁老架构师尼恩的读者社区(50+)中，尼恩一直指导大家写简历，做面试，最高的拿到年薪近100W。昨天指导一个阿里p6小伙写简历，做面试。在帮他挖掘简历亮点时，发现他项目在Java上没有什么技术亮点，他项目的核心亮点，就在大数据没错，就是大数据。但是小伙伴对大数据有畏惧心理，担心自己驾驭不了。尼恩想说，其实大数据其实很简单，所以，大家不用有畏惧心理。这里尼恩给大家写一篇文章，2分钟大白
40岁资深老架构师尼恩·2023-08-03 00:20

大数据架构图

大数据管理数据处理过程图大数据(bigdata),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察力。大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。随着业务的增长,大量和流程、规则相关的非结构化数据也爆发式增长。平台数据架构流程图标准大数据平台架构,标准大数据平台架构,大数据平台架构,数据仓库,数据集市,大数
ixiaoyang8·2023-07-31 17:10

大数据技术及大数据架构

大数据架构分为：数据来源层->数据采集层->分布式存储层->传输层->分析计算层->业务存储层->展示层共七层，基本使用flumesqoophivehadoopsparkflinkmysqlredislogstashelasticsearchdatax
玄明Hanko·2023-07-31 17:39

大数据架构详解：从数据获取到深度学习（内含福利）

机器学习（MachineLearning，ML）是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。其专门研究计算机是怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构，使之不断改善自身的性能。此外，数据挖掘和机器学习有很大的交集。本文将从架构和应用角度去解读这两个领域。机器学习和数据挖掘的联系与区别数据挖掘是从海量数据中获取有效的、新颖的、
yoku酱·2023-07-31 16:32

十、批流一体流程化大数据架构设计

1、技术背景在当代信息社会中，数据的处理和分析已经成为了一个重要的议题，大量的数据处理需求推动了数据处理技术不断的发展，出现了很多解决海量数据处理的软件方案。然而，当前的处理方案往往存在着数据处理不能实时、配置复杂、处理过程不规范，不适用于异构平台的问题。因此，如何解决异构平台下海量数据高效处理的问题成为了数据处理技术的新的研究方向。本设计提出了一种数据处理的图形化、流程化、自动化的解决方案，主要
vandh·2023-07-25 22:03

Flink Connector 深度解析

作者介绍：董亭亭，快手大数据架构实时计算引擎团队负责人。目前负责Flink引擎在快手内的研发、应用以及周边子系统建设。2013年毕业于大连理工大学，曾就职于奇虎360、58集团。
zhisheng_blog·2023-07-24 00:53

基于大数据架构实现景点游客数据分析平台，全国景点游客数据管理系统

随着最近几年旅游行业的兴起，越来越多的景区景点将传统模式的线下统计模式变更成为了线上分析统计模式，线上对景区游客数据的管理与监督的新型模式。很多的景点采用游客数据分析平台系统，在线上对不同景点内部的游客数据进行管理，对景区各部门的员工进行管理，实现游客旅游数据分析的数字化，一体化。本次毕业设计景点游客数据分析平台，采用springboot、springcloud，hadoop，hbase，es等技
Q计算机程序优异哥_2934918046·2023-07-20 12:46

利用鸿鹄优化共享储能的SCADA 系统功能，赋能用户数据自助分析

摘要本文主要介绍了共享储能的SCADA系统大数据架构，以及如何利用鸿鹄来更好的优化SCADA系统功能，如何为用户进行数据自助分析赋能。
炎凰数据·2023-07-20 00:20

【新版系统架构】第十九章-大数据架构设计理论与实践

大数据处理系统架构大数据处理系统面临挑战如何利用信息技术等手段处理非结构化和半结构化数据如何探索大数据复杂性、不确定性特征描述的刻画方法及大数据的系统建模数据异构性与决策异构性的关系对大数据知识发现与管理决策的影响大数据处理系统架构特征鲁棒性和容错性低延迟读取和更新能力横向扩容通用性延展性即席查询能力最少维护能力可调式性Lambda架构Lambda架构用于同时处理离线和实时数据，可容错，可扩展的分
阿提说说·2023-07-16 22:40

java小白训练营day03-数据结构：jUnit+基本类型+包装类型+数组+对象

（语言自身c/java）新程序：数据结构+算法（已经不是重点）+框架+架构框架：mvc框架，新三大框架springmvc+spring+mybatis架构：分布式架构、微服务架构、开发运维一体化架构、大数据架构
长安紫薯·2023-06-17 20:42

大数据架构PK：Hadoop与MPP的区别

在最近的时间里，我听到了很多关于该主题的讨论。同样，这是一个非常受欢迎的问题，是由在“大数据”领域经验不足的客户提出的。实际上，我不喜欢这个含糊不清的流行语，但这就是客户通常会来找我们的原因，因此我必须使用它。如果回头看5年前，那是大多数公司都不选择Hadoop的时候，尤其是对于那些要求稳定和成熟平台的企业而言。那时，选择非常简单：当分析数据库的大小超过5-7TB时，您只需启动一个MPP迁移项目，
独行侠梦·2023-06-17 02:14

大数据学习归纳

修改记录时间内容2020年4月10日第一次发布2020年4月16日添加MaxComputeSQL部分2020年9月14日新增数仓部分笔记大数据架构基础知识题大数据组件概念集群：多个人做同样的事分布式：多个人协作
猫腻余腥·2023-06-14 18:52

Hulu大数据架构与应用经验

内容来源：2017年8月12日，Hulu大数据架构部门负责人董西成在“网易博学实践日：大数据与人工智能技术大会”进行《Hulu大数据架构与应用经验》演讲分享。
IT大咖说·2023-06-13 17:28

基于 Flink CDC 的实时同步系统

摘要：本文整理自科杰科技大数据架构师张军，在FFA数据集成专场的分享。
·2023-06-13 16:08

互联网企业大数据架构

携程机票image.png去哪玩乐2014年image.pngimage.pngimage.png京东image.png
数据智能谷·2023-06-11 22:16

一篇文章搞懂数据仓库：数据仓库架构-Lambda和Kappa对比

我们先回顾一下数据仓库的发展历程：传送门-数据仓库发展历程写在前面咳，随着数据量的暴增和数据实时性要求越来越高，以及大数据技术的发展驱动企业不断升级迭代，数据仓库架构方面也在不断演进，分别经历了以下过程：早期经典数仓架构>离线大数据架构
张家的鱼摆摆·2023-06-09 21:32

深入理解大数据架构之——Lambda架构

目录传统系统的问题Lambda架构简介Lambda架构关键特性数据系统的本质Lambda的三层架构Lambda架构组件选型总结原文链接：https://jiang-hao.com/articles/2019/big-data-lambda-architecture.html传统系统的问题“我们正在从IT时代走向DT时代(数据时代)。IT和DT之间，不仅仅是技术的变革，更是思想意识的变革，IT主要是
m0_37595954·2023-06-09 21:58

大数据架构之--Kappa架构

一、什么是Kappa架构Kappa架构是由LinkedIn的前首席工程师杰伊·克雷普斯（JayKreps）提出的一种架构思想。克雷普斯是几个著名开源项目（包括ApacheKafka和ApacheSamza这样的流处理系统）的作者之一。Kreps提出了一个改进Lambda架构的观点：通过改进Lambda架构中的SpeedLayer，使它既能够进行实时数据处理，同时也有能力在业务逻辑更新的情况下重新处
lwqhp·2023-06-09 21:54

百度用户产品流批一体的实时数仓实践

文章整体包含4个部分，首先会介绍下大数据架构演进，从经典架构到Lambda架构再到Kappa架构；然后会介绍下我们做流批一体实时数仓的背景，旧架构面临的主要问题；第三会介绍下我们流批一体实时数仓的技术方案
百度Geek说·2023-06-09 10:09

火山引擎云原生大数据在金融行业的实践

大数据架构向云原生演进是行业的重要趋势，火山引擎协助关键金融客户在大数据云原生方向进行了深度实践，形成了整体解决方案，本文将分享火山引擎云原生大数据在金融行业的实践。
字节跳动云原生计算·2023-06-09 07:52

大数据架构系列：如何理解湖仓一体？

转载：如有侵权，告知即删除引言这十多年大数据技术蓬勃发展，从市场的表现来看基于大数据的数据存储和计算是非常有价值的，其中以云数据仓库为主打业务的公司Snowflake市值最高（截止当前449亿美元），另一家以湖仓一体为方向公司Databricks估值或达380亿美元；各大伺机而动的云厂商也纷纷推出自己的数据湖、云数据仓库、湖仓一体产品。大数据领域概念（术语）还是非常多的，大多数时候都是先射箭再画靶
dkjhl·2023-06-08 18:58

大数据架构

1.1如何构建大数据平台？1.1.1数据库与ER建模1.1.1.1数据库（DataBase）1.1.1.2数据库三范式1.1.1.3ER实体关系模型1.1.1.4ER实体关系模型案例1.1.2数据仓库构建与分层1.1.2.1为什么构建数据仓库1.1.2.2什么是数据仓库1.1.2.3数据仓库发展历史1.1.2.4数据仓库维度建模1.1.2.5维度建模案例1.1.2.6数据仓库分层设计1.1.2.7
添柴少年yyds·2023-06-08 18:55

《数据智能知识地图》——数据湖篇

现在的大数据架构是可扩展的，并且可以为用户提供越来越多的实时分析。在商业智能（BI）和数据仓库还没有被淘汰的今天，大数据分析和大数据湖正在向更多类型的实时智能服务发展，这些实时的智能服务可以支持实时的
大数据食铁兽·2023-06-08 18:36

浅谈数据治理

随着大数据平台和工业互联网兴起，数据治理平台主要采用数据中台技术和微服务架构初步替代传统架构，面向大数据架构下，为数据资源中心与外部数据系统提供数据服务。那么，数据治理到底治什么？
产品经理自我修养·2023-06-07 15:37

大数据架构师的岗位工作职责及应具备的能力

技术研发类岗位包括大数据架构师、数据仓库架构师、大数据开发工程师、数据采集工程师、数据仓库开发工程师、系统开发工程师、算法开发工程师。本文主要介绍大数据架构师的岗位工作职责及应具备的能力。如下图所示
皮皮杂谈·2023-06-07 07:18

一文看懂阿里、京东、滴滴大数据架构变迁

上一篇：39岁阿里P9失业了，总资产1.5亿……01大数据技术变迁概述大数据的概念从上世纪90年代被提出，03-06年Google的3篇经典论文（GFS、MapReduce、Bigtable）作为奠基，Hadoop等优秀系统的出现使之繁荣，经历了十余年的时间。从GartnerHypeCycle这一行业技术发展的趋势图看，大数据从2011年进入该图谱，2014年被标记为进入衰退期，2015年开始不再
互联网架构·2023-04-20 14:39

12年经验的大数据架构师，想和你谈谈…

就在本周，又有一位资深大数据架构师加入菜鸟窝的大数据讲师团队，基于他长达6页的工作履历，小姐姐马上对这位大咖做一个快速访谈，感兴趣的小伙伴们，我们很快就能在公开课上和Dennis老师实时交流了！
菜鸟窝·2023-04-20 10:42

【译】Cloudera Manager（CDH）入门系列之二 （架构）

请输入图片描述扫码关注微信公众号"Kooola大数据"扫码关注微信公众号号"Kooola大数据"，一起聊聊大数据架构（Architecture）如下图所示，ClouderaManager的核心是ClouderaManagerServer
Kooola大数据·2023-04-15 22:47

大数据架构模式lambda和kappa的对比

一.lambda架构如图所示，将收集到的数据通过kafka和flume等传递到计算层；数据存储在hdfs或者redis等组件中；计算部分分为两种，实时计算和离线计算；实时计算有storm,flink,stormstreaming和flinkstream；离线部分包括hive和sparksql等数据计算完之后，存储到组件中;其它业务可以从这里拉取计算结果优势（1）经过多年发展，比较稳定，也有比较多的
w970069059·2023-04-13 18:47

大数据架构师：日访问百亿级

日志数据是最常见的一种海量数据，以拥有大量用户群体的电商平台为例，双11大促活动期间，它们可能每小时的日志数量达到百亿规模，海量的日志数据暴增，随之给技术团队带来严峻的挑战。本文将从海量日志系统在优化、部署、监控方向如何更适应业务的需求入手，重点从多种日志系统的架构设计对比；后续调优过程：横向扩展与纵向扩展，分集群，数据分治，重写数据链路等实际现象与问题展开。我自己是一个从事了6年的Java全栈工
编程小世界·2023-04-11 20:25

大数据架构流程图

大数据管理数据处理过程图大数据(bigdata),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察力。大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。随着业务的增长,大量和流程、规则相关的非结构化数据也爆发式增长。平台数据架构流程图标准大数据平台架构,标准大数据平台架构,大数据平台架构,数据仓库,数据集市,大数
ixiaoyang8·2023-04-10 21:12

Nginx实战应用-负载均衡，大数据架构设计方案

2.Nginx配置upstream块upstreamname{…}upstreamgupao{server192.168.12.1:8081;server192.168.12.1:《一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义》【docs.qq.com/doc/DSmxTbFJ1cmN1R2dB】完整内容开源分享8082;server192.168.12.1:8
m0_64867152·2023-04-10 01:54

【大数据是什么】

大数据运维工程师数据仓库开发工程师ETL工程师大数据开发工程师BI工程师算法工程师大数据平台开发工程师大数据架构师讲述一下自己的大数据学习之路大数据是做什么的？
BigDataTuTu·2023-04-07 16:11

五个顶级的大数据架构

自从像AWS这样的公共云产品开辟了大数据分析功能以来，小企业通过挖掘大量的数据做到只有大企业才能做到的事情，至今大约有10年时间。这些事情其中包括网络日志、客户购买记录等，并通过按使需付费的方式提供低成本的商品集群。在这十年中，这些产品蓬勃发展，涵盖了从实时(亚秒级延迟)流媒体式分析到用于分析批量模式工作的企业数据仓库，而企业数据仓库则可能需要数天或数周才能完成。以下将介绍用于大数据堆栈的五个最有
大数据Arry·2023-04-07 16:07

大数据架构

目前大数据主要的结构如下：从最下面一层往上依次为：一、接入层1、DataXa)dataX是一个ETL工具，阿里出品b)采用Framework+plugin架构构建，幸运的是自带了常用的插件，比如MysqlReader、HdfsWriter等c)Standalone，无中心，每个实例之间无关联d)性能强劲、相对于sqoop，配置更简单e)稳定高效，我们引入DataX以来，从来没有在数据传输上出过问题
zhaoyang10·2023-04-06 16:47

大数据导论（二：大数据的架构）

3、云计算的特点4、云计算的服务方式5、大数据架构大数据架构是
SupAor·2023-04-06 16:40

大数据架构师须知—基础知识点

大数据架构师须知—基础知识点结合BI,Reporting,Ad-hoc,ETL数仓分析等场景，从体系化的角度来分析OLAP系统的核心技术点，分为谈存储，谈计算，谈优化器，谈趋势4个章节。
kalvin_y_liu·2023-04-06 03:38

万字详解大数据架构新概念

来源：五分钟学大数据随着近几年数据湖概念的兴起，业界对于数据仓库和数据湖的对比甚至争论就一直不断。有人说数据湖是下一代大数据平台，各大云厂商也在纷纷的提出自己的数据湖解决方案，一些云数仓产品也增加了和数据湖联动的特性。但是数据仓库和数据湖的区别到底是什么，是技术路线之争？是数据管理方式之争？二者是水火不容还是其实可以和谐共存，甚至互为补充？本文作者来自阿里巴巴计算平台部门，深度参与阿里巴巴大数据/
开源Linux·2023-04-05 17:20

大数据架构方案 - Flink+Iceberg实时数据湖

导读：ApacheFlink是大数据领域非常流行的流批统一的计算引擎，数据湖是顺应云时代发展潮流的新型技术架构。那么，当ApacheFlink遇见数据湖时，会碰撞出什么样的火花呢？本次分享主要包括以下核心内容：数据湖的相关背景介绍经典业务场景介绍为什么选择ApacheIceberg如何通过Flink+Iceberg实现流式入湖社区未来规划工作一、数据湖的相关背景介绍数据湖是个什么概念呢？一般来说我
neil1314·2023-04-04 03:16

万字详解大数据架构新概念：湖仓一体

随着近几年数据湖概念的兴起，业界对于数据仓库和数据湖的对比甚至争论就一直不断。有人说数据湖是下一代大数据平台，各大云厂商也在纷纷的提出自己的数据湖解决方案，一些云数仓产品也增加了和数据湖联动的特性。但是数据仓库和数据湖的区别到底是什么，是技术路线之争？是数据管理方式之争？二者是水火不容还是其实可以和谐共存，甚至互为补充？本文作者来自阿里巴巴计算平台部门，深度参与阿里巴巴大数据/数据中台领域建设，将
公众号:肉眼品世界·2023-04-03 17:51

架构设计与技术选型

一、顶层架构Linux/Windows平台、CS/BS架构、大数据架构、应用领域（游戏、互联网、传统行业等）二、CS中的Client的技术选型1、GUI开发技术（1）微软技术体系MFC、WinForm、
ysds20211402·2023-04-03 11:26

大数据架构新解

大数据系统大体可以分成以下四个部分：1，数据采集层2，数据计算层3，数据服务层4，数据应用层下图是阿里巴巴大数据系统架构图：一、数据采集层数据采集主要分成以下三块数据：1，Web端日志2，App端日志3，第三方数据（比如mysql增量数据同步）Web端和App端的日志数据都需要制定各个场景下的埋点规范，用来满足各种通用业务场景下（比如浏览、点击等）的数据分析。Web端和App端数据采集一般都有各自
lloyd_chou·2023-04-02 23:03

大数据架构简介

大数据技术其实是分布式技术在数据处理领域的创新性应用，其本质和此前讲到的分布式技术思路一脉相承，即用更多的计算机组成一个集群，提供更多的计算资源，从而满足更大的计算压力要求。大数据技术讨论的是，如何利用更多的计算机满足大规模的数据计算要求。大数据就是将各种数据统一收集起来进行计算，发掘其中的价值。这些数据，既包括数据库的数据，也包括日志数据，还包括专门采集的用户行为数据；既包括企业内部自己产生的数
朝闻道-夕死可矣·2023-04-02 23:24

大数据架构

Lambda架构架构中含有离线处理与实时处理两条链路，两条链路处理数据导致数据不一致等Kappa架构Kappa架构真正的实时数仓，目前在业界最常用实现就是Flink+KafkaKappa存在问题Kafka无法支持海量数据存储。对于海量数据量的业务线来说，Kafka一般只能存储非常短时间的数据，比如最近一周，甚至最近一天。Kafka无法支持高效的OLAP查询，大多数业务都希望能在DWD\DWS层支持
阳光-星辰大海·2023-04-02 23:29

Chaya虚拟机学习 —— 启用Docker遇到的Bug

由于最近在学习有关大数据架构开发的内容，自己的手提电脑不太给力，只有8G内存，对于VMWare很吃力，再加上感觉老师上课的步骤过于繁琐，所以打算从VMWare跳转到Docker来安装虚拟机来减少电脑运行的压力
ExcellentChaya·2023-04-02 15:48

Chaya大数据架构综合实践课程学习 ——— Openresty安装

使用环境：VMWare15.5Centos7虚拟机MobaXterm_Portable_v22.0一、下载Openresty相关依赖##下载Openresty依赖yuminstallreadline-develpcre-developenssl-develgcc##下载Openresty仓库yum源wgethttps://openresty.org/package/centos/openresty
ExcellentChaya·2023-04-02 15:39

深度剖析 | 基于大数据架构的BI应用

说起互联网、电商的数据分析，更多的是谈应用案例，如何去实践数据化管理运营。而这里，我们要从技术角度分享关于数据的技术架构干货，如何应用BI。原文是云猴网BI总经理王卫东在帆软大数据上的演讲，以下是整理的文字稿。在电商领域，我们一般认为所有的数据都可以分为四大类型，流量、销量、商品和会员，这也是最基础的报表需求。流量部分，可以分为受访、点击、搜索、来源等等。这些流量信息运用的重点在于一些广告包括一些
Leo.yuan·2023-04-02 04:00
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他