大数据系统第4页

面试官问我有没有分布式系统开发经验，我一脸懵圈…

目录从单块系统说起团队越来越大，业务越来越复杂分布式出现：庞大系统分而治之分布式系统所带来的技术问题一句话总结：什么是分布式系统设计和开发经验补充说明：中间件系统及大数据系统前言现在有很多Java技术方向的同学在找工作的时候

石杉的架构笔记·2023-03-30 15:27

再见了 HDFS！这个资源调度框架已成气候！

这两天有粉丝问我，在一个成熟大数据系统中，最不能缺少的核心是什么？我仔细思考了一下，是消息系统之王的Kafka吗？不，还有RocketMQ和Pulsar可以选。

Java思维导图·2023-03-30 13:22

数据仓库-数据模型建设方法总结（全）

数据模型方法，以便在性能、成本、效率之间取得最佳平衡成本：良好的数据模型能极大地减少不必要的数据冗余，也能实现计算结果复用，极大地降低大数据系统中的存储和计算成本。

Shaw_Bigdata·2023-03-29 08:16

阿里大数据之路：数据模型篇大总结

数据模型方法，以便在性能、成本、效率之间取得最佳平衡成本：良好的数据模型能极大地减少不必要的数据冗余，也能实现计算结果复用，极大地降低大数据系统中的存储和计算成本。

王知无(import_bigdata)·2023-03-29 04:29

大数据平台数据处理之Lambda架构和Kappa架构

数据采集将应用程序产生的数据和日志等同步到大数据系统中，由于数据源不同，这

csdn-延·2023-03-28 22:50

大数据之Lamda架构

0.原文迁移大数据之Lamda架构：https://blog.csdn.net/iflink/article/details/122389022目录0.原文迁移一、大数据系统的关键特性二、数据系统的本质

we.think·2023-03-28 22:45

大数据系统发育学的原理、机遇和陷阱（一）

最近几天读文献，读到了一篇2019年AndrewD.Young和JessicaP.Gillung发表在Phylogenomics关于系统发育学的综述Phylogenomics—principles,opportunitiesandpitfallsofbig‐dataphylogenetics,很不错，就翻译一下以供查阅。1引言系统发育基因学是重建地球生命进化史的科学。传统上，系统发育仅使用形态学数

记号晴系·2023-03-28 17:58

人工智能与大数据就业前景_大数据的就业前景怎么样？

他们的基础岗位分别是大数据系统研发工程师、大数据

歪头羊·2023-03-25 21:41

学习大数据推荐用这套大数据学习路线

我们的大数据开发课程，真实商业数源授课，致力于大数据系统集能及区块链为辅，全程企业真实项目深度实操，带领学生一站式搞定匪夷所思的大数据开发技术。

QFdongdong·2023-03-25 09:10

[个推]打造100亿SDK覆盖量的大数据系统，个推从离线到实时演进的三阶段

打造100亿SDK覆盖量的大数据系统，个推从离线到实时演进的三阶段|36大数据http://www.36dsj.com/archives/58518//个推大数据系统演进第三阶段1.工具化+服务化+产品化

葡萄喃喃呓语·2023-03-19 03:07

浅谈Hadoop

目前，包括Yahoo、IBM、Facebook、亚马逊、阿里巴巴、华为、百度、腾讯等公司，都采用Hadoop构建自己的大数据系统，当然，是在Hadoop的基础上进行二次开发。

夜丨雨·2023-03-18 21:10

如何搭建一个PB级大数据中台？我之前是这么搞的！

当今企业对数据的重视度越来越高，在大数据系统架构设计层面，大数据架构师需要完成技术决策、技术选型，还需要根据不同时期的业务场景，不断优化和演进软件架构，最终攻克技术难点、化解技术风险，创造符合企业长期发展的大数据架构

军哥手记·2023-03-18 07:32

大数据学习之路（持续更新中...）

因此，基于分布式的大数据系统崭露头角。那么大数据系统里面都有什么东西呢？可以参考下面的图大

爱java的三罗·2023-03-18 01:53

kylin操作系统是什么

kylin的出现就是为了解决大数据系统中TB级别数据的数据分析需求

稻香的秘密·2023-03-15 15:06

2、大数据技术架构：核心原理与应用实践（上）

如图1所示为大数据系统全栈技术组件图。图1：大数据系统全栈技术组件2.分别对三驾马车进行深入了解首

朗如行玉山_5b30·2023-03-14 11:42

大数据 | 实验一：大数据系统基本实验 | 常用的 Linux 操作和 Hadoop 操作

文章目录cd命令：切换目录ls命令：查看文件与目录mkdir命令：新建目录rmdir命令：删除空的目录cp命令：复制文件或目录mv命令:移动文件与目录，或更名rm命令：移除文件或目录cat命令：查看文件内容tac命令：反向查看文件内容more命令：一页一页翻动查看head命令：取出前面几行tail命令：取出后面几行touch命令：修改文件时间或创建新文件chown命令：修改文件所有者权限find命

啦啦右一·2023-03-13 07:40

7.阿里大数据——大数据建模

成本：良好的数据模型能极大地减少不必要的数据冗余，也能实现计算结果服用，极大地降低大数据系统中的存储和计算成本。效率：良好的数据模型能极大地改善用户使用数据的体验，提高

路小漫·2023-03-12 02:47

OneData指标体系

建设统一的、规范化的数据接入层（ODS）和数据中间层（DWD和DWS），通过数据服务和数据产品，完成服务于公司的大数据系统建设，即数据公共层建设。

让数据告诉你·2023-03-10 13:07

《从0开始学大数据》的启示

从MR-Spark看产品思维模式思维大数据发展历史分布式计算的核心思想——移动计算而非移动数据大数据系统与大型网站系统设计思路的差异大型网站的思路大数据系统的思路从RAID到HDFS（存储）作为计算模型的

N-Paradigm·2023-02-04 17:50

从0开始学大数据-数据仓库建模

成本：良好的数据模型能极大地减少不必要的数据冗余，也能实现计算结果复用，极大的降低大数据系统中的存储和计算成本。效率：良好的数据模型能极大地改善用户使用数据的体验，

可樂呀·2023-02-04 17:19

Prometheus监控数据格式

的使用（pull形式采集数据）4、Prometheuspushgateway的入门介绍（push形式采集数据）Prometheus监控中，对于采集过来的数据，统一称为metrics数据Metrics，熟悉大数据系统的不可能没听过说过

成浅·2023-02-04 08:20

数字化

[导读]清华大学109周年校庆之际，清华校友总会软件学院分会、大数据系统软件国家工程实验室和清华大学大数据研究中心共同主办了以“软件定义新基建，数据驱动新未来”为主题的系列线上讲座活动。

远方的大猫咪·2023-02-03 19:27

产业监测平台——借力大数据构建服务政府

推进政府治理能力的现代化，大数据系统是最重要的设施。大数据系统既能为政府施政提供准确的依据，也可以为政府服务对象提供完整的数据信息服务，政府将治理的核心转到为人民提供更加高效便捷的优质

笙箫25·2023-01-28 16:19

基于 Vue3.0+Echarts 可视化大屏数据分析系统

qq_18932003·2023-01-24 13:55

工业大数据技术架构白皮书（2018）整理

文章目录第一章工业大数据系统综述建设意义及目标重点建设问题第二章工业大数据技术架构概述数据采集与交换数据集成与处理数据建模与分析决策与控制应用技术发展现状第三章工业大数据技术架构实现技术组件选择数据采集数据存储数据计算混合云架构建设标准基础业务能力数据管理能力运维管理能力安全管理性能要求开放与兼容性第四章总结与展望第一章工业大数据系统综述建设意义及目标工业大数据是工业生产过程中全生命周期的数据总和

RayChiu_Labloy·2023-01-19 15:23

解决 Spark 数据倾斜的 8 大实用方法

对Spark/Hadoop这样的分布式大数据系统来讲，数据量大并不可怕，可怕的是数据倾斜。对于分布式系统而言，理想情况下，随着系统规模（节点数量）的增加，应用整体耗时线性下降。

李旭me·2023-01-19 07:54

大数据系统——Hive-A Warehousing Solution Over a Map-Reduce Framework论文分享

1.背景这篇文章本身就不长，总共三页半，作者来自Facebook数据基础架构团队。下面正式介绍。传统的数据集存储方案成本过高，Hadoop则可以作为替代方案：在大规模廉价的商用机器上进行大规模数据存储。Hadoop上可以运行MapReduce，但是mapreduce编程模型的级别非常低，难以维护和重用。Hive是一种基于Hadoop构建的开源数据仓库解决方案。Hive支持类似SQL的声明性语言查询

应该叫什么名字·2023-01-17 15:31

大数据测试

大数据测试可以分为两个维度，一个维度是数据测试，另一个维度是大数据系统测试和大数据应用产品测试。数据测试：主要关注数据的完整性、准确性和一致性等。

ABCDLEE·2023-01-17 07:37

看这篇就够了丨基于Calcite框架的SQL语法扩展探索

Calcite在大数据系统中有着广泛的运用,比如ApacheFlink,ApacheDrill等都大量使用了Calcite，理解Calcite的原理可以说已经成为理解大数据系统中SQL访问层实现原理的必备条件之一

·2023-01-12 19:20

再看Lambda架构

博客原文地址最近看了一本《大数据系统构建》的书，发现之前对于Lambda架构的理解还是不够深入和清晰。

boydfd·2023-01-09 10:38

parquet-tools用法详解

1.parquet-tools用途大数据系统里面，parquet是常见的一种列存储压缩格式。

bitcarmanlee·2023-01-07 12:40

人工智能的发展历程

就金融行业而言，《规划》指出，要在智能金融方面，建立金融大数据系统，提升金融多媒体数据处理与理解能力；创新智能金融产品和服务，发展金融新业

qq_45293105·2023-01-03 08:45

大数据系统体系架构（含图示）

目录1大数据体系架构图2数据采集层3数据计算层4数据服务层5数据应用层1大数据体系架构图2数据采集层阿里的的日志采集包括两大体系：Aplus.JS是Web端的日志采集技术方案，UserTrack是APP端的日志采集技术方案；在采集技术基础上，阿里用面向各个场景的埋点规范，来满足通用浏览、点击、特殊交互、APP事件、H5及APP里的H5和Native日志数据打通等多种业务场景；同时建立了一套高性能、

hellosc01·2022-12-30 05:54

大数据在智慧城市建设中的应用

随着智慧城市的不断建设和发展，大数据系统和数据处理也变得越来越重要。那么，大数据在智慧城市建设中的应用有哪些呢？

成都远石·2022-12-29 19:41

分享思路：Python+Spark招聘爬虫可视化系统招聘数据分析 Hadoop职位可视化大数据毕业设计 51job数据分析(可选加推荐算法)

数据可视化啰里啰嗦适合大数据毕业设计、数据分析、爬虫类计算机毕业设计可二次开发选加推荐算法(协同过滤算法等或者调用SparkML库)数据处理流程本环节主要讲述的是对于整体项目功能的设计，设计方案为主要是由大数据系统以及可视化前端子系统组成

haochengxu2022·2022-12-27 10:01

elastic stack 那些事【7】

聚合分析aggregationes在搜索功能之外，提供的针对数据统计分析的功能功能丰富，提供bucketmetricpipeline等多种分析方式实时性高，所有结果都是即时返回，而hadoop等大数据系统是

·2022-12-26 20:07

初识大数据采集

在大数据系统体系中，数据源、数据采集是第一环。

小麦兜Data·2022-12-24 12:00

StarRocks技术内幕 | 打造一款强大成熟的数据库有多难？

StarRocksPMC，负责查询方向的研发（本文转自其个人博客“编程小梦”）从2015年开始，我在美团先后维护和研发过ApacheHBase、ApacheKylin、ApacheDruid和ApacheDoris，对大数据系统和

StarRocks_labs·2022-12-17 05:18

对话智领云CEO彭锋：大数据平台如何进行云原生改造？｜甲子光年

智领云成立于2016年，专注于利用云原生技术将企业大数据系统各项组件容器化和服务化，帮助企业搭建数据和AI中台，轻松打造业务数据能力闭环，掌握全面、及时、更

LinkTime_Cloud·2022-12-16 16:02

人工智能是什么？我来告诉你！

就金融行业而言，《规划》指出，要在智能金融方面，建立金融大数据系统，提升金融多媒体数据处理与理解能力；创新智能金融产品和服务，发展金融新

是肉肉肉肉呀·2022-12-14 07:30

ThingsBoard调试部署和性能分析

（图片仅为示意）开源大数据系统物联网大数据系统正在工业、半工业以及其他互联网技术领域获得广泛应用，良好的物联网大数据系统是架构高效、安全、可靠信息化系统的“底座”之一。

haiwen5668·2022-12-07 04:24

异构消息队列的海量数据流转Connect架构解析

而在业务系统，或者大数据系统中异构数据源之间的数据

移动云开发者联盟·2022-12-02 05:41

云计算技术与应用A卷（2020年附带标准答案）

按照给出的云平台架构进行IaaS、PaaS、大数据系统部署及运维管理，并进行云存储网盘（包括web及安卓客户端）开发、大数据分析应用开发和微信小程序开发，最后提交工程文档。

九分横南·2022-11-30 14:24

大数据之路读书笔记-09阿里巴巴数据整合及管理体系

大数据之路读书笔记-09阿里巴巴数据整合及管理体系面对爆炸式增长的数据，如何建设高效的数据模型和体系，对这些数据进行有序和有结构地分类组织和存储，避免重复建设和数据不一致性，保证数据的规范性，直是大数据系统建设不断追求的方向

潘小磊·2022-11-29 20:53

【阿里巴巴大数据实践笔记】第9章：阿里巴巴数据整合及管理体系

1.大数据系统建设追求目标建设高效的数据模型和体系，对这些数据进行有序和有结构地分类组织和存储，避免重复建设和数据不一致性，保证数据的规范性。

weixin_30681121·2022-11-29 19:20

《大数据之路：阿里巴巴大数据实践》笔记——数据模型篇

成本：良好的数据模型能极大地减少不必要的数据冗余，也能实现计算结果复用，极大地降低大数据系统中的存储和计算成本。效率：良好的数据模型能极大地改善用户使用数据的体验，提高使用数据的效率。

Godxv·2022-11-29 19:16

数据同步技术

5、大数据系统中数据从业

IMMOMMOI·2022-11-29 15:40

科技部“云计算和大数据”重点专项2018年度项目申报指南发布

本重点专项总体目标形成自主可控的云计算和大数据系统解决方案、技术体系和标准规范；在云计算与大数据

weixin_33757911·2022-11-29 03:04

云计算示范项目_“云计算和大数据”重点专项2018年度项目申报指南

本重点专项总体目标是：形成自主可控的云计算和大数据系统解决方案、技术体系和标准规范；在云计算与大

留学生日报·2022-11-29 03:04

破局数字化转型，华为云大数据BI解决方案表现抢眼

众所周知，以往的大数据系统往往局限于告诉企业发生了什么，对于正在发生或未来即将要发生的事情无

詹詹爱科技·2022-11-25 19:32

推荐频道

大数据系统