大数据系统

2018年值得关注的5个大数据趋势

2018年值得关注的5个大数据趋势随着大数据系统日益高效，每年的大数据趋势变得更具开创性。
数据分析技术·2022-11-24 14:13

从技术上解读大数据的应用现状和开源未来

来源：网络大数据作者|韩锐、LizyKurianJohn、詹剑锋摘要：近年来，随着大数据系统的快速发展，各式各样的开源基准测试集被开发出来，以评测和分析大数据系统并促进其技术改进。
人工智能学家·2022-11-24 05:32

《企业大数据系统构建实战：技术、架构、实施与应用》一3.2　如何选择解决方案...

本节书摘来自华章出版社《企业大数据系统构建实战：技术、架构、实施与应用》一书中的第3章，第3.2节，作者吕兆星郑传峰宋天龙杨晓鹏，更多章节内容可以访问云栖社区“华章计算机”公众号查看3.2如何选择解决方案企业选择大数据解决方案时
weixin_34007291·2022-11-23 21:47

2022最全大数据学习路线（建议收藏）

前言：一、个人介绍二、大数据介绍正文：一、大数据工作岗位二、大数据工程师技能要求三、大数据系统学习路径四、推荐持续学习资源（书籍、教程）五、大数据项目实战（离线计算、实时计算、离线数仓、实时数仓、ELK
大数据研习社·2022-11-20 04:46

2021运维与云计算技能竞赛真题卷（标准答案版）

试按照赛卷给出的云平台架构进行IaaS、PaaS、大数据系统部署及运维管理；根据企业给出的岗位数据信息进行相应的统计分析处理和微信小程序开发；编写相应的工程文档。
海龟同学·2022-11-19 04:19

2021年《大数据实践课》选课通知

选课通知如下：1.课程名称：《大数据实践课》；2.课程课号：60470023（3学分）；3.开课院系：软件学院；4.选课对象：已报名参加大数据能力提升项目，且修完《大数据系统基
数据派THU·2022-11-16 07:48

大数据实验一：大数据系统基本实验（第三部分：熟悉常用的 HBase 操作）

一、实验目的1）理解HBase在Hadoop体系结构中的角色。2）熟练使用HBase操作常用的shell命令。3）熟悉HBase操作常用的JavaAPI。二、实验平台1）操作系统：Linux（Ubuntu18.04）；2）Hadoop版本：2.9.0；3）HBase版本：1.2.6；4）JDK版本：1.8；5）JavaIDE：Eclipse3.8。三、实验内容1）编程实现以下指定功能，并用Hado
EGNIR·2022-11-13 10:40

《企业大数据系统构建实战：技术、架构、实施与应用》一导读

Preface前言为什么要写这本书随着2013年大数据元年的开启，各行各业都已经将大数据视为推动企业发展、推进行业进步、加快产业升级、促进民生繁荣、巩固社会安全甚至提升国家竞争力的核心武器。从个性化推荐、关联销售到精准营销，从云平台、云服务、云计算到大数据产业链，从百度迁徙、高考预测到冬季流感预测，从机器学习、图像识别到智能交通，从奥巴马总统竞选到美国中央情报局反恐，从美国的大数据研究和发展计划到
weixin_34116110·2022-11-09 10:06

大数据系统与大规模数据分析学习笔记（区块链篇）

大数据系统与大规模数据分析学习笔记（区块链篇）1.一致性哈希(distributedhashtable)传统哈希方法在增加或者减少服务器节点时，会导致哈希得到的结果不一致，从而将流量全导向后台服务器，造成缓存雪崩
程哥哥吖·2022-11-04 17:35

国科大大数据系统与大规模数据分析课程第二次作业(Graph Coloring)

国科大大数据系统与大规模数据分析第二次作业(GraphColoring)一、Part1作业内容WordCount的变体，主要考察对HadoopMapReduce框架编程的熟练度，几乎无坑点。
程哥哥吖·2022-11-04 17:04

开发人员该选择什么大数据工具提高工作效率？

海量数据使得数据分析工作变得繁重困难，开发人员选择合适的大数据工具来开发大数据系统成为新的挑战。因此开发人员要根据不同的数据处理方式对大数据工具进行分类。
我想去吃ya·2022-10-24 08:55

关于大数据系统及Hadoop系统中的概念

什么是大数据大数据(BigData)姑且定义为无法被符合服务等级协议(servicelevelagreement,SLA)的单台计算机处理或存储的任何数据集。理论上讲，单台计算机可以处理任意规模的数据，对于超过单台计算机存储量的海量数据，可以存放到类似网络附属存储(networkattachedstorage,NAS)这样的共享存储设备中，然后输入到单台计算机去计算处理。但是这样处理数据所花费的时
盛者无名·2022-10-19 14:57

大数据-全网最通俗解释汇总

大数据技术概述1、数据采集：是指将应用程序产生的数据和日志等同步到大数据系统中。2、数据存储：海量的数据，需要存储在系统中，方便下次使用时进行查询。
winner8881·2022-10-19 14:46

大数据测试之大数据系统及特点

一、大数据系统简介扫健康码了没？相信大家每天都会不厌其烦地听到这种询问。支付宝付款，相信大家也是每天都在扫码付款，这已经成为了生活的一部分。这些能产生非常巨量数据的应用系统，我们称之为大数据系统。
·2022-10-18 12:24

10亿级数据量的系统性能优化设计，被惊艳到了！

V-xin：ruyuanhadeng获得600+页原创精品文章汇总PDF这篇文章，我们来聊一聊在十亿级的大数据量技术挑战下，世界上最优秀的大数据系统之一的Hadoop是如何将系统性能提升数十倍的？
石杉的架构笔记·2022-10-08 07:43

Laxcus大数据管理系统2.0（10）- 第八章 安全

第八章安全由于安全问题对大数据系统乃至当前社会的重要性，我们在Laxcus2.0版本实现了全体系的安全管理策略。
LAXCUS分布式操作系统·2022-09-29 07:13

大数据系统——Apache Hadoop YARN: Yet Another Resource Negotiator论文分享

1.背景ApacheHadoop最开始设计是考虑运行大量MapReduce任务来处理网络爬虫数据，但是随着应用日益广泛，Hadoop成为了数据存放和计算的主要地方。日益广泛的使用范围超出了最初设计的考虑，暴露出了两个主要的缺点：（1）对于特定编程语言的紧耦合使得开发者滥用MapReduce编程模型；（2）集中处理作业控制流造成无休止的调度程序扩展问题。YARN的定位是下一代Hadoop的计算平台。
赵智阳·2022-09-28 09:53

推荐零基础学习大数据的10本经典图书

1、大数据时代《大数据时代》是国外大数据系统研究的先河之作，本书
我想去吃ya·2022-09-24 14:22

什么是大数据系统存储及管理？

什么是大数据系统存储及管理？根据数据存储和管理的内容范围，大数据存储及管理技术需要重点研究如何解决大数据的可存储、可表示、可处理、可靠性及有效传输等。
我想去吃ya·2022-09-24 14:21

大数据扫黄，是真的吗？

在当前的大数据时代背景下，每个人的大量社会活动都会被大数据系统记录下来。最近跟小伙伴聊起一件事：大数据扫黄，结果发现大家格外感兴趣。
朱小五是凹凸君呀·2022-09-23 06:24

大数据不得不说的事儿（一）：存算分离凭什么能一统天下

随着大数据系统建设的深入，企业的数据基础设施面临两个问题：一个是成本问题，随着累积的数据量的增大，大数据业务量的增多，数据存储和处理的成本越来越高，企业数据基础设施的投资越来越大，这部分投资挤占了企业大数据业务创新的空间
大数据在线·2022-09-21 07:28

五种大数据计算框架

本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非易失存储中读取的数据，或处理刚刚摄入到系统中的数据。数据的计算则是指从大量单一数据点中提取信
小五怜惜·2022-09-16 13:35

大数据系统计算技术展望

大数据是新一代信息技术的核心方面和竞争前沿，也是制约大数据产业快速发展的关键瓶颈。大数据技术创新能力已经成为后信息时代衡量国家竞争力的重要指标。与传统信息产业的发展过程相似，大数据必将逐渐形成一个相对独立、体系完善的产业形态，完成传统信息产业的升级换代。互联网和云计算的发展过程与趋势已经证明，大数据未来的产业形态将是以服务为核心的新型产业形态，大数据产业体系的各个环节将提供极为丰富的服务。大数据是
数据工程师金牛·2022-09-07 09:03

大数据系统运维

docker是什么Docker是一个开源的应用容器引擎，基于[Go语言](https://www.runoob.com/go/go-tutorial.html)并遵从Apache2.0协议开源。Docker可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化。其优势在于创建、销毁启动速度快，体积小占用系统资源远远低于虚拟机；可更快
秃头头子·2022-08-21 15:01

数仓(五)：数据建模--ER模型/维度建模，概念模型/逻辑模型/ 物理模型

数据成本：减少不必要的数据冗余，实现计算结果数据复用，降低大数据系统中的存储成本和计算成本。使用效率：改善用户应用体验，提高使用数据的效率。
四月天03·2022-08-05 14:01

Hadoop HDFS 运行原理

在大数据系统中主要为各类分布式的运算框架（如：mapreduce、spark等）提供数据存储服务。2.HDFS的概念及特性首先，它是一个文件系统，用于存储文件，通过统一的命名空间——目录
harveybd·2022-08-02 09:00

集群计算——Spark-Spark Core 、Spark Streaming、Spark SQL、MLlib、Spark集群管理器

Spark发源于美国美国加州伯克利分校AMPLab的大数据分析平台，它立足于于内存计算，从多迭代批量处理出发，兼顾数据仓库、流处理和图计算等多种计算范式，是大数据系统邻域的全栈计算平台。
阿洋太爱大数据·2022-07-16 15:01

Hadoop核心模块——HDFS详解（2）

HDFS前言2.HDFS(HadoopdistributedFileSystem)设计思想分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析；在大数据系统中作用
Daw3on·2022-07-14 15:43

基于Ubuntu 18.04.3操作系统的TensorFlow 2.1.0、PyTorch 1.4.0、OpenCV 4.2.0、Darknet深度学习环境搭建

回顾研究生毕业的一年半，期间从事过桌面应用开发、CAN\串口开发、无人机目标检测开发、爬虫、数据工程、大数据系统运维等。
micromicrofat·2022-07-11 07:57

再也不怕面试官追问我设计模式了

1.策略模式1.1业务场景假设有这样的业务场景，大数据系统把文件推送过来，根据不同类型采取不同的解析方式。多数的小伙伴就会写出以下的代码：if(type=="A"){//按照A格式解析}elsei
·2022-06-23 15:38

数栈技术大牛分享：云原生大数据系统架构的实践和思考

ArchSummit2021年全球架构师峰会于4月25日-26日在上海举办，袋鼠云运维开发技术专家沙章利（花名：浣熊）应邀出席此次峰会，并在4月26日下午的《弹性架构实践》专题会场上为大家带来《弹性云原生大数据系统架构实践
数栈DTinsight·2022-06-10 07:42

大数据系统学习路线

一，题记要说当下IT行业什么最火？ABC无出其右。所谓ABC者，AI+BigData+Cloud也，即人工智能、大数据和云计算(云平台)。每个领域目前都有行业领袖在引领前行，今天我们来讨论下大数据BigData这个方向。二，大数据里面的角色角色一：大数据工程大数据工程需要解决数据的定义、收集、计算与保存的工作，因此大数据工程师们在设计和部署这样的系统时首要考虑的是数据高可用的问题，即大数据工程系统
✾ ͡冷೨夏ʚɞ͜✿·2022-05-22 07:29

谷歌三件套 - Bigtable

值得注意的是，看Bigtable的内容千万不要带着关系型数据库的思维，建议看之前看看《数据密集型应用系统设计》的第三章，里面提到了LSM-Tree以及大数据系统设计思想，或
·2022-05-21 19:05

八种解决 Spark 数据倾斜的方法

一、什么是数据倾斜对Spark/Hadoop这样的分布式大数据系统来讲，数据量大并不可怕，可怕的是数据倾斜。对于分布式系统而言，理想情况下，随着系统规模（节点数量）的增加，应用整体耗时线性下降。
坨坨的大数据·2022-05-10 16:46

计算机毕业设计springboot实验填报系统

最新计算机专业原创毕业设计参考选题都有源码+数据库是近期作品ling取参考你的选题刚好在下面有,有时间看到机会给您发1ssm儿童成长记录系统2ssm基于UNI的个人云相册管理系统3jsp人才库构建研究4ssm医疗大数据系统
尉~~qhc8886·2022-05-03 20:53

“进入亚马逊让我的简历发光，我却选择离职”

由大数据系统软件国家工程研究中心、中国计算机学会开源发展委员会主办的CCF高校行清华开源大讲堂第三期将于今天下午2点正式开讲，扫码立即预约！
CSDN 程序人生·2022-04-15 08:34

MPC引爆信息安全全生态

嵌入区块链技术的大数据系统,充分运用区块链可追溯、难复制的特性,实现信息不可复制的分享,相较基于传统网络的管理模式大大提高了数据信息安全程度。再通过建设分层安全技术体系
·2022-03-13 16:40

Snowflake如日中天是否代表Hadoop已死？大数据体系到底是什么？

简介：本文作者关涛是大数据系统领域的资深专家，在微软（互联网/Azure云事业群）和阿里巴巴（阿里云）经历了大数据发展20年过程中的后15年。
阿里云云栖号·2022-02-25 15:43

大数据系统和分析技术综述【程学旗】

本文结构1大数据处理与系统1.1批量数据处理系统1.1.1批量数据的特征与典型应用1.1.2代表性的处理系统1.2流式数据处理系统1.2.1流式数据的特征及典型应用1.2.2代表性的处理系统1.3交互式数据处理1.3.1交互式数据处理的特征与典型应用1.3.2代表性的处理系统1.4图数据处理系统1.4.1图数据的特征及典型应用1.4.2代表性图数据处理系统1.5小结2大数据分析2.1深度学习2.2
weixin_30362083·2022-02-23 09:57

冰火两重天:新零售后半场，天猫速度带来行业新希望

图片发自App在产品上，从小龙虾到进口水果甚至是冰镇西瓜，天猫超市为了获得用户可以说是用出了浑身解数，但是重点仍然放在依托于阿里庞大数据系统的配送速度上，利用在人群聚集点例如
赵九_22ec·2022-02-20 16:57

大数据系统的多种处理技术

对于仅需要批处理的工作负载，如果对时间不敏感，比其他解决方案实现成本更低的Hadoop将是一个比较好的选择。仅需流式处理的工作负载，Starm可支持更广泛的语言并实现极地延迟的处理。但默认配置可能产生重复结果并且无法保证顺序。Smaza与YARN和kafka密集成可提供更大灵活性，更易用的多团队使用，以及更简单的复制和状态管理。对于混合型工作负载，Spark可提供高速批处理和微批处理批次的流处理，
黑道皇后红红火火·2022-02-16 00:21

智慧城市规划大数据系统软件解决方案

智慧城市规划大数据系统软件解决方案智慧城市数据融合可视化系统的设计实施经验进行总结，在设计理念、设计方法、技术实现、常见问题等方面，对设计实施经验进行总结，以方便读者更好的了解可视化系统的设计实现。
·2022-02-15 23:57

大数据就业的三大方向和十种岗位

他们的基础岗位分别是大数据系统研发工程师、大数据应用开发工程师、大数据分析师。对于求职者来说，大数据只是所从事事业的一个方向，而职业岗位则是决定做什么事?
编程小世界·2022-02-15 16:08

实时 OLAP 系统 Druid

0.Overview后面将写几篇文章介绍一下OLAP的大数据系统架构。这里的Druid不是阿里巴巴的连接池，而是用于大数据实时OLAP的Druid。OLAP和OLTP经常被拿到一起来讨论。
legendtkl·2022-02-14 19:17

Kafka 系统学习

在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中高性能、低延迟的不停流转。传统的企业消息系统并不是非常适合大规模的数据处理。为了同
向梦而来·2022-02-07 16:28

Elasticsearch——聚合搜索

实时性高，所有的计算结果都是即时返回的，而hadoop等大数据系统一般都是T+1级别的。聚合框架有助于根据搜索查询提供聚合数据。聚合查询是数据库中重要的功能特性，ES作为搜索引擎兼数据库，同样提
小波同学·2022-02-04 18:53

大数据系统与大规模数据分析--第二次作业操作，hadoop编程、同步图计算

大数据第二次作业操作大家好，我是【豆干花生】，这次我带来了大数据的第二次实践作业~主要内容为hadoop编程，使用GraphLite进行同步图计算可以说十分具体了，包含了具体操作、代码指令、各个步骤截图。文章目录大数据第二次作业操作一.作业内容二.第一个作业--hadoop编程1.具体代码如下：2.准备工作:3.具体操作三.第二个作业--同步图计算，SSSP1.具体代码2.准备工作3.具体操作完成
豆干花生·2021-08-11 16:40

大数据系统与大规模数据分析--第一次作业操作，HDFS、HBase编程

第一次作业操作大家好，我是【豆干花生】，这次我带来了大数据的第一次实践作业~可以说十分具体了，包含了具体操作、代码指令、各个步骤截图。文章目录第一次作业操作一.作业内容二.准备工作三.编写程序四.运行程序五.保存一.作业内容这里选择docker来配置环境这里采用第0组的中间处理二.准备工作docker里已经配置好的环境：1.进入容器dockerrun-itddingms/ucas-bdms-hw-
豆干花生·2021-08-11 16:04

Kettle on MaxCompute使用指南

Kettle支持丰富的数据输入输出源，数据库支持Oracle，MySql，DB2等，也支持业界各种开源的大数据系统，例如HDFS,HBase,Cassandra,MongoDB等。
·2021-08-10 12:03

Snowflake如日中天是否代表Hadoop已死？大数据体系到底是什么？

简介：本文作者关涛是大数据系统领域的资深专家，在微软（互联网/Azure云事业群）和阿里巴巴（阿里云）经历了大数据发展20年过程中的后15年。
·2021-08-04 12:45
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他