MongoBD大数据处理

HDFS

，保证一个结点挂掉时数据不会丢失HDFS中的文件只能写入一次，任意时间只能有一个在写，不支持多并发写HDFS优点高容错流式的访问数据：一次写入多次读取，请求读取整个数据集比请求读取一条记录更加有效适合大数据处理可构建在廉价机器上
6默默Welsh·2023-06-07 12:42

当高性能计算和人工智能融合，竟然有这么多高薪岗位

AI技术依靠强大的计算能力和大数据处理，而HPC高性能计算则提供了这种强大的计算能力和优化的算法。这种结合在许多领域中引发了革命性的变革，创造了许多高薪职位。
猿代码科技·2023-06-07 10:13

大数据处理领域的经典框架：MapReduce详解与应用【上进小菜猪大数据】

MapReduce是一个经典的大数据处理框架，可以帮助我们高效地处理庞大的数据集。本文将介绍MapReduce的基本原理和实现方法，并给出一个简单的示例。
上进小菜猪·2023-06-07 05:34

深入探索Apache Flume：大数据领域的数据采集神器【上进小菜猪大数据系列】

数据采集是大数据处理流程中至关重要的一环，而ApacheFlume作为一个可靠的、可扩展的数据采集工具，在大数据领域扮演着重要的角色。
上进小菜猪·2023-06-07 05:33

spark介绍

1spark介绍大数据处理的统一分析引擎统一：对任意类型的数据进行自定义计算结构化、半结构化、非结构化支持Python、Java、Scala、R、SQL等多种语言——》借鉴了MapReduce的分治思想
UQI-LIUWJ·2023-06-07 03:03

深入浅出的实践大数据 DAG 图

在大数据处理中，DAG计算常常指的是将计算任务在内部分解成为若干个子任务，将这些子任务之间的逻辑关系或顺序构建成DAG（有向无环图）结构。
·2023-04-21 18:56

flume

flume大数据处理流程1、数据采集2、数据存储3、数据清洗4、数据分析5、数据展示在数据采集和搜索工具中flume框架占有一定的市场分量flumeflume是一种分布式，可靠的高可用的服务，用于有效的收集
leezsj·2023-04-20 03:55

38|分治算法:谈一谈大规模计算框架MapReduce中的分治思想

38|分治算法:谈一谈大规模计算框架MapReduce中的分治思想MapReduce是Google大数据处理的三驾⻢⻋之一，另外两个是GFS和Bigtable。
爱运动爱学习·2023-04-19 17:02

Cookie中的domain与path属性详解

三哥的知识库微信公众号：rayson_666(Rayson开发分享)个人专研技术方向：微服务方向：springboot,springCloud,Dubbo分布式/高并发：分布式锁，消息队列RabbitMQ大数据处理
raysonfang·2023-04-19 13:29

内蒙农信携手星环科技建设农信大数据平台，激活金融业务创新

2021年该社启动了大数据平台项目，与星环科技合作，经过一年多的努力，在金融云上部署了20个节点的大数据处理集群。
星环科技·2023-04-19 12:19

内蒙农信携手星环科技建设农信大数据平台，激活金融业务创新

2021年该社启动了大数据平台项目，与星环科技合作，经过一年多的努力，在金融云上部署了20个节点的大数据处理集群。
·2023-04-19 11:54

内蒙农信携手星环科技建设农信大数据平台，激活金融业务创新

2021年该社启动了大数据平台项目，与星环科技合作，经过一年多的努力，在金融云上部署了20个节点的大数据处理集群。
·2023-04-19 11:07

瓴羊quickbi工具的妙用：多场景多业务下的数据整合与分析

想要免费体验瓴羊bi工具，只需要搜索“瓴羊QuickBI”，进入瓴羊QuickBI官网，就能申请参加这个免费活动，体验瓴羊QuickBI的大数据处理能力了。
·2023-04-18 22:09

Spark大数据处理学习笔记（2.2）搭建Spark Standalone集群

该文章主要为完成实训任务，详细实现过程及结果见【http://t.csdn.cn/DrziJ】文章目录一、在master虚拟机上安装配置Spark1.1将spark安装包上传到master虚拟机1.2将spark安装包解压到指定目录1.3配置spark环境变量1.4编辑spark环境配置文件1.5创建slaves文件，添加从节点二、在slave1虚拟机上安装配置Spark2.1把master虚拟机
Kox2021·2023-04-18 14:32

大学生活要来啦！！！！

掌握计算机理论和大数据处理技术，从大数据应用的三个主要层面（即数据管理、系统开发、海量数据分析与挖掘）系统地培养学生掌握大数据应用中
殇雨无情泪·2023-04-18 06:25

.net .netcore高频面试题总结（高级开发、架构师）

1、10万+大数据处理方式、应用场景。2、redis在项目中如何使用。3、消息队列使用的四种场景介绍。4、redis缓存穿透、缓存击穿、缓存雪崩原因+解决方案。5、单列模式使用场景。6、什么是死锁？
IT_ziliang·2023-04-18 00:20

基于消息队列 RocketMQ 的大型分布式应用上云较佳实践

作者｜绍舒审核&校对：岁月、佳佳编辑&排版：雯燕前言消息队列是分布式互联网架构的重要基础设施，在以下场景都有着重要的应用：应用解耦削峰填谷异步通知分布式事务大数据处理并涉及互动直播、移动互联网&物联网，
阿里云云原生·2023-04-17 20:03

【案例实践】Python-GEE遥感云大数据分析、管理与可视化技术及多领域案例实践应用

查看原文>>>Python-GEE遥感云大数据分析、管理与可视化技术及多领域案例实践应用目录第一章、理论基础第二章、开发环境搭建第三章、遥感大数据处理基础第四章、典型案例操作实践第五章、输入输出及数据资产高效管理第六章
吹翻书页的风·2023-04-17 20:59

关于大数据获客你需要了解的知识

1、SparkSpark是专为大规模数据处理而设计的快速通用的计算引擎，其提供了一个全面、统一的框架用于管理各种不同性质的数据集和数据源的大数据处理的需求，大数据开发需掌握Spark基础、SparkJob
MegaDADT·2023-04-17 13:52

MaxCompute - ODPS重装上阵　第四弹 - CTE，VALUES，SEMIJOIN

摘要：MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台,尤其在集团内部得到广泛应用，支撑了多个BU的核心业务。
阿里云云栖号·2023-04-17 08:16

大数据技术，Spark之RDD，RDD超详细讲解（二）

一、RDD的特性Spark之所以成为目前比较主流的大数据处理技术，其中RDD的特性和机制占到很大比重，没有RDD的这些机制，Spark性能会大打折扣。
喵感数据·2023-04-17 01:33

2023年Spark大数据处理讲课笔记

文章目录一、Scala语言基础二、Spark基础三、SparkRDD弹性分布式数据集一、Scala语言基础Spark大数据处理讲课笔记1.1搭建Scala开发环境Spark大数据处理讲课笔记1.2Scala
howard2005·2023-04-16 12:23

大数据技术——spark集群搭建

目录spark概述spark集群搭建1.Spark安装2.环境变量配置3.Spark集群配置4.启动Spark集群存在问题及解决方案请参考以下文章spark概述Spark是一个开源的大数据处理框架，它可以在分布式计算集群上进行高效的数据处理和分析
肉肉肉肉肉肉~丸子·2023-04-16 01:53

大数据平台HDP-2.6.4 安装与配置

Hortonworks数据平台是一款基于ApacheHadoop的是开源数据平台，提供大数据云存储，大数据处理和分析等服务。该平台是专门用来应对多来源和多格式的数据，并使其
不考虑昵称·2023-04-15 21:04

Spark大数据处理讲课笔记3.1 掌握RDD的创建

文章目录零、本节学习目标一、RDD为何物（一）RDD概念（二）RDD示例（三）RDD主要特征二、做好准备工作（一）准备文件1、准备本地系统文件2、启动HDFS服务3、上传文件到HDFS（二）启动SparkShell1、启动Spark服务2、启动SparkShell三、创建RDD（一）通过并行集合创建RDD1、利用`parallelize()`方法创建RDD2、利用`makeRDD()`方法创建RD
howard2005·2023-04-14 10:14

Spark学习笔记

1.Spark简述Spark通过内存计算能力，急剧的提高大数据处理速度。解决了Hadoop只适合于离线的高吞吐量、批量处理的业务场景的弊端，提出了实时计算的解决方法。
zhglance·2023-04-14 03:39

大数据工程师需要具备什么能力？

大数据是眼下非常时髦的技术名词，与此同时自然也催生出了一些与大数据处理相关的职业，通过对数据的挖掘分析来影响企业的商业决策。
weixin_34384681·2023-04-13 20:04

阿里云EMR集群搭建及使用

EMR集群1.登录EMRonECS控制台2.软件设置3.硬件设置3.基础配置2.配置1.组件配置2.用户管理3.安全组4.Gateway3.组件UI1.简介1.什么是EMREMR是运行在阿里云平台上的一种大数据处理的系统解决方案
q495673918·2023-04-13 05:08

利用akka模拟Spark的Master与Worker通信

Master与Worker通信文章目录利用akka模拟Spark的Master与Worker通信Master与Worker通信过程消息类Master实现Worker实现总结Spark是一个基于内存计算的大数据处理框架
Maverick_曲流觞·2023-04-12 21:50

如何进行大数据分析与处理

大数据分析处理平台就是整合当前主流的各种具有不同侧重点的大数据处理分析框架和工具，实现对数据的挖掘和分析，一个大数据分析平台涉及到的组件众多，如何将其有机地结合起来，完成海量数据的挖掘是一项复杂的工作。
中琛源科技·2023-04-12 19:35

Flink1.13学习_第 1 章 初识 Flink

Flink是Apache基金会旗下的一个开源大数据处理框架。
星辰大帅·2023-04-12 06:34

五种大数据处理架构

大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非易失存储中读取的数据，或处理刚刚摄入到系统中的数据。数据的计算则是指从大量单一数据点中提取信
wandy0211·2023-04-11 17:49

大数据架构流程图

大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。随着业务的增长,大量和流程、规则相关的非结构化数据也爆发式增长。
ixiaoyang8·2023-04-10 21:12

Spark简介及入门

Spark介绍Spark是一种快速而通用的大数据处理引擎，包含了多个组件。SparkCore：Spark核心组件，提供了基本的任务调度、内存管理和错误恢复等功能。
'Wu'·2023-04-10 18:39

五步骤，带你了解大数据处理

大数据可视化可以说是传统数据可视化的一个继承和延伸，它是指将大规模海量数据集中的数据以图形图像形式表示，并利用数据分析和开发工具发现其中未知信息的处理过程。其基本思想是将数据库中每个数据项作为单个图元素表示，并以大量的数据集构成数据图像，将数据的各个属性值以多维数据的形式表示出来，方便人们从不同维度来观察数据，进而对数据进行更深入的观察和分析。大数据可视化是大数据整个过程的最后环节，也是非常重要的
000085·2023-04-10 03:06

重新定义分析 - EventBridge 实时事件分析平台发布

对于日志分析大家可能并不陌生，在分布式计算、大数据处理和Spark等开源分析框架的支持下，每天可以对潜在的数百万日志进行分析。
微服务 spring cloud·2023-04-10 03:11

数据处理有哪些方式

大数据处理流程：1.是数据采集,
qq^^614136809·2023-04-09 22:47

【Netty权威指南】19-可靠性

作为一个基础的NIO通信框架,Netty被广泛应用于大数据处理、互联网消息中间件游戏和金融行业等。不同的行业对软件的可靠性需求不同,例如对通信软件的可靠性要求往往需要达到5个9。
一直不懂·2023-04-09 18:34

大数据处理之ClickHouse概述及架构参考（未完）

一、概述中移某业务拨测系统基于业务数据拨测指标及日志的分析需要，随着Clickhouse在OLAP领域的快速崛起，以及一些特性考虑，比如：数据量会很大，最好需要分布式；支持实时写入，支持快速计算，在较短时间内能完成计算；强大的sql能力，实时指标sql化；人力有限，运维需要简单；高效的压缩比存储，服务器有限，可以用更少的服务器存储更多的数据；我们也考虑在环境中引入ClickHouse组件，替代ES
羌俊恩·2023-04-09 16:11

大数据处理规范（选型测试），自用

用完时序数据库的时候，我悟了，车企每天2T的数据。让我感觉到，我以前的大数据就是随便处理着玩。有必要建立一套属于自己的数据处理规范的方法了。常见甲方问题，以及测试性能后的解决方案:1.处理时间?从采集端，到结果展示端，一般秒级数据采集到系统处理以及分析都是秒级像消息到kafka推送基本都是毫秒级，入库秒级（kudu)1.校验准确性?准确性，体现在不同的数据处理阶段，对于，kafka生产，目前我们的
我要用代码向我喜欢的女孩表白·2023-04-09 08:43

计算机毕业设计题目100例

文章目录0前言1javaweb管理系统毕设选题2javaweb平台/业务系统毕设选题3游戏设计、动画设计类毕设选题(适合数媒的同学)4算法开发5数据挖掘毕设选题6大数据处理、云计算、区块链毕设选题7网络安全毕设选题
caxiou·2023-04-08 11:41

sqoop的简易介绍

sqoop的作用在大数据处理中，通常需要将各种
健鑫.·2023-04-08 07:56

hadoop集群机架感知对性能调优的理解

1.查询机架信息指令：default-rack如上信息为默认的加价信息，即无机架配置2.机架感知基础Hadoop作为大数据处理的典型平台，在海量数据处理过程中，其主要限制因素是节点之间的数据传输速率。
香山上的麻雀·2023-04-08 05:00

Apache Calcite 论文学习笔记

最近在关注大数据处理的技术和开源产品的实现，发现很多项目中都提到了一个叫ApacheCalcite的东西。同样的东西一两次见不足为奇，可再三被数据处理领域的各个不同时期的产品提到就必须引起注意了。
预流·2023-04-08 02:57

Docker安装flink及如何避坑

flink作为第三代大数据处理方案,早已成为业内的共识,并且发展迅猛(即将发布的新特性可以查看《Flink1.14新特性抢鲜看~》),而打开这扇大门的第一步是搭建flink的环境,以便我们后续测试和项目实践
zxj19880502·2023-04-07 22:07

数据科学与大数据技术怎么样?

数据科学与大数据技术专业设立时间并不长，主要是研究计算机科学和大数据处理技术等相关的知识和技能，从大数据应用的三个主要层面（即数据管理、系统开发、海量数据分析与挖掘）出发，对实际问题进行分析和解决。
海睿思·2023-04-07 01:23

转行大数据未来发展怎么样？可行么

大数据开发分两类，编写Hadoop、Spark的应用程序和对大数据处理系统本身进行开发。大数据开发工程师主要负责公司大数据平台的开发和维护、
我想去吃ya·2023-04-06 23:19

Pandas替代框架性能测评——Polars|Modin|Pandarallel|pySpark

Pandas在大数据处理上的不足，制约了其在数据科学领域的进一步发展，尽管它在小数据集上处理非常灵活方便；探究Pandas在大数据时代的替代品，是算法工程师面临的重要问题。
白鹿码字员·2023-04-06 19:49

大数据导论（二：大数据的架构）

1、大数据和云计算大数据和云计算密不可分，由于大数据处理和应用需求急剧增长，学术界和工业界不断推出新的或改进的计算模式和系统工具平台。
SupAor·2023-04-06 16:40

iot需求特点

互联网大数据处理，大家所熟悉的场景是用户画像、推荐系统、舆
kidari·2023-04-06 03:08
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他