MongoBD大数据处理

springboot创建及使用多线程的几种方式

在数据处理中，多线程用到的场景很多，在满足计算机CPU处理能力的情况下，使用多线程可以明显提高程序运行效率，缩短大数据处理的能力。
寇寇寇先森·2023-06-12 19:46

揭秘阿里云 Flink 智能诊断利器——Flink Job Advisor

作者：藏红一、引言阿里云实时计算Flink作为一款专业级别的高性能实时大数据处理系统，它在各种业务场景中都发挥了关键的作用。
·2023-06-12 17:45

Spark大数据处理学习笔记（3.1）掌握RDD的创建

该文章主要为完成实训任务，详细实现过程及结果见【http://t.csdn.cn/oT0of】文章目录一、准备工作1.1准备文件1.1.1准备本地系统文件1.1.2启动HDFS服务1.1.3上传文件到HDFS1.2启动SparkShell1.2.1启动Spark服务1.2.2启动SparkShell二、创建RDD2.1通过并行集合创建RDD2.1.1利用`parallelize()`方法创建RDD
Kox2021·2023-06-12 04:47

Spark大数据处理学习笔记（2.4）IDEA开发词频统计项目

该文章主要为完成实训任务，详细实现过程及结果见【http://t.csdn.cn/0qE1L】文章目录一、词频统计准备工作1.1安装Scala2.12.151.2启动集群的HDFS与Spark1.3在HDFS上准备单词文件二、本地模式运行Spark项目2.1新建Maven项目2.2添加项目相关依赖2.3创建日志属性文件2.4添加ScalaSDK2.5创建HDFS配置文件2.6创建词频统计单例对象2
Kox2021·2023-06-12 04:15

首款用Cubieboard搭建起的Spark/Hadoop ARM集群

ARMCPU设计之初，并没有瞄准大数据处理方向，但随着快速地架构优化和升级，目前看来已经非常接近或完全达到实现大数据处理的能力。
苍月代表我·2023-06-11 20:07

【短视频抖音多账号管理系统源码开发路径】

文章目录概要整体架构流程技术名词解释技术细节小结概要短视频矩阵系统开发涉及到多个领域的技术，包括视频编解码技术、大数据处理技术、音视频传输技术、电子商务及支付技术等。
--yxh32193·2023-06-10 17:14

学习笔记 | Storm学习纪录

前言storm是分布式实时大数据处理框架（流计算），此文是学习过程中的笔记，分享出来供有缘人参考~一、基础知识与Hadoop的对比主节点工作节点作业StormNimbusSupervisortopologyHadoopJobTrackerTaskTrackerMapper
LY丶Smile·2023-06-10 15:04

2023最新信息管理毕业设计题目选题大全

文章目录0前言1javaweb管理系统毕设选题2javaweb平台/业务系统毕设选题3游戏设计、动画设计类毕设选题(适合数媒的同学)4算法开发5数据挖掘毕设选题6大数据处理、云计算、区块链毕设选题7网络安全毕设选题
kooerr·2023-06-10 13:51

大数据教程【01.04】--excel的使用

更多信息请关注WX搜索GZH：XiaoBaiGPTExcel中的大数据处理Excel是一款功能强大的电子表格软件，它广泛用于数据处理和分析。
码视野·2023-06-10 12:02

编译器优化故障的测试与定位

作者|江贺整理|Hana作者简介：江贺，大连理工大学软件学院教授，博士生导师，研究领域：智能软件工程（软件大数据处理、编译系统测试、工业软件测试）个人主页：大连理工大学主页平台管理系统江贺--jianghe
编程语言Lab·2023-06-10 04:21

PySpark实战指南：大数据处理与分析的终极指南【上进小菜猪大数据】

大数据处理与分析是当今信息时代的核心任务之一。本文将介绍如何使用PySpark（Python的SparkAPI）进行大数据处理和分析的实战技术。
上进小菜猪·2023-06-10 01:27

Python实现数组去重算法及完整源码

Python实现数组去重算法及完整源码Python作为一门具有强大数据处理能力的编程语言，可以很方便地实现数组去重操作。下面将介绍两种常见的数组去重算法，并附上完整的源代码。
wellcoder·2023-06-09 18:02

直播｜SeaTunnel 与 StarRocks 生态融合--让大数据处理回归「简单」

大数据时代下，数据驱动决策被企业普遍认可并采用，极大地释放了数据的价值。但随着数据量的增长和新型业务兴起，大量的新数据源在产生，为了应对新型数据所带来的业务挑战，企业大量堆叠数据栈，疲于在不同的数据栈之间切换，复杂的架构大大增加了开发和运维成本。大数据生态呼唤“简单”的回归。在大数据生态系统中，上下游集成非常重要，是让一切回归简单的重要途径。近期，数据集成平台ApacheSeaTunnel已完成M
StarRocks_labs·2023-06-09 13:41

数据分析师的基本职责(合集）

算法工程师的职责表述算法工程师的职责表述1职责1、维护、扩展的大数据处理分析平台;2、负责将先进的工业大数据分析技术转化为标准化的分析工具与模块;3、规范并优化算法，提高可靠性;4、帮助建立标准化的数据分析路线图
极客11·2023-06-09 05:36

Pandas 2.0 版本要来了

随着现在数据量越来越多，pandas的局限性也日渐凸显，在处理大数据时非常恼火，从而选择更加合适的工具，如pyspark等大数据处理框架。
Python数据之道·2023-06-08 19:50

揭秘阿里云Flink智能诊断利器——Fllink Job Advisor

引言阿里云实时计算Flink作为一款专业级别的高性能实时大数据处理系统，它在各种业务场景中都发挥了关键的作用。丰富而复杂的上下游系统让它能够支撑实时数仓、实时风控、实时机器学习等多样化的应用场景。
·2023-06-08 15:43

GPT模型结合Python-GEE遥感云大数据分析、管理与可视化技术

查看原文>>>GPT模型支持下的Python-GEE遥感云大数据分析、管理与可视化技术及多领域案例应用目录第一章、理论基础第二章、开发环境搭建第三章、遥感大数据处理基础与ChatGPT等AI模型交互第四章
吹翻书页的风·2023-06-08 14:05

JUC之ForkJoin框架

在google的中的大数据处理框架mapreduce就通过类似ForkJoin的思想,通过多线程提高大数据的处理。使用ForkJoin框架,需要创建一个ForkJoin的任务。因为ForkJoin框架
aYuIsAyU·2023-06-08 12:42

Spark Standalone架构及安装部署

模式是Spark自带的一种集群模式，不同于前面本地模式启动多个进程来模拟集群的环境，Standalone模式是真实地在多个机器之间搭建Spark集群的环境，完全可以利用该模式搭建多机器集群，用于实际的大数据处理
蜜桃上的小叮当·2023-06-08 11:50

大数据的流处理和批处理及其框架

20357&extra=page%3D1&page=1&批处理框架：ApacheHadoop处理框架：ApacheStorm，ApacheSamza混合框架：ApacheSpark，ApacheFlink大数据处理框架是什么
一笑奈何_abe4·2023-06-08 08:33

HDFS

，保证一个结点挂掉时数据不会丢失HDFS中的文件只能写入一次，任意时间只能有一个在写，不支持多并发写HDFS优点高容错流式的访问数据：一次写入多次读取，请求读取整个数据集比请求读取一条记录更加有效适合大数据处理可构建在廉价机器上
6默默Welsh·2023-06-07 12:42

当高性能计算和人工智能融合，竟然有这么多高薪岗位

AI技术依靠强大的计算能力和大数据处理，而HPC高性能计算则提供了这种强大的计算能力和优化的算法。这种结合在许多领域中引发了革命性的变革，创造了许多高薪职位。
猿代码科技·2023-06-07 10:13

大数据处理领域的经典框架：MapReduce详解与应用【上进小菜猪大数据】

MapReduce是一个经典的大数据处理框架，可以帮助我们高效地处理庞大的数据集。本文将介绍MapReduce的基本原理和实现方法，并给出一个简单的示例。
上进小菜猪·2023-06-07 05:34

深入探索Apache Flume：大数据领域的数据采集神器【上进小菜猪大数据系列】

数据采集是大数据处理流程中至关重要的一环，而ApacheFlume作为一个可靠的、可扩展的数据采集工具，在大数据领域扮演着重要的角色。
上进小菜猪·2023-06-07 05:33

spark介绍

1spark介绍大数据处理的统一分析引擎统一：对任意类型的数据进行自定义计算结构化、半结构化、非结构化支持Python、Java、Scala、R、SQL等多种语言——》借鉴了MapReduce的分治思想
UQI-LIUWJ·2023-06-07 03:03

深入浅出的实践大数据 DAG 图

在大数据处理中，DAG计算常常指的是将计算任务在内部分解成为若干个子任务，将这些子任务之间的逻辑关系或顺序构建成DAG（有向无环图）结构。
·2023-04-21 18:56

flume

flume大数据处理流程1、数据采集2、数据存储3、数据清洗4、数据分析5、数据展示在数据采集和搜索工具中flume框架占有一定的市场分量flumeflume是一种分布式，可靠的高可用的服务，用于有效的收集
leezsj·2023-04-20 03:55

38|分治算法:谈一谈大规模计算框架MapReduce中的分治思想

38|分治算法:谈一谈大规模计算框架MapReduce中的分治思想MapReduce是Google大数据处理的三驾⻢⻋之一，另外两个是GFS和Bigtable。
爱运动爱学习·2023-04-19 17:02

Cookie中的domain与path属性详解

三哥的知识库微信公众号：rayson_666(Rayson开发分享)个人专研技术方向：微服务方向：springboot,springCloud,Dubbo分布式/高并发：分布式锁，消息队列RabbitMQ大数据处理
raysonfang·2023-04-19 13:29

内蒙农信携手星环科技建设农信大数据平台，激活金融业务创新

2021年该社启动了大数据平台项目，与星环科技合作，经过一年多的努力，在金融云上部署了20个节点的大数据处理集群。
星环科技·2023-04-19 12:19

内蒙农信携手星环科技建设农信大数据平台，激活金融业务创新

2021年该社启动了大数据平台项目，与星环科技合作，经过一年多的努力，在金融云上部署了20个节点的大数据处理集群。
·2023-04-19 11:54

内蒙农信携手星环科技建设农信大数据平台，激活金融业务创新

2021年该社启动了大数据平台项目，与星环科技合作，经过一年多的努力，在金融云上部署了20个节点的大数据处理集群。
·2023-04-19 11:07

瓴羊quickbi工具的妙用：多场景多业务下的数据整合与分析

想要免费体验瓴羊bi工具，只需要搜索“瓴羊QuickBI”，进入瓴羊QuickBI官网，就能申请参加这个免费活动，体验瓴羊QuickBI的大数据处理能力了。
·2023-04-18 22:09

Spark大数据处理学习笔记（2.2）搭建Spark Standalone集群

该文章主要为完成实训任务，详细实现过程及结果见【http://t.csdn.cn/DrziJ】文章目录一、在master虚拟机上安装配置Spark1.1将spark安装包上传到master虚拟机1.2将spark安装包解压到指定目录1.3配置spark环境变量1.4编辑spark环境配置文件1.5创建slaves文件，添加从节点二、在slave1虚拟机上安装配置Spark2.1把master虚拟机
Kox2021·2023-04-18 14:32

大学生活要来啦！！！！

掌握计算机理论和大数据处理技术，从大数据应用的三个主要层面（即数据管理、系统开发、海量数据分析与挖掘）系统地培养学生掌握大数据应用中
殇雨无情泪·2023-04-18 06:25

.net .netcore高频面试题总结（高级开发、架构师）

1、10万+大数据处理方式、应用场景。2、redis在项目中如何使用。3、消息队列使用的四种场景介绍。4、redis缓存穿透、缓存击穿、缓存雪崩原因+解决方案。5、单列模式使用场景。6、什么是死锁？
IT_ziliang·2023-04-18 00:20

基于消息队列 RocketMQ 的大型分布式应用上云较佳实践

作者｜绍舒审核&校对：岁月、佳佳编辑&排版：雯燕前言消息队列是分布式互联网架构的重要基础设施，在以下场景都有着重要的应用：应用解耦削峰填谷异步通知分布式事务大数据处理并涉及互动直播、移动互联网&物联网，
阿里云云原生·2023-04-17 20:03

【案例实践】Python-GEE遥感云大数据分析、管理与可视化技术及多领域案例实践应用

查看原文>>>Python-GEE遥感云大数据分析、管理与可视化技术及多领域案例实践应用目录第一章、理论基础第二章、开发环境搭建第三章、遥感大数据处理基础第四章、典型案例操作实践第五章、输入输出及数据资产高效管理第六章
吹翻书页的风·2023-04-17 20:59

关于大数据获客你需要了解的知识

1、SparkSpark是专为大规模数据处理而设计的快速通用的计算引擎，其提供了一个全面、统一的框架用于管理各种不同性质的数据集和数据源的大数据处理的需求，大数据开发需掌握Spark基础、SparkJob
MegaDADT·2023-04-17 13:52

MaxCompute - ODPS重装上阵　第四弹 - CTE，VALUES，SEMIJOIN

摘要：MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台,尤其在集团内部得到广泛应用，支撑了多个BU的核心业务。
阿里云云栖号·2023-04-17 08:16

大数据技术，Spark之RDD，RDD超详细讲解（二）

一、RDD的特性Spark之所以成为目前比较主流的大数据处理技术，其中RDD的特性和机制占到很大比重，没有RDD的这些机制，Spark性能会大打折扣。
喵感数据·2023-04-17 01:33

2023年Spark大数据处理讲课笔记

文章目录一、Scala语言基础二、Spark基础三、SparkRDD弹性分布式数据集一、Scala语言基础Spark大数据处理讲课笔记1.1搭建Scala开发环境Spark大数据处理讲课笔记1.2Scala
howard2005·2023-04-16 12:23

大数据技术——spark集群搭建

目录spark概述spark集群搭建1.Spark安装2.环境变量配置3.Spark集群配置4.启动Spark集群存在问题及解决方案请参考以下文章spark概述Spark是一个开源的大数据处理框架，它可以在分布式计算集群上进行高效的数据处理和分析
肉肉肉肉肉肉~丸子·2023-04-16 01:53

大数据平台HDP-2.6.4 安装与配置

Hortonworks数据平台是一款基于ApacheHadoop的是开源数据平台，提供大数据云存储，大数据处理和分析等服务。该平台是专门用来应对多来源和多格式的数据，并使其
不考虑昵称·2023-04-15 21:04

Spark大数据处理讲课笔记3.1 掌握RDD的创建

文章目录零、本节学习目标一、RDD为何物（一）RDD概念（二）RDD示例（三）RDD主要特征二、做好准备工作（一）准备文件1、准备本地系统文件2、启动HDFS服务3、上传文件到HDFS（二）启动SparkShell1、启动Spark服务2、启动SparkShell三、创建RDD（一）通过并行集合创建RDD1、利用`parallelize()`方法创建RDD2、利用`makeRDD()`方法创建RD
howard2005·2023-04-14 10:14

Spark学习笔记

1.Spark简述Spark通过内存计算能力，急剧的提高大数据处理速度。解决了Hadoop只适合于离线的高吞吐量、批量处理的业务场景的弊端，提出了实时计算的解决方法。
zhglance·2023-04-14 03:39

大数据工程师需要具备什么能力？

大数据是眼下非常时髦的技术名词，与此同时自然也催生出了一些与大数据处理相关的职业，通过对数据的挖掘分析来影响企业的商业决策。
weixin_34384681·2023-04-13 20:04

阿里云EMR集群搭建及使用

EMR集群1.登录EMRonECS控制台2.软件设置3.硬件设置3.基础配置2.配置1.组件配置2.用户管理3.安全组4.Gateway3.组件UI1.简介1.什么是EMREMR是运行在阿里云平台上的一种大数据处理的系统解决方案
q495673918·2023-04-13 05:08

利用akka模拟Spark的Master与Worker通信

Master与Worker通信文章目录利用akka模拟Spark的Master与Worker通信Master与Worker通信过程消息类Master实现Worker实现总结Spark是一个基于内存计算的大数据处理框架
Maverick_曲流觞·2023-04-12 21:50

如何进行大数据分析与处理

大数据分析处理平台就是整合当前主流的各种具有不同侧重点的大数据处理分析框架和工具，实现对数据的挖掘和分析，一个大数据分析平台涉及到的组件众多，如何将其有机地结合起来，完成海量数据的挖掘是一项复杂的工作。
中琛源科技·2023-04-12 19:35
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他