大数据处理

【论文笔记】Recent Developments in Parallel and Distributed Computing for Remotely Sensed Big Data Proc...

题目：用于遥感大数据处理的并行和分布式计算的最新进展摘要本文对处理遥感大数据的最先进方法进行了调查，并深入研究了各种流行的高性能计算平台上现有的并行实现。
吃核桃用手夹·2023-11-22 06:12

千亿大数据处理能力是如何炼成的？

（此文来自乐字节）源起谷歌“三驾马车”聊起大数据，就绕不开谷歌的“三驾马车“。早在2003年，谷歌发表第一篇论文——谷歌文件系统（GFS）；第二年，谷歌再次发表一篇论文——分布式计算框架MapReduce；2006年，谷歌发表第三篇论文——NoSQL数据库系统BigTable。这三篇论文由此开启了大数据时代。受谷歌“三驾马车”的影响，其他互联网公司也在尝试大规模分布式系统，希望构建强大的数据存储、
@金州拉文·2023-11-21 07:48

网络可视化 | 虹科助力新基建构建精准的时间同步体系

随着5G等新型基础设施持续建设和发展，在未来万物互联的庞大信息网络中，跨路由节点之间的彼此协同、大数据处理及节点数据融合的精度等环节，对精准时间同步要求越来越高。
虹科电子科技·2023-11-21 05:54

Scala学习笔记

大数据开发中常用Scala进行功能开发，而且大数据处理和计算框架Flink和Spark都是基于Scala开发的，学习Scala不仅是进行业务开发的前提，而且是深入研究大数据前言技术的基础。
火影启源·2023-11-21 02:02

大数据开发(20)-Skew join

skewjoin是一种优化技术，主要用于大数据处理中的join操作。当处理大表
viperrrrrrr·2023-11-20 07:06

NoSQL期末复习-MongoDB

一、MongoDB基础概念MongoDB是一款开源、跨平台、分布式，具有大数据处理能力的文档存储数据库。MongoDB是由C++语言编写的非关系型数据库MongoDB是一个面向集合的文档型数据库。
操作就完事·2023-11-20 01:20

大数据开发面试（一）

主要用于大数据处理、实时数据流分析和日志收集等场景。Flume：定位数据传输，主要用于将数据从源头传输到目标存储系统。适用于需要将大量数据发送到HDFS、HBase等存储系统的场景。
ChlinRei·2023-11-20 01:41

系列三、GC垃圾回收算法和垃圾收集器的关系？分别是什么请你谈谈

4.2、并行垃圾收集器（Parallel）多个垃圾回收线程并行执行，此时用户线程是暂停的，适用于科学计算/大数据处理等弱交互场景。4.3、
YYAugenstern·2023-11-20 00:20

融云五大场景化能力，全面赋能金融行业数智化转型

在高知识密度与大数据处理双向奔赴，「金融大模型」如何推动行业进化？一文中，我们分享了大模型在金融行业的赋能实践和未来场景。关注【融云RongCloud】，了解协同办公平台更多干货。
融云·2023-11-19 19:53

MATLAB中的大数据处理与分析技巧

MATLAB作为一种强大的科学计算软件，提供了各种高效的大数据处理和分析技巧，使得数据科学家和研究者能够更好地探索和应用大数据资源。
vipfanxu·2023-11-19 07:24

《大数据时代》读书笔记

介绍了随之而来的hadoop大数据处理技术，同时通过各行业的例子说明了当今时代，数据增速超过以往任何一个时代，海量数据将会最终产生质变，改变这
Lucia夏天呀·2023-11-19 05:44

大型电商分布式系统架构解析

1、架构图以上采用七层逻辑架构，第一层客户层，第二层前端优化层，第三层应用层，第四层服务层，第五层数据存储层，第六层大数据存储层，第七层大数据处理层。客户层：支持PC浏览器和手机APP。
bst@微胖子·2023-11-18 19:38

2023最新大数据毕设选题

1.3难度把控1.4题目名称1.5最后2大数据-选题推荐2.1大数据挖掘类2.2大数据处理、云计算、区块链毕设选题2.3大数据+安全类2.4python大数据游戏设计、动画设计类2.5大数据-图像识别算法类
m0_76217654·2023-11-17 15:00

python大数据毕业设计题目100例

文章目录0前言1python-算法类毕设选题2python-数据挖掘毕设选题3python-大数据处理、云计算、区块链毕设选题4python-网络安全毕设选题5python游戏设计、动画设计类毕设选题(
caxiou·2023-11-17 15:57

安装关系型数据库MySQL和大数据处理框架Hadoop

这个作业的要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3161。1.简述Hadoop平台的起源、发展历史与应用现状。列举发展过程中重要的事件、主要版本、主要厂商；国内外Hadoop应用的典型案例。（1）Hadoop的介绍：Hadoop最早起源于Nutch，Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、
weixin_30621919·2023-11-17 13:14

算法之分治算法

分治思想在海量数据处理中的应用总结：参考资料：前言：MapReduce是Google大数据处理的三驾马车之一，另外两个是GFS和Bigtable。
遇见更好的自己、·2023-11-17 09:22

算法学习笔记23：分治算法

MapReduce中的分治思想如何理解分治算法分治算法应用举例分析分治思想在海量数据处理中的应用解答开篇内容小结分治算法：谈一谈大规模计算框架MapReduce中的分治思想MapReduce是Google大数据处理的三驾马车之一
_无感·2023-11-17 09:47

分治算法：谈一谈大规模计算框架MapReduce中的分治思想

------本文是学习算法的笔记，《数据结构与算法之美》，极客时间的课程------MapReduce是Google大数据处理的三驾马车之一，另外两个是GFS和Bigtable。
every__day·2023-11-17 09:46

38 _ 分治算法：谈一谈大规模计算框架MapReduce中的分治思想

MapReduce是Google大数据处理的三驾马车之一，另外两个是GFS和Bigtable。它在倒排索引、PageRank计算、网页分析等搜索引擎相关的技术中都有大量的应用。
cjh-Java·2023-11-17 08:11

Spark+Flink+DW+DB

6.Spark面试题（约9.8w字）1.介绍下SparkSpark是一个快速、通用、可扩展的大数据处理和分析引擎。
我是Sol啊·2023-11-17 00:31

Databend 开源周报第 119 期

用户案例：DatabendCloud在AIGC初创公司中的应用DatabendCloud提供了易用、高效率和经济高效的大数据处理方案。通
Databend·2023-11-16 07:20

hive数据质量规范

当谈到大数据处理和分析时，数据质量成为至关重要的因素。Hive作为一种常用的大数据查询和分析工具，也需要遵循一定的数据质量规范以确保数据的准确性、一致性和可靠性。
罗少说·2023-11-15 10:47

《spark实战》笔记02--Spark基础概念

•建立在统一抽象的RDD（分布式内存抽象）之上,使得它可以以基本一致的方式应对不同的大数据处理场景。高效•提供Cache机制来支持需要反复迭代
chijinyan·2023-11-15 03:41

深入分析：一体化运维监控在金融行业的关键作用

金融IT运维的挑战与机遇金融IT系统的复杂性、大数据处理的压力、以及对高可用性的严格要求，给运维工作带来了巨大的挑战。同时，金融创新的浪潮也为IT运维
MXsoft618·2023-11-14 20:02

实时数仓-Flink使用总结

阿里云实时计算Flink版是阿里云基于ApacheFlink构建的企业级、高性能实时大数据处理系统。具备一站式开发运维管理平台，支持作业开发、数据调试、运行与监控、自动调优、智能诊断等全生命周期能力。
高阳很捷迅·2023-11-14 18:42

软考 系统架构设计师系列知识点之边缘计算（3）

接前一篇文章：软考系统架构设计师系列知识点之边缘计算（2）所属章节：第11章.未来信息综合技术第4节.边缘计算概述4.边云协同边缘计算与云计算各有所长，云计算擅长全局性、非实时、长周期的大数据处理与分析
蓝天居士·2023-11-13 10:20

国际腾讯云服务器如何架设游戏模式完整指南！！

腾讯云服务器是一种基于云技能的高性能计算渠道，可用于游戏开发、网站布置、大数据处理等多种应用场景。本文将详细介绍如何在腾讯云服务器上架起游戏模式，并提供具体的过程和注意事项。
tg_@sanniuge·2023-11-13 09:08

python程序设计 清华大学出版社 pdf下载-清华大学出版社-图书详情-《Python程序设计（第2版）》...

推出不久就迅速得到了各行业人士的青睐，经过20多年的发展，Python已经渗透到计算机科学与技术、统计分析、移动终端开发、科学计算可视化、逆向工程与软件分析、图形图像处理、人工智能、游戏设计与策划、网站开发、数据爬取与大数据处理
weixin_37988176·2023-11-13 06:10

C++语言的广泛应用领域

目录1.系统级编程2.游戏开发3.嵌入式系统4.大数据处理5.金融和量化分析6.人工智能和机器学习7.网络和通信结语C++是一种多范式编程语言，具有高性能、中级抽象能力和面向对象的特性。
敲敲er·2023-11-13 01:08

【分布式技术专题】「OSS中间件系列」Minio的文件服务的存储模型及整合Java客户端访问的实战指南

此特性对于机器学习与大数据处理非常重要。数据管理元数据与数据一起存放在磁盘上：数据部分纠删分片以后存储在磁盘上，元数据以明文形式存放在元数据文件里（xl.json）。
洛神灬殇·2023-11-12 08:44

显卡服务器租用价格受哪些因素影响

显卡服务器也叫做GPU服务器，是一种有高性能显卡的服务器系统，显卡服务器能在大数据处理、科学计算等领域有很好的性能表现。今天小编就给大家讲一讲显卡服务器租用价格受哪些因素影响呢？
wanhengwangluo·2023-11-11 19:18

2021-06-10

Spark的核心是建立在统一的抽象弹性分布式数据集（ResilienntDistributedDatasets，RDD）之上的，这使得Spark的各个组件可以无缝地进行集成，能够在同一个应用程序中完成大数据处理
weixin_43368981·2023-11-11 19:00

CSDN超级实习生 | 寒假之前，收藏好这份大厂2022年实习生招聘计划

对技术有热情，对于大数据处理，并发系统，性能优化等有强烈的兴趣；4、熟悉软件工程领域相关知识；5、熟悉大数据领域相关知识，Hadoop、Spark、Kafka等。后
实训001·2023-11-11 10:16

python程序设计 清华大学出版社 pdf下载-清华大学出版社-图书详情-《Python程序设计（第2版）》...

推出不久就迅速得到了各行业人士的青睐，经过20多年的发展，Python已经渗透到计算机科学与技术、统计分析、移动终端开发、科学计算可视化、逆向工程与软件分析、图形图像处理、人工智能、游戏设计与策划、网站开发、数据爬取与大数据处理
weixin_37988176·2023-11-11 06:30

浅谈ClickHouse安全性和权限管理

ClickHouse安全性和权限管理ClickHouse是一个高性能、列式存储的分布式数据库，广泛应用于实时数据分析、大数据处理等场景。
~奔跑的简默~·2023-11-10 21:00

分布式软件开发的相关技术

分布式数据处理：熟悉大数据处理和分布式数据处理框架，如ApacheHa
假装得大佬·2023-11-10 06:05

大数据存储方案

在已知的几种大数据处理软件中，Had
赵广陆·2023-11-10 03:50

阿里巴巴大数据运维平台实践

MaxCompute是阿里巴巴内部唯一的大数据处理平台，且在全球十几个地区提供公有云服务，并为上百家专有云输出计算能力。作为支撑如
weixin_33697898·2023-11-10 01:26

监控易在大数据运维中的应用与实践

如何实现对大数据的实时监控、如何保证大数据处理的高效性、如何保障大数据环境
MXsoft618·2023-11-10 00:49

外贸跨境商城源码：快速开发，系统源码，APP+PC+H5

一、外贸跨境商城源码：快速开发的利器外贸跨境商城源码基于先进的云计算技术和大数据处理能力，可以快速开发出高效、稳定、安全的外贸跨境商城的系统源码。它采用模块化设计，便于开发人员根据业
WoShop电商系统·2023-11-09 13:39

在window10上安装Flink-1.18.0

是一个大数据处理引擎的处理框架,是针对流进行的处理.它是Apache旗下的一个框架和分布式的处理引擎,用于对无界和有界的数据进行状态的计算。
爱上雪茄·2023-11-09 09:51

在Windows 10上安装单机版的Spark

是专门为大数据处理而设计的通用的计算引擎。
爱上雪茄·2023-11-09 08:08

Databend Cloud 如何助力 AIGC 初创公司成本下降百倍

DatabendCloud提供了易用、高效率和经济高效的大数据处理方案。通过选用DatabendCloud进行分析处理，该初创公司将用户行为日志分析成本降低至原有方案的百分之一。需求分析在平台上
Databend·2023-11-08 20:38

大数据之Spark:Spark 基础

Spark特点4、Spark运行模式1、Spark发展史2009年诞生于美国加州大学伯克利分校AMP实验室；2014年2月，Spark成为Apache的顶级项目；Spark成功构建起了一体化、多元化的大数据处理体系
浊酒南街·2023-11-08 06:40

搭建DMETL与使用

DMETL简介达梦数据交换平台(简称DMETL)是在总结了众多大数据项目经验和需求并结合最新大数据发展趋势和技术的基础上，自主研发的通用的大数据处理与集成平台。
abiubiu~·2023-11-08 03:14

DMETL部署测试记录

一、测试说明达梦数据交换平台(简称DMETL)是在总结了众多大数据项目经验和需求并结合最新大数据发展趋势和技术的基础上，自主研发的通用的大数据处理与集成平台。
xufei_9527·2023-11-08 03:14

DMETL5工具安装部署（图形化安装）

达梦数据交换平台(简称DMETL)是在总结了众多大数据项目经验和需求并结合最新大数据发展趋势和技术的基础上，自主研发的通用的大数据处理与集成平台。
Dfnygs·2023-11-08 03:43

达梦之路——基于Linux平台（redhat）安装部署DMETL

达梦数据交换平台创新地将传统的ETL工具（Extract、Transform、Loading）与分布式大数据处理平台相结合，实现了对数据同步、数据处理以及数据交换共享的一站式支持，大幅度降低了用户使用各种平台进行大
土猫_FC·2023-11-08 03:13

达梦DMETL快速入门

DMETL创新的将传统ETL工具与分布式大数据处理平台相结合，实现对数据同步、数据处理以及数据共享交换的一站式服务，适合数据中心、数据仓库和数据湖的建设与运维等应用场景。
lushanglou·2023-11-08 03:12

「Java工具类」发现一个身份证地址解析出省市区的工具类

springboot+springcloud+Mybatisplus+druid+mysql+redis+swagger+maven+docker等集成框架的技术分享；datax、kafka、flink等大数据处理框架的技术分享
程序员阿宁·2023-11-07 18:06
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他