MongoBD大数据处理

Apache Spark + 海豚调度：PB 级数据调度挑战，教你如何构建高效离线工作流

在大数据开源技术领域，以Hadoop为核心的大数据生态系统面对海量数据也不断发展与迭代，大数据处理流程中的各个开源组件，也一起开启了狂飙突进的大数据时代，推动整个行业开启了数字化变革之路。
·2023-01-09 15:12

大数据技术【13】

1.抽样统计是大数据处理的其中一项流程。2.分析顾客消费行业，以便有针对性的向其推荐感兴趣的服务，属于（）问题。
星绘搜题·2023-01-07 19:58

如何用机器学习方法进行数据建模？（文末福利）

本书系统地介绍大数据涵盖的内容，包括数据与大数据概述、大数据感知与获取、大数据存储与管理、大数据分析、大数据处理、大数据治理、大数据安全与隐私等。
AI科技大本营·2023-01-06 11:32

python求数值积分_Python大数据处理-Scipy基础入门，数值积分计算

继续承接上文学习Scipy科学数据处理，为我们后面Python大数据处理开发打基础。今天主要学习分享的是数值积分。对于积分，相信大家都不陌生，上过中学的都有学过。最常见的是利用定积分求曲线面积等等。
未知错误-1·2023-01-04 04:19

2022年 - 2023年 最新计算机毕业设计 本科 选题大全 汇总

文章目录0前言1javaweb管理系统毕设选题2javaweb平台/业务系统毕设选题3游戏设计、动画设计类毕设选题(适合数媒的同学)4算法开发5数据挖掘毕设选题6大数据处理、云计算、区块链毕设选题7网络安全毕设选题
DanCheng-studio·2023-01-03 09:44

2023计算机毕业设计选题推荐 - 计算机毕业设计题目大全

文章目录0前言1javaweb管理系统毕设选题2javaweb平台/业务系统毕设选题3游戏设计、动画设计类毕设选题(适合数媒的同学)4算法开发5数据挖掘毕设选题6大数据处理、云计算、区块链毕设选题7网络安全毕设选题
kooerr·2023-01-01 07:22

2023年最新计算机毕业设计项目集合

文章目录0前言1javaweb管理系统毕设选题2javaweb平台/业务系统毕设选题3游戏设计、动画设计类毕设选题(适合数媒的同学)4算法开发5数据挖掘毕设选题6大数据处理、云计算、区块链毕设选题7网络安全毕设选题
caxiou·2023-01-01 07:21

开源 高性能 云原生！时序数据库 TDengine 上线亚马逊Marketplace

TDengine是针对时序数据特点研发和优化的数据库解决方案，对于车联网、物联网、工业互联网、IT运维等场景下的时序大数据处理，能起到更为显著的降本增效作用。
涛思数据（TDengine）·2022-12-30 17:44

学习大数据必须掌握的五大核心技术,你都知道哪些？

首先给出一个通用化的大数据处理框架，主要分为下面几个方面：数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。
乐姐·2022-12-29 23:42

2023最新大数据毕业设计项目推荐

1.3难度把控1.4题目名称1.5最后2大数据-选题推荐2.1大数据挖掘类2.2大数据处理、云计算、区块链毕设选题2.3大数据+安全类2.4python大数据游戏设计、动画设计类2.5大数据-图像识别算法类
caxiou·2022-12-29 03:48

AI质检线路质检能做什么？

AI质检系统，其综合运用了语音识别技术、语义理解技术、以及大数据处理技术
OKCC_kelaile520·2022-12-28 18:23

软件工程毕设新颖课题

文章目录0前言1javaweb管理系统毕设选题2javaweb平台/业务系统毕设选题3游戏设计、动画设计类毕设选题(适合数媒的同学)4算法开发5数据挖掘毕设选题6大数据处理、云计算、区块链毕设选题7网络安全毕设选题
m0_76217654·2022-12-28 14:35

计算机毕业设计项目推荐 - 毕设开题选题

文章目录0前言1javaweb管理系统毕设选题2javaweb平台/业务系统毕设选题3游戏设计、动画设计类毕设选题(适合数媒的同学)4算法开发5数据挖掘毕设选题6大数据处理、云计算、区块链毕设选题7网络安全毕设选题
m0_75853290·2022-12-28 14:00

Python大数据处理库PySpark实战——使用PySpark处理文本多分类问题

【导读】近日，多伦多数据科学家SusanLi发表一篇博文，讲解利用PySpark处理文本多分类问题的详情。我们知道，ApacheSpark在处理实时数据方面的能力非常出色，目前也在工业界广泛使用。本文通过使用SparkMachineLearningLibrary和PySpark来解决一个文本多分类问题，内容包括：数据提取、ModelPipeline、训练/测试数据集划分、模型训练和评价等，具体细节
疯狂的大山鸡·2022-12-26 15:09

开源 高性能 云原生！时序数据库 TDengine 上线亚马逊Marketplace

TDengine是针对时序数据特点研发和优化的数据库解决方案，对于车联网、物联网、工业互联网、IT运维等场景下的时序大数据处理，能起到更为显著的降本增效作用。
·2022-12-26 13:01

数据中台到底包括什么内容？一文详解架构设计与组成

▲图4-2数据中台功能架构1.工具平台层工具平台层是数据中台的载体，包含大数据处理的基础能力技术，如集数据采集、数据存储、数据计算、数据安全等
元宇宙iwemeta·2022-12-25 19:34

MapReduce大数据处理技术课程复习提纲

第一章.并行计算与大数据处理技术简介围绕着五大问题：为什么需要并行计算？并行计算技术的分类有哪些？并行计算存在的主要技术问题是什么？MPI并行程序设计模式的基本内容是什么？
vingstar·2022-12-25 17:02

简单的python毕设选题推荐

文章目录0前言1python-算法类毕设选题2python-数据挖掘毕设选题3python-大数据处理、云计算、区块链毕设选题4python-网络安全毕设选题5python游戏设计、动画设计类毕设选题(
kooerr·2022-12-25 03:33

计算机毕设题目推荐 - 毕业设计项目

文章目录0前言1javaweb管理系统毕设选题2javaweb平台/业务系统毕设选题3游戏设计、动画设计类毕设选题(适合数媒的同学)4算法开发5数据挖掘毕设选题6大数据处理、云计算、区块链毕设选题7网络安全毕设选题
kooerr·2022-12-25 03:02

毕业设计-大数据python毕设选题大全

文章目录0前言1python-算法类毕设选题2python-数据挖掘毕设选题3python-大数据处理、云计算、区块链毕设选题4python-网络安全毕设选题5python游戏设计、动画设计类毕设选题(
kooerr·2022-12-25 03:02

面向大数据处理应用的广域存算协同调度系统

点击上方蓝字关注我们面向大数据处理应用的广域存算协同调度系统张晨浩1,2,肖利民1,2,秦广军3,宋尧1,2,蒋世轩1,2,王继业41软件开发环境国家重点实验室，北京1001912北京航空航天大学计算机学院
唐名威·2022-12-24 22:26

python全栈是什么

python，因为目前很火，能开发的项目很多，web前端后端，自动化运维，软件、小型游戏开发，移动开发（微信小程序等），大数据处理，AI（人工智能，最火的方向）等等，并且python是一门胶水语言，能和其他任何一门语言结合使用
Python_cresss·2022-12-23 06:15

python全栈是什么？

python，因为目前很火，能开发的项目很多，web前端后端，自动化运维，软件、小型游戏开发，移动开发（微信小程序等），大数据处理，AI（人工智能，最火的方向）等等，并且python是一门胶水语言，能和其他任何一门语言结合使用
南城以南1·2022-12-23 06:42

pandas读写Excel表格数据

pandas库2.安装openpyxl库3.导入pandas库4.pandas读取表格数据5.将数据存入表格总结前言随着大数据行业的兴起，大数据分析师已经成为炙手可热的岗位，要从事大数据分析师就要掌握大数据处理和分析工具
高心星·2022-12-22 10:38

【大数据处理技术】「#4」利用Spark预测回头客行为

文章目录预处理test.csv和train.csv数据集预测回头客启动hadoop启动MySQL服务启动spark-shell支持向量机SVM分类器预测回头客预处理test.csv和train.csv数据集预测回头客启动hadoop启动MySQL服务启动spark-shell下载安装MySQL的JDBC驱动cd~/下载/unzipmysql-connector-java-5.1.40.zip-d/
小手の冰凉·2022-12-21 19:02

分布式是大数据处理的万能药？

前言：分布式是大数据处理的万能药？今天叶秋学长跟大家一起探讨这个问题~使用分布式集群来处理大数据是当前的主流，将一个大任务拆分成多个子任务分布到多个节点进行处理通常能获得显著的性能提升。
叶秋学长·2022-12-21 13:03

大数据，大智慧，大未来

相信很多小伙伴都听说过推荐算法、“未来新石油”、大数据杀熟、信息茧房等词条,大数据究竟是什么,现在就来揭开它神秘的面纱一.何为大数据1.1背景1.2大数据的特点(5v)1.3应用场景1.4发展趋势二.大数据相关岗位三.大数据处理流程四
亦可呀·2022-12-20 14:11

Hive学习：数据仓库的建立

【实验名称】：数据仓库的建立【实验目的】：熟悉Linux系统、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse等系统和软件的安装和使用；了解大数据处理的基本流程；熟悉数据预处理方法
让头发掉下来·2022-12-20 08:36

【大数据处理技术】「#2」Hive数据分析

文章目录操作Hive简单查询分析测试简单指令查询条数统计分析关键字条件查询分析以关键字的存在区间为条件的查询根据用户行为分析用户实时查询分析操作Hive启动Hive在“hive>”命令提示符状态下执行下面命令：hive>usedbtaobao;#使用dbtaobao数据库hive>showtables;#显示数据库中所有表。hive>showcreatetableuser_log;#查看user_
小手の冰凉·2022-12-20 08:33

【大数据处理技术】第二篇 大数据存储与管理（暂停更新）

文章目录第3章分布式文件系统HDFS3.1分布式文件系统3.1.1计算机集群结构3.1.2分布式文件系统的结构3.1.3分布式文件系统的设计需求3.2HDFS3.2.1HDFS简介及相关概念3.2.2HDFS体系结构3.2.3HDFS存储原理3.2.4HDFS数据读写过程3.2.5HDFS编程实践第4章分布式数据库HBase4.1HBase概述4.1.1HBase简介4.2HBase数据模型4.2
小手の冰凉·2022-12-20 08:03

【大数据处理技术】「#0」实验环境准备

文章目录实验步骤解析「Mac系统」安装配置Linux虚拟机虚拟机下载安装Ubuntu下载安装设置共享文件夹安装Hadoop创建hadoop用户（可忽略，本实验不使用hadoop用户）更新apt（安装Ubuntu桌面版时更新了）安装ssh、配置ssh无密码登录安装java环境（java1.8/java8）安装Hadoop2Hadoop伪分布式配置运行Hadoop伪分布式实例安装MySQL安装MySQ
小手の冰凉·2022-12-20 08:03

【大数据处理技术】「#1」本地数据集上传到数据仓库Hive

文章目录实验数据集下载下载实验数据集建立一个用于运行本案例的目录dbtaobao数据集的预处理删除文件第一行记录，即字段名称获取数据集中双11的前100000条数据导入数据仓库实验数据集下载下载实验数据集data_format.zip数据集用户行为日志user_log.csv，日志中的字段定义如下：1.user_id|买家id2.item_id|商品id3.cat_id|商品类别id4.merch
小手の冰凉·2022-12-20 08:01

Flink

ApacheFlink概述Flink是构建在数据流之上的一款有状态的流计算框架，通常被人们称为第三代大数据分析方案第一代大数据处理方案：基于Hadoop的MapReduce静态批处理|Storm实时流计算
塞纳河畔的王子·2022-12-18 16:31

一文读懂大数据计算框架与平台

而在分布式环境中进行大数据处理，除了与存储系统打交道外，还涉及计算任务的分工，计算负荷的分配，计算机之间的数据迁移等工作，并且要
ImportNewXXT0101·2022-12-18 13:41

大数据开发是干什么的？

大数据开发其实分两种，第一类是编写一些Hadoop、Spark的应用程序，第二类是对大数据处理系统本身进行开发。第一类工作感觉更适用于dataanalyst这种职位吧，而且现在HiveSpark-
一起学习大数据·2022-12-16 18:08

《Spark官方文档》Spark操作指南

原文链接译者：小村长Spark–QuickStart本项目是ApacheSpark官方文档的中文翻译版，致力于打造一个全新的大数据处理平台来满足大数据处理和分析的各个使用场景，本次翻译主要针对对Spark
weixin_33889245·2022-12-15 11:01

大数据采集与预处理

大数据采集与预处理@Time2022/6/10内部特供版权所有翻版必究文章目录大数据采集与预处理第一章大数据概述1.1技术支撑1.2大数据三阶段1.3大数据特点1.4大数据处理过程1.5大数据关键技术1.6
装一袋星辰大海·2022-12-14 22:49

八核8K瑞芯微旗舰级RK3588核心板

时代首款通用型SoC，RK3588采用8核ARM架构，在整数运算、浮点运算、内存、整体性能、功耗及核心面积等方面都进行了重大改进，先进的8nm制程工艺及Big.Little大小核架构以及L3缓存的加入都极大提升了大数据处理能力
卡卡罗特GT·2022-12-14 15:07

分布式思想

分布式1.2分布式思想1.分布式计算说明:一项任务由多个服务器共同完成1.例子:假设一项任务单独完成需要十天,如果有10个人同时执行一天完成,大数据处理技术2.分布式系统说明:将项目按照特定的功能模块及层级进行拆分
小冢清风·2022-12-13 17:49

大数据开发：Hadoop，Spark和Flink计算引擎对比

很多同学都问过这样一个问题，针对于大数据处理，有Hadoop、Spark、Flink等，这三者有何不同，下面就为大家分享关于Hadoop，Spark和Flink之间的比较。
加米谷大数据张老师·2022-12-12 15:32

大数据初学者应该怎么学习？

大数据开发分两类，编写Hadoop、Spark的应用程序和对大数据处理系统本身进
我想去吃ya·2022-12-11 17:28

大数据入门：HDFS数据副本存放策略

大数据处理当中，数据储存始终是一个重要的环节，从现阶段的市场现状来说，以Hadoop为首的大数据技术框架，仍然占据主流地位，而Hadoop的HDFS，在数据存储方面，仍然得到重用。
加米谷大数据张老师·2022-12-11 14:37

《Spark 3.0大数据分析与挖掘：基于机器学习》简介

Spark作为新兴的、应用范围广泛的大数据处理开源框架，吸引了大量的大数据分析与挖掘从业人员进行相关内容的学习与开发，其中ML是Spark3.0机器学习框架使用的核心。
新知图书·2022-12-10 17:41

大数据处理

大数据处理的基本流程大数据处理流程主要包括数据收集、数据预处理、数据存储、数据处理与分析、数据展示/数据可视化、数据应用等环节，其中数据质量贯穿于整个大数据流程，每一个数据处理环节都会对大数据质量产生影响作用
w程序員·2022-12-10 14:11

大数据处理的基本流程

大数据处理流程主要包括数据收集、数据预处理、数据存储、数据处理与分析、数据展示/数据可视化、数据应用等环节，其中数据质量贯穿于整个×××程，每一个数据处理环节都会对大数据质量产生影响作用。
b10l07·2022-12-10 14:10

大数据处理流程的主要环节

大数据处理流程主要包括数据收集、数据预处理、数据存储、数据处理与分析、数据展示/数据可视化、数据应用等环节，其中数据质量贯穿于整个大数据流程，每一个数据处理环节都会对大数据质量产生影响作用。
driverxb·2022-12-10 14:40

大数据处理分为哪些步骤

具体的大数据处理方法确实有很多，但是根据笔者长时间的实践，总结了一个普遍适用的大数据处理流程，并且这个流程应该能够对大家理顺大数据的处理有所帮助。
中琛源科技·2022-12-10 14:06

大数据分析处理有哪些流程

今天将为大家分享一下，大数据处理的流程，感兴趣的小伙伴们一同来看看吧!第一，数据收集定义：利用多种轻型数据库来接收发自客户端的数据，并且用户可以通过这些数据库来进行简略的查询和处理工作。
中琛源科技·2022-12-10 14:06

大数据处理的基本流程是什么？

本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答大数据处理流程主要分为3步：1.数据抽取和集成2.数据分析3.数据解释补充1.数据抽取与集成由于大数据处理的数据来源类型丰富，利用多个数据库来接收来自客户端的数据
Shockang·2022-12-10 14:05

大数据的处理流程

大数据处理流程一般分为四步骤：数据采集、数据导入和清洗预处理、数据统计分析和挖掘、结果可视化。
～O2·2022-12-10 14:34
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他