E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
大数据处理
大数据学习路线-(值得收藏)
大数据学习路线一、
大数据处理
流程1.1数据收集1.2数据存储1.3数据分析1.4数据应用1.5其他框架二、学习路线2.1语言基础2.2Linux基础2.3构建工具2.4框架学习三、开发工具四、结语一、
大数据处理
流程上图是一个简化的
大数据处理
流程图
门柚
·
2023-11-29 17:29
java
杂文
面试
大数据
学习
java
郑州数字孪生技术推进制造业升级,工业物联网可视化应用加速
数字孪生系统的特点模型+数据,其区别于传统仿真或数字样机,在于结合模型,数字孪生体能利用
大数据处理
技术,有效对物理实体运行所产生的大数据分析处理和治理。
巨蟹数字科技
·
2023-11-29 12:45
数字孪生3d可视化
数字孪生智慧工厂
三维数据可视化
郑州
数字孪生工厂
数字孪生可视化
数字孪生
工业数字孪生
5G智能工厂
智慧工厂可视化
大数据处理
实验(三)HDFS基本操作实验
HDFS基本操作实验1、Hadoop配置环境变量2、列出当前目录下的文件3、级联创建一个文件夹,类似这样一个目录:/mybook/input4、上传文件至HDFS5、从HDFS上下载文件6、查看HDFS上某个文件的内容6、统计目录下各文件的大小(单位:字节B)7、删除HDFS上某个文件或者文件夹8、使用help命令寻求帮助HDFS的基本命令格式:hdfsdfs-cmd注意:需要事先将HADOOP_
吱唔朱_
·
2023-11-28 16:43
大数据处理
hadoop
mapreduce
大数据
hdfs
Java到底能做什么事情呢?
1、大数据技术 Hadoop以及其他
大数据处理
技术都是用Java或者其他,例如Apache的基于Java 的HBase和Accumul
小宇java
·
2023-11-28 14:13
数据算法 Hadoop/Spark
大数据处理
---第十章
本章为推荐引擎本章为基于电影内容的推荐,假设输入为,输入为。本章实现方式基于传统spark来实现基于传统Scala来实现本章实现方式的思路-spark:1.先创建JavaSparkContext,textFile读入文件。2.对String进行切分,转换成key=Movie3value=(User1,3)。3.之后对key进行分组,得到key=Movie2value=[(User1,4),(Use
_Kantin
·
2023-11-28 08:05
Flink入门(一)——Apache Flink介绍
随着雅虎对hadoop的开源,越来越多的
大数据处理
技术开始涌入人们的视线,例如目前比较流行的
大数据处理
引擎ApacheSpark,基本上已经取代了MapReduce成为当前
大数据处理
的标准。
大数据流动
·
2023-11-27 20:03
java
大数据处理
之内存溢出解决办法
因项目中需要查询大量数据,所以导致jvm内存溢出,发现这篇博文不错,转发来共同学习原文地址:https://www.cnblogs.com/a757956132/p/4644910.html一、内存溢出类型1、java.lang.OutOfMemoryError:PermGenspaceJVM管理两种类型的内存,堆和非堆。堆是给开发人员用的上面说的就是,是在JVM启动时创建;非堆是留给JVM自己用
it1993
·
2023-11-27 15:13
jvm
大数据
内存溢出
jvm
大数据
内存溢出
大数据处理
框架Spark:核心原理
大数据处理
框架Spark:核心原理Spark是一个开源的
大数据处理
框架,它提供了高效的分布式数据处理和计算能力。本文将介绍Spark的核心原理,并提供相应的源代码示例。
雨中徜徉的思绪漫溢
·
2023-11-27 04:17
spark
ajax
大数据
HBase权威指南
推荐序Google公司提出的MapReduce编程框架、GFS文件系统和BigTable存储系统成为了
大数据处理
技术的开拓者和领导者,而源于这三项技术的ApacheHadoop等开源项目则成为了
大数据处理
技术的事实标准
yeedom
·
2023-11-27 00:52
使用Spark进行结构化流处理并将结果输出到终端或指定位置
使用Spark进行结构化流处理并将结果输出到终端或指定位置Spark是一个强大的
大数据处理
框架,提供了许多功能强大的组件,其中包括StructuredStreaming,它是Spark的流处理引擎。
心之所向,或千或百
·
2023-11-26 09:24
spark
linq
大数据
mapreducer 分布式计算框架
mapreducer是经典的计算框架,是学习
大数据处理
的基础,请带着这句话“化大为小,分而治之”点击下面连接按笔记顺序进行学习mapreducer原理hadoop的Windows伪分布式环境部署Windows
海牛大数据_青牛老师
·
2023-11-25 14:21
实时计算 Flink 版总体介绍
实时计算Flink版(AlibabaCloudRealtimeComputeforApacheFlink,PoweredbyVerverica)是阿里云基于ApacheFlink构建的企业级、高性能实时
大数据处理
系统
阿里云云栖号
·
2023-11-25 06:54
云栖号技术分享
flink
Apache
Flink
云原生
flink-基础
Flink01—Flink基础一Flink简介及安装ApacheFlink是一个分布式
大数据处理
引擎,可对有限数据流和无限数据流进行有状态计算。可部署在各种集群环境,对各种大小的数据规模进行快速计算。
举个栗く
·
2023-11-25 06:47
笔记
大数据
2022年搜索引擎研究报告
第一章行业概况搜索引擎是基于网络爬虫、检索排序、网页处理、
大数据处理
、自然语言处理等技术,根据用户需求与推荐算法,运用特定策略从互联网海量信息中检索出匹配信息反馈给用户的检索技术,为用户提供快速、高相关性的信息服务
资产信息网
·
2023-11-25 05:28
搜索引擎
大数据预处理技术
文章目录前言大数据技术成为前沿专业也是现在甚至未来的朝阳产业,大数据有分别是数据预处理数据存储
大数据处理
和分析数据可视化部分组成,大数据行业有数据则称王,大数据的核心是数据本身怎么获取有价值的数据呢?
僖僖cc
·
2023-11-25 04:10
大数据
python毕业设计项目推荐 - 最新毕设项目
文章目录0前言1python-算法类毕设选题2python-数据挖掘毕设选题3python-
大数据处理
、云计算、区块链毕设选题4python-网络安全毕设选题5python游戏设计、动画设计类毕设选题(
kooerr
·
2023-11-24 19:30
python
深度学习
大数据
数据挖掘
分治算法:LeetCode经典题目,使用Python
分治算法 MapReduce(分治算法的应用)是Google
大数据处理
的三驾马车之一,另外两个是GFS和Bigtable。
一只干巴巴的海绵
·
2023-11-24 14:24
数据结构
Flink部署安装及其WorldCount执行
Flink启动及其WorldCount执行大家好,是瓜哥,最近几年,
大数据处理
组件Flink非常火,作为一个从事多年java的老程序员,也得跟上时代的技步伐,不然迟早就会被这个技术千变万化的时代抛弃。
IT瓜哥-杨得朝
·
2023-11-24 11:18
大数据
flink
scala
大数据
大数据面试经验分享:探索大规模数据处理的技巧与实践
在现代科技的浪潮下,
大数据处理
成为了许多企业和组织的重要任务。随着数据量的不断增长和复杂性的提高,对
大数据处理
的需求也越来越迫切。在面对
大数据处理
的挑战时,掌握一些关键技巧和实践经验是非常重要的。
星光璀璨下的梦幻舞台
·
2023-11-24 06:38
大数据
《十堂课学习 Flink SQL》第一章:引言和背景
这一章旨在概述有关
大数据处理
、流处理以及FlinkSQL的基础知识,以便接下来能够更好地结合上下文进行学习。
smile-yan
·
2023-11-24 06:05
学习
flink
sql
大数据处理
技术Spark
发一下我三天肝完的菜菜项目过程,林子雨老师的课大作业。介绍配环境,以及遇到的各种问题,方便自己以后万一转码回来重头学。内容有虚拟机配置,ubuntu安装,创建项目,hadoop部署,python使用spark库等等,也附上所有用到的软件的网盘下载链接,算是提供一个完整的思路。大作业要求:伪分布式hadoop+pandas预处理数据+hdfs保存数据+spark从hdfs读取数据+sparksql处
我叫桃小夭
·
2023-11-22 13:54
大数据
hadoop
分布式
python
spark
数据仓库架构之详解Kappa和Lambda
特点1.3Lambda架构的优点1.4Lambda架构的不足2Kappa架构2.1Kappa架构的核心组件2.2Kappa架构优点2.3Kappa架构的注意事项三、区别对比四、选择时考虑因素一、前言在
大数据处理
领域
醉酒的戈多
·
2023-11-22 06:45
数据仓库
数据治理
大数据
数据仓库
【论文笔记】Recent Developments in Parallel and Distributed Computing for Remotely Sensed Big Data Proc...
题目:用于遥感
大数据处理
的并行和分布式计算的最新进展摘要本文对处理遥感大数据的最先进方法进行了调查,并深入研究了各种流行的高性能计算平台上现有的并行实现。
吃核桃用手夹
·
2023-11-22 06:12
千亿
大数据处理
能力是如何炼成的?
(此文来自乐字节)源起谷歌“三驾马车”聊起大数据,就绕不开谷歌的“三驾马车“。早在2003年,谷歌发表第一篇论文——谷歌文件系统(GFS);第二年,谷歌再次发表一篇论文——分布式计算框架MapReduce;2006年,谷歌发表第三篇论文——NoSQL数据库系统BigTable。这三篇论文由此开启了大数据时代。受谷歌“三驾马车”的影响,其他互联网公司也在尝试大规模分布式系统,希望构建强大的数据存储、
@金州拉文
·
2023-11-21 07:48
hadoop
网络可视化 | 虹科助力新基建构建精准的时间同步体系
随着5G等新型基础设施持续建设和发展,在未来万物互联的庞大信息网络中,跨路由节点之间的彼此协同、
大数据处理
及节点数据融合的精度等环节,对精准时间同步要求越来越高。
虹科电子科技
·
2023-11-21 05:54
网络可视化
新基建
时间同步
网络可视化
Scala学习笔记
大数据开发中常用Scala进行功能开发,而且
大数据处理
和计算框架Flink和Spark都是基于Scala开发的,学习Scala不仅是进行业务开发的前提,而且是深入研究大数据前言技术的基础。
火影启源
·
2023-11-21 02:02
大数据开发(20)-Skew join
skewjoin是一种优化技术,主要用于
大数据处理
中的join操作。当处理大表
viperrrrrrr
·
2023-11-20 07:06
大数据
NoSQL期末复习-MongoDB
一、MongoDB基础概念MongoDB是一款开源、跨平台、分布式,具有
大数据处理
能力的文档存储数据库。MongoDB是由C++语言编写的非关系型数据库MongoDB是一个面向集合的文档型数据库。
操作就完事
·
2023-11-20 01:20
NoSQL
mongodb
nosql
大数据开发面试(一)
主要用于
大数据处理
、实时数据流分析和日志收集等场景。Flume:定位数据传输,主要用于将数据从源头传输到目标存储系统。适用于需要将大量数据发送到HDFS、HBase等存储系统的场景。
ChlinRei
·
2023-11-20 01:41
面试
大数据
面试
etl工程师
系列三、GC垃圾回收算法和垃圾收集器的关系?分别是什么请你谈谈
4.2、并行垃圾收集器(Parallel)多个垃圾回收线程并行执行,此时用户线程是暂停的,适用于科学计算/
大数据处理
等弱交互场景。4.3、
YYAugenstern
·
2023-11-20 00:20
GC面试系列
GC
融云五大场景化能力,全面赋能金融行业数智化转型
在高知识密度与
大数据处理
双向奔赴,「金融大模型」如何推动行业进化?一文中,我们分享了大模型在金融行业的赋能实践和未来场景。关注【融云RongCloud】,了解协同办公平台更多干货。
融云
·
2023-11-19 19:53
IM
RTC
融云
金融
人工智能
网络
MATLAB中的
大数据处理
与分析技巧
MATLAB作为一种强大的科学计算软件,提供了各种高效的
大数据处理
和分析技巧,使得数据科学家和研究者能够更好地探索和应用大数据资源。
vipfanxu
·
2023-11-19 07:24
信息可视化
《大数据时代》读书笔记
介绍了随之而来的hadoop
大数据处理
技术,同时通过各行业的例子说明了当今时代,数据增速超过以往任何一个时代,海量数据将会最终产生质变,改变这
Lucia夏天呀
·
2023-11-19 05:44
大型电商分布式系统架构解析
1、架构图以上采用七层逻辑架构,第一层客户层,第二层前端优化层,第三层应用层,第四层服务层,第五层数据存储层,第六层大数据存储层,第七层
大数据处理
层。客户层:支持PC浏览器和手机APP。
bst@微胖子
·
2023-11-18 19:38
系统架构
+
项目架构
架构
big
data
java
2023最新大数据毕设选题
1.3难度把控1.4题目名称1.5最后2大数据-选题推荐2.1大数据挖掘类2.2
大数据处理
、云计算、区块链毕设选题2.3大数据+安全类2.4python大数据游戏设计、动画设计类2.5大数据-图像识别算法类
m0_76217654
·
2023-11-17 15:00
大数据
课程设计
python
python大数据毕业设计题目100例
文章目录0前言1python-算法类毕设选题2python-数据挖掘毕设选题3python-
大数据处理
、云计算、区块链毕设选题4python-网络安全毕设选题5python游戏设计、动画设计类毕设选题(
caxiou
·
2023-11-17 15:57
大数据
毕业设计
python
数据分析
数据挖掘
大数据毕设选题
安装关系型数据库MySQL和
大数据处理
框架Hadoop
这个作业的要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3161。1.简述Hadoop平台的起源、发展历史与应用现状。列举发展过程中重要的事件、主要版本、主要厂商;国内外Hadoop应用的典型案例。(1)Hadoop的介绍:Hadoop最早起源于Nutch,Nutch的设计目标是构建一个大型的全网搜索引擎,包括网页抓取、
weixin_30621919
·
2023-11-17 13:14
数据库
嵌入式
大数据
算法之分治算法
分治思想在海量数据处理中的应用总结:参考资料:前言:MapReduce是Google
大数据处理
的三驾马车之一,另外两个是GFS和Bigtable。
遇见更好的自己、
·
2023-11-17 09:22
算法
mapreduce
大数据
算法学习笔记23:分治算法
MapReduce中的分治思想如何理解分治算法分治算法应用举例分析分治思想在海量数据处理中的应用解答开篇内容小结分治算法:谈一谈大规模计算框架MapReduce中的分治思想MapReduce是Google
大数据处理
的三驾马车之一
_无感
·
2023-11-17 09:47
数据结构与算法之美学习笔记
算法
数据结构
分治算法
分治算法:谈一谈大规模计算框架MapReduce中的分治思想
------本文是学习算法的笔记,《数据结构与算法之美》,极客时间的课程------MapReduce是Google
大数据处理
的三驾马车之一,另外两个是GFS和Bigtable。
every__day
·
2023-11-17 09:46
算法与数据结构
分治算法
MapReduce
并归排序
38 _ 分治算法:谈一谈大规模计算框架MapReduce中的分治思想
MapReduce是Google
大数据处理
的三驾马车之一,另外两个是GFS和Bigtable。它在倒排索引、PageRank计算、网页分析等搜索引擎相关的技术中都有大量的应用。
cjh-Java
·
2023-11-17 08:11
#
数据结构与算法之美
算法
mapreduce
大数据
Spark+Flink+DW+DB
6.Spark面试题(约9.8w字)1.介绍下SparkSpark是一个快速、通用、可扩展的
大数据处理
和分析引擎。
我是Sol啊
·
2023-11-17 00:31
大数据
面试
Databend 开源周报第 119 期
用户案例:DatabendCloud在AIGC初创公司中的应用DatabendCloud提供了易用、高效率和经济高效的
大数据处理
方案。通
Databend
·
2023-11-16 07:20
开源
数据库
AIGC
hive数据质量规范
当谈到
大数据处理
和分析时,数据质量成为至关重要的因素。Hive作为一种常用的大数据查询和分析工具,也需要遵循一定的数据质量规范以确保数据的准确性、一致性和可靠性。
罗少说
·
2023-11-15 10:47
#
hive
hive
数据质量
数据仓库
《spark实战》笔记02--Spark基础概念
•建立在统一抽象的RDD(分布式内存抽象)之上,使得它可以以基本一致的方式应对不同的
大数据处理
场景。高效•提供Cache机制来支持需要反复迭代
chijinyan
·
2023-11-15 03:41
大数据
spark
spark
深入分析:一体化运维监控在金融行业的关键作用
金融IT运维的挑战与机遇金融IT系统的复杂性、
大数据处理
的压力、以及对高可用性的严格要求,给运维工作带来了巨大的挑战。同时,金融创新的浪潮也为IT运维
MXsoft618
·
2023-11-14 20:02
运维管理
运维管理系统
一体化运维平台
数据库
网络
实时数仓-Flink使用总结
阿里云实时计算Flink版是阿里云基于ApacheFlink构建的企业级、高性能实时
大数据处理
系统。具备一站式开发运维管理平台,支持作业开发、数据调试、运行与监控、自动调优、智能诊断等全生命周期能力。
高阳很捷迅
·
2023-11-14 18:42
IT管理
数据分析
flink
大数据
实时数仓
软考 系统架构设计师系列知识点之边缘计算(3)
接前一篇文章:软考系统架构设计师系列知识点之边缘计算(2)所属章节:第11章.未来信息综合技术第4节.边缘计算概述4.边云协同边缘计算与云计算各有所长,云计算擅长全局性、非实时、长周期的
大数据处理
与分析
蓝天居士
·
2023-11-13 10:20
软考
系统架构设计师
软考
系统架构
边缘计算
国际腾讯云服务器如何架设游戏模式完整指南!!
腾讯云服务器是一种基于云技能的高性能计算渠道,可用于游戏开发、网站布置、
大数据处理
等多种应用场景。本文将详细介绍如何在腾讯云服务器上架起游戏模式,并提供具体的过程和注意事项。
tg_@sanniuge
·
2023-11-13 09:08
腾讯云
服务器
游戏
python程序设计 清华大学出版社 pdf下载-清华大学出版社-图书详情-《Python程序设计(第2版)》...
推出不久就迅速得到了各行业人士的青睐,经过20多年的发展,Python已经渗透到计算机科学与技术、统计分析、移动终端开发、科学计算可视化、逆向工程与软件分析、图形图像处理、人工智能、游戏设计与策划、网站开发、数据爬取与
大数据处理
weixin_37988176
·
2023-11-13 06:10
上一页
2
3
4
5
6
7
8
9
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他