E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
大数据计算
大数据 MapReduce是什么?
很显然,这样的系统无法复用到其他的
大数据计算
场景,每一种应用都需要开发与维护专门的系统。而HadoopMapReduce的出现,使得
大数据计算
通用编程成为可能。
善守的大龙猫
·
2024-01-05 21:47
大数据
大数据
mapreduce
大数据计算
基础真题回忆
转载学长2021的真题转载链接注:每年的课件可能会有更改,内容不一样,所以读者复习的时候以所在年份的课件为准20202021笔者2023秋2023都是大题,没有选择题。改进的近似算法中,结合具体的例子说明,“多次运行取平均”和"多次运行取中间值"的两个思想是怎么体现的。(10分)为什么要在哈希分片的过程中引入虚拟桶,虚拟桶工作的流程。(6分)一共两个问,卷子前面会给期望和方差的公式以及切比雪夫和切
旅僧
·
2024-01-05 05:53
#
大数据计算基础
分布式
大数据
Spark一:Spark介绍、技术栈与运行模式
一、Spark简介Spark官网https://spark.apache.org/1.1Spark是什么Spark是一种通用的
大数据计算
框架,是基于RDD(弹性分布式数据集)的一种计算模型。
eight_Jessen
·
2024-01-03 09:11
spark
spark
大数据
分布式
引领大数据进入新时代,腾讯发布第四代数智融合计算平台“天工”
“腾讯大数据-天工”,该平台以最新的“数据协同、技术互通、平台大脑”技术理念为基础,在确保数据安全这一重要前提下,真正实现万亿级数据分析无人“自动驾驶”,进而推动大数据和人工智能技术融合为一,引领全球
大数据计算
进入下一时代
爱踢边鼓
·
2024-01-02 12:10
Spark内容分享(二十三):Spark on K8s 在茄子科技的实践
目录Spark与云原生1.传统
大数据计算
集群的缺陷2.公有云带来的优势3.如何充分利用公有云带来的优势?
之乎者也·
·
2024-01-02 11:30
Spark
内容分享
大数据(Hadoop)内容分享
spark
kubernetes
科技
初窥 Python
在很多开发领域中都可以看到Python的踪迹,如被用来构建系统工具、用来开发Internet应用程序和快速开发原型、设计图形化显示、
大数据计算
等。Python与其他脚本语言相比也有一定的优势。
kelikeli_2020
·
2024-01-02 00:23
西电计科
大数据计算
机视觉作业一sobel算子和canny算子
基于python对Sobel和Canny算子的复现Sobel算子部分X方向梯度**图1.1Sobelx方向卷积核**通过Sobel的x方向卷积核(如图1.1)与通过opencv读取到的灰度值图像矩阵进行乘法运算卷积运算得到新的图像。通过循环实现卷积核与该图像的所有像素点都经过计算。最后过滤掉一些像素值较小的噪音点,达到最终图像,代码如下所示:kernel\_x=np.array([[-1,0,1]
oges
·
2023-12-25 06:39
计算机视觉
文件研读:《福州市推进大数据发展三年行动计划(2018-2020年)》指导思想与发展目标——斜杆第二步(19)
深入贯彻落实国家和福建省大数据发展战略,依照福州市“东进南下”战略部署和《福州市大数据产业发展规划(2017-2020年)》,主动把握“五区叠加”的战略机遇,重点建设大数据资源优势、数据资产运营优势、
大数据计算
能力优势
追求财务自由的中年人
·
2023-12-23 13:52
一条SQL语句是怎么在底层逐渐实现其功能的???
深入理解SQL引擎%%小到传统的单机数据库,大到分布式数据库、
大数据计算
引擎,他们大都可以借助**SQL引擎完成“接受一条sql语句然后返回查询结果”**的功能。
Joy T
·
2023-12-23 12:37
数据库
sql
数据库
mysql
大数据
千万级流量“秒杀”系统
基础设施层:数据存储、
大数据计算
及消息推送等操作。秒杀系统特点:业务特点:在“秒杀”活动还没开始的时候,流量一直是很平稳的状态;当“秒杀”活动活动结束的后,流量又会急速下落。限时、限量、
Benaso
·
2023-12-23 02:18
Redis
学习问题解决
高并发系统
系统架构
缓存
java
redis
从浙江用阿里云预测拥堵看政府数据开放
浙江省对交通拥堵的成功预测打破了这一僵局:通过将高速历史数据、实时数据与路网状况结合,基于阿里云
大数据计算
能力,预测出未来1小时内的路况。
weixin_33716557
·
2023-12-21 14:02
大数据
Hadoop/Spark 太重,esProc SPL 很轻
很多用户开始转向分布式计算路线,用多台廉价的PC服务器组成集群来完成
大数据计算
任务。Hadoop/Spark就是其中重要的软件技术,由于开源免费而广受欢迎。
码农翻身
·
2023-12-21 10:07
hadoop
spark
大数据
分布式
100G光模块可以插40G端口吗?
然而,为了适应AI、深度学习、
大数据计算
等业务的大规模部署需求,下一代数据中心架构正在向25G/100G网络架构转型。在国内,我们已经看到BAT等互联网领军企业实现了这种高带宽网络架构的规模化部署。
audrey-luo
·
2023-12-20 23:58
智能电视
FFA 2023 明日开幕,Flink 智能诊断、小红书流批一体实践精彩来袭
Flink作为全球范围内被广泛使用的开源
大数据计算
引擎,吸引全球多家企业的应用落地。FlinkForwardAsia2023峰会(以下简称FFA)将于
小红书技术REDtech
·
2023-12-19 11:31
flink
大数据
架构
Spark
Spark是一种通用的
大数据计算
框架,其设计目标是提供快速、通用和易于使用的数据处理平台。在核心上,Spark是基于内存计算的,这使得它比基于磁盘计算的HadoopMapReduce更快。
编织幻境的妖
·
2023-12-16 20:16
spark
大数据
分布式
Scala教程
1.2Scala环境搭建1.3IDEA中Scala插件安装1.4HelloWorld案例1.4.1创建IDEA项目工程第一章Scala入门1.1概述1.1.1为什么学习ScalaSpark:新一代内存级
大数据计算
框架
Tanzhiyong97
·
2023-12-15 05:34
scala
spark
intellij-idea
序_ppt_DNA元基催化与肽计算 第四修订版 V00919
前面六章,是作者在
大数据计算
领域的工程应用实践,主要基于养疗经的医学大数据分析作品,如将文章进行词汇分开,数列数组进行排序,ETL进行节点流程组件块计算,vpcs服务器调度算法,可编程数据库和数据库语言
罗瑶光
·
2023-12-03 19:35
2019-02-01
大数据技术的产生以及发展谷歌的三篇论文分布式文件系统GFS大数据分布式计算框架mapreduceNoSQL数据库系统BigTable
大数据计算
离线计算——批处理计算(MapReduce、Spark)实时计算
奔跑的风2019
·
2023-12-01 04:34
Hyper-v虚拟机Hadoop集群搭建
(海量数据存储)HDFS为海量的数据提供了存储,而MapReduce**分布式计算**则为海量的数据提供了计算总结:用Java开发HDFS–解决大数据存储问题MapReduce–解决
大数据计算
问题HDF
真.电脑人
·
2023-11-30 16:16
hadoop
大数据
分布式
spark sql 本地调试_Spark应用程序调试方法详解
原标题:Spark应用程序调试方法详解文|郭小龙简介Spark是基于内存计算的开源分布式
大数据计算
框架。
weixin_39522170
·
2023-11-30 02:45
spark
sql
本地调试
数据中台·实时开发计算平台
实时计算产品彻底规避繁重的底层流式处理逻辑开发工作,助力企业向实时化、智能化
大数据计算
升级转型。数据中台中为什么构建实时计算平台?
数据先生
·
2023-11-30 00:33
数据仓库
大数据
职场和发展
数据库
数据挖掘
Spark Streaming基本概念
流计算是一种典型的
大数据计算
模式,可以实现对源源不断到达的流数据的实时处理分析。一、静态数据和流数据1,静态数据如果把数据存储系统比作一个“水库”,那么,存储在数据存储系
晓之以理的喵~~
·
2023-11-29 07:36
Hadoop
Spark
大数据
spark
大数据
数据仓库
Flink实时流计算入门系列(一)
image这几年大数据的飞速发展,出现了很多热门
大数据计算
框架,著名的Hadoop、Storm、Spark,他们都专注于各自的应用场景。
晨冉1688
·
2023-11-27 17:17
spark体验
前言spark作为
大数据计算
引擎,为大数据的计算提供了一套新的底层模型;从存储角度,它借助内存作为首选方式,比hadoop快百倍。记录下一些重点感悟。
scofielong
·
2023-11-27 12:00
技术精进之路
spark
window环境下安装spark
spark是
大数据计算
引擎,拥有SparkSQL、SparkStreaming、MLlib和GraphX四个模块。
FTDdata
·
2023-11-26 22:42
spark
spark
大数据
《暗时间》
图片发自App暗时间作者刘未鹏将大脑比作计算机的cpu,运行空闲进程是一天,运行
大数据计算
的程序也是一天,对于同样的一天,价值却是完全不一样。
李嘞个娇
·
2023-11-25 07:22
DataWorks实践笔记-从入门到精通
DataWorks是阿里出品的一站式大数据开发与治理平台,基于MaxCompute/EMR/MC-Hologres等
大数据计算
引擎,网络上的教程很多,但是一般都比较冗长。
qq_43548990
·
2023-11-22 13:58
云计算
做 SQL 性能优化真是让人干瞪眼
很多
大数据计算
都是用SQL实现的,跑得慢时就要去优化SQL,但常常碰到让人干瞪眼的情况。
小目标青年
·
2023-11-21 09:41
跟我一起玩转
SpringBoot
MySQL
性能优化
数据库
mysql
SQL
SPL
大数据流处理框架:Spark Streaming与Storm
大数据计算
的第一代框架Hadoop,是致力于解决离线计算的问题而产生的,在离线批处理上性能优异,但是在实时流处理上,一直被诟病。Hadoop之后,Spark和Storm在流处理上成为对手。
成都加米谷大数据
·
2023-11-20 12:20
人工智能大模型技术基础系列之:自动模型搜索与架构优化
基于
大数据计算
资源的计算能力以及海量数据的需求,为了解决这个难题,业界提出了许多基于大模型的解决方案。其中,一种典型的解决方案就是使用自动
禅与计算机程序设计艺术
·
2023-11-20 03:34
AI大模型应用实战
大数据
人工智能
语言模型
Java
Python
架构设计
大数据全攻略:10年老兵带你看尽MaxCompute大数据运算挑战与实践(下)
大数据计算
服务(MaxCompute,原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。
chuange6363
·
2023-11-19 19:05
大数据
运维
java
flink原理实战与性能优化 pdf_三万字长文 | Spark性能优化实战手册
《Spark性能优化:开发调优篇》《Spark性能优化:资源调优篇》《Spark性能优化:数据倾斜调优篇》《Spark性能优化:shuffle调优篇》Spark性能优化:开发调优篇在
大数据计算
领域,Spark
weixin_39685697
·
2023-11-19 18:07
flink原理实战与性能优化
pdf
spark算子
Spark数据倾斜
Spark数据倾斜调优数据倾斜是
大数据计算
中一个最棘手的问题,出现数据倾斜后,Spark作业的性能会比期望值差很多,两大直接后果:Spark任务OOM异常退出,数据倾斜拖慢整个任务的执行。
WovJf
·
2023-11-19 17:04
Spark
spark
大数据
分布式
2023 PostgreSQL 数据库生态大会:解读拓数派
大数据计算
系统及其云存储底座
11月3日-5日,由中国开源软件推进联盟PostgreSQL分会主办的中国PostgreSQL数据库生态大会在北京中科院软件所隆重举行。大会以”极速进化·融合新生”为主题,从线下会场和线上直播两种方式展开,邀请了数十位院士、教授、高管和社群专家,是2023不容错过的学习机会。拓数派作为PG生态的积极支持方,和PG分会的合作伙伴,受邀参与本次大会,拓数派简墨系统负责人杨峻峰在主论坛中发表演讲《大数据
OpenPie|拓数派
·
2023-11-18 21:27
数据库
postgresql
大数据
云原生
Spark调优 | Spark性能优化实战手册
《Spark性能优化:开发调优篇》《Spark性能优化:资源调优篇》《Spark性能优化:数据倾斜调优篇》《Spark性能优化:shuffle调优篇》Spark性能优化:开发调优篇在
大数据计算
领域,Spark
大数据技术架构
·
2023-11-17 10:39
大数据
hadoop
spark
java
面试
腾讯云轻量服务器和云服务器区别
轻量应用服务器适合中小企业或个人开发者搭建企业官网、博客论坛、微信小程序或开发测试环境,云服务器CVM适合更复杂如高并发网站、
大数据计算
、机器学习等复杂应用场景。
腮帮子疼
·
2023-11-16 23:36
腾讯云
腾讯云
服务器
微信小程序
ApachePulsar原理解析与应用实践(学习笔记一)
大数据系统往往需要处理流式数据,通过消息队列将数据进行采集和汇总,然后导入
大数据计算
引擎或者存储。目前各种云原生技术都比较丰富,但是消息中间件MQ的云原生技术目前了解到的只有pulsa
坚持学习的Lele
·
2023-11-16 14:17
学习
笔记
从0开始学大数据15-流式计算的代表:Storm、Flink、SparkStreaming
这些数据通常通过HDFS存储在磁盘上,使用MapReduce或者Spark这样的批处理
大数据计算
框架进行计算,一般完成一次计算需要花费几分钟到几小时的时间
源码头
·
2023-11-15 15:18
大数据
大数据
storm
flink
阿里云大数据利器Maxcompute学习之-假如你使用过hive
如果您是一个大数据开发工程师并且使用过hadoop的hive框架,那么恭喜您,阿里云的
大数据计算
服务-Maxcompute,您已经会了90%。
weixin_34221276
·
2023-11-11 19:28
大数据
java
数据库
阿里巴巴大数据运维平台实践
作者介绍:矮鱼,2012年开始从事互联网,现负责阿里
大数据计算
服务保障和平台研发,在运维领域内有丰富经验积累。秉承"Serviceunavailable?
weixin_33697898
·
2023-11-10 01:26
运维
大数据
大数据学习计划(不断改善)(小白入门指南)
大数据时代的出现简单的讲是海量数据同完美计算能力结合的结果,确切的说是移动互联网、物联网产生了海量的数据,
大数据计算
技术完美地解决了海量数据的收集、存储、计算、分析的问题。
qq_43958076
·
2023-11-09 11:52
大数据学习
Hadoop
linux
大数据技术
程序员
大数据开发
大数据
spark
Hive
数据分析
大数据
大数据学习
大数据开发
编程语言
程序员
Flink在Yarn模式部署和命令
但我们知道,Flink是
大数据计算
框架,不是资源调度框架,这并不是它的强项;所以还是应该让专业的框架做专业的事,和其他资源调度框架集成更靠谱。而在目前大数据生态中,国
weixin_lss
·
2023-11-09 10:10
flink
java
大数据
在Windows 10上安装单机版的Spark
一、Spark是什么Spark是一种通用的
大数据计算
框架,是基于RDD(弹性分布式数据集)的一种计算模型。是专门为大数据处理而设计的通用的计算引擎。
爱上雪茄
·
2023-11-09 08:08
大数据
数据库知识
JAVA知识
spark
大数据
分布式
Scala 入门
Scala入门1、概述1.1、为什么学习Scala1)Spark—新一代内存级
大数据计算
框架,是大数据的重要内容。2)Spark就是使用Scala编写的。
SuperQiu~
·
2023-11-09 06:07
Scala
scala
spark
java
阿里云认证 | 2023年ACP认证考试大揭秘
它涵盖了
大数据计算
服务、大数据开发与治理平台、实时计算、实时数据仓库、检索分析服务、数据湖、大数据分析与可视化等多个方面的内容。
HCIE考证研究所
·
2023-11-08 16:24
网络工程师
运维
华为认证
网络
服务器
阿里云
ACP
大数据入门:Hadoop HDFS存储原理
在大数据处理当中,最核心要解决的其实就是两个问题,大数据存储和
大数据计算
。在Hadoop生态当中,解决大数据存储,主要依靠就是HDFS,再配合数据库去完成。
成都加米谷大数据
·
2023-11-05 16:35
阿里blink架构
业务背景各大公司也都基于自身业务场景和数据规模定制了自己的
大数据计算
平台,但这些
大数据计算
平台大都是批处理系统,虽然具备海量数据处理能力,但在时效性上有明显的滞后。
生活的探路者
·
2023-11-04 13:02
小区乐项目——深度剖析 - 草稿
小区乐的使命就是解决这三个问题图片发自App一、项目背景1、社区里的生意(1)据高德地图
大数据计算
,截至2015年,统计出全国共30万个小区,而这个数字在城镇化发展的前提下仍在不断扩大,这也意味着社区里的这种邻里生意市场前景广阔
J_1175
·
2023-11-03 16:35
ACP复习——考试提纲(仅记录遗漏点)
一、
大数据计算
服务考试内容熟悉
大数据计算
服务基本概念,包括项目空间、表、分区、资源、任务、生命周期、实例、函数、ACID特性MaxCompute的输入和输出都是表生命周期只能指定到表级别,而不是在分区级设定生命周期在
职业转发抽奖选手
·
2023-11-03 14:51
ACP
big
data
hadoop
java
2018最新大数据的核心技术——spark的详细介绍
Spark性能优化概述Spark是基于内存的
大数据计算
,需要进行性能优化原因是CPU、内存、网络带宽出现了瓶颈。
大数据客栈yi
·
2023-11-02 05:52
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他