内存计算

【大数据入门核心技术-Spark】（一）Spark介绍

速度快2、易用性3、通用性4、兼容性一、Spark概述ApacheSpark™isaunifiedanalyticsengineforlarge-scaledataprocessing.spark是基于内存计算的大数据处理框架
forest_long·2022-12-10 11:34

Ignite与Spark内存计算平台对比分析

Ignite和Spark，如果笼统归类，都会归类于内存计算平台，两者功能上虽然有交集，并且Ignite也会对Spark进行支持，但是不管是从定位、还是从功能上来说，差别巨大，适用领域有显著的区别。
weixin_34235457·2022-12-06 15:31

全面对比，深度解析 Ignite 与 Spark

Ignite和Spark，如果笼统归类，都可以归于内存计算平台，然而两者功能上虽然有交集，并且Ignite也会对Spark进行支持，但是不管是从定位上，还是从功能上来说，它们差别巨大，适用领域有显著的区别
小迪和夫人·2022-12-06 15:28

《安富莱嵌入式周报》第248期：2022.01.10--2022.01.16

往期周报汇总地址：链接目录本周发布了两期视频教程：视频版图文版1、ARM第一款采用新安全分区架构的Morello评估板现已交付给研究人员2、三星实现基于MRAM的内存计算设备3、Qt6.3Alpha开始面向商业用户推出新版
嵌入式系统OS·2022-12-05 11:35

hive不在同一台机 hue_【Impala篇】---Hue从初始到安装应用

基于Hive使用内存计算，兼顾数据仓库、具有实时、批处理、多并发等优点是CDH平台首选的PB级大数据实时查询分析引擎.一般公司选择使用CDH部署集群，可以考虑下Impala。
weixin_39557087·2022-11-29 16:26

【Paraview教程】第一章安装与基础介绍

此外，ParaView开发使用分布式的内存计算资源，能够实现对非常大的数据集的分析与处理。它可以在超级计
pinn山里娃·2022-11-28 19:17

clickhouse 多维分析函数

前言clickhouse的强大之处在于充分利用内存计算的高效性从而快速得到计算结果，尤其是对于一些需要做聚合分析、统计等场景下，clickhouse提供了一些按维度分析的函数，本文将介绍clickhouse
逆风飞翔的小叔·2022-11-28 13:05

Spark DAG及内存迭代计算

文章目录DAGJob与Action之间的关系DAG和分区DAG宽窄依赖DAG宽窄依赖的划分Spark内存迭代计算总结Spark是怎么做内存计算的？DAG的作用？Stage阶段划分作用？
蜜桃上的小叮当·2022-11-26 23:48

大数据时代需要学习些什么？

那么说到大数据具体需要学习些什么，简单来说，分为6步，大数据开发入门，大数据核心基础，千亿级数仓技术，PB级内存计算，亚秒级实时计算，大厂面试。
我想去吃ya·2022-11-23 21:23

《深度学习》之 卷积神经网络 详解

全连接神经网络出现的维度灾难，内存计算量巨大，训练困难（图片来自网络）什么是卷积神经网络?
往事不回头，余生不将就·2022-11-23 16:36

一文读懂各种分布式机器学习框架的区别与联系

1.数据分布式机器学习（例如spark-mllib）：Spark是使用scala实现的基于内存计算的大数据开源集群计算环境.提供了java,scala,python,R等语言的调用接口.Spark的主要特点还包括
Liao_Wenzhe·2022-11-23 08:58

SingleStore数据库，离开 HTAP，人工智能是不切实际的

之前介绍了HTAP数据库的发展历史，其中MemSQL就是最早的一波提出行列混存+内存计算的数据库，也是在2014年要发力HTAP的，恰巧和Gartner正式提出HTAP概念是同一年。
自橙一派·2022-11-23 07:17

2015年计算机大会----顶级盛宴

CNCC2015大会日程地点：合肥滨湖国际会展中心&安徽世纪金源大饭店10月21日9:00-22:00报到Tutorial:大数据应用实战培训——Spark分布式内存计算框架解析会展中心主馆会展中心20317
Alec-Wong·2022-11-19 19:40

第10章 Spark（全面解读Spark架构体系）

概述Spark简介Spark诞生于2009年美国加州伯克利分校的AMP实验室，基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。
wyz191·2022-10-30 07:22

Android 性能优化-Bitmap知识梳理 & 高效加载

一、Bitmap占用内存计算bitmap的内存计算可由下面的计算公式得出来：Bitmap内存占用≈像素数据总大小=图片宽×图片高×(设备dpi/资源目录dpi)^2×单个像素的字节大小其中单个像素的字节大小由
JackDaddy·2022-10-28 14:27

高性能图片优化方案

1.1图片占用内存介绍1.2加载网络图片流程1.3三方库加载图片逻辑1.4从网络直接拉取图片1.5加载图片的流程1.6Bitmap能直接存储吗1.7Bitmap创建流程1.8图片框架如何设计02.图片内存计算方式
·2022-10-16 12:50

Spark计算框架的优势及核心功能

如果说MapReduce计算框架的出现是为了解决离线计算问题，那么Spark计算框架的出现则解决了实时计算问题，接下来先初步认识Spark内存计算框架。
梯度科技·2022-10-13 15:01

java：数据结构和算法的重要性

数据结构和算法的重要性1)算法是程序的灵魂，优秀的程序可以在海量数据计算时，依然保持高速计算2)一般来讲程序会使用了内存计算框架(比如Spark)和缓存技术(比如Redis等)来优化程序,再深入的思考一下
居之无倦，行之以忠·2022-10-05 07:08

大数据apache-spark问题总结

Spark四大特点1-运行速度快：方面一：spark是基于内存计算的，采用DAG有向无环图进行无环计算操作，中间计算的结果可以保存在内存中方面二：spark是基于线程运行的，线程的启动和销毁速度要高于进程的效率的
青春程序不迷路·2022-09-28 07:03

1.Spark 基础解析之概述及集群安装

由Scala语言编写目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、SparkStreaming、GraphX、MLib、SparkR等子项目，Spark是基于内存计算的大数据
harveybd·2022-09-24 00:46

hive on tez学习之官网和源码

一般来说mr有点拉跨主要基于磁盘，spark是基于内存计算，通过spark划分宽窄依赖并且形成dag图，然后执行。其实tez和spark本身是差不多的只不过可能底层思想不一样，现在来学习。
cclovezbf·2022-09-21 13:33

大数据开发必须掌握哪些技术？

编程语言（Java，python，R语言等）1、大数据离线处理架构Hadoop（基于JAVA）开源免费，懂JavaSE；2、大数据实时计算的架构storm（基于JAVA）开源免费，懂JavaSE；3、大数据内存计算
juan333·2022-09-07 09:06

漏洞通告 | Apache Spark UI命令漏洞；Grails远程代码漏洞；Confluence Questions漏洞

漏洞通告】ApacheSparkUI命令注入漏洞基础信息CVECVE-2022-33891等级高危类型命令注入漏洞详情ApacheSpark是美国阿帕奇（Apache）软件基金会的一款支持非循环数据流和内存计算的大规模数据处理引擎
众至科技技术开放区·2022-08-16 19:08

StoneDB 2022年版本发布里程碑

StoneDB已于2022年6月29日正式开源，以下是2022年内，StoneDB主要版本发布计划：2022年6月29日版本发布：StoneDB_5.6_v1.0.0核心特性：一体化行列混存+内存计算架构采用在一个系统
·2022-08-05 15:09

Hadoop总结

目录大数据概述Hadoop大数据开发平台资源管理YARN分布式文件系统HDFS非关系型数据库NOSQL分布式数据库HBASE批处理和MapReduce数据仓库查询分析和Hive基于内存计算的Spark流计算和
m0_67403240·2022-07-29 19:09

Hadoop总结

目录大数据概述Hadoop大数据开发平台资源管理YARN分布式文件系统HDFS非关系型数据库NOSQL分布式数据库HBASE批处理和MapReduce数据仓库查询分析和Hive基于内存计算的Spark流计算和
m0_54853420·2022-07-28 11:51

天翼云Web应用防火墙（边缘云版）支持检测和拦截Apache Spark shell命令注入漏洞

漏洞描述ApacheSpark是美国阿帕奇（Apache）软件基金会的一款支持非循环数据流和内存计算的大规模数据处理引擎,如果ApacheSparkUI启用了ACL，则HttpS
·2022-07-26 15:15

开发动态 | StoneDB 2022年版本发布里程碑

StoneDB已于2022年6月29日正式开源，以下是2022年内，StoneDB主要版本发布计划：2022年6月29日版本发布：StoneDB_5.6_v1.0.0核心特性：一体化行列混存+内存计算架构采用在一个系统
·2022-07-21 16:13

Hadoop 生产调优 (一) --------- HDFS 核心参数

目录一、NameNode内存生产配置二、NameNode心跳并发配置三、开启回收站配置一、NameNode内存生产配置NameNode内存计算每个文件块大概占用150byte，一台服务器128G内存为例
在森林中麋了鹿·2022-07-21 07:23

集群计算——Spark-Spark Core 、Spark Streaming、Spark SQL、MLlib、Spark集群管理器

Spark发源于美国美国加州伯克利分校AMPLab的大数据分析平台，它立足于于内存计算，从多迭代批量处理出发，兼顾数据仓库、流处理和图计算等多种计算范式，是大数据系统邻域的全栈计算平台。
阿洋太爱大数据·2022-07-16 15:01

详解C语言结构体,枚举,联合体的使用

目录一、匿名结构体二、结构体的自引用1、声明时不要自己引用自己2、结构体重命名时不能使用重命名三、结构体内存对齐规则1、结构体内存计算2、结构体嵌套3、通过调整结构体成员顺序，压缩内存四、存在内存对齐的原因五
·2022-07-15 12:28

Spark大数据分析与实战课后习题参考答案

项目一：一、选择题DCCDAD二、简答题1、HadoopMapReduce要求每个步骤间的数据序列化到磁盘，所以I/O成本很高，导致交互分析和迭代算法开销很大；Spark提供了内存计算，把中间结果放到内存中
高校知识店铺合集汇总·2022-07-14 15:44

大数据高级开发工程师——Spark学习笔记（1）

文章目录Spark内存计算框架SparkCoreSpark是什么？
yangwei_sir·2022-07-08 11:36

Java 如何远程调用 SPL 脚本

实现思路通过下图一目了然：部署服务器服务器是运行在Java平台上面向分析型的高性能数据库，作为高性能计算数据仓库，服务器可以在离线跑批、在线查询、多维分析和内存计算等方面提供高效的计算输出，帮助用户解决计算中的多种问题
润乾软件·2022-07-08 07:06

Hadoop总结

目录大数据概述Hadoop大数据开发平台资源管理YARN分布式文件系统HDFS非关系型数据库NOSQL分布式数据库HBASE批处理和MapReduce数据仓库查询分析和Hive基于内存计算的Spark流计算和
ArimaMisaki·2022-07-03 13:55

数据分析新动力——国内首款开源一体化实时HTAP数据库石原子StoneDB发布

该产品是一款支持行列混存+内存计算的HTAP数据库，采用完全自主研发的存储和计算引擎，可将MySQL的分析性能提高100倍；其创新的一体化HTAP架构，
CSDN资讯·2022-06-30 14:46

TalkingData的Spark On Kubernetes实践

但是相对于MapReduce，Spark凭借其可伸缩、基于内存计算等特点，以及可以直接读写Hadoop上任何格式数据的优势，使批处理更加高效，并有更低的延迟。
weixin_34290352·2022-06-14 10:34

C/C++基本数据类型 所占字节数 在内存中存储方式 内存 指针

了解内存模型可以把指针用得炉火纯青，各种对内存基本单元——字节（byte）随意操作1内存1.1内存、内存地址、地址空间1.1.1内存计算机的内存是一块用于存储数据的空间，由一系列连续的存储单元组成，每个存储单元为
rrr2·2022-06-08 14:03

Swift基础语法（四）枚举和可选项的认识

Swift基础语法文章汇总本文介绍枚举类型和可选项的认识和使用主要内容：枚举的简单使用枚举的内存计算可选项的简单使用1、枚举的简单使用1.1基本定义代码：//1、定义一个枚举类型enumDir1:String
iOS之文一·2022-05-20 00:11

docker 内存监控与压测方式

内存的监控使用的是cadvisor，计算方式也是使用cadvisor的页面计算方式，所以决定对docker的内存计算做下研究。
·2022-05-17 19:17

墨天轮访谈 | 拓扑岭雷鹏：数据库新思维下的弹性压缩与内存计算

分享嘉宾：拓扑岭CEO、创始人雷鹏整理：墨天轮社区导读这两年云原生的概念非常火爆，相应的，就有了“云原生数据库”的概念，但是，绝大多数自称“云原生”的数据库，只是把“数据库软件”搬到云上，变成“数据库SaaS”，但是在其架构上，并未充分利用“云计算”的各种优势。作为一款专为云原生而生的数据库，今天我将为大家解读在新时代背景下，ToplingDB如何充分利用共有云存储和计算的弹性伸缩，真正为企业实现
·2022-04-29 14:33

Android静态资源使用建议-图片篇

图片内存计算方式1，其中单个像素的大小跟图片的存储位数有关，如ARGB_8888为32位，占用4个字节，RGB_
Android_杜小菜·2022-04-24 17:21

Spark SQL底层执行流程详解

一、ApacheSparkApacheSpark是用于大规模数据处理的统一分析引擎，基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量硬件之上
五分钟学大数据·2022-04-22 08:03

Spark SQL底层执行流程详解

ApacheSpark二、SparkSQL发展历程三、SparkSQL底层执行原理四、Catalyst的两大优化一、ApacheSparkApacheSpark是用于大规模数据处理的统一分析引擎，基于内存计算
五分钟学大数据·2022-04-21 14:00

Spark与Flink 架构之间对比区别

•都基于内存计算；•都有统一的批处理和流处理APl，都支持类似SQL的编程接口；•都支持很多相同的转换操作，编程都是用类似于ScalaCollectionAPl的函数式编程模式；•都有完善的错误恢复机制
·2022-04-07 15:19

【大数据】Spark 体系（一）

Spark是一款分布式内存计算的统一分析引擎。其特点就是对任意类型的数据进行自定义计算。Spark可以计算：结构化、半结构化、非结构化等各种类型的数据结构，同时也支持使用Python、J
柠檬小帽·2022-03-25 07:21

历时3个月，斩获京东、新浪，Android从入门到精通

3、IdleHandler调用时机4、Bitmap内存计算规则5、glide默认Bitmap的C
m0_65322636·2022-03-17 05:46

大数据开发面试：impala和hive的比较

Impala:Cloudera公司推出，提供对于hdfs，hbase数据的高性能，低延迟的交互式sql查询功能基于hive，使用内存计算，兼顾数据仓库，具有实时，批处理，多并发等优点是CDH首选的PB级大数据实时查询
道法—自然·2022-02-28 15:44

vgg16卷积层的计算量_vgg16模型参数量和使用的的内存计算

关于VGG-16模型的内存和参数的计算过程如下。INPUT:[224x224x3]memory:224*224*3=150Kweights:0CONV3-64:[224x224x64]memory:224*224*64=3.2Mweights:(3*3*3)*64=1,728CONV3-64:[224x224x64]memory:224*224*64=3.2Mweights:(3*3*64)*64
weixin_39892447·2022-02-22 07:26

大数据时代，Flink是如何屹立于时代潮头的？你都了解Flink多少呢

大数据计算引擎的发展经历了几个过程，从第1代的MapReduce，到第2代基于有向无环图的Tez，第3代基于内存计算的Spark，再到第4代的Flink。
Java领域指导者·2022-02-21 10:29
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他