内存计算

【Spark】Spark基础教程

Spark最初由美国加州伯克利大学的AMP实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。
饥渴的小苹果·2020-07-09 22:01

Spark入门（Python版）

Spark是个通用的集群计算框架，通过将大量数据集计算任务分配到多台计算机上，提供高效内存计算。如果你熟悉Hadoop，那么你知道分布式计算框架要解决两个问题：如何分发数据和如何分发计算。
oLevin·2020-07-09 21:44

什么是SAP HANA？

楔子“不是所有的内存计算，都叫HANA”1.HANA到底是什么？提到SAPHANA，很多人的第一印象会是“内存计算”，确实如此，内存计算是HANA的最大特色之一。但HANA到底是什么呢？
SAP-nkGavin·2020-07-09 21:21

Spark学习1-入门必知

参考子雨大数据之Spark入门教程一、Spark简介spark是由伯克利于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。
sherlockerr·2020-07-09 14:51

Spark

一、运行模式spark是基于内存计算的计算框架，性能很强悍，但是它支持单机模式，同时也支持集群模式，它的运行模式有好多种，为了不混淆方便区分，这里进行一些总结。
bingoabin·2020-07-09 13:19

受用！关于Intel傲腾/闪存的一系列金句

可以让更多的数据更靠近CPU，顺应了内存计算的潮流。Optane单价贵，但value更多，
大话存储·2020-07-09 12:37

Spark学习（1）——概述

Spark特点：高效（比MapReduce快10~100倍）内存计算引擎，提供Cache机制来支持需要反复迭代计算或者多次数据共享，减少数据读取的IO开销DAG引擎，减少多次计算之间中间结果写到HDFS
游骑小兵·2020-07-09 10:45

智能RDD管理--用于在Spark中实现高性能内存计算

IntelligentRDDManagementforHighPerformanceIn-MemoryComputinginSpark最近在研究一些Spark成本优化的东西，看了一些论文稍微总结一下思路，方便思维拓宽和希望与大家交流！本篇博文参考自：WWW'17CompanionProceedingsofthe26thInternationalConferenceonWorldWideWebCom
0过把火0·2020-07-09 09:06

Spark on Yarn集群搭建详细过程

由于最近学习大数据开发，spark作为分布式内存计算框架，当前十分火热，因此作为首选学习技术之一。Spark官方提供了三种集群部署方案：Standalone,Mesos,Yarn。
yjh314·2020-07-09 03:19

Hello Spark ~

Spark是一种可扩展的数据分析平台，它整合了内存计算的基元，它在性能方面更具优势。Spark是在Scala语言中实现的，并且利用了该语言，为数据处理提供了独一无二的环境。
weixin_34376562·2020-07-08 18:02

高通内存优化计算

内存计算内存映射计算步骤通过命令“adbshelldmesg>dmesg.txt”收集内核日志，即dmesg日志通过命令收集meminfoadbshellcat/proc/meminfo>Meminfo.txt
ldinvicible·2020-07-07 13:19

android 基础知识点

ContentResolver来获取ContentProvider提供的数据，同时注册ContentObserver监听Uri数据的变化描述一次网络请求过程（三次握手，四次挥手）bitmap相关（Bitmap内存计算等
种树的码农·2020-07-07 05:27

Storm与Spark、Hadoop三种框架对比

1.Storm是最佳的流式计算框架，Storm由Java和Clojure写成，Storm的优点是全内存计算，所以它的定位是分布式实时计算系统，按照Storm作者的说法，Sto
隨意的風·2020-07-07 01:09

1.C语言内存总结

1.1内存计算机程序由代码加数据组成，程序运行需要在内存中运行。而计算机程序运行的过程就是一个个函数执行的过程，通过加工数据得到一定的结果。
掌柜Yang·2020-07-06 14:14

presto使用及介绍

presto优势低延迟，高并发，纯内存计算引擎，查询效率是hive的数十倍presto查询速度规模数G到数P规
zhou12314456·2020-07-06 12:30

内存计算-SPARK

by清华大学为什么并行计算？计算量大单进程算得不够快，多CPU算内存需求大单机内存不够大内存随机访问比硬盘随机访问快100,000倍I/O量大单个硬盘读写太慢，多个硬盘读写并行计算的挑战编程困难并行性识别与表达，难写同步语句，难写对性能调优难，难写快（并行计算目标就是提升性能，性能调优难）-负载平衡局部性（高速缓存cache，使用cache可以快10倍左右）容错难并行计算中的局部性矩阵相乘，按列访
SeanC52111·2020-07-06 12:46

Hadoop3.0新特性介绍，比Spark快10倍的Hadoop3.0新特性

其实最大改变的是hdfs,hdfs通过最近black块计算，根据最近计算原则，本地black块，加入到内存，先计算，通过IO，共享内存计算区域，最后快速形成计算结果。1.Hadoop3.0
weixin_34384915·2020-07-06 01:12

Apache Ignite（一）：简介以及和Coherence、Gemfire、Redis等的比较

>>>1.Ignite简介ApacheIgnite内存数据组织框架是一个高性能、集成化和分布式的内存计算和事务平台，用于大规模的数据集处理，比传统的基于磁盘或闪存的技术具有更高的性能，同时他还为应用和不同的数据源之间提供高性能
weixin_33978016·2020-07-05 23:19

垃圾回收(GC)浅谈

关于内存计算机通过两个机制，去实现内存的高效使用。第一种机制是虚拟内存。硬盘的容量其实是远远大于内存的(RAM)，虚拟内存会在内存不足的时候，把不经常访问的内存的数据写到硬盘里。
weixin_33763244·2020-07-05 22:05

Hadoop、Storm、Spark这三个大数据平台有啥区别，各有啥应用场景？

Storm是最佳的流式计算框架，Storm由Java和Clojure写成，Storm的优点是全内存计算，所以它的定位是分布式实时计算系统，按照Storm作者的说法，Storm对于实时计算的意义类似于Hadoop
斗者_2013·2020-07-05 19:02

Android源码解析之Bitmap占用内存正确的计算公式 你知道吗

Bitmap前言Bitmap简介像素存储方式图片压缩格式Bitmap内存计算获取Bitmap所占内存计算所占内存举例Bitmap.getAllocationByteCountBitmap.getByteCountBitmap.getRowBytesBitmap.Bitmap_rowBytesSkBitmap.cpp
没有鱼了·2020-07-05 04:04

【免费】价值4000元的大数据/机器学习课程+网盘高速下载工具，仅此一次

相反，对于机器学习而言，越多的数据会越可能提升模型的精确性，同时，复杂的机器学习算法的计算时间也迫切需要分布式计算与内存计算这样的关键技术。因此，机器学习的兴盛也离不开大数据的帮助。
l7H9JA4·2020-07-04 20:09

内存计算

by清华大学为什么并行计算？计算量大单进程算得不够快，多CPU算内存需求大单机内存不够大内存随机访问比硬盘随机访问快100,000倍I/O量大单个硬盘读写太慢，多个硬盘读写并行计算的挑战编程困难并行性识别与表达，难写同步语句，难写对性能调优难，难写快（并行计算目标就是提升性能，性能调优难）-负载平衡局部性（高速缓存cache，使用cache可以快10倍左右）容错难并行计算中的局部性矩阵相乘，按列访
SeanC52111·2020-07-04 14:39

linux内存计算

详细内容请看，转载http://linuxperf.com/?p=142，本篇为阅读后的理解linux内存分为三部分，内核，进程，cachelinux内核：内核所用内存的静态部分，比如内核代码、页描述符等数据在引导阶段就分配掉了，并不计入MemTotal里，而是算作Reserved(在dmesg中能看到)【Slab+VmallocUsed+PageTables+KernelStack+Hardwa
ctylihuai·2020-07-04 14:16

Android 性能优化--内存优化之Bitmap优化

因此，本文从常规的Bitmap使用，到Bitmap内存计算进行了介绍，最后分析了Bitmap的源码和其内存模型在不同版本上的变化。Bitmap的使用一般来说，一个对象的
Simon_Crystin·2020-07-04 08:48

大数据开发必须掌握哪些技术？

编程语言（Java，python，R语言等）1、大数据离线处理架构Hadoop（基于JAVA）开源免费，懂JavaSE；2、大数据实时计算的架构storm（基于JAVA）开源免费，懂JavaSE；3、大数据内存计算
✾ ͡冷೨夏ʚɞ͜✿·2020-07-04 01:21

大数据计算引擎——Flink学习

~~~https://www.ibm.com/developerworks/cn/opensource/os-cn-apache-flink/index.html大数据计算引擎的发展：Spark掀开了内存计算的先河
凝眸伏笔·2020-07-02 14:30

Flink（一）Flink的入门简介

Spark掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark的火热或多或少的掩盖了其他分布式计算的系统身影。就像Flink，也就在这个时候默默的发展着。
dengshuabi6933·2020-07-01 22:39

Oracle内存数据仓库--Exalytics

OracleExalytics的硬件架构-内存计算的基础Or
cuigou1936·2020-07-01 21:35

Impala--组件与架构（一）

基于hive使用内存计算，兼顾数据仓库，具有批处理，实时，多并发的优点。用人话翻译一下高性能：基于内存。低延迟：不会低到ms级别。
风行无极·2020-07-01 19:21

阿龙学堂-Flink简介

Spark掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark的火热或多或少的掩盖了其他分布式计算的系统身影。就像Flink，也就在这个时候默默的发展着。
阿龙学堂·2020-07-01 15:04

Flink实时流计算入门系列（一）

Spark掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark的火热或多或少的掩盖了其他分布式计算的系统身影。就像Flink，也就在这个时候默默的
一点IT技术·2020-07-01 06:37

mapreduce杂谈

下面对近期所学的一些mapreduce的相关知识稍稍进行一个总结【1】常见的计算框架mapreduce离线计算框架storm流式计算框架（进行实时计算）spark内存计算框架（进行快速计算）【2】mapreduce
先生_吕·2020-06-30 21:35

如何学习大数据以及学习曲线

hadoop实现了一个分布式文件系统-高延迟批处理大吞吐-hadoop的mapreduce程序用Java写Spark基于内存计算的开源的集群计算平台-低延迟小文件处理-spark的mapreduce程序用
Aric红尘醉·2020-06-30 16:34

MapReduce编程案例系列篇（01-15）

由于本人最开始接触大数据工作，主要以写MapReduce程序为主，虽然现在有流行的言论称MapReduce这种运行很慢的分布式计算编程框架将要被各种内存计算框架取代。
中琦2513·2020-06-30 16:29

机器学习和大数之间有什么区别？

相反，对于机器学习而言，越多的数据会越可能提升模型的精确性，同时，复杂的机器学习算法的计算时间也迫切需要分布式计算与内存计算这样的关键技术。因此，机器学习的兴盛也离不开大数据的帮助。
人工智能爱好者·2020-06-30 16:29

spark-learn-01

spark是基于内存计算的分布式大数据计算框架；spark执行特点中间结果输出到内存，而非硬盘；抽象出分布式内存存储结构RDD；RDD支持粗粒度写操作，同时对读操作，能细化到每条记录；能控制数据在不同节点上的分区
_zhangjian_·2020-06-30 13:00

Java大数据学习

学习规划总共分为五大部分，分别是：大数据技术基础离线计算Hadoop流式计算Storm内存计算Spark机器
WizradMyL·2020-06-30 04:23

大数据-spark概述

目前，Spark生态系统已经包含多个子项目的集合，其中包含SparkSQL、SparkStreaming、GraphX、MLlib等子项目，Spark是基于内存计算的大数据并行计算框架。
xiaoqiang17·2020-06-30 00:00

impala介绍

基于Hive，使用内存计算，兼顾数据仓库、具有实时、批处理、多并发等优点。是CDH平台首选的PB级大数据实时查询分析引擎。优点1.基于
_张不帅·2020-06-29 22:08

新一代大数据处理引擎 Apache Flink

Spark掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark的火热或多或少的掩盖了其他分布式计算的系统身影。就像Flink，也就在这个时候默默的发展着。
cache007·2020-06-29 22:07

pyspark开发总结笔记

Spark是分布式内存计算，能够依据各类操作创建一个计算DAG图，数据通过DAG处理后生成结果。对spark的数据操作分为两类，一类是转换（transformation）操作，比如Filt
白熊花田·2020-06-29 18:30

Flink自学教程

Spark掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark的火热或多或少的掩盖了其他分布式计算的系统身影。就像Flink，也就在这个时候默默的发展着。
weixin_43342277·2020-06-29 08:18

大数据技术学习笔记

大数据学习笔记一、hadoop2.0项目结构1hdfs分布式文件系统2yarn资源调度系统3mapReduce离线数据分析4Tez组成有向无环图DAG计算5Spark分布式内存计算6Hive数据仓库，用
xinxin之火·2020-06-29 06:15

大数据利用hive on spark程序操作hive

hiveonspark作者：小涛Hive是数据仓库，他是处理有结构化的数据，当数据没有结构化时hive就无法导入数据，而它也是远行在mr程序之上的基于磁盘计算，然而我们今天来让hive远行在spark上，基于内存计算
TTT424·2020-06-28 23:13

如何准确计算Spark On Yarn资源消耗 - spark On Yarn内存计算

sparkonyarn内存计算摘要：相信每个写spark的sparker都有过sparkonyarn的任务提交经历，或许在你集群资源够多的情况下，我们只关注分配的资源是否能另任务顺畅的跑起来，而不会去关注生成一个
天街小雨入江南·2020-06-28 22:55

Bitmap占有内存计算

Android中一张图片（BitMap）占用的内存主要和以下几个因数有关：图片长度，图片宽度，单位像素占用的字节数。一张图片（BitMap）占用的内存=图片长度x图片宽度x单位像素占用的字节数其中单位像素占用的字节数由其参数BitmapFactory.Options的inPreferredConfig变量决定。inPreferredConfig是一个枚举值：EnumValues介绍ALPHA_8此
Jayden_·2020-06-28 07:04

Spark 介绍（基于内存计算的大数据并行计算框架）

Spark介绍（基于内存计算的大数据并行计算框架）Hadoop与Spark行业广泛使用Hadoop来分析他们的数据集。
weixin_33895516·2020-06-28 07:59

Spark认识&环境搭建&运行第一个Spark程序

摘要：Spark作为新一代大数据计算引擎，因为内存计算的特性，具有比hadoop更快的计算速度。
weixin_33827731·2020-06-28 06:12

大数据OLAP引擎对比

Presto：内存计算，mpp架构PB级别数据presto适合pb级的海量数据查询分析，不是说把pb的数据放进内存，比如一张pb表，查询count，vag这种有个特点，虽然数据很多，但是最终的查询结果很小
weixin_33815613·2020-06-28 05:23
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他