内存计算

如何学习Spark

Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台，它立足于内存计算，性能超过hadoop百倍，从多迭代批量处理出发，兼收并蓄数据仓库、流处理和图计算等多种计算范式，是罕见的全能选手。
SunnyMore·2019-01-23 19:22

Flink基础 -- 1.初识Flink

Spark掀开了内存计算的先河，也以内存为赌注，赢得了内存
TheBiiigBlue·2019-01-22 14:57

PostgreSQL消耗的内存计算方法

2018-07-18修改wal_buffers默认值为-1,此时wal_buffers使用的是shared_buffers,wal_buffers大小为shared_buffers的1/32autovacuum_work_mem默认值为-1,此时使用maintenance_work_mem的值1不使用wal_buffers、autovacuum_work_mem计算公式为:max_connecti
kmblack1·2019-01-12 00:10

【Spark系列】：Spark为什么比Hadoop快

一般的理解就是：Spark是基于内存的计算，而Hadoop是基于磁盘的计算；Spark是一种内存计算技术。果真如此吗？事实上，不光Spark是内存计算，Hadoop其实也是内存计算。
hxcaifly·2019-01-01 20:40

基于Kubernetes的Spark集群部署和测试

基于Kubernetes的Spark集群部署和测试一、构建Docker镜像二、在Kubernetes上创建Spark集群三、测试Spark的一个简单应用  Spark是新一代分布式内存计算框架，Apache
TheSky0108·2018-12-30 19:02

基于Hadoop大数据分析应用场景与实战

Spark采用了内存计算。从多迭代批处理出发，允许将数据载入内存作反复
沙漏半杯·2018-12-30 12:18

都贵玛：草原母亲，大爱无疆 | 功勋

针对存储墙限制，业界提出了一系列解决方案，比如采用高带宽的内存、更大的片上Cache、近内存计算、神经网络压缩等。这些方式虽然能够在一定程度上减少访存时间，但是并不能从根本上解决存储墙问题。
智东西·2018-12-19 00:00

如何成为大数据Spark高手

Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台，它立足于内存计算，性能超过Hadoop百倍，从多迭代批量处理出发，兼收并蓄数据仓库、流处理和图计算等多种计算范式，是罕见的全能选手。
Tank_Lo·2018-12-18 09:53

lambda and kappa architecture

流式处理往往使用内存计算，这意
Bitson·2018-12-17 10:51

都贵玛：草原母亲，大爱无疆 | 功勋

芯片存储优化路径按照不同的技术路线，可以分为近内存计算、存内计算、神经网络压缩等。近日
智东西·2018-12-17 00:00

Ubuntu 下 PySpark 安装

ApacheSpark是基于内存计算，这是他与其他几种大数据框架相比的一大优势。ApacheSpark是开源的，也是最著名的大数据框架之一。当它使用内存计算时，
庆CP3·2018-12-15 17:23

大数据技术原理与应用5Spark、流计算、图计算

第10讲Spark10.1Spark概述10.1.1Spark简介•Spark最初由美国加州伯克利大学（UCBerkeley）的AMP实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的
A记录学习路线·2018-12-15 00:00

java spark报错：Task not serializable

在spark内存计算JavaPairRDDresults=listRDD.reduceByKey(newFunction2(){@OverridepublicIntegercall(Integers1,
@TangXin·2018-12-14 11:30

一些概念之二

Spark作为Apache顶级的开源项目，是一个快速、通用的大规模数据处理引擎，和Hadoop的MapReduce计算框架类似，但是相对于MapReduce，Spark凭借其可伸缩、基于内存计算等特点，
kimibob·2018-12-10 15:42

大数据处理框架Spark简介

Spark最初由美国加州大学伯克利分校（UCBerkelely）的AMP（Algorithm，MachinesandPeople）实验室与2009年开发，是基于内存计算的大数据并行计算框架，可以用于构建大型的
Michaelhbjian·2018-12-09 15:47

Spark的误解-不仅Spark是内存计算，Hadoop也是内存计算

市面上有一些初学者的误解，他们拿Spark和Hadoop比较时就会说，Spark是内存计算，内存计算是Spark的特性。请问在
首席数据师·2018-12-07 15:02

Java Spark之创建RDD的两种方式和操作RDD

Spark是基于内存计算的大数据并行计算框架。Spark基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量廉价硬件之上，形成集群。
hellozhxy·2018-12-07 10:49

大数据实时阶段----【Spark01】

sparkApacheSpark™isaunifiedanalyticsengineforlarge-scaledataprocessing.apache的spark是一个针对于大规模数据处理的统一分析引擎spark是基于内存计算的大数据处理框架
CoderBoom·2018-12-01 16:32

Spark下FP-Growth

一旦建立了FP树之后就可以不断递归挖掘K频繁项集，对于Hadoop就会产生多次IO操作，严重影响程序运行效率，而Spark这种弹性式内存计算框架可以将中间输出和结果保存在内存中，不需要重复读写HDFS，
answer3lin·2018-11-26 10:12

Spark简单介绍

spark是基于内存计算的通用大数据并行计算框架，是一个快速、通用可扩展的大数据分析引擎。
zhanghouse1·2018-11-24 23:22

轻量级内存计算引擎

内存计算指数据事先存储于内存，各步骤中间结果不落硬盘的计算方式，适合性能要求较高，并发较大的情况。
raqsoft·2018-11-13 22:46

大数据算法（概述）

大数据算法的难度访问全部数据时间过长读取部分数据时间亚线性算法数据难以放入内存计算将数据存储到磁盘上外存算法仅基于少量数据进行计算空间亚线性算法单个计算机难以保存全部数据，计算需要整体数据并行处理并行算法计算机计算能力不足或者知识不足人来做
Ding_xiaofei·2018-10-22 08:21

大数据算法（概述）

大数据算法的难度访问全部数据时间过长读取部分数据时间亚线性算法数据难以放入内存计算将数据存储到磁盘上外存算法仅基于少量数据进行计算空间亚线性算法单个计算机难以保存全部数据，计算需要整体数据并行处理并行算法计算机计算能力不足或者知识不足人来做
Ding_xiaofei·2018-10-22 08:21

spark是什么？spark和MapReduce的区别？spark为什么比hive速度快？

spark是针对于大规模数据处理的统一分析引擎，通俗点说就是基于内存计算的框架spark和hive的区别？
老子天下最美·2018-10-21 11:25

轻量级内存计算引擎

内存计算指数据事先存储于内存，各步骤中间结果不落硬盘的计算方式，适合性能要求较高，并发较大的情况。
raqsoft·2018-10-18 18:39

Apache Flink-什么是Apache Flink？

其被设计出可以运行在所有常见的集群环境中，在任何规模之上进行内存计算。  下面，让我了解一下Flink架构的一些重要特性。
anickname·2018-10-09 00:00

一元多项式求和的两种实现（数组和链表）

利用数组在实现一元多项式加法，优点是操作简单，运算处理速度快，缺点是占用的内存大（此处内存大是指一开始所申请的内存计算机无法分配较大
stackldy·2018-10-01 20:16

Redis4.0内存容量评估

文章目录Redis容量评估Redis内存模型查看内存占用内存划分Redis数据内存Redis数据内存分配Redis数据内存计算StringHashSortedSetList其他内存命令memoryusagememorydoctormemorypurgeRedis
twypx·2018-09-29 14:13

ETL公用模块设计（MongoDB + spark + Python）

技术选型：MongoDB+spark+Python主要考虑行业的复杂度，还有不同的数据来源数据（包含txt，jpg，excel，rmdb）后期分析所需要的开发资源，内存计算，有效的发挥DBA脚本能力。
Kevin崔·2018-09-04 10:32

spark原理：概念与架构、工作机制

Spark特点：运行速度快，使用DAG执行引擎以支持循环数据流与内存计算，2、容易使用：多种语言编程，通过sparkshell进行交互式编程3、通用性：提供了完整而强大的技术栈，包括sQL查询、流式计算
black_hnu·2018-09-03 11:37

Spark教程(Python版)笔记

Spark教程(Python版)1.1Spark简介Spark是[基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序][6]。
beatificrob·2018-08-27 15:21

什么是spark

分布式计算框架，Mapreduce也是分布式计算框架，但是Spark要多加2个字，分布式内存计算框架，牛就牛在内存这块。
SpringCloud1·2018-08-12 11:47

大数据技术学习路线

目录学习规划技术说明大数据技术基础离线计算Hadoop流式计算Storm内存计算Spark机器学习算法学习规划总共分为五大部分，分别是：大数据技术基础离线计算Hadoop流式计算Storm内存计算Spark
哎呦、不错哦·2018-08-11 23:34

安装redis以及使用redis-benchmark进行压力测试

开源免费高性能（用内存计算，读写速度非常快，操作原子性即操作只有两种结果：成功（执行）和失败（不执行））。Redis支持数据持久化，将内存中的数据存在硬盘中，重启时可以再次加载。支持数据主从备份。
「已注销」·2018-08-09 16:24

Pandas高速低内存计算技巧

参加大数据竞赛过程中，自己琢磨了一些pandas高速低内存计算的技巧，总结于此。原则（1）磨刀不误砍柴工。对于运算时间过长的程序，一定要花功夫优化处理，提高运行速度。
Brikie·2018-07-31 21:34

一家初创公司如何将企业绩效管理带入新高度

一家初创的软件公司，不仅依靠自身的产品和服务实现了盈利，更搞定了内存计算、并行计算、流式计算、数据仓库这些看似不可能的任务。这家名为F-One的企业到底拥有怎样的背景?
foneplatform·2018-07-24 10:09

PySpark tutorial 学习笔记1——概述，SparkContext

它可以使用内存计算以实时分析数据。由于ApacheHadoopMapReduce仅执行批处理并且缺
daisyyyyyyyy·2018-07-19 10:23

YupDB 数据库系统

HDFS解决了大数据的分布式存储问题，MapReduce使批处理方式访问大数据成为可能，Hive引入了SQL接口将大数据直接开放给广大的数据分析人员，Spark的内存计算技术大大地提高了运算速度，而YupDB
_xingzhe_·2018-07-12 13:42

大数据处理架构

按照图中的分类其实就是说明了数据存储的结构，而特别要说的是流数据，它的核心就是数据的连续性和快速分析性；计算层：内存计算中的Spark是UCBerkeley的最新作品，思路是利用集群中的所有内存将要处理的数据加载其中
x_no_one·2018-07-02 23:59

大数据项目实战必备技能之Spark

导读：spark是基于内存计算的大数据并行计算框架，对于spark，Apachespark官方给出的定义：spark是一个快速和通用的大数据引擎，可以通俗的理解成一个分布式的大数据处理框架，它基于Rdd
琳达老师·2018-06-22 16:35

spark概念详解以及四大核心介绍！！！

Spark特点：大数据分布式计算框架，内存计算分布式计算内存计算中间结果在内存迭代容错性多计算范式四大核心扩展功能：SparkSQL：Sqlonhadoop系统,提供交互式查询、能够利用传统的可视化工具在
忘川风华录·2018-06-19 15:17

JAVA大数据学习路线

学习规划总共分为五大部分，分别是：大数据技术基础离线计算Hadoop流式计算Storm内存计算Spark机器
贱贱的剑剑·2018-06-06 20:40

大数据知识:Spark入门

目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、SparkStreaming、GraphX、MLlib等子项目，Spark是基于内存计算的大数据并行计
Oeljeklaus·2018-06-02 19:49

Spark技术原理

Spark概述Spark简介：Spark最初由美国加州伯克利大学（UCBerkeley）的AMP实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。
曹世宏的博客·2018-06-02 14:42

大数据笔记（六）：Spark

spark简介Spark具有如下几个主要特点：•运行速度快：使用DAG执行引擎以支持循环数据流与内存计算•容易使用：支持使用Scala、Java、Python和R语言进行编程，可以通过SparkShell
Ding_xiaofei·2018-05-30 23:16

Spark入门

Spark简介Spark是大数据相关的最活跃的开源项目，是继MapReduce框架之后的下一代大数据处理框架；Spark是一个开源的内存计算框架，类似于MapReduce，用于使用商业服务器集群来处理和分析数据
Taoyongpan·2018-05-23 22:25

TalkingData的Spark On Kubernetes实践

但是相对于MapReduce，Spark凭借其可伸缩、基于内存计算等特点，以及可以直接读写Hadoop上任何格式数据的优势，使批处理更加高效，并有更低的延迟。
Docker_·2018-05-14 00:00

Spark Core

ApacheSpark是一个开源的集群计算框架，使数据计算更快（高效运行，快速开发）1.2Spark比Hadoop快的两个原因第一，内存计算第二，DAG（有向无环图）2.Spark运行模式（四种）Local
脚丫先生·2018-05-02 22:54

PyTorch 重磅更新，不只是支持 Windows

翻译|林椿眄出品|AI科技大本营（公众号ID：rgznai100）这次版本的主要更新一些性能的优化，包括权衡内存计算，提供Windows支持，24个基础分布，变量及数据类型，零维张量，张量变量合并，支持
AI科技大本营·2018-04-26 15:41

PyTorch 重磅更新，不只是支持 Windows

翻译|林椿眄出品|AI科技大本营（公众号ID：rgznai100）这次版本的主要更新一些性能的优化，包括权衡内存计算，提供Windows支持，24个基础分布，变量及数据类型，零维张量，张量变量合并，支持
AI科技大本营·2018-04-25 00:00
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他