内存计算

Spark的Python编程

得益于其内存计算架构和DAG任务调度机制，尽管
openthings·2016-03-02 07:00

微信红包技术分析

计算：微信金额是拆的时候实时算出来，不是预先分配的，采用的是纯内存计算，不需要预算空间存储。采取实时计算金额的考虑：预算需要占存储，实时效率很高，预算才效率低。
RunforLove·2016-02-18 15:00

微信红包技术分析

计算：微信金额是拆的时候实时算出来，不是预先分配的，采用的是纯内存计算，不需要预算空间存储。采取实时计算金额的考虑：预算需要占存储，实时效率很高，预算才效率低。
RunforLove·2016-02-18 15:00

大数据架构图及主要技术简介

MongoDB：是目前非常流行的一种非关系型(NoSQL)数据库YARN：这是新一代的MapReduce计算框架，简称MRv2，它是在第一代MapReduce的基础上演变而来的Spark：是一个基于内存计算的开源的集群计算系统
运维警报·2016-02-17 09:06

分布式内存文件系统Tachyon介绍

1、Tachyon介绍1.1 Tachyon简介随着实时计算的需求日益增多，分布式内存计算也持续升温，怎样将海量数据近乎实时地处理，或者说怎样把离线批处理的速度再提升到一个新的高度是当前研究的重点。
莫问viva·2016-02-16 11:00

说说这些年做的云计算和大数据项目

      入行十几年了，做了不少分布计算、并行计算、内存计算、海量数据处理的项目，按照现在的分类，这些都属于云计算/大数据范畴。今天说说我做过的其中三个项目，只三个。    
laxcus·2016-02-12 20:26

spark原理及工作流程

1.1spark简介1、Spark是什么Spark是基于内存计算的大数据并行计算框架。
qq_16365849·2016-02-07 11:00

MYSQL使用内存计算

MySQL内存占用计算： globalbuffer+allthreadbufferglobalbuffer=innodb_buffer_pool_size缓存表数据和索引数据，加速查询，并且使查询结果集保存在内以供重用，一般设置到主机内存的70%以下+innodb_additional_mem_pool_size存放数据字典信息以及一些内部数据结构，如果数据库的对象过多的话，该值可能需要调整，一般
gaoquan1·2016-01-28 23:49

hadoop各个组件功能

日志收集Sqoop数据同步工具Oozie作业流调度系统Ambari安装部署工具Hive基于MR的数据仓库Mahout数据挖掘库Pig数据分析系统计算框架：MapReduce离线计算TezDAG计算Spark内存计算
紫赫·2016-01-25 09:20

Tez是Hortonworks公司开源

上图已经说明问题了，如果将我们的Hive，或者Pig运行在Tez之上，那么速度会有几倍的提升，当然这仅仅是相对MapReduce来讲的，因为Spark这种分布式内存计算框架才是未来的的
weitao1026·2016-01-15 10:00

大数据(三) - YARN

      扩展性受限      单点故障      难以支持MR之外的计算  多计算框架各自为战，数据共享困难      MR：离线计算框架      Storm：实时计算框架      Spark：内存计算框架
matthewei6·2016-01-14 22:00

java内存计算

在Java中没有sizeof运算符，所以没办法知道一个对象到底占用了多大的空间，但是在分配对象的时候会有一些基本的规则，我们根据这些规则大致能判断出来对象大小。对象头对象的头部至少有两个WORD，如果是数组的话，那么三个WORD，内容如下：对象的HashCode，锁信息等到对象类型数据的指针数组的长度（如果是数组的话）规则首先，任何对象都是8字节对齐，属性按照[long,double]、[int,
u010515202·2016-01-11 10:00

大数据-Spark技术由浅入深

Spark是个通用的集群计算框架，通过将大量数据集计算任务分配到多台计算机上，提供高效内存计算。如果你熟悉Hadoop，那么你知道分布式计算框架要解决两个问题：如何分发数据和如何分发计算。
abenceo·2015-12-29 11:40

简要了解Hadoop集群技术与Spark集群技术的对比

Spark:是一个基于内存计算的开源的集群计算系统，目的是让数据分析更加快速,Spark是一种与Hadoop相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使Spark在某些工作负载方面表现得更加优越
谢丽·2015-12-24 10:41

一位SAP培训顾问的建议：SAP HANA应该如何学习？

从HANA本质来讲大家都知道，就是一个数据库，和Oracle，SQLServer没啥本质的区别，内存计算、列式存储也不是啥新玩意，所以学习HANA和学习一个新的数据库从这个角度看也非常类似，当然HANA
champaignwolf·2015-12-23 19:00

Spark 的优势

基于mapreduce的分布式计算内存计算DAG图:无回路有向图(DirectedAcyclicGraph)DAG(delayscheduling 延迟调度–> DAG图(有向无环图)DAG: (
江中炼·2015-12-13 14:00

Spark应用的GC调优

由于Spark立足于内存计算，常常需要在内存中存放大量数据，对于JVM垃圾回收机制（GC）的依赖更加突出。同时，它也兼容批处理和流式处理，对于程序吞吐量和延迟都有较高要求。
王道远·2015-12-07 00:00

Spark应用的GC调优

由于Spark立足于内存计算，常常需要在内存中存放大量数据，对于JVM垃圾回收机制（GC）的依赖更加突出。同时，它也兼容批处理和流式处理，对于程序吞吐量和延迟都有较高要求。
王道远·2015-12-07 00:00

GC调优在Spark应用中的实践

由于Spark立足于内存计算，常常需要在内存中存放大量数据，因此也更依赖JVM的垃圾回收机制（GC）。并且同时，它也支持兼容批处理和流式处理，对于程序吞吐量和延迟都有较高
linyixiao88·2015-12-04 16:00

Hermes实时检索分析平台

要满足这样的需求，可以采用精心设计的传统关系型数据库组成并行处理集群，或者采用一些内存计算平台，或者采用HDD的架构
爱开卷360·2015-12-02 10:00

Hermes实时检索分析平台

要满足这样的需求，可以采用精心设计的传统关系型数据库组成并行处理集群，或者采用一些内存计算平台，或者采用HDD的架构
爱开卷360·2015-12-02 10:00

2016年企业级服务创业必看的八大趋势

是混合云、商业智能(BI)、内存计算技术、企业级移动应用还是开源概念……?我们不妨来听听行业内各大科技公司专业人士的这“八大预测”，你或许能从中得到一些启发。
毛小豆·2015-12-01 18:00

YARN-MR 大数据第二天

管理和调度集群中的各类资源) 1.1产生的背景： 1.直接源于MR版本1的缺陷(如：单点故障、难以支持MR之外的计算框架等) 2.多计算框架各自为站，数据共享困难(如：MR离线计算框架Storm实时计算框架Spark内存计算框架
ciade·2015-11-25 10:00

Apache Ignite 初探

ApacheIgnite内存数组组织框架是一个高性能、集成和分布式的内存计算和事务平台，用于大规模的数据集处理，比传统的基于磁盘或闪存的技术具有更高的性能，同时他还为应用和不同的数据源之间提供高性能、分布式内存中数据组织管理的功能
李玉珏·2015-11-23 00:00

impala数据插入的方法详解

impala是一种内存计算的数据库，查询性能相比于hive官网称是快100倍，其向表中插入数据的方法如下：１、insertinto[slave12:21000]>insertintoparquet_snappyselect
duncandai·2015-11-19 10:47

impala数据插入的方法详解

impala是一种内存计算的数据库，查询性能相比于hive官网称是快100倍，其向表中插入数据的方法如下： １、insertinto[slave12:21000]>insertintoparquet_snappyselect
daizj·2015-11-19 10:00

impala数据插入的方法详解

阅读更多impala是一种内存计算的数据库，查询性能相比于hive官网称是快100倍，其向表中插入数据的方法如下：１、insertinto[slave12:21000]>insertintoparquet_snappyselect
daizj·2015-11-19 10:00

impala数据插入的方法详解

阅读更多impala是一种内存计算的数据库，查询性能相比于hive官网称是快100倍，其向表中插入数据的方法如下：１、insertinto[slave12:21000]>insertintoparquet_snappyselect
daizj·2015-11-19 10:00

Hadoop加速器GridGain

这样内存计算领域又多了一种思路和选择，而不只是Spark独霸一方的局面。关于GridGain的功能介绍请参考《开源IMDG之GridGain》。
dc_726·2015-11-14 19:00

Spark入门级小玩

百家齐鸣却又万象归一，就像APP与H5的战争一样，内存计算及
·2015-11-13 22:56

理解MapReduce哲学

最近在研究Spark，抛开Spark核心的内存计算，这里只关心Spark做了什么。在Spark上的所有工作都是围绕数据集进行，包括创建新的数据集、对数据集的转换、对数据集的归约。
·2015-11-13 15:48

Spark基础与Java Api介绍

://www.cnblogs.com/tovin/p/3832405.html    一、Spark简介 　　1、什么是Spark 　　　　发源于AMPLab实验室的分布式内存计算平台
·2015-11-13 14:06

spark原理介绍

1、spark是一个基于内存计算的开源的集群计算系统，目的是让数据分析更加快速。因此运行spark的机器应该尽量的大内存，如96G以上。
see_you_again·2015-11-13 08:00

spark概论

一、概述 1.轻：（1）采用语言简洁的scala编写；（2）利用了hadoop和mesos的基础设施   2.快：spark的内存计算、数据本地性和传输优化、调度优化，使其在迭代机器学习
·2015-11-12 21:28

可取性、适用性、可行性：内存计算技术的影响 （内存数据管理（第2版））

摘要：对于支持人机互动的应用程序来说，亚秒级的响应时间和实时分析是关键指标。我们预计，企业级应用的用户将像如今所有互联网用户与Web搜索引擎互动一样，很自然地与软件工具互动，可以在初始结果无法满足搜索需求时，实时完善搜索结果。本书的第一章将阐述这一实时提供业务数据的愿景，并介绍它的可取性、适用性和可行性。首先，我们将介绍对实时提供信息的渴求，并阐述企业级应用环境中的亚秒级响应时间。其次，我们将以充
·2015-11-12 14:52

<内存计算——HANA>> 书评

《SAP内存计算——HANA》又是一本在地铁里读完的书，最近阅读量大增，都是托了地铁的福了。 一年多以前就在ITPUB里发过帖子问“SAP HANA归根揭底到底是什么？”
·2015-11-12 14:35

C或C++中struct内存对齐计算精简方案

      struct占用内存计算方法：       假设struct的起始地址是0x00000000，则从起始地址开始到当前元素为止所占用的空间
·2015-11-11 05:36

Xvfb+YSlow+ShowSlow搭建前端性能测试框架 - 前端技术 | TaoBaoUED

+ShowSlow搭建前端性能测试框架 作者：黑三 | 时间：2010-07-07 11:34   工具介绍 Xvfb:  主要就是通过内存计算模拟出图形界面
·2015-11-08 13:55

「书评」SAP内存计算——HANA

正好清华大学出版社最近出版了这本《SAP内存计算——HANA》，便花了两周时间读了一下。 作为一项新兴技术，想要对它有更好的了解，除了通过官方资料以外，最重要的莫过于他人的成功经验。
·2015-11-02 19:45

C#中float怎样保留两位小数？

#0.00"))，但比如6.50000000000这样做后却变成了6.5，我想让它变成6.50怎么做啊，最后我就是想得到两位小数 编程论坛　1　个网友回答： float y=6.5 和 6.50内存计算时是一样的啊
·2015-10-31 11:19

理解MapReduce哲学

最近在研究Spark，抛开Spark核心的内存计算，这里只关心Spark做了什么。在Spark上的所有工作都是围绕数据集进行，包括创建新的数据集、对数据集的转换、对数据集的归约。
·2015-10-27 14:35

图片占用内存计算

图像占用内存的公式是：numBytes = width * height * bitsPerPixel / 8   OpenGL ES  纹理的宽和高都要是2次幂数, 以刚才的例子来说, 假如 start.png 本身是 480x320, 但在载入内存後, 它其实会被变成一张 512x512 的纹理, 而start.png 则由 101x131 变成 128x25
·2015-10-21 12:18

Spark是什么？

Spark是个通用的集群计算框架，通过将大量数据集计算任务分配到多台计算机上，提供高效内存计算。如果你熟悉Hadoop，那么你知道分布式计算框架要解决两个问题：如何分发数据和如何分发计算。
caiandyong·2015-10-15 15:28

Apache Ignite(一)：简介以及和Coherence、Gemfire、Redis等的比较

一、Ignite简介ApacheIgnite内存数组组织框架是一个高性能、集成和分布式的内存计算和事务平台，用于大规模的数据集处理，比传统的基于磁盘或闪存的技术具有更高的性能，同时他还为应用和不同的数据源之间提供高性能
liyuj·2015-10-13 22:00

spark之2：原理介绍

spark之2：原理介绍@(博客文章)[spark|大数据]1、spark是一个基于内存计算的开源的集群计算系统，目的是让数据分析更加快速。因此运行spark的机器应该尽量的大内存，如96G以上。
lujinhong2·2015-10-09 15:00

spark概述与编程模型

spark快的原因1.内存计算2.DAGsparkshell已经初始化好了SparkContext，直接用sc调用即可lineage血统RDDwideandnarrowdependencies窄依赖每个
jethai·2015-10-07 23:25

spark概述与编程模型

spark快的原因1.内存计算2.DAGsparkshell已经初始化好了SparkContext，直接用sc调用即可lineage血统RDDwideandnarrowdependencies窄依赖每个
jethai·2015-10-07 23:25

spark初识

1.Spark简介 1.1概念Spark是基于内存计算的大数据并行计算框架。它基于内存计算，提高了实时性
闷头雪IT·2015-10-07 19:00

开源引擎Spark是否言过其实？

Spark指出了一些Hadoop最初处理引擎MapReduce的一些缺点，Spark的核心是内存计算，据称运
数据分析师·2015-10-03 12:00

TDW千台Spark千亿节点对相似度计算

我们借助于Spark对内存计算的支持以及图划分的思想，大大降低了网络
javastart·2015-10-03 11:00
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他