内存计算

Spark基础知识点儿汇总

*spark的理解spark是一个快速的、统一的大规模数据处理引擎它是基于内存计算的它的特点是：快速、易用、适用于各种数据处理场景（批处理、流处理、交互式处理）、它可以运行在多种分布式计算框架中，如
魅影猎鹰·2018-04-13 19:05

来，我教你spark

spark是基于内存计算，速度更快，更时髦？
一个程序员的自我修炼·2018-04-12 13:10

Flink简介

Spark 掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身影。就像 Flink，也就在这个时候默默的发展着。
少年阿龙·2018-03-29 00:00

Spark(二): 内存管理

Spark作为一个以擅长内存计算为优势的计算引擎，内存管理方案是其非常重要的模块；Spark的内存可以大体归为两类：execution和storage，前者包括shuffles、joins、sorts和
clypm·2018-03-13 17:41

JVM 参数察看

PrintFlagsFinal-version|grepHeapSize另外这是Java8的文档中关于DefaultHeapSize的描述：点击这里hotspot虚拟机的默认堆大小如果未指定，他们是根据服务器物理内存计算而来的
solong2008·2018-01-15 20:00

JVM 参数察看

PrintFlagsFinal-version|grepHeapSize另外这是Java8的文档中关于DefaultHeapSize的描述：点击这里hotspot虚拟机的默认堆大小如果未指定，他们是根据服务器物理内存计算而来的
solong2008·2018-01-15 20:00

spark学习-76-目标：如何成为大数据Spark高手

Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台，它立足于内存计算，性能超过Hadoop百倍，从多迭代批量处理出发，兼收并蓄数据仓库、流处理和图计算等多种计算范式，是罕见的全能选手。
九师兄-梁川川·2018-01-11 10:41

spark +hive+hbase+hadoop

前言：hive:数据仓库hbase:分布式nosql数据库haoop:分布式文件系统spark:分布式内存计算系统这个四个结合(当然少不了zookeeper)简直完美。
freshghost1234·2017-12-29 20:07

Apache-Ignite入门实战之一

Apache-Ignite入门实战之一简介ApacheIgnite内存数据组织框架是一个高性能、集成化和分布式的内存计算和事务平台，用于大规模的数据集处理，比传统的基于磁盘或闪存的技术具有更高的性能，同时他还为应用和不同的数据源之间提供高性能
kongxx·2017-12-26 09:02

深度学习优化器总结

Batchgradientdescent每次更新我们需要计算整个数据集的梯度，因此使用批量梯度下降进行优化时，计算速度很慢，而且对于不适合内存计算的数据将会非常棘手。
lirainbow0·2017-12-14 13:32

海量日志中统计次数最多的100个IP

10分钟6亿条记录，大约是10G级别，所以对于一般单机处理来讲不能一次性加载到内存计算。所以分治算法是处理这类问题的基本思想。思路前面说了分治思想。那么具体如何分解问题呢。
hellolvs·2017-12-13 00:00

Spark技术实战之基础篇

源于Spark的流行，Spark是当前最流行的开源大数据内存计算框架，采用Scala语言实现，各大公司都在使用Spark：IBM宣布承诺大力推进ApacheSpark项目，并称该项目为：在以数据为主导的
刘志隆·2017-12-11 06:13

基于Kubernetes的Spark集群部署实践

Spark是新一代分布式内存计算框架，Apache开源的顶级项目。
hxpjava1·2017-11-15 21:11

【云星数据---Apache Flink实战系列(精品版)】：Flink基础--001:flink介绍

第一部分：flink概况一、flink简介1.flink和spark类似，是一个通用的，基于内存计算的，大数据处理引擎。
云星数据-大数据团队·2017-11-12 12:59

【云星数据---flink实战系列001】：flink简介

第一部分：flink概况一、flink简介1.flink和spark类似，是一个通用的，基于内存计算的，大数据处理引擎。
云星数据-大数据团队·2017-11-09 00:00

如何成为云计算大数据Spark高手

Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台，它立足于内存计算，性能超过Hadoop百倍，从多迭代批量处理出发，兼收并蓄数据仓库、流处理和图计算等多种计算范式，是罕见的全能选手。
freestylehaozixun·2017-10-17 16:17

ECS云服务器通过SAP HANA认证，海量数据处理技术助力企业数字化转型

SAPHANA是一款支持企业预置型部署和云部署模式的内存计算平台，能够帮助客户加速业务流程，实现更智能的业务运营，并简化I
dicyt·2017-10-17 16:28

ECS云服务器通过SAP HANA认证，海量数据处理技术助力企业数字化转型

SAPHANA是一款支持企业预置型部署和云部署模式的内存计算平台，能够帮助客户加速业务流程，实现更智能的业务运营，并简化I
dicyt·2017-10-17 16:26

【大数据系统架构师】学习目录

Hadoop2.X1.3大数据仓库Hive1.4大数据协作框架1.5分布式数据库HBase2.Hadoop大数据开发高级技术2.1Storm流计算入门到精通之技术篇2.2Scala语言从入门到精通2.3内存计算框架
沙漏哟·2017-10-07 13:00

spark入门知识和job任务提交流程

spark是Apache开源社区的一个分布式计算引擎，基于内存计算，所以速度要快于hadoop.下载地址spark.apache.org安装复制一台单独的虚拟机，名c修改其ip，192.168.56.200
ChinaUnicom110·2017-09-24 13:38

MySQL内存消耗计算

mysql内存计算公式mysqlusedmem=key_buffer_size+query_cache_size+tmp_table_size+innodb_buffer_pool_size+innodb_additional_mem_pool_size
疯狂的轮子搬运工·2017-09-12 11:53

MTC与华为联合发布基于华为云的SAP B1 on HANA解决方案

华为云与SAP金牌合作伙伴MTC麦汇联手，专为中小企业打造基于华为云的SAPBusinessOneonHANA解决方案，按需随选、提升数字能力，实现下一代“云计算”和“内存计算”应用革新，为中小企业提供经济
MTC_SAP·2017-09-08 16:39

Spark 内存管理的前世今生（上）

欢迎关注我的微信公众号：FunnyBigData作为打着“内存计算”旗号出道的Spark，内存管理是其非常重要的模块。
牛肉圆粉不加葱·2017-08-04 08:40

spark学习笔记

概述Spark快速通用的集群计算平台扩充了MapReduce的计算模型内存计算包含组件sparkcoresparksqlsparkstreamingmlibGraphX部署方式StandaloneDeployMode
lycium·2017-08-03 16:56

Spark on Angel：Spark机器学习的核心加速器

RDD凭借着逻辑上不落地的内存计算特性，可以很好的解决迭代的问题，然而RDD的不可变性，却
腾讯开源·2017-08-02 00:00

Spark的误解-不仅spark是内存计算，hadoop也是内存计算

市面上有一些初学者的误解，他们拿spark和hadoop比较时就会说，Spark是内存计算，内存计算是spark的特性。请问在计算机领域，mysql,redis,ssh框架等等他们不是内存计算吗?
zsdnr·2017-07-21 15:33

Spark 运维实战简介

1.1Spark是什么Spark是基于内存计算的大数据并行计算框架。Sp
我不是九爷·2017-07-07 13:38

spark基础

1.Spark概述1.1Spark是什么Spark是内存计算系统，2009年它出品于UCBerkeleyAMPLab伯克利下属实验室，它最早是一片博士论文，论述如何提高map和reduce的效率。
lishuangzhe7047·2017-07-04 09:38

Apache Ignite（一）：简介以及和Coherence、Gemfire、Redis等的比较

摘要:ApacheIgnite内存数据组织框架是一个高性能、集成化和分布式的内存计算和事务平台，用于大规模的数据集处理，比传统的基于磁盘或闪存的技术具有更高的性能，同时他还为应用和不同的数据源之间提供高性能
hxpjava1·2017-07-01 01:50

Spark相对于MapReduce的优势

Spark是类HadoopMapReduce的通用的并行计算框架，但不同于MapReduce的是Job中间输出和结果可以保存在内存中，也就是说spark是基于内存计算的，从而不再需要读写HDFS，因此Spark
Alvin_blog·2017-06-23 10:45

内存计算

阿里云数据事业部强琦为大家带来内存计算方面的内容，本文主要从软硬件趋势、分布式计算简史与内存计算开始谈起，包括HIVE、ADS的介绍，接着分析了统一的计算框架，最后讲解了Spark和Flink经典的系统技术分析
liangyan9966·2017-06-07 19:37

内存计算

阅读更多阿里云数据事业部强琦为大家带来内存计算方面的内容，本文主要从软硬件趋势、分布式计算简史与内存计算开始谈起，包括HIVE、ADS的介绍，接着分析了统一的计算框架，最后讲解了Spark和Flink经典的系统技术分析
liangyan9966·2017-06-06 14:00

内存计算

阅读更多阿里云数据事业部强琦为大家带来内存计算方面的内容，本文主要从软硬件趋势、分布式计算简史与内存计算开始谈起，包括HIVE、ADS的介绍，接着分析了统一的计算框架，最后讲解了Spark和Flink经典的系统技术分析
liangyan9966·2017-06-06 14:00

Hive llap服务安装说明及测试

1.简介说明apachehive去年12月发布了2.1.1版本，从Hive2.0引入了LLAP（LiveLongAndProcess），2.1进行了比较大的优化，可以说hive已经走向了内存计算，目前hortonworks
自由盼盼·2017-05-25 10:43

Spark on Yarn集群搭建详细过程

原文链接：https://my.oschina.net/sniperLi/blog/908411由于最近学习大数据开发，spark作为分布式内存计算框架，当前十分火热，因此作为首选学习技术之一。
cihongmo6452·2017-05-24 19:00

聊聊spark这个大数据计算框架

Spark是基于内存计算的大数据并行计算框架。Spark基于内存计算，提高了其在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性。Spark项目包含多个紧密集成的组件。
蜗牛0·2017-04-10 21:41

强者联盟——Python语言结合Spark框架

得益于在数据科学中强大的表现，Python语言的粉丝遍布天下，如今又遇上强大的分布式内存计算框架Spark，两个领域的强者走到一起，自然能碰出更加强大的火花（Spark可以翻译为火花），因此本文主要讲述了
博文视点·2017-04-06 09:52

fabric8镜像的deployments脚本

阅读更多因为没有直接使用fabric8的镜像(https://hub.docker.com/r/fabric8/java-jboss-openjdk8-jdk/~/dockerfile/),但是又羡慕其自动内存计算的功能
studysoft·2017-04-03 11:00

fabric8镜像的deployments脚本

阅读更多因为没有直接使用fabric8的镜像(https://hub.docker.com/r/fabric8/java-jboss-openjdk8-jdk/~/dockerfile/),但是又羡慕其自动内存计算的功能
studysoft·2017-04-03 11:00

1.spark简介

1.什么是Spark并行计算框架基于内存计算高容错基于DAG2.Spark生态体系图MapReduce属于Hadoop生态体系之一，Spark则属于BDAS生态体系之一3.SparkVSMapReduce
dream0352·2017-03-14 08:29

30分钟概览Spark分布式计算引擎

详细内容可参考Spark入门教程-1Spark是继Hadoop之后的下一代分布式内存计算引擎，于2009年诞生于加州大学伯克利分校AMPLab实验室，现在主要由Databricks公司进行维护（公司创始员工均来自
xwc35047·2017-03-04 16:38

sparkMlib的随机森林算法

/I7bEJv2对于该案例的数据集是一个本地向量集（loadlibsvnfile）这是SVM文件格式例子：11:22:33:421:12:23:311:12:33:311:32:13:3引言Spark内存计算框架在大数据处理领域内占有举足轻重的地位
此用户有点逗号·2017-03-01 16:44

内存计算--Spark

1.并行计算回顾原因：计算量大：单进程算得不够快内存需求大：内存随机访问比硬盘随机访问快10万倍，单机内存不够大I/O量大：单个硬盘读写I/O太慢挑战：编程困难：并行性、同步语句性能调优难：负载平衡、局部性（Cache）容错难：传统容错方法不适用（锁步法）大数据处理并行系统：编程模型、容错能力、性能与成本MapReduce：编程模型简单（Map&&Reduce），容错简单，成本低，性能较差Spar
Largehadron·2017-02-25 15:37

MapReduce Tez Storm Spark四个框架的异同

2）Spark:MapReduce计算框架不适合迭代计算和交互式计算，MapReduce是一种磁盘计算框架，而Spark则是一种内存计算框架，它将数据尽可能放到内存中以提高迭代应用和交互式应用的计算效率
tao_wei162·2017-02-13 11:05

hadoop3新特性

其实最大改变的是hdfs,hdfs通过最近black块计算，根据最近计算原则，本地black块，加入到内存，先计算，通过IO，共享内存计算区域，最后快速形成计算结果。
chj_xc·2017-02-07 10:59

Zabbix分布式集群监控

Zabbix分布式集群监控1.监控对象1、分布式文件系统HDFS2、分布式离线计算框架MapReduce3、分布式流式计算框架Storm4、分布式消息队列KafKa5、分布式内存计算框架Spark6、分布式列式数据库
MatrixSparse·2017-01-12 00:38

比Spark快10倍的Hadoop3.0有哪些实用新特性？

其实最大改变的是hdfs,hdfs通过最近black块计算，根据最近计算原则，本地black块，加入到内存，先计算，通过IO，共享内存计算区域，最后快速形成计算结果。
dm520·2016-12-28 09:37

Spark 调优

阅读更多Spark调优因为大部分Spark程序都具有“内存计算”的天性，所以集群中的所有资源：CPU、网络带宽或者是内存都有可能成为Spark程序的瓶颈。
zhaomengsen·2016-12-10 10:00

Spark 调优

阅读更多Spark调优因为大部分Spark程序都具有“内存计算”的天性，所以集群中的所有资源：CPU、网络带宽或者是内存都有可能成为Spark程序的瓶颈。
zhaomengsen·2016-12-10 10:00

SAP HANA 2新特性

该平台涵盖了SAP突破性内存计算平台中久经验证的技术，并对这些技术加以扩展，为企业的数字化转型奠定了新的基础。
eala2016·2016-12-02 12:38
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他