内存计算

SQL设计与优化

image.png索引快速定位记录的一种数据结构B+Tree索引等值、范围检索Hash索引等值检索空间索引(R-Tree)地理数据检索(多维)全文索引非结构化数据检索索引作用减少IO随机IO转化为顺序IO减少内存计算
wi11iam·2019-11-28 00:15

[20191115]oracle实例占用内存计算.txt

[20191115]oracle实例占用内存计算.txt--//以前学习oracle数据库时,总想了解实例占用内存多少,我曾经在一些会议底下问过一位高手,对方说计算这个相对很难,许多东西是共享的.
lfree·2019-11-15 16:00

spark学习笔记(一)

是一种跟Hadoop相似的通用分布式并行计算框架，但是spark是基于内存计算的分布式执行框架，在执行速度上优于h
伯安知心·2019-11-09 17:00

解密：Apache Hive 2.1性能提升26倍！

携着内存计算，其性能提高了约26倍。Hive计算性能得到如此大的提升，是得益于什么呢？Hive能够影响目前SQLOnHadoop的竞争局面的原因又是什么呢？
大圣众包·2019-11-07 21:47

Hadoop相关学习笔记

Mapreduce：大数据计算-批量计算Spark：计算引擎,速度快于HadoopHbase：存储对形式和格式；查询非常快，与Hive比较Zookeeper：管理「小动物」Nutch：分布式数据采集Storm：内存计算
咸鱼干lili·2019-11-06 18:48

Android中Bitmap内存优化

因此，本文从常规的Bitmap使用，到Bitmap内存计算进行了介绍，最后分析了Bitmap的源码和其内存模型在不同版本上的变化。Bitmap的使用一般来说，一个对象的
Dragon_Boat·2019-11-06 12:31

Spark 基础（上篇）

spark是一种基于内存计算的分布式执行框架，在执行速度上大大优于hadoop.1.spark的历史2009年，spark诞生于加州大学伯克利分校AMPLab.2010和2012年关于spark的两篇论文发表
ZPPenny·2019-11-03 03:11

基于Kubernetes的Spark集群部署实践

本文作为一个辅助笔记，详细内容参考http://hehhpku.blog.51cto.com/3438622/1844785Spark是新一代分布式内存计算框架，Apache开源的顶级项目。
liuzg0734·2019-11-01 19:19

Impala

基于Hive，使用内存计算，兼顾数据仓库、具有实时、批处理、多并发等优点。是CDH平台首选的PB级大数据实时查询分析引擎。
GOD_WAR·2019-11-01 15:18

[转]微信红包的架构设计简介

答：微信金额是拆的时候实时算出来，不是预先分配的，采用的是纯内存计算，
calefaction_2015·2019-10-23 15:41

spark笔记第一天 （安装、组件）

目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、SparkStreaming、GraphX、MLlib等子项目，Spark是基于内存计算的大数据并行计
明檬 初见·2019-10-22 19:24

基于Spark的电影推荐系统（推荐系统~1）

第四部分-推荐系统-项目介绍行业背景：快速：ApacheSpark以内存计算为核心通用：一站式解决各个问题，ADHOCSQL查询，流计算，数据挖掘，图计算完整的生态圈只要掌握Spark,就能够为大多数的企业的大数据应用场景提供明显的加速
liuge36·2019-10-21 13:00

Linux内存手动清理释放方法

一、内存计算total:总计物理内存的大小。used:已使用多大。free:可用有多少。Shared:多个进程共享的内存总额。Buffers/cached:磁盘缓存的大小。
打卤·2019-10-15 08:54

从5个方面让你真正了解Java内存模型

计算机内存计算机是由CPU、主存、磁盘等组成的(简单引出问题熬)我们都知道计算机执行程序的指令都是由CPU来执行的，执行的时候是要处理数据的，这些数据通常存储在主存中。
架构师追风·2019-10-13 19:28

从5个方面让你真正了解Java内存模型

计算机内存计算机是由CPU、主存、磁盘等组成的(简单引出问题熬)我们都知道计算机执行程序的指令都是由CPU来执行的，执行的时候是要处理数据的，这些数据通常存储在主存中。
Java架构师追风·2019-10-13 19:00

并发之初章Java内存模型

计算机内存计算机是由CPU、主存、磁盘等组成的(简单引出问题熬)我们都知道计算机执行程序的指令都是由CPU来执行的，执行的时候是要处理数据的，这些数据通常存储在主存中。如图所示，这时候问题来了，CPU
乱敲代码·2019-09-16 09:00

一、Spark原理与机制初探

1.Spark作为Spark生态系统的核心，Spark主要提供基于内存计算的功能，不仅包含Hadoop的计算模型MapReduce，还包含很多其他的API，如reduceByKey、groupByKey
渊飞·2019-09-09 22:53

tensorflow数据读取过程

思考如果tf读取文件是这样的：1.读取文件，2.将文件数据送入内存计算。那么就意味这读取和计算是串行的，效率低下。那么提高效率的一个简单途径，就是将两个步骤并行化。这样就可以把数据读取与数据计算分离。
GFward·2019-09-07 10:53

大数据（五十）Impala【Impala介绍 & CDH重点Impala】

•基于Hive使用内存计算，兼顾数据仓库、具有实时、批处理、多并发等优点•是CDH平台首选的PB级大数据实时查询分析引擎二、Impala特点•1、基于内存进行计算，能够对PB级数据进行交互式实时查询、分析
张--小涛涛·2019-09-03 23:36

大数据的4代计算引擎

Spark掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark的火热或多或少的掩盖了其他分布式计算的系统身影。就像Flink，也就在这个时候默默的发展着。
MannerXu·2019-09-03 21:14

Spark原理简述

Spark学习:spark原理简述与shuffle过程介绍简述总结Spark是使用scala实现的基于内存计算的大数据开源集群计算环境.提供了java,scala,python,R等语言的调用接口。
GCAmEmFG·2019-08-29 11:31

Java 如何远程调用 SPL 脚本

实现思路通过下图一目了然：部署服务器服务器是运行在Java平台上面向分析型的高性能数据库，作为高性能计算数据仓库，服务器可以在离线跑批、在线查询、多维分析和内存计算等方面提供高效的计算输出，帮助用户解决计算中的多种问题
raqsoft·2019-08-28 16:55

Flink#了解Flink 新一代大数据处理引擎 Apache Flink

Spark掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark的火热或多或少的掩盖了其他分布式计算的系统身影。就像Flink，也就在这个时候默默的发展着。
hiekay·2019-08-28 11:48

Java 如何远程调用 SPL 脚本

实现思路通过下图一目了然：部署服务器服务器是运行在Java平台上面向分析型的高性能数据库，作为高性能计算数据仓库，服务器可以在离线跑批、在线查询、多维分析和内存计算等方面提供高效的计算输出，帮助用户解决计算中的多种问题
小黄鸭呀·2019-08-26 17:26

Impala快速入门

基于Hive使用内存计算，兼顾数据仓库，具有实时、批处理、多并发的优点。是CDH平台首选的PB级大数据实时查询分析引擎。
云山之巅·2019-08-25 16:00

Impala基于内存的SQL引擎的详细介绍

•基于Hive使用内存计算，兼顾数据仓库、具有实时、批处理、多并发等优点impala使用hive的元数据,完全在内存中计算•是CDH平台首选的PB级大数据实时查询分析引擎2、Impala的特点impalak
张永清·2019-08-16 11:00

JVM 的内存模型

做介绍\JVM的内存模型分为下面五个部分:虚拟机栈(为每个线程创建栈帧),本地方法区(Native修饰的三方语言方法),方法区,堆,程序计数器虚拟机栈JVM线程私有的区域.它代表的java方法执行的JMM内存计算模型
我只是个厨子·2019-08-10 21:25

大数据学习零基础能够学会不？

零基础大数据培训课程分为十个阶段主要的学习内容：Java基础、JavaWeb、主流框架、流行框架、大数据基础增强、大数据Hadoop离线分布式系统、大数据Storm实时计算系统、大数据Spark内存计算系统
加米谷谷·2019-07-22 15:06

在海量IP中找出访问次数最多的100个IP

一、基本想法对于海量的数据，我们知道如果将IP请求写到日志的话，就变为一个超大文件统计次数的问题，但是单机处理可能速度会比较慢，不能一次性加载到内存计算。
hushucheng·2019-07-17 00:00

Bitmap之位图采样和内存计算详解

原文首发于微信公众号：jzman-blog，欢迎关注交流！Android开发中经常考虑的一个问题就是OOM(OutOfMemory)，也就是内存溢出，一方面大量加载图片时有可能出现OOM，通过采样压缩图片可避免OOM，另一方面，如一张1024x768像素的图像被缩略显示在128x96的ImageView中，这种做法显然是不值得的，可通过采样加载一个合适的缩小版本到内存中，以减小内存的消耗，Bitm
jzman·2019-06-19 00:00

大数据架构师：Hadoop和Storm哪一个更好点

storm的网络直传、内存计算，其时
Crazy_Clown·2019-06-15 07:38

【大数据】分布式计算

关于分布式计算更多详细内容：分布式计算入门（课程针对大数据分步式计算中的相关技术进行讲解，核心讲解流式计算和内存计算技术，阐述阿里云在处
开发者社区小百科·2019-06-14 14:29

笔记整理之 MySQL内存计算方式

--计算MySQL的内存峰值公式，计算所有的连接满了的情况下：select(@@key_buffer_size+@@query_cache_size+@@tmp_table_size+@@innodb_buffer_pool_size+@@innodb_additional_mem_pool_size+@@innodb_log_buffer_size+@@max_connections*(@@re
selectgo·2019-06-03 00:25

高性能数据仓库

作为高性能计算数据仓库，SPLServer可以在离线跑批、在线查询、多维分析和内存计算4个方面提供高效的计算输出，帮助用户解决由于性能带来的这些问题：1.半夜跑批跑不完，出错了来不及再来；2.看个报表等
raqsoft·2019-05-27 11:57

TalkingData的Spark On Kubernetes实践

但是相对于MapReduce，Spark凭借其可伸缩、基于内存计算等特点，以及可以直接读写Hadoop上任何格式数据的优势，使批处理更加高效，并有更低的延迟。实际上
阿里云云栖社区·2019-05-23 00:00

DolphinDB与Spark的性能对比测试报告

1.概述Spark是基于内存计算的通用大数据并行计算框架，内置多种组件，如批处理、流处理、机器学习和图处理。Hive是基于Hadoop的数据仓库，支持类SQL的命令查询，提升了Hadoop的易用性。
DolphinDB·2019-05-09 10:57

离线和实时大数据开发实战 笔记五

主要是实时计算streamstrom和Flink都有介绍这里主要是sprakSparkCoreSpark通过引人弹性分布式数据集（RDD）以及RDD丰富的动作操API，非常好地支持了DAG和迭代计算Spark通过内存计算和缓存数据非常好地支持了迭代计算和
新手路上的程序员·2019-05-06 10:11

Hadoop之YARN简介

除了有一个霸气的英文名字同时也有个一见倾心的中文名字“雅恩”它是Hadoop2.0后的新一代计算框架，目前可以支持多种计算框架运行在YARN上面,比如MapReduce（离线计算）、Storm（实时计算）、Spark（内存计算
Hirisw·2019-04-29 19:50

使用MongoDB在项目中实际运用

利用内存计算的优势，MongoDB能够提供高性能的数据读写操作。MongoDB的本地复制和自动故障转移功能使您的应用程序具有企业级的可靠性和操作灵活性。二、在Linux上安装Mong
小世界的野孩子·2019-04-17 22:00

【Spark】spark shuffle

spark虽然是基于内存计算的，但是它也会产生shuffle首先我们需要知道，Spark任务会根据RDD之间的依赖关系，形成一个DAG有向无环图，DAG会提交给DAGScheduler，DAGScheduler
GG(❤ ω ❤)YY·2019-04-17 16:19

腾讯云推出全新一代云服务器，网络存储性能全面提升

新一代实例的内存频率提高至2933MHz，相比于上一代实例性能提升10%，更加适用于科学计算、内存计算等数据密集型应用，如Redis、Hadoop、
fxj2019·2019-04-03 13:49

spark 调优

由于大多数spark的计算都是内存计算，因此在spark集群中有以下瓶颈：CPU,网络带宽还有内存。如果内存足够的话，主要可能就是网络带宽。目前主要有两种调优方案：数据序列化和内存调整。
xFayChen·2019-03-25 11:10

Spark 软件栈架构概述

在处理大规模数据集时，Spark的一个核心优势是内存计算，因而速度更快。
一只老风铃·2019-03-24 12:16

spark core 系列一

Spark是什么ApacheSpark是一个统一的分布式内存计算引擎，包括一组用于在计算机集群上进行并行数据处理的函数库。spark最大的好处就是迭代计算，相比MapReduce大大的提高了计算能力。
scott_alpha·2019-03-15 21:43

架构师方向提升技术视野学习计划---广度部分

学习规划总共分为五大部分，分别是：大数据技术基础离线计算Hadoop流式计算Storm内存计算Spark机器学习算法大数据技术基础linux操作基础linux系统简介与安装linux常用命令–文件操作linux
自然鸟神·2019-03-14 16:47

计算机科学家做的事情

更快提出一个新算法解决之前存在的问题（比如RSA算法解决了加解密的问题）优化之前的算法比如KMP、深度学习（比以前算的更快）Intel的CPU就是比之前更快，并行计算（多核心）数据库中的索引内存计算Mapreduce
JavaLearner·2019-03-14 00:59

sparkSQL之调优

spark是一个快速的内存计算框架；同时是一个并行运算的框架。在计算性能调优的时候，除了要考虑广为人知的木桶原理外，还要考虑平行运算的Amdahl定理。
purisuit_knowledge·2019-03-07 17:02

关于内存的学习

如果没有内存计算机就不能执行任何程序。好多书上都有描述程序是在外存（例如硬盘等）中存放的要执行的时候CPU将程序拷贝的内存中去执行。
秋天的细语·2019-03-06 17:59

Flink（一）Flink的入门简介

Spark掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark的火热或多或少的掩盖了其他分布式计算的系统身影。就像Flink，也就在这个时候默默的发展着。
碧海凌云·2019-02-28 00:00

2019-01-31 开源芯片 （包括底层开源系统）在国外的产品信息和趋势

通常是多核设计，通常侧重于低精度算术，新颖数据流架构或内存计算功能。====独立产品===GoogleTensor处理单元是Google专门为其TensorFl
alucardzhou·2019-02-02 13:30
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他