集群分布式

Spark精华问答 | Spark 会替代Hadoop 吗?

Spark是一个针对超大数据集合的低延迟的集群分布式计算系统，比MapReducer快40倍左右，是hadoop的升级版本，Hadoop作为第一代产品使用HDFS，第二代加入了Cache来保存中间计算结果
CSDN云计算·2019-03-01 10:46

从0开始学架构-高可用架构模式

目录理论CAPFMEA存储高可用主备方式数据集群分布式事务算法计算高可用业务高可用异地多活标准异地多活架构异地多活设计步骤接口级故障应对方案理论CAP一致性Consistency可用性分区容忍性PartitionTolerance
hixiaoxiaoniao·2019-02-01 21:27

Spark精华问答 | Spark的三种运行模式有何区别？

Spark是一个针对超大数据集合的低延迟的集群分布式计算系统，比MapReducer快40倍左右，是hadoop的升级版本，Hadoop作为第一代产品使用HDFS，第二代加入了Cache来保存中间计算结果
csdn业界要闻·2019-01-28 12:18

redis集群分布式锁的实现与思考

分布式锁能帮助我们在分布式系统共享数据的并发中避免并发问题，要实现分布式锁必须保证加锁和解锁的操作是原子性的，redis的setnx和del刚好满足加锁和解锁的要求，下面使用setnx来实现可以超时的分布式锁：importorg.jmqtt.common.config.StoreConfig;importredis.clients.jedis.JedisCluster;importjava.uti
Arrogant_95·2019-01-20 17:41

Hadoop的家族技能图谱

Hadoop框架应用工程提供跨计算机集群分布式存储和计算的环境。Hadoop是专为从单一服务器到上千台机器扩展，每个机器都可以提供本地计算和存储。Hadoop都有哪些技术呢？
cpongo333·2018-12-31 03:44

Hadoop Ecosystem（Hadoop生态环境－130多个相关开源项目）

ApacheHadoop软件库是一个框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它旨在从单个服务器扩展到数千台计算机，每台计算机都提供本地计算和存储。
HugoWang·2018-10-29 12:01

分布式系统详解--框架（Hadoop-单机版搭建）

ApacheHadoop软件库是一个框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集
JAVA和人工智能·2018-09-25 15:18

zookeeper集群、kafka集群、Hadoop高可用

1.1.1什么是zookeeperZooKeeper是一个分布式的协调服务1.1.2ZooKeeper能干什么ZooKeeper是用来保证数据在集群间的事务性一致1.1.3zookeeper应用场景1.集群分布式锁
万古青天一珠帘·2018-09-15 14:56

zookeeper集群、kafka集群、Hadoop高可用

1.1.1什么是zookeeperZooKeeper是一个分布式的协调服务1.1.2ZooKeeper能干什么ZooKeeper是用来保证数据在集群间的事务性一致1.1.3zookeeper应用场景1.集群分布式锁
@谷哥·2018-09-07 19:57

mycat的水平和垂直切片什么意思

mycat是国人开发的一款开源的数据库中间件，他的作用就是伪装成一个真的数据库，然后在它背后，连的是多种类型，集群分布式的真实数据库。他的体系结构就像下面：需要理解mycat的几个概念。
周子青·2018-08-16 18:39

shiro （java安全框架）

shiro使用广泛，shiro可以运行在web应用，非web应用，集群分布式应用中越来越多的用户开始使用shiro。jav
prettysunshine0·2018-07-24 18:01

接口幂等性的设计之————redis分布式锁的应用

接口幂等性的设计之————redis分布式锁的应用在集群分布式机器部署的前提下，接口在相同数据高并发的情况下如果没有唯一索引的情况下，可能会有一些问题。
不会汪汪的猫咪·2018-07-13 11:51

分布式FFMPEG转码集群

分布式FFMPEG转码集群分布式FFMPEG转码集群思路安装与配置存储节点计算节点控制节点使用方法和测试结束语更新日志[2018-06-27]代码已上传到GitHub。
叶梓翎·2018-06-17 02:17

分布式缓存（一）——认识缓存

不涉及操作系统和硬件的缓存，根据在软件系统中所处位置的不同，缓存可分为：客户端缓存服务端缓存网络中的缓存根据规模和部署方式缓存也可分为：单体缓存缓存集群分布式缓存2、为什么使用缓存？
瞭望塔·2018-06-05 20:23

mysql之集群

一，Galera（集群）集群分类：(面试题)高可用负载均衡HPC高性能计算分布式集群分布式文件系统(分布式存储)mysql官方集群：mysql-cluster5台机器manager节点sql节点sql节点接受客户端请求
Luke-阿坤·2018-05-24 21:51

[Hadoop集群模式安装与配置全过程]红帽子RatHat6下hadoop集群模式安装（3个节点，master,slave1,slave2）

红帽子RatHat6下hadoop集群模式安装（3个节点，master,slave1,slave2）一、学习目标：使用红帽子RatHat6在虚拟机上搭建hadoop集群，包含3个节点，体验集群分布式。
vmClaire·2018-04-21 17:25

[置顶] Eclipse连接Hadoop集群及WordCount实践

[置顶]Eclipse连接Hadoop集群及WordCount实践标签：hadoophadoop集群分布式系统eclipse2017年12月15日16:54:391630人阅读评论(0)收藏举报分类：Hadoop
王树民·2018-04-09 08:07

ehcache和redis区别

ehcache直接在jvm虚拟机中缓存，速度快，效率高；但是缓存共享麻烦，集群分布式应用不方便。
JerryDyq·2018-03-29 13:27

关于java高并发设计整合-分布式事务

高并发思路-乐观锁读写分离实际项目应用4、5w每秒的高并发秒杀功能5、分布式大数据高并发的web开发框架6、高并发环境下，Redisson实现redis分布式锁7、分布式高并发环境下的幂等控制8、并发控制集群分布式
南风沁雨·2018-03-25 17:59

Redis集群模式之分布式集群模式

前言Redis集群模式主要有2种:主从集群分布式集群。前者主要是为了高可用或是读写分离，后者为了更好的存储数据，负载均衡。本文主要讲解主从集群。本章主要讲解后一半部分，Redis集群。
在风中的意志·2018-03-23 22:11

zookeeper 笔记 （一）

一.分布式简介1.概念一个硬件或软件组件分布在不同的网络计算机上，彼此之间仅仅通过消息传递进行通信和协调的系统2.分布式&集群分布式：一个业务分拆多个子业务，部署在不同的服务器上。
dervish0927·2018-03-16 15:44

Redis和ehcache区别

Redis和ehcache区别ehcache直接在jvm虚拟机中缓存，速度快，效率高；但是缓存共享麻烦，集群分布式应用不方便。
Andy2019·2018-03-08 21:59

Nginx与Tomcat简易分布式部署操作总结

反向代理，主要用于服务器集群分布式部署的情况下，反向代理隐藏了服务器的信息。以前没有自己安装和配置使用过，这次练习，总结一下安装和使用心得。
漫路求索·2018-03-07 10:55

大数据 互联网架构阶段 电商项目简介

分布式集群分布式:单个任务拆分成众多的子任务,单个实例完成其中之一,众多实例合作完成一个任务的过程;集群:从任务为单
chou_out_man·2018-01-11 10:24

扎实基础之从零开始-Nginx集群分布式.NET应用

1扎实基础之快速学习NginxNginx是一款轻量级的Web服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器，并在一个BSD-like协议下发行。其特点是占有内存少，并发能力强，事实上nginx的并发能力确实在同类型的网页服务器中表现较好，中国大陆使用nginx网站用户有：百度、京东、新浪、网易、腾讯、淘宝等。中文文档官网：http://www.nginx.cn/doc/中文文档官
夜雨瞳·2018-01-08 19:00

hadoop集群搭建及yarn集群分布式计算

hadoop集群搭建及yarn集群分布式计算启动hdfs集群并测试：1、格式化文件系统[hadoop@master01~]$hdfsnamenoad-format2、启动分布式稳步系统dfs.sh脚本[
weixin_30909575·2017-12-13 10:00

keepalived+LVS；keepalived+nginx

keepalived:LB:lvs,nginxHA:keepalived,heartbeat,corosync,cmanHP:高性能集群分布式存储：HDFS分布式计算：YARN,batch:MapReducein-memory
阿伦艾弗森·2017-10-25 22:13

SpringCloud（第 010 篇）简单 Quartz-Cluster 微服务，支持集群分布式，并支持动态修改 Quartz 任务的 cronExpression 执行时间

SpringCloud（第010篇）简单Quartz-Cluster微服务，支持集群分布式，并支持动态修改Quartz任务的cronExpression执行时间-一、大致介绍1、根据上一章节的单台测试，
YLIMHHMILY·2017-09-18 16:50

hadoop 超详细入门wordcount

然后apache官网的doc（还是要以官网为主，虽然是全英文的，但总比那些版本都不对的博客来开得多得多），自己尝试了一下hadoop的helloworld之后，有继续尝试了使用docker来模拟多机的集群分布式环境
continueOo·2017-08-06 22:53

Quartz与Spring里面实现定时器

在此我们先对Spring里面的定时任务机制做个介绍与整理，后面再看看如果要实现一个简单可用的集群分布式任务管理要怎么做。二、Spring里面实现定时
爱你们的巴巴·2017-07-27 20:52

Hadoop的部署教程

Hadoop的部署教程第一步创建hadoop用户第二步系统更新第三步安装SSHserver、配置SSH无密钥登录第四步安装Java环境第五步网络配置第六步安装Hadoop第七步配置集群分布式环境第八步执行分布式实例因为该教程是在三台远程虚拟机上搭建的
Stevenson-Gavin·2017-07-19 15:02

Docker容器化快速构建多集群以太坊网络并部署智能合约

以太坊智能合约开发者可以基于以太坊的测试网络进行合约的测试，但是如果想进行持续集成和持续测试（CI&CT），建立一个本地的可控区块链网络非常有必要，另外考虑到未来容器化集群分布式部署的需要，本人特意制作了相关的
不折腾就闹心·2017-07-18 18:48

Docker容器化快速构建多集群以太坊网络并部署智能合约

以太坊智能合约开发者可以基于以太坊的测试网络进行合约的测试，但是如果想进行持续集成和持续测试（CI&CT），建立一个本地的可控区块链网络非常有必要，另外考虑到未来容器化集群分布式部署的需要，本人特意制作了相关的
不折腾就闹心·2017-07-18 18:48

分布式大数据系统巧实现_全局数据调度管理不再难

原文链接5月17日云栖精选夜读：分布式大数据系统巧实现，全局数据调度管理不再难yq传送门2017-05-1817:47:10浏览64评论0linux深度学习分布式大数据java阿里云集群分布式计算云市场分布式文件系统数据中心摘要
bystarlight·2017-05-22 13:03

?????20? Spring Boot ??????????????????????????

 第20节SpringBoot定时任务升级篇（集群分布式下的定时任务说明）（高清） 需求缘起：在发布了《SpringBoot定时任务升级篇》之后得到不少反馈，其中有一个反馈就是支持分布式吗，比如有8个实例
???·2017-05-19 23:00

网站架构技术

应用服务器集群分布式缓存数据存储集群扩展性指对现有系统较小影响，或基础设施不变的情况下，系统功能可以持续扩展或提升。一
hebin20004·2017-01-07 12:45

lvs群集理论知识

提高服务可用性，避免出现单点故障HP（High Performance）：高性能集群分布式存储与运算2、什么是负载均衡集群（LB）在现实情况中当我们遇到了单台服务器性能不足的时候，这时我们有两
黎晨·2017-01-04 17:46

redis单机的部署

redis特点1.1支持内存的缓存，相当于memcached1.2数据类型丰富1.3支持集群分布式1.4持久化，相当于memcachedb1.5redis支持10W每秒的读写频率memcache的特点2.1
小小三郎1·2016-12-25 13:54

springmvc+ehcache详解

当然也可以和mybatis(mybatis-ehcache)结合,它具有内存和磁盘存储,ehcache直接在jvm虚拟机中缓存，速度快，效率高；但是缓存共享麻烦，集群分布式应用不方便,如果大规模集群还是考虑用
coding99·2016-11-24 23:14

java架构师项目实战,高并发集群分布式,大数据高可用,视频教程

阅读更多学习思路：1、先学习第一套或者第二套架构师课程，帮助没有基础或基础学得不好的同学建立架构师思维，整套需要全部学习，很重要！！2、根据工作需要，分别去学习第二套、第三套里的实战课程里的知识点，不需要全部全学习，那么多资料你没有那么多精力全部学完！！对比内容：本套课包含像Dubbo，Netty，Nio，Mina，Mecached，Nosql，MongoDB,Nginx,ActiveMQ等课程更
a347911·2016-11-17 14:00

java架构师项目实战,高并发集群分布式,大数据高可用,视频教程

阅读更多学习思路：1、先学习第一套或者第二套架构师课程，帮助没有基础或基础学得不好的同学建立架构师思维，整套需要全部学习，很重要！！2、根据工作需要，分别去学习第二套、第三套里的实战课程里的知识点，不需要全部全学习，那么多资料你没有那么多精力全部学完！！对比内容：本套课包含像Dubbo，Netty，Nio，Mina，Mecached，Nosql，MongoDB,Nginx,ActiveMQ等课程更
a347911·2016-11-17 14:00

Quartz集成springMVC 的方案二 ---持久化、分布式集群部署

集群分布式并发环境中使用QUARTZ定时任务调度，会在各个节点会上报任务，存到数据库中，执行时会从数据库中取出触发器来执行，如果触
OXiaoMianYiJiu·2016-11-10 10:00

大型网站架构概述

高并发大流量高可用海量数据用户分布广泛，网络情况复杂安全环境恶劣需求快速变更，发布频繁渐进式发展大型网站演化最后版：CDN服务器集群反向代理服务器集群负载均衡调度服务器集群应用服务器拆分并集群消息队列服务器集群分布式服务器集群应用程序本地缓存统一数据访问模块分布式缓存服务器集群分布式文件服务器集群分布式数据库服务器集群搜索引擎服务器集群
zhanghteye·2016-10-28 00:00

Nginx 集群，负载均衡和配置参数解释

随着现代互联网的飞速推进，集群分布式，负载均衡等等听上去很高大上的名词不绝于耳。今天就好好说说Nginx不废话，直接上配置文件。
Loving....·2016-10-24 23:23

windows10中远程连接虚拟机上的kafka错误解决办法

kafka部署在虚拟机上，真集群分布式，三台机器。
风雨诗轩·2016-09-14 15:04

python分布式计算框架PP(Parallel Python)集群模式试用

【标题】python分布式计算框架PP(ParallelPython)集群模式试用【背景】ParallelPython库（简称PP）网上的教程都是单机多进程测试，决定试试集群分布式计算效果【结论】用了两台物理机
delacrxoix_xu·2016-08-28 19:08

Spark Runtime内幕

集群部署1.从sparkruntime的角度来讲有五大核心对象：master，worker，executor，driver，coarseGrainedExecutorBackend；2.Spark在做集群分布式系统设计的时候
sundujing·2016-05-15 16:00

Linux安装单节点Apache Hadoop示例

原文地址：http://www.lizi.pw/archives/72Apache的Hadoop是开发者皆知的一个用Java编写的分布式存储和分布式处理一个开放源代码的软件架构，它通过在计算机集群分布式高效处理大数据
howsun_zh·2016-05-03 10:50

企业级hadoop-2.7.2集群的实施

企业级hadoop-2.7.2集群的实施企业级hadoop-272集群的实施环境介绍在10个节点中创建hadoop用户架设DNS服务器架设NFS服务器安装JDK配置集群分布式环境首次启动hadoop正常启动界面总结环境介绍操作系统
jpzhu16·2016-04-17 15:00

引用iBatis中oscache实现自定义缓存及动态更新技巧

 绝大部分情况，使用缓存对效率提升来说是一个非常大的性能提升，但在这种性能提升的背景，缓存数据是否有效，能否支持通知更新，缓存是否支持集群分布式这些问题是作为系统设计环节中必须要考虑的。        
cs123dn_ll·2016-04-15 14:00
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他