E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
mesos
scala并发编程第8章习题1-3
五到七章先放一下,过段时间再看,akka还是比较给力的,最近忙着部署
mesos
和hive,过段时间也把部署和踩的一些小坑写一下,今天晚上换换脑子,做做akka的题1通过TimerActor类实现计时器,
cjuexuan
·
2015-12-13 20:00
编程
scala
akka
mesos
安装前置-->gcc4.8
获取GCC4.8.2包:wgethttp://gcc.skazkaforyou.com/releases/gcc-4.8.2/gcc-4.8.2.tar.gz解压缩:tar-xfgcc-4.8.2.tar.gz安装依赖库 进入到目录gcc-4.8.2 执行./contrib/download_prerequisites建立编译所需输出目录并到目录里:mkdirgcc-build-4.8.2;cdg
于洋2015
·
2015-12-11 15:00
基于
Mesos
和Docker的分布式计算平台
本文将介绍数人科技基于
Mesos
和Docker的分布式计算平台的实践。分布式系统设计准则可伸缩性首先分布式系统一定是大规模的系统,有
翟军铭
·
2015-12-10 16:21
互联网
Google
解决方案
数据中心
硬件故障
spark入门笔记(二)spark的stanalone模式
除了yarn之外,还提供了
Mesos
集群资源管理。
liyaohhh
·
2015-12-09 16:00
大数据平台安装测试(1)centos7.1 docker
mesos
tachyon hadoop (myriad? yarn?)spark hbase speaksql 选型分析
在下大数据的新手,该系列文章会记录我所有的思考和遇到的问题,各位看官如果有什么想法希望多多指教!我尽量快速回复。谢谢。最近公司需要跑大数据,网上找来各种文章分析,平台结构基本定型公司的需求大概是一个数据包是1.5-3g左右,生成大概6g以下的中间数据。初步可能需要1000-10000个数据包进行综合分析(字串系列比较),生成报告输出到外网mysql数据库。配置大概是至强e52630v3*2华硕z1
jinhao82
·
2015-12-08 10:00
spark
yarn
docker
mesos
Tachyon
Spark On YARN 集群安装部署
我们知道Spark官方提供了三种集群部署方案:Standalone,
Mesos
,YARN。其中Standalone最为方便,本文主要讲述结合YARN的部署方案。
岁月留痕
·
2015-12-07 09:00
周末“干活”之
Mesos
Meetup
非常感谢Linker的SamChen和数人科技的CTO共同组织的
Mesos
Meetup,OneAPM最帅的Docker工程狮~陈亮与LinkerNetworks、爱奇艺、PingCAP,浙江移动的程序猿们一起分享了在
wangpeng198688
·
2015-12-03 16:00
技术
运营
爱奇艺
spark on yarn
sparkonyarn@(博客文章)[spark|大数据](一)spark的运行模式spark可以根据需要运行在local,standalone,
mesos
和yarn四种模式。
lujinhong2
·
2015-12-03 11:00
spark
yarn
VMware在DockerCon EU宣布开源“Photon Controller”基础设施控制器
这个虚拟化平台通过许多框架,例如Kubernetes、DockerSwarm或
Mesos
,提供了API优先的用户体验、可扩
Daniel Bryant
·
2015-12-03 00:00
煮饺子和
MESOS
之间妙不可言的关系
摘要:你知道大型的饺子馆是怎么煮饺子的吗?是这样煮吗?↓那你要让顾客喝西北风了!难道是很多个这种锅一起煮吗?↓呵呵,不是,你想赔死吗?其实他们用了一种神器↓为什么会酱紫?我们来分析一下大型饺子馆面对的需求↓... 你知道大型的饺子馆是怎么煮饺子的吗?是这样煮吗?↓那你要让顾客喝西北风了! 难道是很多个这种锅一起煮吗?↓呵呵,不是,你想赔死吗? 其实他们用了一种神器↓为什么会酱紫? 我们来分析一下
aoyouzi
·
2015-12-01 10:00
记一次Spark集群查询速度变慢的问题调查
现象:针对某张表(下文中用A表代替)的查询速度慢了6s 简单介绍一下系统的架构:Spark+Tachyon+glusterfs+
mesos
,其中glusterfs负责tachyon数据的持久化,Spark
zhao_rock
·
2015-11-24 10:00
spark
sparksql
Spark问题调查
深入浅出
Mesos
卷首语云计算和大数据是这个时代的主题。这个主题是由数据挖掘、算法、微服务等具体的活动或者业务组成的,进而它们可以分解为离线或实时的任务。这些任务可能是长时间运行的、定时执行的,亦或是短时间内一次执行即结束的。每个任务都需要CPU和内存资源来处理,这些资源很可能是跨主机的,甚至是跨数据中心的。那么,面对光鲜亮丽的时代主题,我们该如何设计和实现任务的调度和资源的分配呢?答案是不需要这样做,因为我们有M
InfoQ中文站
·
2015-11-22 00:00
为什么拼死也要做这场容器大会?
熟悉DockOne社区的同学都知道,最近我们在拼尽全力想办一场关于容器(Docker、Kubernetes、
Mesos
等)的垂直技术会议,所以微博、朋友圈总是『安利』让大家买票。
DockOne
·
2015-11-21 11:00
容器
大会
容器私有云和持续发布都要解决哪些基础问题 第二集
郑昀编著创建于2015/10/30最后更新于2015/11/20关键词:Docker,容器,持续集成,持续发布,私有云,Jenkins,
Mesos
,Marathon本文档适用人员:广义上的技术人员提纲:
旁观者
·
2015-11-20 17:00
Spark Dynamic Allocation 分析
spark1.5开始为
mesos
粗粒度模式和standalone模式提供了DynamicAllocation的机制。通过将闲置executor移除,达到提高资源利用率的目的。
breeze_lsw
·
2015-11-17 16:24
Spark
Spark Dynamic Allocation 分析
spark1.5开始为
mesos
粗粒度模式和standalone模式提供了DynamicAllocation的机制。通过将闲置executor移除,达到提高资源利用率的目的。
lsshlsw
·
2015-11-17 16:00
spark
dynamic
系统弹性概念[TODO]
弹性矩阵样例:资源管理Apache
Mesos
abstractsCPU,memory,storage,andothercomputeresourcesawayfrommachines(physicalorvirtual
zhoujiagen
·
2015-11-14 20:00
Rancher集群化docker管理平台部署、特性及破坏性测试。
rancher是一个docker集群化管理平台,相对于
mesos
和k8s架构,rancher的部署管理非常简单方便。并且功能丰富。如下为本人绘制的逻辑架构图。
酱酱酱子啊
·
2015-11-14 10:11
docker
集群管理
rancher
Rancher集群化docker管理平台部署、特性及破坏性测试。
rancher是一个docker集群化管理平台,相对于
mesos
和k8s架构,rancher的部署管理非常简单方便。并且功能丰富。如下为本人绘制的逻辑架构图。
酱酱酱子啊
·
2015-11-14 10:11
docker
集群管理
rancher
Rancher集群化docker管理平台部署、特性及破坏性测试。
rancher是一个docker集群化管理平台,相对于
mesos
和k8s架构,rancher的部署管理非常简单方便。并且功能丰富。如下为本人绘制的逻辑架构图。
酱酱酱子啊
·
2015-11-14 10:11
集群管理
docker
rancher
Docker
Spark实践的阶段性总结
在之前Spark简介及安装的文章前面,介绍了Spark在大数据处理领域的一个定位,以及AMP实验室构建的生态圈,总之我定义Spark为一个值得研究的东西,包括他的实现语言Scala,底层的资源管理
Mesos
·
2015-11-13 14:03
spark
mesos
+marathon+zookeeper的docker管理集群亲手搭建实例(详细)
1:规划(5master+3slave)master:10.64.5.184---master110.64.5.185---master210.64.5.186---master310.64.5.187---master410.64.5.188---master5slave:10.64.5.170---slave110.64.5.172---slave210.64.5.167---slave32:
酱酱酱子啊
·
2015-11-13 11:07
zookeeper
docker
mesos
marathon
mesos
+marathon+zookeeper的docker管理集群亲手搭建实例(详细)
1:规划(5master+3slave)master:10.64.5.184---master110.64.5.185---master210.64.5.186---master310.64.5.187---master410.64.5.188---master5slave:10.64.5.170---slave110.64.5.172---slave210.64.5.167---slave32:
酱酱酱子啊
·
2015-11-13 11:07
zookeeper
docker
mesos
Docker
mesos
+marathon+zookeeper的docker管理集群亲手搭建实例(详细)
1:规划(5master+3slave)master:10.64.5.184---master110.64.5.185---master210.64.5.186---master310.64.5.187---master410.64.5.188---master5slave:10.64.5.170---slave110.64.5.172---slave210.64.5.167---slave32:
酱酱酱子啊
·
2015-11-13 11:07
zookeeper
docker
mesos
marathon
论文阅读笔记 -
Mesos
: A Platform for Fine-Grained ResourceSharing in the Data Center
作者:刘旭晖 Raymond 转载请注明出处 Email:colorant at 163.com BLOG:http://blog.csdn.net/colorant/ 更多论文阅读笔记 http://blog.csdn.net/colorant/article/details/8256145 == 目标问题 == 为了提高资源的利用率以
·
2015-11-13 08:37
resource
Spark on
Mesos
: 搭建
Mesos
的一些问题
资源管理系统 Spark可以搭建在
Mesos
上或YARN上,两个都是资源管理系统。
·
2015-11-13 07:22
spark
Mesos
上安装Hadoop超详细部署攻略
内容原创,转载请注明,谢谢! 第一章 基本介绍 1.准备资料和情况说明。 使用背景: a.希望在一个集群上配备两套计算框架。比如MPI STORM HADOOP SPARK。 b.CPU和内存资源的高效管理 c.需要细粒度的资源共享,使上层的框架实现特
·
2015-11-12 23:25
hadoop
【译】Spark官方文档——编程指南
本文翻自官方博客,略有添加:https://github.com/
mesos
/spark/wiki/Spark-Programming-Guide Spark发指南 从高的面看,其实每一个
·
2015-11-12 21:35
spark
Spark官方文档——独立集群模式(Standalone Mode)
除了部署在
Mesos
之上, Spark也支持独立部署模式,包括一个Spark master进程和多个 Spark worker进程.独立部署模式可以运行在单机上作为测试之用,也可以部署在集群上
·
2015-11-12 21:34
spark
spark概论
一、概述 1.轻:(1)采用语言简洁的scala编写;(2)利用了hadoop和
mesos
的基础设施 2.快:spark的内存计算、数据本地性和传输优化、调度优化,使其在迭代机器学习
·
2015-11-12 21:28
spark
在Windos上使用Eclipse进行Hadoop开发的环境搭建
开发环境搭建 1.准备 1.1 完成linux上的hadoop集群安装,并且能够从WIN上远程到linux 如果你还未完成安装集群可以参考我的这篇博文(注意是基于
Mesos
·
2015-11-12 21:57
eclipse
Hive安装配置以及整合HBase和hadoop
Hive安装配置以及整合 1.基本说明 本文以
mesos
上安装hadoop为基础,有些地方与独立安装hadoop集群不同,请注意。
·
2015-11-12 21:56
hadoop
在Hadoop上安装HBase
Hbase快速安装 1.准备工作 1.1 确保已经正确安装hadoop 详情可以参考我的一篇基于集群资源管理
Mesos
的hadoop安装教程 地址: 《
Mesos
上安装Hadoop超详细部署攻略
·
2015-11-12 21:55
hadoop
centos7 安装 hadoop-cdh-2.5 on
mesos
1.环境说明master 192.168.0.223
mesos
-masterslave 192.168.0.225
mesos
-salve2.环境准备关闭防火墙关闭selinux两台机器修改主机名
翟军铭
·
2015-11-10 16:54
用户
防火墙
master
Export
输入密码
centos7 安装 hadoop-cdh-2.5 on
mesos
1.环境说明master192.168.0.223
mesos
-masterslave192.168.0.225
mesos
-salve2.环境准备关闭防火墙关闭selinux两台机器修改主机名master
翟军铭
·
2015-11-10 16:54
防火墙
用户
export
hadoop
Centos7安装Meoso、Zookeeper、Marathon
一、环境192.168.1.110
Mesos
-master、Zookeeper、Marathon192.168.1.111
Mesos
-master、Zookeeper、Marathon192.168.1.112
Mesos
-master
翟军铭
·
2015-11-10 15:24
软件
防火墙
云计算
centos7安装
mesos
+marathon+zookeeper(一)
1.地址规划192.168.1.110 master1192.168.1.111 master2192.168.1.112 master3192.168.1.115 salve1 192.168.1.116 salve2Master节点:1.关闭防火墙systemctl stop firewalld && systemctl disable firewalld2.关闭selinuxsetenfor
翟军铭
·
2015-11-10 15:24
防火墙
软件
Apache Spark探秘:三种分布式部署方式比较
apache-spark-comparing-three-deploying-ways/ 目前Apache Spark支持三种分布式部署方式,分别是standalone、spark on
mesos
·
2015-11-09 13:34
apache
全方位对比
Mesos
、Omega和Borg
这促使我重新阅读了
Mesos
和Omega论文,它们与Borg的功能类似。我觉得对比下这三个系统一定会非常有趣。
继续微笑lsj
·
2015-11-05 16:21
分布式系统
让spark运行在
mesos
上 -- 分布式计算系统spark学习(五)
mesos
集群部署参见上篇。
GZ.Jackey
·
2015-11-05 16:00
mesos
框架编译部署
mesos
是什么呢?一个分布式调度框架,让你编写代码时面对整个集群像面对一台机器那么简单。所有的运行,资源调度都可以由它来帮你搞掂。
GZ.Jackey
·
2015-11-05 11:00
Spark环境安装-详细
SCALA_HOME/bin:$PATH2git安装由于下载Spark和编译Spark需要git,因此先安装git3Spark安装首先下载最新的源代码gitclonegit://github.com/
mesos
啊莫
·
2015-11-05 01:00
google borg
Introduction google服务器集群的管理系统,类似于百度的Matrix,阿里的fuxi,腾讯的台风平台等等,还有开源的
mesos
&
·
2015-11-03 22:25
Google
EC2容器服务介绍
ECS是诸如DockerSwarm,Kubernetes,
Mesos
等工具的替代,它们工作在同一个层,除了作为一个服务来提供。这些工具和ECS不同的地方在于,前者需要你自己来部署和管理,而
Benjamin Wootton
·
2015-11-03 00:00
云计算工具,框架,服务简单介绍
下面为技术列表 python scala aws openstack docker LXC libcloud
mesos
ec2 s3 dynamodb
·
2015-11-02 18:00
云计算
Spark-1.0.0 standalone分布式安装教程
Spark目前支持多种分布式部署方式:一、Standalone Deploy Mode;二Amazon EC2、;三、Apache
Mesos
;四、Hadoop YARN。
·
2015-11-01 09:00
spark
Spark Schedule 相关配置
spark.cores.max 这个参数决定了在Standalone和
Mesos
模式下,一个Spark应用程序所能申请的CP
·
2015-10-31 19:19
schedule
[zz]
mesos
底层基础库
转载自:http://dongxicheng.org/apache-
mesos
/
mesos
-base-libarary/ 1.
·
2015-10-30 18:48
mesos
Mesos
: A Platform for Fine-Grained Resource Sharing in the Data Center
http://incubator.apache.org/
mesos
/research.html,
Mesos
Mesos
: A Platform for Fine-Grained Resource
·
2015-10-28 08:57
resource
Mesos
入门教程
Mesos
提供了高效、跨分布式应用程序和框架的资源隔离和共享,支持Hadoop、 MPI、Hypertable、Spark等。
·
2015-10-28 07:01
mesos
上一页
26
27
28
29
30
31
32
33
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他