mafka平台架构

Docker工具汇集

无论你是初学者还是专家，开发人员或DevOps工程师，SRE或平台架构师，下面的列表都将成为你了解当前业内最流行的产品的指南，也可以帮助你充分利用Docker来完善开发流程的每个阶段。
zjycff·2018-01-10 11:45

50+个有用的Docker工具

无论你是初学者还是专家，开发人员或DevOps工程师，SRE或平台架构师，下面的列表都将成为你了解
sky_geek2008·2018-01-08 23:50

CDH5.9.0集群部署与搭建

[-]下载CDH各种RPM包1下载cloudera-manager-installerbin2下载对应平台架构的RPMS设置IP地址所有节点1设置IP地址和网关2设置主机名设置hosts文件所有节点关闭防火墙所有节点
安未然·2018-01-08 16:08

大数据平台架构实践

说明本篇博客整理自参考内容，完整内容请查看原文章；技术选型MOLAP与Druid相类似的实时数据分析工具，还有Linkedln的Pinot和eBay的Kylin，它们都是基于Java开发的。Druid相对比较轻量级，用的人也多，毕竟开发时间久一些，问题也少一些。Pinot，Linkedln开发的类似于Druid的多维数据分析平台，它的功能实际上要比Druid强大一些，但因为去年才刚刚开始开源，用的
陈振阳·2018-01-05 00:00

UGC平台架构

端到端的视频UGC核心路径技术方案梳理一、目标以UC账号为基础，从视频上传、视频存储、视频加工、视频审核、视频管理、运营、下发及播放各环节出发，为视频UGC服务提供核心路径解决方案。注：此核心流程只关注技术概要方案，不涉及业务细节二、架构思考1､客户端架构2､服务端架构三、概要技术方案1､架构大图2､核心链路2.1､本地拍摄用户从业务入口进来（带上业务ID、业务提供视频服务接口地址），可以应用UC
baoyy·2017-12-26 20:59

Hadoop视频大汇总

一慕课网1.Hadoop大数据平台架构与实践--基础篇(已学习)链接:https://www.imooc.com/learn/3912.Hadoop进阶（已学习）链接:https://www.imooc.com
cakincqm·2017-12-22 22:24

如何使用容器实现生产级别的MongoDB sharding集群的一键交付

擅长多克尔相关技术，通平台架构及企业自动化运维系统的设计及开发。
希云Docker容器管理平台·2017-12-18 09:51

案例分析|链家网大数据平台枢纽——工具链

id=25413&cid=16文|吕毅，链家网平台架构师链家网于2015年成立大数据部门，开始构建基于Hadoop的技术体系，初期大数据部门以运营数据报表需求、公司核心指标需求为主。
forever_ai·2017-12-07 14:52

微服务架构：基于微服务和Docker容器技术的PaaS云平台架构设计（微服务架构实施原理）

基于微服务架构和Docker容器技术的PaaS云平台建设目标是给我们的开发人员提供一套服务快速开发、部署、运维管理、持续开发持续集成的流程。平台提供基础设施、中间件、数据服务、云服务器等资源，开发人员只需要开发业务代码并提交到平台代码库，做一些必要的配置，系统会自动构建、部署，实现应用的敏捷开发、快速迭代。在系统架构上，PaaS云平台主要分为微服务架构、Docker容器技术、DveOps三部分，这
J_bean·2017-11-26 12:09

架构师是大忽悠吗？阿里技术大牛告诉你真相！

来源：阿里云作者：林昊（花名毕玄），阿里巴巴技术保障部研究员，曾任淘宝网平台架构部架构师。
huangshulang1234·2017-11-18 09:57

合伙人荐读：前滴滴首席架构师深度解析Paas

前言：令辉这是第三次搭建大型PaaS，第一次是作为平台架构师在豆瓣搭建国内最早一批DAE，第二次规模更大，作为首席架构师和技术为选委会主席负责滴滴出行的PaaS。
阿尔法公社Gang·2017-11-05 15:33

实现基于小米的电子商务平台架构

在Centos7中实现基于LNMP的电子商务网站一、环境准备：搭建电子商务网站之前首先要准备一个好的安装环境systemctlstatusfirewalld（查看一下防火墙的状态）systemctlstopfirewalld(关闭防火墙)iptables-F（清空防火墙里面的规则）getenforce（查看selinux状态是否是：disabled）这时候安装环境已经准备好了，接下来就是正式的安装
weixin_34217773·2017-11-04 20:40

实验——实现基于LNMP的电子商务平台架构

一、环境准备：centos系统、nginx源码、yum源（安装mysql与php-fpm）二、安装步骤：1、先确定一下防火墙都清空了2、安装nginx（推荐源码编译安装）3、yum方式安装mariadb、mariadb-server、php-mysql、php、php-fpm4、下载小米商城源码，解压缩到/data/web目录，修改权限为nobody新建目录，然后解压缩到目录下发现所有文件的属主属
Ty_endless·2017-11-04 15:30

hadoop3.0高可用HA配置详解

hadoop3.0高可用HA大数据平台架构硬件和部署方案（一）http://blog.csdn.net/lxb1022/article/details/78389836hadoop3.0高可用HA大数据平台架构软件和部署方案
lxb1022·2017-10-31 15:58

hadoop3.0高可用HA大数据平台架构软件和部署方案（二）

hadoop3.0高可用HA大数据平台架构硬件和部署方案（一）http://blog.csdn.net/lxb1022/article/details/78389836hadoop3.0高可用HA大数据平台架构软件和部署方案
lxb1022·2017-10-31 09:00

六大主流大数据采集平台架构分析

六大主流大数据采集平台架构分析转自：http://www.cstor.cn/textdetail_11850.html作者：HollyMike随着大数据越来越被重视，数据采集的挑战变的尤为突出。
AngelicaA·2017-10-25 22:45

魅族大数据运维平台实践

 一、大数据平台介绍1.1大数据平台架构演变如图所示魅族大数据平台架构演变历程：2013年底，我们开始实践大数据，并部署了测试集群。
msup789·2017-10-14 10:16

大数据平台架构技术选型与场景运用

阅读更多引用导读：本文将大数据的工作角色分为三种类型，包括业务相关、数据科学相关和数据工程。大数据平台偏向于工程方面，大数据平台一般包括数据源、数据采集、数据存储、数据分析等方面。讲师从数据来源、数据源结构、数据变化程度和数据规模等4个维度对数据源进行分类，数据源分类维度的不同决定最后的技术选型。讲师还对数据源分类的定义及选型方式进行详细讲解，最终联系到大数据的应用场景，让数据应用方式更加直观。一
yypiao·2017-09-26 15:00

使用通用二进制方式安装MariaDB或者MySQL

前言二进制格式的数据文件和windows中的绿色软件很类似，就是直接解压就可以使用，这种安装包是在发行时按照不同的平台架构事先编译完成的软件包，做一些简单配置之后可以使用，有一定的定制效果。
志_恒·2017-09-23 21:44

基于Go语言构建的万亿级流量大数据平台架构

党合萱硕士毕业于西安电子科技大学，曾就职于阿里云存储部门，主要从事存储服务相关功能的设计与开发工作。于2016年加入七牛云，主要负责流式计算与离线计算服务pipeline的架构和开发工作。目前pipeline承载公司每天超过千亿、超过百TB的数据处理。今天的分享主要围绕七牛在最近一年时间里面开发的大数据平台进行展开，目前我们的平台已经承载了公司核心业务的运营；关于我们的产品，主要会从一个场景展开进
七牛云·2017-09-21 17:41

20万、50万、100万年薪的算法工程师能力上有哪些差距？

当我们在招聘网站上检索算法工程师时，通常看到的招聘要求一般为：工作职责：1.负责推荐系统、产品的架构、研发和持续优化2.和业务团队深入合作，解决在推荐业务发展中遇到的产品和平台架构问题；具备一定的前瞻性
Mc顽固份子·2017-09-18 15:17

20万、50万、100万年薪的算法工程师能力上有哪些差距？

当我们在招聘网站上检索算法工程师时，通常看到的招聘要求一般为：工作职责：1.负责推荐系统、产品的架构、研发和持续优化2.和业务团队深入合作，解决在推荐业务发展中遇到的产品和平台架构问题；具备一定的前瞻性
hanningxue·2017-09-18 14:34

20万、50万、100万年薪的算法工程师能力上有哪些差距？

当我们在招聘网站上检索算法工程师时，通常看到的招聘要求一般为：工作职责：1.负责推荐系统、产品的架构、研发和持续优化2.和业务团队深入合作，解决在推荐业务发展中遇到的产品和平台架构问题；具备一定的前瞻性
Mc顽固份子·2017-09-18 00:00

阿里带你一起学习企业运维监控平台架构设计与实现

课程介绍本课程主要介绍了企业常见的运维监控平台的构建思路和常用软件，讲述了cacti、nagios、zabbix、ganglia、webnagios等常用监控软件的差异和优劣，并深入介绍了通过ganglia+nagios如何快速构建一个统一运维监控平台。课时列表课时1：Cacti/Nagios/Zabbix/centreon/Ganglia之抉择课时2：统一运维监控平台设计思路课时3：gangli
Winsdons·2017-09-06 14:43

大数据平台架构技术选型与场景运用

阅读更多摘要本次分享将结合多个大数据项目与产品研发的经验，探讨如何基于不同的需求场景搭建通用的大数据平台。内容涵盖数据采集、存储与分析处理等多方面的主流技术、架构决策与技术选型的经验教训。大咖演讲视频http://t.cn/R9xaSOB大数据平台内容数据源往往是在业务系统上，大多数做数据分析的时候，不会直接对业务的数据源进行处理，这时就需要数据采集。采集到数据之后，基于数据源的特点把这些数据存储
wxb880114·2017-09-03 08:00

转：构建高并发高可用的电商平台架构实践

从各个角度总结了电商平台中的架构实践，由于时间仓促，定了个初稿，待补充完善，欢迎大家一起交流。转载请声明出处：http://blog.csdn.net/yangbutao/article/details/12242441作者：杨步涛关注分布式架构、大数据、搜索、开源技术QQ:306591368技术Blog：http://blog.csdn.net/yangbutao一、设计理念1.空间换时间1)多
Maggie编程去·2017-08-02 10:19

kubernetes学习记录（1）——kubernetes初理解

由Deis的平台架构师MattButcher向他女儿介绍什么是Kubernetes，内容短小精悍、浅显易懂。
胡了了·2017-08-01 09:57

构建高并发高可用的电商平台架构实践（上）

一、设计理念1.空间换时间1)多级缓存，静态化客户端页面缓存（httpheader中包含Expires/CacheofControl，lastmodified(304，server不返回body，客户端可以继续用cache，减少流量)，ETag）反向代理缓存应用端的缓存(memcache)内存数据库Buffer、cache机制（数据库，中间件等）2)索引哈希、B树、倒排、bitmap哈希索引适合综
超级好的安安老师·2017-07-24 16:49

lamp架构搭建

lanmp平台架构的搭建：LAMP（Linux-Apache-MySQL-PHP）网站架构是Web框架，该框架包括：Linux操作系统，Apache网络服务器，MySQL数据库，Perl、PHP或者Python
努力学习的kooka呀~·2017-07-23 20:36

构建高并发高可用的电商平台架构实践

一、设计理念1.空间换时间1)多级缓存，静态化客户端页面缓存（httpheader中包含Expires/CacheofControl，lastmodified(304，server不返回body，客户端可以继续用cache，减少流量)，ETag）反向代理缓存应用端的缓存(memcache)内存数据库Buffer、cache机制（数据库，中间件等）2)索引哈希、B树、倒排、bitmap哈希索引适合综
谁不曾年少轻狂过·2017-07-09 12:17

软件架构设计原则和大数据平台架构层

1、软件架构设计的六大原则:1）“开-闭”原则(OCP)   Softwareentitiesshouldbeopenforextension,butclosedformodification.   对扩展开放，对修改封闭。2）里氏代换原则(LSP)凡是基类适用的地方，子类一定适用。3）依赖倒转原则(DIP)   要依赖抽象，不要依赖具体。4）迪米特法则(LoD)   一个对象应该对其他对象有尽可
fjssharpsword·2017-07-07 00:00

定时任务发展史(一)

我司使用quartz就已经升级了三代，每一代在上一代系统之上有所优化，写这篇文章一方面介绍一下quartz的使用，另一方面可以根据此项目的变迁反应出我司平台架构升级的一个缩影。
纯洁的微笑·2017-07-05 09:00

百亿互金平台技术栈大起底

总览闲来无事就想着还可以总结总结什么，平台架构、事故解决方案等以前都写过了，这次就主要写写我们都用过那些技术吧。我分了五块内容来介绍我们的技术栈：前端、后端、中间件、运维和工具。
纯洁的微笑·2017-07-03 08:00

微博广告 Hubble 系统：秒级大规模分布式智能监控平台架构实践

关键词：微博广告Hubble监控平台D+大数据机器学习LSTMTensorflow业务背景Hubble（哈勃，其含义是数据如浩瀚宇宙之大，Hubble如太空望远镜，能窥见璀璨的星辰，发现数据的真正价值）平台定位为微博广告智能全景监控、数据透视和商业洞察。计算广告系统是集智能流量分发、投放、结算、CTR预估、客户关系管理等为一体的大型互联网业务系统。随着微博业务的快速增长，广告系统复杂度越来越高，成
·2017-07-03 08:00

百亿互金平台技术栈大起底

总览闲来无事就想着还可以总结总结什么，平台架构、事故解决方案等以前都写过了，这次就主要写写我们都用过那些技术吧。我分了五块内容来介绍我们的技术栈：前端、后端、中间件、运维和工具。
微笑很纯洁·2017-07-03 00:00

Faraday：微博广告分层实验平台架构

策略可能需要不断地尝试，并进行合理地流量均匀分流，经过多轮线上A/Btest实验迭代，才能形成最终的决策值。另外，广告平台上许许多多的策略，有的相互独立，有的相互影响，如何高效地进行大规模的并行策略实验，是个不小的挑战。移动互联网广告基于大数据，实现广告的精准人群定向投放和效果评估，并借助于不可胜数的广告策略，控制着广告的实时投放，让数据驱动型的移动互联网广告沿着站方、用户、广告主三者共赢的目标不
study-linux·2017-06-28 09:33

微服务架构：基于微服务和Docker容器技术的PaaS云平台架构设计（微服务架构实施原理）

版权声明：本文为博主原创文章，转载请注明出处，欢迎交流学习！基于微服务架构和Docker容器技术的PaaS云平台建设目标是给我们的开发人员提供一套服务快速开发、部署、运维管理、持续开发持续集成的流程。平台提供基础设施、中间件、数据服务、云服务器等资源，开发人员只需要开发业务代码并提交到平台代码库，做一些必要的配置，系统会自动构建、部署，实现应用的敏捷开发、快速迭代。在系统架构上，PaaS云平台主要
风中程序猿·2017-06-22 16:00

大数据平台架构技术选型与场景运用

本文要分享的大数据平台架构技术选型及场景运用偏向于工程方面。如图所示，大数据平台第一个要素就是数据源，我们要处理的数据源往
fengbin2005·2017-06-21 12:00

大数据平台架构技术选型与场景运用

导读：本文将大数据的工作角色分为三种类型，包括业务相关、数据科学相关和数据工程。大数据平台偏向于工程方面，大数据平台一般包括数据源、数据采集、数据存储、数据分析等方面。讲师从数据来源、数据源结构、数据变化程度和数据规模等4个维度对数据源进行分类，数据源分类维度的不同决定最后的技术选型。讲师还对数据源分类的定义及选型方式进行详细讲解，最终联系到大数据的应用场景，让数据应用方式更加直观。一、大数据平台
leishenop·2017-06-21 10:18

随时更新的日记

7.redis重启：/etc/init.d/redis_XXXstart6.日志平台：项目中使用的日志平台架构：fileBeat输出日志到logstash,logstash收集日志格式化并输出到Elasticsearch
雨冰·2017-06-20 15:39

大数据平台架构技术选型与场景运用

导读：本文将大数据的工作角色分为三种类型，包括业务相关、数据科学相关和数据工程。大数据平台偏向于工程方面，大数据平台一般包括数据源、数据采集、数据存储、数据分析等方面。讲师从数据来源、数据源结构、数据变化程度和数据规模等4个维度对数据源进行分类，数据源分类维度的不同决定最后的技术选型。讲师还对数据源分类的定义及选型方式进行详细讲解，最终联系到大数据的应用场景，让数据应用方式更加直观。一、大数据平台
钱曙光·2017-06-20 15:17

构建高并发高可用的电商平台架构实践

在本文，我向大家介绍如何构建一个高并发高可用的电商平台。一、设计理念1.空间换时间1）多级缓存，静态化   前端页面缓存（HTTPHeader中包含Expires/CacheofControl，LastModified(304，Server不返回Body，客户端可以继续用Cache，减少流量)，ETag）   反向代理缓存   应用端的缓存(memcache)   内存数据库   Buffer、C
u011676417·2017-06-13 11:00

Android平台架构简介

Android系统介绍Linux内核层系统运行库层提供Android系统特性的函数库Android运行时库Android虚拟机与Java虚拟机应用框架层应用层Android系统介绍Android系统的底层建立在Linux系统之上，该平台由Linux内核层、系统运行库层、应用框架层及应用层四层组成，它采用一种被称为软件叠层(SoftwareStack)的方式进行构建。这各软件叠层结构使得层与层之间相
Yuan Jianzheng·2017-06-09 19:24

高并发架构

高并发平台架构设计理念1.空间换时间多级缓存，静态化前端页面缓存（HTTPHeader中包含Expires/CacheofControl，LastModified(304，Server不返回Body，客户端可以继续用
AkaTBS·2017-05-26 09:33

高并发架构

高并发平台架构设计理念1.空间换时间多级缓存，静态化前端页面缓存（HTTPHeader中包含Expires/CacheofControl，LastModified(304，Server不返回Body，客户端可以继续用
AkaTBS·2017-05-26 09:33

小型电商服务器平台搭建（一）

一、阿里云小型电商服务平台架构介绍电商平台初创之初，访问量不大，但将来可能访问量暴增，初期阶段业务模式调整频繁，对价格敏感，因此希望服务器平台架构具有良好的功能拓展性及性能伸缩性，所有平台软件最好免费，
newthink·2017-05-21 18:16

构建高并发高可用的电商平台架构大纲

原文链接：https://my.oschina.net/u/2426551/blog/897407一、设计理念1.空间换时间1)多级缓存，静态化客户端页面缓存（httpheader中包含Expires/CacheofControl，lastmodified(304，server不返回body，客户端可以继续用cache，减少流量)，ETag）反向代理缓存应用端的缓存(memcache)内存数据库B
choushi6193·2017-05-11 13:00

Hadoop大数据平台架构与实践 | hadoop概述与安装

e>Hadoop大数据平台架构与实践--基础篇目录内容概要Hadoop前生Hadoop的功能与优势Hadoop的生态系统和版本Hadoop安装内容概要1、大数据技术的相关概念2、Hadoop的架构和运行机制
拾壹北·2017-04-28 13:06

解密淘宝网的开源架构

现任淘宝网平台架构部架构师，主要研究方向为大规模集群环境下的消息中间件设计、分布式数据层和分布式系统。
我不是九爷·2017-04-25 22:15

Spark异构分布式计算平台架构

1.基于Spark的异构分布式深度学习平台——百度的sparkonPADDLEhttp://geek.csdn.net/news/detail/58867还未开源2.分布式机器学习框架——谷歌的TensorFlowonSparkhttps://my.oschina.net/u/2306127/blog/634189（中文翻译版）原文：https://databricks.com/blog/2016
九七学姐·2017-04-10 09:07
上一页 26 27 28 29 30 31 32 33 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他