台架第31页

亿级用户下的新浪微博平台架构

视频汇总首页：http://edu.51cto.com/lecturer/index/user_id-4626073.html======================================序言新浪微博在2014年3月公布的月活跃用户（MAU）已经达到1.43亿，2014年新年第一分钟发送的微博达808298条，如此巨大的用户规模和业务量，需要高可用（HA）、高并发访问、低延时的强大后

weixin_33806509·2020-06-28 05:09

程序员怎样成为一名架构师？

随便打开某招聘网站：系统架构师、搜索架构师、前端架构师、iOS/Android架构师、平台架构师、（大）数据架构师、JAVA/PHP/.NET架构师、高级架构师、资深架构师、BI架构师，这些是大家常见的

weixin_33730836·2020-06-28 04:31

浅谈大数据平台架构

什么是大数据平台有三个疑问：1.使用Cloudera或Hortonworks之类的Hadoop发行版本公司的提供的Hadoop套件，配置些参数，找几台服务器部署起来就算是一套大数据平台吗?2.数据开发人员平时的工作是不是写些MR或者SQL任务，使用原生的命令行提交任务就可以了吗?3.平台开发人员日常的工作是不是处理下集群的故障，给业务方扫盲，纠正各种框架组件使用姿势呢?大数据平台个人理解：是基于开

weixin_33711641·2020-06-28 03:37

大数据平台 Hadoop 的分布式集群环境搭建

2019独角兽企业重金招聘Python工程师标准>>>1概述数据分析平台架构原理从概念上讲，我们可以把数据分析平台分为接入层（Landing）、整合层（Integration）、表现层（Persentation

weixin_33695450·2020-06-28 03:23

感悟：微店大数据开发平台架构演进

1.为什么需要大数据开发平台?效率低下。脚本或代码没有版本控制，开发人员想回滚到以前的版本很不方便。若开发人员疏忽，添加新的需求后未经过调试，将可能会影响生成的数据，进而影响线上业务。任务缺乏权限控制，可登陆gateway的任何人都可修改、运行脚本。对于脚本中依赖的表，只能预估它每天产生的时间，一旦它产出延迟，将影响数据的产出。任务失败无任何报警，只能依靠人工发现。任务失败重新恢复后无法自动通知依

weixin_30827565·2020-06-28 01:14

程序员工作六年的感悟

平台架构无压力？or...fuck？看着这些问号都心累。那么，六年你迷惘了吗？又走到了那个十字路口？人们大都喜欢5年或者10年总结一次，但对我而言更喜欢6。

weixin_30810583·2020-06-28 01:42

不同类型游戏后台架构的思考

分区分服：如果从后台架构上做区分，分区分服特点：1.每个服都有各自独立的DB；2.数据不互通(除非业务做跨服数据的玩法)；不同业务有着不同分区分服方式：分区：1.对网络有特别要求的游戏，可能会是针对国内运营商网络环境进行分区

LeiLv·2020-06-27 23:34

《微店大数据开发平台架构演进》阅读有感

《微店大数据开发平台架构演进》阅读有感一、为什么需要大数据开发平台微店在16年4月份之前，数据开发流程基本是这样的：开发人员通过公共账号登录安装了Hive、Hadoop客户端的gateway机器；编写自己的脚本

weixin_30617797·2020-06-27 22:31

【原创】基于Docker的CaaS容器云平台架构设计及市场分析

基于Docker的CaaS容器云平台架构设计及市场分析---转载请注明出处，多谢!

weixin_30527551·2020-06-27 21:56

反向代理

前言最近打算学习高性能互联网服务平台架建，从服务端开始，直到底层数据存储，从头到尾开始慢慢学习。

weixin_30415113·2020-06-27 19:30

(转)我所经历的大数据平台发展史（四）：互联网时代 • 下篇

在互联网时代被弱化的数据模型谈起数据模型就不得不提传统数据平台架构发展，我相信很多朋友都晓得传统数据平台的知识，其架构演进简单一句话说“基本上可以分

weixin_30292745·2020-06-27 15:48

魅族大数据运维平台实践

一、大数据平台介绍1.1大数据平台架构演变如图所示魅族大数据平台架构演变历程：2013年底，我们开始实践大数据，并部署了测试集群。

麦思博·2020-06-27 14:39

bilibili 实时计算平台架构与实践

摘要：本文由bilibili大数据实时平台负责人郑志升分享，基于对bilibili实时计算的痛点分析，详细介绍了bilibiliSaber实时计算平台架构与实践。

过往记忆·2020-06-27 12:55

常见的大数据平台架构设计思路

近年来，随着IT技术与大数据、机器学习、算法方向的不断发展，越来越多的企业都意识到了数据存在的价值，将数据作为自身宝贵的资产进行管理，利用大数据和机器学习能力去挖掘、识别、利用数据资产。如果缺乏有效的数据整体架构设计或者部分能力缺失，会导致业务层难以直接利用大数据大数据，大数据和业务产生了巨大的鸿沟，这道鸿沟的出现导致企业在使用大数据的过程中出现数据不可知、需求难实现、数据难共享等一系列问题，本文

过往记忆·2020-06-27 12:25

视频云服务平台架构设计难点与趋势

本文来自容联视频云产品技术总监雷辉在LiveVideoStackCon2019上海大会的演讲，内容以案例或场景化故事为出发点，来畅想视频通讯领域的新技术应用。文/雷辉整理/LiveVideoStack大家好，我叫雷辉，本次分享的主题是关于容联视频云服务方面，内容主要以视频会议直播的角度去看待整个行业的发展现状，以及介绍容联视频云服务在视频会议领域里的解决方案。1.容联为什么要建立视频云平台？站在容

LiveVideoStack_·2020-06-27 11:59

大数据平台架构设计探究

本文首发于vivo互联网技术微信公众号链接：https://mp.weixin.qq.com/s/npRRRDqNUHNjbybliFxOxA作者：刘延江近年来，随着IT技术与大数据、机器学习、算法方向的不断发展，越来越多的企业都意识到了数据存在的价值，将数据作为自身宝贵的资产进行管理，利用大数据和机器学习能力去挖掘、识别、利用数据资产。如果缺乏有效的数据整体架构设计或者部分能力缺失，会导致业务层

vivo互联网技术·2020-06-27 11:11

互联网应用架构面面观

京东分布式数据库系统演进之路（张成远，京东云资深架构师）万人协同规模下的代码管理架构演进（廖超超，百度代码开发协作平台架构师）微信数据强一致高可用分布式数据库PhxSQL设计与实现（陈俊超，腾讯微信后台高级工

GitChat的博客·2020-06-27 10:15

业界首个《5G MEC边缘云平台架构及商用实践白皮书》发布 | 附下载

今日，中国联通正式发布全球首张MEC规模商用网络和业界首个《5GMEC边缘云平台架构及商用实践白皮书》。

uxuepai5g·2020-06-27 10:22

阿里为什么能抗住双 11 ？看完这篇你就明白了！

双11即将来临，本文以设计淘宝网的后台架构为例，介绍从一百个并发到千万级并发情况下服务端的架构的演进过程同时列举出每个演进阶段会遇到的相关技术，让大家对架构的演进有一个整体的认知。

架构文摘·2020-06-27 10:07

python开发大全、系列文章、精品教程（转）

沙振宇·2020-06-27 09:29

Hadoop大数据平台架构与实践

Hadoop的前世今生Google大数据技术：1.MapReduce：概念"Map（映射）"和"Reduce（归约）"，它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，

Simple_Yang92·2020-06-27 08:22

实战百度天工云

一、概要1.平台架构2.DEMO介绍外部数据接口（入）百度云接口（出）应用天气数据MQTT物接入规则引擎TSDBRestfulAPI个人或者企业应用二、物接入1.概念物接入IoTHub是全托管的云服务，

若云流风·2020-06-27 07:37

阿里巴巴共享服务中心：淘宝四大服务中心

在阿里巴巴集团的中台战略中，共享服务中心是中台架构的基石，如何构建稳定可靠、最高效地支撑上层业务快速创新的共享服务能力是中台战略成功落地的关键。

大家叫我导演·2020-06-27 07:00

新基建背景下，催生智慧园区三维管控系统解决方案

前言系统概述“智慧园区管控系统”基于物联网生态体系操控平台架构，利用新一代信息与通信技术来感知、监测、分析、控制、整合园区各个关键环节的资源，集成了光伏、变电站、停车场等管控场景界面，使各系统之间互联、

图扑软件·2020-06-27 06:35

交易中台架构设计：海量并发高扩展，新业务秒级接入

今天将从以下这三方面，来分享一些海量高并发的经验：中台模式和微服务架构到底有什么样的关系海量并发的业务中台架构如何设计与实践秒级新业务接入的交易中台如何设计和实践一、中台模式与微服务架构的关系现在大家应该都知道

天秤座的架构师·2020-06-27 05:49

Ubuntu+KVM+Openstack搭建私有云平台

搭建私有云（1）_理论知识总结前言：由于工作需求，需要搭建一个私有云平台，搜集了些资料，在此汇总记录目录搭建私有云1_理论知识总结目录0x00云平台架构0x02部署Openstack0x03创建上传系统环境模板

小黄人-大梦想·2020-06-27 04:34

大型网站技术架构演进与性能优化(六)六、应用架构探索：合并部署

平台(服务)架构应用架构复杂到一定程度后，需要单独抽出一层平台架构治理层，解决业务和应用的扩展性问题，以实现业务模型抽象、灵活扩展业务能力水平、灵活定制和组装应用等功能。技术架构

我是索隆·2020-06-27 02:52

淘宝双11，亿级流量高并发是怎么抗住的？看完这篇你就明白了!

原文：https://segmentfault.com/a/1190000018626163前言本文以设计淘宝网的后台架构为例，介绍从一百个并发到千万级并发情况下服务端的架构的演进过程，同时列举出每个演进阶段会遇到的相关技术

壹醉方休·2020-06-26 23:50

物联网应用案例：镇海智慧水务

作者：余章琪，就职于飞利信科技股份有限公司，担任物联网平台架构师，拥有18年编程经验。2014年至2016年参与了镇海智慧水务项目从解决方案设计到最终实施完成的全过程。

贾维娣·2020-06-26 23:31

有兴趣的进来

调研业界相关领先技术，规划平台架

斩秋·2020-06-26 22:50

中台架构的核心要素是什么？企业如何正确判断是否要上中台？

中台架构的核心要素是什么？企业如何正确判断是否要上中台？以及如何上？等问题。1.中台架构的本质是什么？中台是一种架构理念和方法。

kung900519·2020-06-26 19:15

Mybatis通用封装—基于泛型

在java后台架构，数据库的访问，我们一般都会选择一种映射机制，主流的也就是Hibernate跟Mybatis(ibatis)。

迷失-路·2020-06-26 17:51

安卓期末考点整理

前言临近考试，根据老师发的考试说明和例题整理出如下的复习资料安卓的平台架构安卓的基本架构由下至上分别是：linux内核库Android运行时应用程序框架应用程序下面简述每层的作用：linux内核Android

雇个城管打天下·2020-06-26 16:56

软件架构设计常用方法-软件架构设计学习第五天(非原创)

文章大纲一、需考虑问题二、前端架构三、应用层架构四、服务层架构五、存储层架构六、后台架构七、数据采集与监控八、安全架构九、数据中心机房架构十、自动化运维十一、参考文章一、需考虑问题1.研发过程管理困难（

xjanting·2020-06-26 13:50

网狐6603源码下载平台架设搭建教程（带图文）

首先要有一个服务器系统，开发的话无所谓，XP、Win7都可以，如果运营当然首选是win2008。数据库用的是SQL2008，废话不多说，下载安装完毕后就正式开始搭建平台了。再下载网狐6603源码下载:http://fanshubbs.com/thread-60-1-1.html首先是安装数据库脚本，在“脚本代码”文件夹下，网狐提供了“一键安装.bat”，非常方便，双击便可安装，如果是win7系统就

sinat_41854857·2020-06-26 12:21

以数为本、谋求智变，联通大数据“跑步”进入发展新阶段！

基于科学的数据价值观体系，联通大数据通过持续集中的挖掘和融合数据资源，建立完善的平台架构，创新行业应用实践，进入数智新阶段。”联通大数据有限公司总经理赵越在U10大数据价值峰会上总结道。

科技星象·2020-06-26 07:48

仿OpenStack开发云计算管理软件”--第1周：熟悉开发环境

他山之石，可以成云------咆哮金刚猪的云烹饪之路第一周（7月13日～7月19日）：熟悉开发环境实验内容:云平台功能模块分析云平台架构设计Flask开发环境搭建Flask可运行的代码框架实验目标:提交

实验楼·2020-06-26 06:12

饿了么元数据管理实践之路

本文转载自dbaplus社群（ID：dbaplus）王金海饿了么大数据平台架构师多年大数据平台开发架构实践，曾在唯品会担任人群个性化推荐研发工作；目前主要负责饿了么大数据平台的调度系统和元数据系统架构研发

大数据星球-浪尖·2020-06-26 05:55

大数据安全基础

平台架构自下而上可以

大数据周刊·2020-06-26 05:10

大数据平台架构（数据处理）

数据清洗在数据挖掘中，海量的原始数据中存在着大量不完整、不一致、有异常的数据，严重影响到数据挖掘建模的执行效率，甚至可能导致挖掘结果的偏差，所以进行数据清洗就显得尤为重要，数据清洗完成后接着进行或者同时进行数据集成、变换、规约等一系列的处理，该过程就是数据预处理。数据预处理一方面是要提高数据的质量，另一方面是要让数据更好地适应特定的挖掘技术或工具。数据预处理的主要内容包括数据清洗、数据集成、数据变

qq_42958746·2020-06-26 00:33

Android平台架构介绍和源码下载

本篇文章为Android源码学习的第一章，主要讲述Android平台架构的分层，以及如何下载Android源码。

codeteenager·2020-06-26 00:57

大数据平台架构技术选型与场景运用

内容来源：2017年5月6日，大眼科技CTO张逸在“魅族技术开放日第八期——数据洞察”进行《大数据平台架构技术选型与场景运用》演讲分享。

Wonder ZH·2020-06-25 22:34

大数据入门学习？

第一部分：了解大数据平台架构大数据有非常大的价值，不管是从帮助企业创造营收还是从提高效率、节省企业成本角度。大数据要是做好了，将会是一个企业增长的发动机，推动业务突飞猛进的发展。

金罗老师·2020-06-25 21:30

亲子日记第170天

2018年7月6日天气多云星期五昨晚陪儿子去练习架子鼓，回来就快九点了，可能是人多热闹，老师又把两台架子鼓搬了外面，孩子们自由组合，俩人一组打，玩的非常开心，引来好多人的驻足观看。

执手踏青_f553·2020-06-25 17:41

微博深度学习平台架构和实践

作者|黄波，何沧平责编|何永灿随着人工神经网络算法的成熟、GPU计算能力的提升，深度学习在众多领域都取得了重大突破。本文介绍了微博引入深度学习和搭建深度学习平台的经验，特别是机器学习工作流、控制中心、深度学习模型训练集群、模型在线预测服务等核心部分的设计、架构经验。微博深度学习平台极大地提升了深度学习开发效率和业务迭代速度，提高了深度学习模型效果和业务效果。深度学习平台介绍人工智能和深度学习人工智

csdn人工智能·2020-06-25 17:01

WalmartLabs：利用开源大数据技术构建WMX广告效益分析平台

粟迪夫：WalmartLabs实验室广告平台首席工程师、架构师在大数据平台架构设计、消息中间件、分布式系统等领域有丰富经验。作为技术负责人，帮助多家企业搭建了大数据平台和分布式系统。

Cynthia成·2020-06-25 16:03

数据中台架构体系浅析

中台出现的背景从技术上来看，随着业务的发展，很多企业在前期搭建了很多的IT系统，系统间像烟囱一样相互独立。在面对着越来越复杂的业务，越来越多的数据，企业IT在扩展旧系统上出现了一定的局限，从而产生不断的重复建设的问题，企业需要制定数字转型改革的战略，来解决复杂业务系统之间的解耦问题，从而降低产品各个模块的依赖，提高复用程度。从管理架构上来看，随着公司业务的不断壮大，每个团队都需要技术，产品，市场等

黑马程序员西安中心·2020-06-25 16:01

微信支付的跨平台架构到底有多牛？

点击上方“阿拉奇学Java”，选择“置顶或者星标”每天早晨00点00分,与你相约！往日回顾：JVM史上最最最完整深入解析（12000字噢）背景作为一个重要业务，微信支付在客户端上面临着各种问题。其中最核心问题就是分平台实现导致的问题：iOS和安卓实现不一致容易出Bug通过沟通保证不了质量扩展性差，无法快速响应业务需求需求变更迭代周期长数据上报不全面质量保障体系不完善缺少业务及设计知识沉淀协议管理松

l_瓶中精灵·2020-06-25 10:32

第三方库Bitcode问题

昨天发现，项目在真机上编译不通过，在模拟器上可以通过，具体报错如下：Image.png乍一看，是MLeaksFinder这个第三方库不支持bitcode造成的，因为我们平台架构是默认开启支持bitcode

CharmecarWang·2020-06-25 08:23

大数据平台架构

大数据计算通过将可执行的代码分发到大规模的服务器集群上进行分布式计算，以处理大规模的数据，即所谓的移动计算比移动数据更划算。但是这样的计算方式必然不会很快，即使一个规模不太大的数据集上的一次简单计算，MapReduce也可能需要几分钟，Spark快一点，也至少需要数秒的时间。而网站处理用户请求，需要毫秒级的响应，也就是说，要在1秒内完成计算，大数据计算必然不能实现这样的响应要求。但是网站应用又需要

会思考的男人·2020-06-25 04:16

推荐频道

台架