mafka平台架构

亿级用户下的新浪微博平台架构

视频汇总首页：http://edu.51cto.com/lecturer/index/user_id-4626073.html======================================序言新浪微博在2014年3月公布的月活跃用户（MAU）已经达到1.43亿，2014年新年第一分钟发送的微博达808298条，如此巨大的用户规模和业务量，需要高可用（HA）、高并发访问、低延时的强大后
weixin_33806509·2020-06-28 05:09

程序员怎样成为一名架构师？

随便打开某招聘网站：系统架构师、搜索架构师、前端架构师、iOS/Android架构师、平台架构师、（大）数据架构师、JAVA/PHP/.NET架构师、高级架构师、资深架构师、BI架构师，这些是大家常见的
weixin_33730836·2020-06-28 04:31

浅谈大数据平台架构

什么是大数据平台有三个疑问：1.使用Cloudera或Hortonworks之类的Hadoop发行版本公司的提供的Hadoop套件，配置些参数，找几台服务器部署起来就算是一套大数据平台吗?2.数据开发人员平时的工作是不是写些MR或者SQL任务，使用原生的命令行提交任务就可以了吗?3.平台开发人员日常的工作是不是处理下集群的故障，给业务方扫盲，纠正各种框架组件使用姿势呢?大数据平台个人理解：是基于开
weixin_33711641·2020-06-28 03:37

大数据平台 Hadoop 的分布式集群环境搭建

2019独角兽企业重金招聘Python工程师标准>>>1概述数据分析平台架构原理从概念上讲，我们可以把数据分析平台分为接入层（Landing）、整合层（Integration）、表现层（Persentation
weixin_33695450·2020-06-28 03:23

感悟：微店大数据开发平台架构演进

1.为什么需要大数据开发平台?效率低下。脚本或代码没有版本控制，开发人员想回滚到以前的版本很不方便。若开发人员疏忽，添加新的需求后未经过调试，将可能会影响生成的数据，进而影响线上业务。任务缺乏权限控制，可登陆gateway的任何人都可修改、运行脚本。对于脚本中依赖的表，只能预估它每天产生的时间，一旦它产出延迟，将影响数据的产出。任务失败无任何报警，只能依靠人工发现。任务失败重新恢复后无法自动通知依
weixin_30827565·2020-06-28 01:14

程序员工作六年的感悟

平台架构无压力？or...fuck？看着这些问号都心累。那么，六年你迷惘了吗？又走到了那个十字路口？人们大都喜欢5年或者10年总结一次，但对我而言更喜欢6。
weixin_30810583·2020-06-28 01:42

《微店大数据开发平台架构演进》阅读有感

《微店大数据开发平台架构演进》阅读有感一、为什么需要大数据开发平台微店在16年4月份之前，数据开发流程基本是这样的：开发人员通过公共账号登录安装了Hive、Hadoop客户端的gateway机器；编写自己的脚本
weixin_30617797·2020-06-27 22:31

【原创】基于Docker的CaaS容器云平台架构设计及市场分析

基于Docker的CaaS容器云平台架构设计及市场分析---转载请注明出处，多谢!
weixin_30527551·2020-06-27 21:56

(转)我所经历的大数据平台发展史（四）：互联网时代 • 下篇

在互联网时代被弱化的数据模型谈起数据模型就不得不提传统数据平台架构发展，我相信很多朋友都晓得传统数据平台的知识，其架构演进简单一句话说“基本上可以分
weixin_30292745·2020-06-27 15:48

魅族大数据运维平台实践

一、大数据平台介绍1.1大数据平台架构演变如图所示魅族大数据平台架构演变历程：2013年底，我们开始实践大数据，并部署了测试集群。
麦思博·2020-06-27 14:39

bilibili 实时计算平台架构与实践

摘要：本文由bilibili大数据实时平台负责人郑志升分享，基于对bilibili实时计算的痛点分析，详细介绍了bilibiliSaber实时计算平台架构与实践。
过往记忆·2020-06-27 12:55

常见的大数据平台架构设计思路

近年来，随着IT技术与大数据、机器学习、算法方向的不断发展，越来越多的企业都意识到了数据存在的价值，将数据作为自身宝贵的资产进行管理，利用大数据和机器学习能力去挖掘、识别、利用数据资产。如果缺乏有效的数据整体架构设计或者部分能力缺失，会导致业务层难以直接利用大数据大数据，大数据和业务产生了巨大的鸿沟，这道鸿沟的出现导致企业在使用大数据的过程中出现数据不可知、需求难实现、数据难共享等一系列问题，本文
过往记忆·2020-06-27 12:25

视频云服务平台架构设计难点与趋势

本文来自容联视频云产品技术总监雷辉在LiveVideoStackCon2019上海大会的演讲，内容以案例或场景化故事为出发点，来畅想视频通讯领域的新技术应用。文/雷辉整理/LiveVideoStack大家好，我叫雷辉，本次分享的主题是关于容联视频云服务方面，内容主要以视频会议直播的角度去看待整个行业的发展现状，以及介绍容联视频云服务在视频会议领域里的解决方案。1.容联为什么要建立视频云平台？站在容
LiveVideoStack_·2020-06-27 11:59

大数据平台架构设计探究

本文首发于vivo互联网技术微信公众号链接：https://mp.weixin.qq.com/s/npRRRDqNUHNjbybliFxOxA作者：刘延江近年来，随着IT技术与大数据、机器学习、算法方向的不断发展，越来越多的企业都意识到了数据存在的价值，将数据作为自身宝贵的资产进行管理，利用大数据和机器学习能力去挖掘、识别、利用数据资产。如果缺乏有效的数据整体架构设计或者部分能力缺失，会导致业务层
vivo互联网技术·2020-06-27 11:11

互联网应用架构面面观

京东分布式数据库系统演进之路（张成远，京东云资深架构师）万人协同规模下的代码管理架构演进（廖超超，百度代码开发协作平台架构师）微信数据强一致高可用分布式数据库PhxSQL设计与实现（陈俊超，腾讯微信后台高级工
GitChat的博客·2020-06-27 10:15

业界首个《5G MEC边缘云平台架构及商用实践白皮书》发布 | 附下载

今日，中国联通正式发布全球首张MEC规模商用网络和业界首个《5GMEC边缘云平台架构及商用实践白皮书》。
uxuepai5g·2020-06-27 10:22

Hadoop大数据平台架构与实践

Hadoop的前世今生Google大数据技术：1.MapReduce：概念"Map（映射）"和"Reduce（归约）"，它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，
Simple_Yang92·2020-06-27 08:22

实战百度天工云

一、概要1.平台架构2.DEMO介绍外部数据接口（入）百度云接口（出）应用天气数据MQTT物接入规则引擎TSDBRestfulAPI个人或者企业应用二、物接入1.概念物接入IoTHub是全托管的云服务，
若云流风·2020-06-27 07:37

新基建背景下，催生智慧园区三维管控系统解决方案

前言系统概述“智慧园区管控系统”基于物联网生态体系操控平台架构，利用新一代信息与通信技术来感知、监测、分析、控制、整合园区各个关键环节的资源，集成了光伏、变电站、停车场等管控场景界面，使各系统之间互联、
图扑软件·2020-06-27 06:35

Ubuntu+KVM+Openstack搭建私有云平台

搭建私有云（1）_理论知识总结前言：由于工作需求，需要搭建一个私有云平台，搜集了些资料，在此汇总记录目录搭建私有云1_理论知识总结目录0x00云平台架构0x02部署Openstack0x03创建上传系统环境模板
小黄人-大梦想·2020-06-27 04:34

大型网站技术架构演进与性能优化(六)六、应用架构探索：合并部署

平台(服务)架构应用架构复杂到一定程度后，需要单独抽出一层平台架构治理层，解决业务和应用的扩展性问题，以实现业务模型抽象、灵活扩展业务能力水平、灵活定制和组装应用等功能。技术架构
我是索隆·2020-06-27 02:52

物联网应用案例：镇海智慧水务

作者：余章琪，就职于飞利信科技股份有限公司，担任物联网平台架构师，拥有18年编程经验。2014年至2016年参与了镇海智慧水务项目从解决方案设计到最终实施完成的全过程。
贾维娣·2020-06-26 23:31

安卓期末考点整理

前言临近考试，根据老师发的考试说明和例题整理出如下的复习资料安卓的平台架构安卓的基本架构由下至上分别是：linux内核库Android运行时应用程序框架应用程序下面简述每层的作用：linux内核Android
雇个城管打天下·2020-06-26 16:56

以数为本、谋求智变，联通大数据“跑步”进入发展新阶段！

基于科学的数据价值观体系，联通大数据通过持续集中的挖掘和融合数据资源，建立完善的平台架构，创新行业应用实践，进入数智新阶段。”联通大数据有限公司总经理赵越在U10大数据价值峰会上总结道。
科技星象·2020-06-26 07:48

仿OpenStack开发云计算管理软件”--第1周：熟悉开发环境

他山之石，可以成云------咆哮金刚猪的云烹饪之路第一周（7月13日～7月19日）：熟悉开发环境实验内容:云平台功能模块分析云平台架构设计Flask开发环境搭建Flask可运行的代码框架实验目标:提交
实验楼·2020-06-26 06:12

饿了么元数据管理实践之路

本文转载自dbaplus社群（ID：dbaplus）王金海饿了么大数据平台架构师多年大数据平台开发架构实践，曾在唯品会担任人群个性化推荐研发工作；目前主要负责饿了么大数据平台的调度系统和元数据系统架构研发
大数据星球-浪尖·2020-06-26 05:55

大数据安全基础

平台架构自下而上可以
大数据周刊·2020-06-26 05:10

大数据平台架构（数据处理）

数据清洗在数据挖掘中，海量的原始数据中存在着大量不完整、不一致、有异常的数据，严重影响到数据挖掘建模的执行效率，甚至可能导致挖掘结果的偏差，所以进行数据清洗就显得尤为重要，数据清洗完成后接着进行或者同时进行数据集成、变换、规约等一系列的处理，该过程就是数据预处理。数据预处理一方面是要提高数据的质量，另一方面是要让数据更好地适应特定的挖掘技术或工具。数据预处理的主要内容包括数据清洗、数据集成、数据变
qq_42958746·2020-06-26 00:33

Android平台架构介绍和源码下载

本篇文章为Android源码学习的第一章，主要讲述Android平台架构的分层，以及如何下载Android源码。
codeteenager·2020-06-26 00:57

大数据平台架构技术选型与场景运用

内容来源：2017年5月6日，大眼科技CTO张逸在“魅族技术开放日第八期——数据洞察”进行《大数据平台架构技术选型与场景运用》演讲分享。
Wonder ZH·2020-06-25 22:34

大数据入门学习？

第一部分：了解大数据平台架构大数据有非常大的价值，不管是从帮助企业创造营收还是从提高效率、节省企业成本角度。大数据要是做好了，将会是一个企业增长的发动机，推动业务突飞猛进的发展。
金罗老师·2020-06-25 21:30

微博深度学习平台架构和实践

作者|黄波，何沧平责编|何永灿随着人工神经网络算法的成熟、GPU计算能力的提升，深度学习在众多领域都取得了重大突破。本文介绍了微博引入深度学习和搭建深度学习平台的经验，特别是机器学习工作流、控制中心、深度学习模型训练集群、模型在线预测服务等核心部分的设计、架构经验。微博深度学习平台极大地提升了深度学习开发效率和业务迭代速度，提高了深度学习模型效果和业务效果。深度学习平台介绍人工智能和深度学习人工智
csdn人工智能·2020-06-25 17:01

WalmartLabs：利用开源大数据技术构建WMX广告效益分析平台

粟迪夫：WalmartLabs实验室广告平台首席工程师、架构师在大数据平台架构设计、消息中间件、分布式系统等领域有丰富经验。作为技术负责人，帮助多家企业搭建了大数据平台和分布式系统。
Cynthia成·2020-06-25 16:03

微信支付的跨平台架构到底有多牛？

点击上方“阿拉奇学Java”，选择“置顶或者星标”每天早晨00点00分,与你相约！往日回顾：JVM史上最最最完整深入解析（12000字噢）背景作为一个重要业务，微信支付在客户端上面临着各种问题。其中最核心问题就是分平台实现导致的问题：iOS和安卓实现不一致容易出Bug通过沟通保证不了质量扩展性差，无法快速响应业务需求需求变更迭代周期长数据上报不全面质量保障体系不完善缺少业务及设计知识沉淀协议管理松
l_瓶中精灵·2020-06-25 10:32

第三方库Bitcode问题

昨天发现，项目在真机上编译不通过，在模拟器上可以通过，具体报错如下：Image.png乍一看，是MLeaksFinder这个第三方库不支持bitcode造成的，因为我们平台架构是默认开启支持bitcode
CharmecarWang·2020-06-25 08:23

大数据平台架构

大数据计算通过将可执行的代码分发到大规模的服务器集群上进行分布式计算，以处理大规模的数据，即所谓的移动计算比移动数据更划算。但是这样的计算方式必然不会很快，即使一个规模不太大的数据集上的一次简单计算，MapReduce也可能需要几分钟，Spark快一点，也至少需要数秒的时间。而网站处理用户请求，需要毫秒级的响应，也就是说，要在1秒内完成计算，大数据计算必然不能实现这样的响应要求。但是网站应用又需要
会思考的男人·2020-06-25 04:16

国内大厂在移动端跨平台用了哪些框架呢？

因为效（tou）率（lan）问题，这里只分析Android端，因为Android使用的情况下iOS基本也会接入对应的跨平台架构。因为是个人统计，如有错误或遗漏还请指出。
编码博客控·2020-06-25 00:53

基于容器的微服务架构技术选型与设计

下面我们将就这两年在平台架构选型、平台架构设计、平台
qianshanding0708·2020-06-24 21:08

京东大规模消息推送平台搭建实践

推送平台架构名词解释：dt：全称deviceToken，代表设备唯一标识。appId：用户在推送平台申请的应用代号。token：平台上每个应用对应的专属密钥。
开涛的博客·2020-06-24 18:15

ArchSummit架构师峰会 资料下载

这里有些不错的资料，http://www.archsummit.com/download.php专题架构的生长与演进搜索新时代海量视频的处理与分发09:00大数据的技术趋势和演变10:00腾讯开放平台架构设计解密
nomad2·2020-06-24 17:37

深度解析：持续交付将如何拯救IT运维？

作者简介：刘劲辉(微信号：akito_hui)，前阿里移动事业群高级运维工程师，现优维科技运维与平台研发专家，专注于DevOps、应用运维和平台架构设计，参与实施监控平台设计、运维规范设计、虚拟化应用、
老叶茶馆_·2020-06-24 16:22

物联网平台架构设计

更多创客作品，请关注笔者网站园丁鸟，搜集全球极具创意，且有价值的创客作品ROS机器人知识请关注，diegorobot业余时间完成的一款在线统计过程分析工具SPC，及SPC知识分享网站qdo现在网上讨论的有关物联网的帖子非常之多，但大部分都是介绍理论或者有关硬件，通讯相关的问题，比如物联网模块，物联网通讯协议MQTT、XMPP、NB_IOT等，个人认为这些只是物联网中一部分，而涉及到物联网的设备如何
DiegoRobot·2020-06-24 16:49

DevOps平台架构（Platform Architecture）

DevOps平台架构（PlatformArchitecture）《虚拟化平台（Platform）》新建网络Network首先创建VxNet私有网络，然后器创建SubNet子网，最后配置IP、开启GW和DHCP
mtj66·2020-06-24 16:52

亿级用户下的新浪微博平台架构

【编者按】《博文共赏》是InfoQ中文站新推出的一个专栏，精选来自国内外技术社区和个人博客上的技术文章，让更多的读者朋友受益，本栏目转载的内容都经过原作者授权。文章推荐可以发送邮件到[email protected]。序言新浪微博在2014年3月公布的月活跃用户（MAU）已经达到1.43亿，2014年新年第一分钟发送的微博达808298条，如此巨大的用户规模和业务量，需要高可用（HA）、高并
Mask_HLF·2020-06-24 13:40

工业互联网-工业APP-制造运行管理-数字孪生-CPS-RAMI4.0模型脑图大杂烩

年底，参加工业互联网峰会，各位有影响力的同行大咖们提出“工业互联网平台架构2.0”，又将“数字孪生”大谈特谈；年初，发布了“数字孪生白皮书”。上个月，国家又提出“新基建”，将工业互联网温习一遍。
技道两进·2020-06-24 11:34

部署ELK日志分析系统1-架构

文章目录1.ELK简介ElasticsearchLogstashKibanaBeats2.ELK架构图ELK平台架构图V1ELK平台架构图V2ELK平台架构图V31.ELK简介ELK是三个开源软件的缩写
落叶-技术·2020-06-24 09:13

智慧城管建设方案

第5章智慧城管可视化平台5.1视频综合管理平台5.1.1平台架构整个视频监控管理平台在架构上分为五个层次，底层是基础硬件支撑层和基础软件支撑层，是支持整个系统运行必要的系统硬件和环境，网络基础设施包括了电子政务网
llooyyuu·2020-06-24 08:42

PB级海量数据服务平台架构设计实践

Yanjun基于PB级海量数据实现数据服务平台，需要从各个不同的角度去权衡，主要包括实践背景、技术选型、架构设计，我们基于这三个方面进行了架构实践，下面分别从这三个方面进行详细分析讨论：实践背景该数据服务平台架构设计之初
富的只剩下代码·2020-06-24 07:49

【WEb数据采集之js埋码】

一个统计分析平台架构的挑战来自以下5个：（1）日志采集（2）元数据管理（3）业务数据建模（4）任务调度（5）OLAP引擎数据采集的三个阶段（一）埋点阶段（二）数据收集阶段（三）后端处理阶段如上所示，从broswer
lijieshare·2020-06-24 05:31

平台的告警系统

整个监控平台架构海量的监控数据（Metric&Log&Trace数据）实时写入ElasticSearch；多维度的监控指标页面展示（Dashboard）查ElasticSearch的数据比较频繁；不断递增的告警规则需要通过查询
liangzanwen·2020-06-24 04:11
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他