QClub北京:腾讯云图沙龙之海量数据下的关键因子选取等

3月29日下午,《第70期QClub:腾讯云图沙龙之腾讯游戏云关键技术剖析》在北京车库咖啡举行。此次活动试图深入刨析将游戏云背后的关键技术,当然游戏云背后有大量的技术积累做支撑,远非几个小时的分享交流就能剖析清楚。未来几个月,QClub还将与腾讯陆续举办腾讯云图沙龙,进一步解读腾讯云背后的关键技术,欢迎关注腾讯云技术专区。

3月29日活动当天选定了三个技术方向,腾讯云派出了孙小滨、李浩和李杰三位工程师分别就《海量数据下的关键因子选取》、《高可靠的移动推送服务》、《移动场景下的动态数据加速》话题进行了分享,来自小米、百度、腾讯、奇虎360、中科院计算所等120余名听众参与了活动。

在Q/A和OpenSpace环节,大约一个多小时的过程中,孙小滨、李浩和李杰三位工程师回答了听众许多问题。

QClub北京:腾讯云图沙龙之海量数据下的关键因子选取等_第1张图片

本次活动的PPT和视频近期将在InfoQ网站上发布。

分享一:《高可靠的移动推送服务》——腾讯云高级工程师 李浩

李浩重点介绍了腾讯信鸽推送服务的架构及在保证服务的可用性、数据持久性方面的实现方式。同时,还介绍了链接策略和省电、省流量的具体方法。

连接策略

多端口、双协议支持·应对移动网关代理的端口限制(80 8080 443 14000)

  • 支持TCP、HTTP两种协议

终端跑马、IP直连·根据备选IP列表进行并发测速(IP+端口+协议)

  • 后端根据终端连接情况,定时更新终端的备选IP列表
  • 终端在连接空闲时上报测速数据,便于后端决策

后台重定向

应对终端转换地域但未及时跑马等情况,后台引导至最优接入点

  • 安全保证·通道安全、SDK反加壳、频率打击

分享二:《海量数据下的关键因子选取》——腾讯云高级工程师 孙小滨

孙小滨首先介绍了Data Plus多维数据实时分析平台的特点:

  • 抽象为指标池、维度池,可以支持海量报表(抽几个指标和维度做组合查询)
  • 支持自定义指标和维度,方便用户自定义高级数据模型
  • 强大的ETL能力,支持多路的数据输入(TDW(复杂模型的T+1离线分析)、DCAgent、DataProxy(准实时分析)等)
  • 平行扩展,能够支持海量的指标和维度
  • 查询速度快,绝大多数请求可以1s内返回,即使对于非常复杂的查询,也能在15s内返回
  • 动态调整数据的层次结构,固化部分View,整体运算代价小,存储消耗小。

接下来孙小滨介绍了Rollup与Lattice,以及包含了查询层、计算流层、计算层、存储层的整体架构和流程。

分享三:《移动场景下的动态数据加速》——腾讯云高级工程师 李杰

李杰介绍了腾讯云在基础设施方面,尤其是网络、数据存储的优势:

  • 源站:开发商部署在腾讯云机房的云主机服务;
  • 测速服务器:跟源站同网络环境,用来做路由测速;
  • 就近接入集群:两百多个遍布全国的就近接入机房;
  • 加速接入名字服务:根据请求域名,解析提供同省、同网的就近接入点;
  • 业务数据分析:MTA系统;
  • 监控统计:加速对比直接实时数据展现(全国地图+时间曲线);

QClub北京:腾讯云图沙龙之海量数据下的关键因子选取等_第2张图片

接下来李杰介绍了SDK、ANS和OC的架构和策略。

自由讨论

三个分享结束后,是茶歇和OpenSpace。OpenSpace是供参会者和讲师充分沟通的环节,不过在现场从茶歇开始,三位讲师就没有获得休息的机会,一直被参会者包围直到活动结束。许多参会者在微博上发表了评论: 

歆无所恋:#Qclub腾讯云图沙龙#比较感兴趣的是推荐及营收的交叉和级联分析,多源加速。 
泊舟人:#QClub腾讯云图沙龙#腾讯信鸽服务省电、省流量,是应为优化了处理逻辑...慢心跳
守住每一天:#QClub腾讯云图沙龙# 大数据。进行Topview多维度,多指标,自定义,实时的分析,会对数据进行校对后提供给客户。数据架构的模型都相同,处理大数据的一个点就是:从已有结果集,再次计算。最关注的纬度为,年龄,手机,地域。 I'm at #车库咖啡#
李-庆芳:#QClub腾讯云图沙龙#能分享下当前信鸽单机服务器多少内存可以支持多少长链接,在实际上又做了哪些内存方便的优化?在群发时如何处理瞬间高峰导致的系统波动?
__王秋实:#QClub腾讯云图沙龙#移动app的服务端设计,运维,除了要关注传统pc服务后端的问题,还要考虑省电,网络不稳定情况下的链接等问题,另外手机上也更容易追踪用户行为。

QClub北京:腾讯云图沙龙之海量数据下的关键因子选取等_第3张图片

关于本次活动的PPT和视频近期将在InfoQ网站上发布,本次活动的更多图片在这里。未来几个月,QClub还会与腾讯联合组织腾讯云图沙龙,欢迎关注。如果您希望在腾讯云图沙龙上讨论一些技术话题或其他建议,请通过@QClub中国告诉我们,下期再见。

【下期活动预告】7月5日,InfoQ将在上海IC咖啡举行QClub技术沙龙——腾讯游戏云关键技术剖析,腾讯云工程师将带来“腾讯云移动加速-云端加速梦想”、“腾讯云应用加固 - 抗盗版神器”以及“信鸽 - 高可靠的移动推送服务”三场分享。免费报名

你可能感兴趣的:(QClub北京:腾讯云图沙龙之海量数据下的关键因子选取等)