大数据每周分享第 4 期

大数据每周分享第 4 期

这里记录过去一周，大数据相关值得分享的东西，每周日发布。

欢迎投稿，或推荐你自己的项目，请前往 GitHub 的 aikuyun/bt_weekly 提交 issue。

weekly_04.jpg

今天尝试写第 4 期，记录过去一周一点所见所闻。

图片

image.png

文章

1、Flink 1.9 发布，有你期待的功能吗？

Flink 在 1.9 改进了很多功能，并且集成了 Hive，优化了流、批处理等等。

2、咱们从头到尾说一次 Java 的垃圾回收

之前上学的时候有一个梗，说在食堂里吃饭，吃完把餐盘端走清理的是 C++ 程序员，吃完直接就走的是 Java 程序员。确实，在 Java 的世界里，似乎我们不用对垃圾回收那么的关注。很多初学者不懂 GC，也能写出一个能用甚至还不错的程序或系统。但其实这并不代表 Java 的 GC 就不重要。相反，它是那么的重要和复杂，以至于出了问题，那些初学者除了打开 GC 日志，看着一堆0101的天文，啥也做不了。今天，新零售技术事业群的率鸽（花名）就从头到尾，完整地聊一聊 Java 的垃圾回收。

3、什么是 HTTP 以及 RFC?

阅读RFC2616认真学习一遍HTTP/1.1协议，一直认为要做互联网开发的话，一定要对于HTTP协议烂熟于胸，于是下定决心要将这个协议好好理解一遍。这两天，工作之余，拿着RFC就在那里读，对于HTTP协议有了不错的理解，对于其中的字段与机制有了一定的理解，于是静下心来，好好总结一下这两天的阅读收获，同时也是一个回顾复习。

4、Flink 1.9 实战：使用 SQL 读取 Kafka 并写入 MySQL

演示代码已经开源到了 GitHub 上：https://github.com/wuchong/flink-sql-submit

这份代码主要由两部分组成：1) 能用来提交 SQL 文件的 SqlSubmit 实现。2） 用于演示的 SQL 示例、Kafka 启动停止脚本、 一份测试数据集、Kafka 数据源生成器。
通过本实战，你将学到：

1. 如何使用 Blink Planner
   
2. 一个简单的 SqlSubmit 是如何实现的
   
3. 如何用 DDL 创建一个 Kafka 源表和 MySQL 结果表
   
4. 运行一个从 Kafka 读取数据，计算 PVUV，并写入 MySQL 的作业
   
5. 设置调优参数，观察对作业的影响
   

5、电商推荐那点事

• 推荐概述
  
• 好的推荐产品
  
• 几大挑战（用户、物品、系统、冷启动...）
  
• 模块与架构
  
• 召回及排序
  

6、又想 Cube 小，又想 Cube 跑得好？

“随着维度数目的增加，Cuboid 的数量会爆炸式地增长。为了缓解 Cube 的构建压力，Apache Kylin 引入了一系列的高级设置，帮助用户筛选出真正需要的 Cuboid。这些高级设置包括聚合组（Aggregation Group）、联合维度（Joint Dimension）、层级维度（Hierachy Dimension）和必要维度（Mandatory Dimension）等。”

资源

1、快速索引 HTTP headers 的含义

本文档列出了HTTP/1.1协议中定义的所有消息头，并提供了简短的描述。在列表中，头的名称是到协议本身中定义的链接。

2、深圳 0831 Flink Meetup 分享的资料

公众号回台回复：flink-sz

image.png

订阅

本专栏也会定期同步到公众号和知识星球，欢迎订阅。直接扫码或者微信搜索 cuteximi

公众号.jpeg

(完)