电商平台分析平台----需求十:总结

实时计算部分总结

实时计算部分无非是对某一个需求进行统计,整体框架:

1.改变基本数据结构,变为(key,1L),可以用map或者transform进行改变
2. 累加操作,三种选择

  • reduceByKey—适合用于实时更新数据库数据
  • updateStateByKey[]----适合用于较长时间的实时累加统计,需要设置checkPoint
  • reduceByKeyAndWindow—适合用于短时间内的实时累加统计,如一小时内
  1. 数据封装入库,常用

keyCountStream.foreachRDD{
RDDS=>RDDS.foreachPartition{

进行分区批量操作,并用对象连接池进行批量插入mysql

你可能感兴趣的:(电商分析平台)