如何优雅地在jupyter notebook中解决内存不够导致服务器蹦了的情况

        嗨喽! 大家好,我是“流水不争先,争的是滔滔不绝”的翀,欢迎大家来交流学习,一起入坑数据分析,希望我们一起好好学习,天天向上,目前在社会毒打中~~

文章目录

  • 前言
  • 问题来源
  • 解决过程
  • 总结
  • 总结

前言

       记录一下自己实习中遇到一个需求问题,内存不足,概括解决方法的核心就是: 以时间换空间

问题来源

       写这篇文章的目的是因为这两天遇到一个需求: 取数,其中到一步因为运行内存的问题一直卡住, 大概是这样

user_id fan_list
1 […贼多几百万]

       我想将其拉成一张大表user_id, fan_id 去匹配连接fan的信息, 但是因为内存原因我无法拉出一个几千万行的数据表, 这个好像可以上spark 解决这个,但是spark上面用python我不太熟悉,

  1. 我听leader说也会复杂一点, 我瞬间产生点怯意,因为这个要得急,我又不确定要花多少时间, 所以在我还比较熟悉的SQL spark上将自己的python写逻辑转换成sql逻辑,
  2. 但是 遇到一个问题, sql语句怎么显示一行变多行的操作,多行变一行用groupby这个我会,但是反过来我就不清楚了

你可能感兴趣的:(实习收获----冲冲冲,数据分析,数据挖掘,python)