当Excel大老碰到2G的XML数据,好戏来了【真实案例】

这周碰到一个工作中的案例,可以很好的帮助初学者理解Excel,Python和数据可视化平台(比如Tableau)之间的关系。

虽然案例隐掉了具体数据内容,但是数据量和整个过程是真实的,很有参考价值。

Tom的烦恼

公司有一个很棒的销售,属于技术性销售,很善于分析数据,从数据中找线索。我们称他为Tom吧。

Tom很擅长使用Excel,可以用Excel轻松的做出各种数据透视图和分析报表。

这种:

当Excel大老碰到2G的XML数据,好戏来了【真实案例】_第1张图片

这种:

当Excel大老碰到2G的XML数据,好戏来了【真实案例】_第2张图片
还有这种:

当Excel大老碰到2G的XML数据,好戏来了【真实案例】_第3张图片
这周Tom遇到了一个难题。他从某个数据网站上下载了一份大的数据。有多大呢,2个G。而且数据格式是XML。

当Excel大老碰到2G的XML数据,好戏来了【真实案例】_第4张图片
XML也是一种很常见的数据格式,在JSON和Restful统治网络之前,它是王者,现在仍然是很重要的数据格式。下面是一个XML片段:

当Excel大老碰到2G的XML数据,好戏来了【真实案例】_第5张图片
这下Tom很为难!首先这么大的文件,根本打不开;再者了,XML格式无法用Excel处理。

解决方法

烦恼了半小时后,善于学习的Tom想到了Excel之外的技术 - Python。

如果用Python去读取这个大文件,然后再转成Excel能够读取的CSV文件。是不是就可以了呢?应该可以!

Tom学过一点Python,但是感觉自己不知道如何下手写代码。

❝ 至少Tom学习过一点,虽然没能力写出很复杂的代码, 但当遇到问题的时候,能够有思路。这是在解决问题上及其重要的一步。

于是Tom找了一个程序员帮忙,最后他们比较好的解决了这个问题。最终解决的步骤是这样的:

  • 用Python读取大文件。Python可以一行行的读取数据,所以文件大不是问题。
  • 读取出的XML数据转换成CSV格式。
  • 由于行数太多,每80万行数据保存一个新的文件,否则Excel还是打不开。
  • 用Excel打开解析好的CSV文件。一旦能用Excel打开了,就进入了Tom擅长的领域。

这样基本上遇到了Tom的问题,但是并不完美。因为每个月都会有一份这样的大文件。虽然通过Python转成Excel以后能够处理本月的数据,但是无法进行跨月的数据分析。

所以他打算做进一步的优化,大致思路是这样的:

  • 每个月把数据存放到数据库。
  • 用Tableau连接到数据库,在Tableau上做数据分析和可视化。

这样数据就都打通了:

当Excel大老碰到2G的XML数据,好戏来了【真实案例】_第6张图片
而且有了Tableau这个平台,分享和查看就更方便了:

当Excel大老碰到2G的XML数据,好戏来了【真实案例】_第7张图片

总结和建议

在这个真实的例子中:

  • 使用Python是为了更方便的处理数据,或者说是为了自动化。
  • 处理完了数据,很可能还是要用Excel去进一步处理或者查看的。毕竟Excel要方便的多,可以随意修改,做过滤等等。
  • 为了更加系统的分析,串联这些数据,可能会使用Tableau等更专业的数据分析平台。

所以这些技术完全不冲突,而且会互相补充,共同完成复杂的工作。

❝ 有时候广告中会把它们对立起来,那完全是为了通过标题吸引流量,不用太认真。

希望本文能给小白解惑。如果你想学习Python,或者Excel,或者Tableau都完全不用犹豫,不用担心它们会冲突。多多学习是永远不会错的。

关于Python技术储备

学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。

当Excel大老碰到2G的XML数据,好戏来了【真实案例】_第8张图片

二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了,给大家节省了很多时间。

当Excel大老碰到2G的XML数据,好戏来了【真实案例】_第9张图片

三、入门学习视频

我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了。

当Excel大老碰到2G的XML数据,好戏来了【真实案例】_第10张图片

四、实战案例

光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

当Excel大老碰到2G的XML数据,好戏来了【真实案例】_第11张图片

五、面试资料

我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。

当Excel大老碰到2G的XML数据,好戏来了【真实案例】_第12张图片
当Excel大老碰到2G的XML数据,好戏来了【真实案例】_第13张图片

这份完整版的Python全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

当Excel大老碰到2G的XML数据,好戏来了【真实案例】_第14张图片

你可能感兴趣的:(程序员,Python,xml,python,爬虫)