有同学好奇我是怎样三天学会Python编程的。详见《狗年初二,我用十四个月的进步来拜年》。这里统一回复,也希望通过这篇小文带你收获Python的高效能力,所以本文就是一篇Python的基础和应用课。
标题是课程将提供的学习范围,最终使你具备爬取大部分网站数据的能力。进一步的,你可以做数据分析和挖掘,你也可以深入学习机器学习,人工智能。
我的课程比起职业的讲师和职业程序员的课程会有很大的不同。
经验够用的理由
第一、我不是职业程序员但经验是够用的。我曾经用Basic、Sybase or Probase、Delphi写过很多应用,
都是实际应用环境下的程序、工具、辅助软件。其中有个寿命很长,有十四年的历史,目前仍然为单位提供服务。所以经验是够用的。
前面提到的编程环境基本消失和淘汰了。但我要说明的是新的编程环境仍然是那些基本指令,比如赋值、循环、条件判断、输入、输出、存储、字符串运算、布尔运算、函数、类等并没有变化,最多语法细节的差异,
现在的编程环境最大的好处,是提供了大量的可以方便调用的函数库,帮助实现各种操作,比如分解网页、图形处理、人脸识别、数据库、机器控制,重点是你要逐渐的了解,熟悉他们各自的应用范围。
这方面1984年开始商业应用的MATLAB起了很好的示范作用。你只需要加载这些商业模块,像调用函数一样调用他们就可以了。现在很多模块遵从GPL,已经免费了,我们可以自由调用。
这样做的结果
1、减轻编程负担,
2、让我们可以聚焦在解决问题提供应用,而不是研究编程和执行效率。
记住我们是用程序帮我们批量完成目标。
第二、这些课程将直接在一个项目里完成目标任务。带着大家直接在真实的环境里用程序解决实际问题。
这次目标具体是,爬取和讯网提供的上市公司财务报表数据。通过这样一个项目我们以后能够熟练的爬取任意网站的资料。
尽管说着很轻松,但要明白编程和任何一种技能的习得一样,要达到熟练,需要通过大量的训练才能做到。
希望想学又不肯花时间在实际练习上动手的同学,考虑清楚是不是真的要参加这个课程,下面文字稿是免费的。可以转载。
【话说三遍,很重要,视频学习50元费用。要花钱参与,不退费。希望想学又不肯花时间在实际练习上动手的同学考虑清楚是不是真的要参加这个课程。毕竟要花钱参与,又不退费。希望想学又不肯花时间在实际练习上动手的同学考虑清楚是不是真的要参加这个课程。毕竟要花钱参与,又不退费。】
动手实践、花时间、花心思完成这个项目是你应该做到的,而我的作用是作为一个教练,提供必要的工具和素材,讲授必要的方法,最终带给你具备爬取大部分网站的能力。
第三、课程会结合MJ老师的数字力和同学们一起分析几家上市公司的财务报表。
第四、编程环境是Python+Mysql+必要的函数库,所有的环境和函数库都是开源的,通俗的讲就是免费使用。如果有兴趣进一步研究,可以学习人工智能的应用,如面部识别,分拣水果,Tensorflow...。我们扯远了,先把基础做好。
==============
今天我们就开始第一课。
第一课 搭建Python需要的工作环境、安装必要的模块工具
我已经收集好这些安装包和模块
回复“Python安装包和PDF”,获得必要的安装包和模块,请注意区分大小写一字不差的回复。
0、google chrome 下载链接:http://www.chromeliulanqi.com/
1、安装Python 3.4.4和3.6.3
2、安装Mysql
3、安装bs4模块(爬虫工具)
4、安装requests模块
5、明确目标、目标数据来源
和讯上市公司财报源
http://stockdata.stock.hexun.com/2009_zxcwzb_002460.shtml
上证50成份股列表:
http://www.sse.com.cn/market/sseindex/indexlist/constlist/index.shtml?COMPANY_CODE=000016&INDEX_Code=000016
深圳证券交易所 指数样本股
http://www.szse.cn/main/marketdata/hqcx/zsybg/
安装mysql的参考文档 http://blog.csdn.net/johline/article/details/69549131
0、Google chrome 下载链接:http://www.chromeliulanqi.com/
安装Google chrome浏览器,分析网站元素会用到它。
1、安装Python 3.6.3
下载位置 https://www.python.org/downloads/release/python-364/
根据你的电脑操作系统是64位的还是32位的。选择安装。
2、安装Mysql
官方下载位置 https://dev.mysql.com/downloads/file/?id=474803
3、安装bs4模块(爬虫工具)
两种安装方法:
a、在命令行下输入命令pip install bs4(有可能无法安装)
b、http://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/ 找到下载安装包
解压在d:\bs4
命令行 python setup.py install
测试:>>> from bs4 import BeautifulSoup
如果返回没有结果只是“>>> ” 那么恭喜你bs4安装成功了。
4、安装requests模块
a、在命令行下输入命令pip install requests(有可能无法安装)
b、https://github.com/requests/requests 找到下载安装包
解压在d:\requests
命令行 python install .
测试: >>> import requests
如果返回没有结果只是“>>> ” 那么恭喜你bs4安装成功了。
5、安装PyMySQL 这个是在 Python3.x 版本中用于连接 MySQL 服务器的一个库
输入命令行 pip install PyMySQL
测试方法,按照参考文档 http://blog.csdn.net/johline/article/details/69549131的例题实际做一遍。如果能插入、删除、查询成功,就说明你的Python和MySQL可以正常工作了。
这里是图南的Python编程入门课,如果你有什么体会、问题、疑惑、建议都可以在这里留言。期待与你相遇。
接下来,我们将进入下一课。 第二课:开心的爬虫之旅。