2年前 (2017-12-25) 网友投稿  python
文章评分 1 次,平均分 4.0

本人现职系统运维,随着技术发展,越来越多的系统开始提倡自动化运维,而且运维职位也不是几年前只懂shell就可以了,前几年找工作任职要求还是熟练shell,会python有加分,现在已经是熟悉shell、python、perl、java等语言任意两种,要求有所提高,所以有些压力的我也一直再搞python,无奈看了很多基础的文档了,最后还是有些无从下手的感觉,所以借着51CTO博客改版,把学习记录一下,希望能通过写博客来真正搞懂python,由于我也是刚开始学习,如果有哪里写的有问题,也欢迎大家指正,下面开始正题吧。

操作系统 编辑器 Python版本
Win10 家庭中文版 Pycharm 2016.3 Python 3.6.1

1、学习爬虫需要哪些知识

Python基础知识

Python中urllib库的用法(python3后urllib和urllib2合并为urllib,具体见官网

Python正则表达式

Python爬虫框架Scrapy

因为刚开始学习,暂时就列这么多吧,后续有新内容再更新。

1.1 python基础

书籍推荐:《python编程从入门到实践》

其它:简明python教程

博客:廖雪峰python教程

静觅 崔庆才的个人博客(我也参考这个博客学习,博客中的内容也会引用这个博客的内容,这个博客写的很好,很详细,只不过是python2的,我用python3写的)

1.2 urllib

学习Python爬虫最基本的urllib模块,利用这个模块我们可以得到网页的内容,并对内容用正则表达式提取分析,得到我们想要的结果。

1.3 python正则表达式

正则表达式是一个特殊的字符序列,它能帮助你方便的检查一个字符串是否与某种模式匹配。Python 自1.5版本起增加了re 模块,它提供 Perl 风格的正则表达式模式。

1.4 Python爬虫框架Scrapy

Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。

大体的学习方向就是以上这几点,后续有增加再及时更新,共勉!

  原文出自:http://blog.51cto.com/linuxliu/2049035

发表评论

暂无评论

切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

切换登录

注册

扫一扫二维码分享