知识储备,简单爬虫的必知必会

一、实验说明

1. 环境登录

无需密码自动登录,系统用户名shiyanlou

2. 环境介绍

本实验环境采用带桌面的Ubuntu Linux环境,实验中会用到桌面上的程序:

  1. xfce终端:Linux命令行终端,打开后会进入 shell 环境,可以使用Linux命令
  2. Firefox:浏览器,可以用在需要前端界面的课程里,只需要打开环境里写的HTML/JS页面即可
  3. GVim:非常好用的编辑器,最简单的用法可以参考课程Vim编辑器

3. 环境使用

使用GVim编辑器输入实验所需的代码及文件,使用 xfce终端运行所需命令进行操作。

实验报告可以在个人主页中查看,其中含有每次实验的截图及笔记,以及每次实验的有效学习时间(指的是在实验桌面内操作的时间,如果没有操作,系统会记录为发呆时间)。这些都是您学习的真实性证明。

实验楼虚拟机,自带了python2.X和python3.X版本,本课程基于 python2

二、课程介绍

  • 一门编程语言的学习,实践中学习的效果肯定是最好的,我当初学python就是冲着爬虫来的,所以这次的课程目的是学会“炮制”简单的爬虫

  • 本次课程,主要是介绍根据给定的url,下载网页中指定的模特图片,python版本为2.7(3.0也可以运行,print需要修改下),使用的模块有os、urllib2、re,单线程爬虫

  • 这节课程基本没有代码全是原理,但是原理很重要,我会细讲,所以本节课程的文字内容,请细看。后面的课程是建立在这节课程之上来完成的,而且课程之间是上下级调用关系,层次结构很明显。

  • 介绍下图片来源--妹子图,这个网站的整个爬取是最终目的,这节主要是对单个页面内的图片,进行爬取,例如这个 谁是这长发女孩心中的白马王子 ,供上第一张图片手下我的膝盖

三、课题探索

  • 第一步:

  • 套图页面:这里呢,主要是搜索页面中的模特图片路径,但是图片都是img标签,不设计个简单匹配套路,还真难得到100%的精确度,先提供一个网页,大家试着找找,软妹

  • 标签所有单页:获取该网页中的所有套图页的链接(进入套图页),也就是给定一个标签页,获得这个页面中显示的所有套图页的链接,如某一标签页example[15](实际情况比这还多),则这个页面中包含了15个套图

  • 标签所有页面:一个标签不止一个页面,获取该标签的所有页,如tag1[35][10](实际情况比这还多),标签tag1又35个页面,每个页面又包含了10个套图页面,就像一个二维数组。

  • 顶级域名页面:这里,包含了所有的标签以及它们的链接,不过呢,有重复,这里很简单的做一个去重就可以了,如meizi[8](实际情况比这还多),说明这个网站包含8个标签,每个标签里面又有它自己所包含的链接。 图的信息量还是蛮大的,如图--Xmind

  • 最后提下图片保存路径问题,这个呢在中层和高层中需要,底层还是不需要的,底层测试时,传入文件夹路径并保存该文件夹下,但在中层中,路径问题还是挺严重的,因为我们最终是启动高层,传入一个最初的文件夹路径,然后高层创建中层文件夹,并且在调用中层函数时,将标签链接和对应的文件夹路径传过去,中层调用底层也是一样的,都需要传过去文件夹路径。不过文件夹路径传过去,最后是由底层来创建,高层和中层是不创建的,路径是虚的,由底层创建并保存图片文件:

  • meizi是由我们调用顶层时,传进去文件夹,这个文件夹是真实存在的
  • baobei nvshen mengmeizi 是顶层拟定的,在调用中层时,和相应的标签链接一起传给中层
  • 12 3324 346 89 这几个文件夹是由中层拟定,在调用底层时,和组图套图链接地址一起传给底层,底层从链接地址的html中得到了图片地址,从中层得到文件夹路径来创建文件夹,下载图片并保存到该文件夹中 全部过程就是这样,并且os模板里面,有一次性创建多层(>=1)文件夹的函数,这一点是能实现的,我这么实现,是防止空文件夹的存在,当有图片时,才一起创建。如果想了解函数,你可以进入python命令行,用help()函数查看函数介绍--

    本地图片保存框架图示,文件夹是手工建的,利用tree命令行打印并截图

  • 第二步:

    源码路径,这个都是靠人脑分析,找好后,顺序暂定,介绍下re模块和一个简单的匹配法则

.*?:匹配任意字符,非贪婪模式,如re123re0re456re,则(re.*?re)匹配re123re和re456re
.*:匹配任意字符,贪婪模式,如re123re0re456re,则(re.*re)匹配re123re0re456re
():返回括号内的匹配到的字符,如(re.*re)
这里呢,只需要熟悉和使用这个规则就可以了,其余的不做介绍

正则表达式可以在实验楼正则表达式课程深入学习 - ####第三步: 图片下载保存,这里涉及os的一些函数

os.path.exists(文件路径),检测该文件路径是否存在
os.mknod(文件),创建该文件,上一级目录必须存在
os.mkdirs(文件),创建文件,上一级目录如果不存在则一同创建
进入python操作界面,help(os),会显示所有函数名及介绍,这里只做了简单介绍

有这些就够了,os模块,基本也就是在图片下载时需要 - ####第四步: 网络问题很重要,爬虫速度是爬虫里面核心,那网络就是核心的核心 1. 这个问题的错误在这里是不应该这么早出现的,但是警告会一开始就出现,如果等它报错停止运行的问题出现的时候再解除,这实在并不是一个好决策 2. 这个问题的优化,可以直接将爬虫进化,或者说是‘腿的个数’翻了个倍。简单描述下这个问题:在前期,一个图片的大小也就200k~500k的样子,也就2秒左右速度很快,但是网络延迟能达到10秒甚至更高,所以你的带宽利用率也就是10%不到,这是前期警告。 3. 在网络不稳定或网络拥堵的情况下,一旦urllib2这个模块链接超时未响应,程序会等待然后就是错误并终端程序的运行,这就是异常报错,所以在这个项目的第一节课,就应该解决这个大隐患的小Bug.

  • 第五步:既然网络问题提出来了,那就补上相应的解决方法:

    python基础中,有异常检测try...except,使用urllib2.open(),补抓urllib2.URLError异常,单独置于一个函数中,当不成功时返回空字符串,通知调用函数继续调用该函数

def loadurl(url):
    try:
        conn = urllib2.urlopen(url, timeout=5)
        html = conn.read()
        return html
    except urllib2.URLError:
        errorReport.errorLoadUrl(url)
        return ''
    except Exception:
        print("unkown exception in conn.read()")
        return ''

同样的,保存图片到本地,也需要进行超时检测,以防报错

  • 第六步:补充说明,在这个后期,我也添上了“改进爬虫优化网路速率提高爬虫速度的多线程模式”,会以一节课程的形式单独补充,不作为本课的核心课程,作为拓展课程。

四、本项目层次结构介绍

五、组图下载

这节需要介绍的基础知识,大概就是这些,下节的主要内容是图片下载和url链接问题

版权声明:允许转载,转载请注明出处 —— 《基于Python的网络爬虫》: 知识储备,简单爬虫的必知必会

Copyright @2016-2017 | 赣ICP备16003025号