【拓展】多线程的展开

一、实验说明

1. 环境登录

无需密码自动登录,系统用户名shiyanlou

2. 环境介绍

本实验环境采用带桌面的Ubuntu Linux环境,实验中会用到桌面上的程序:

1.Xfce 终端: Linux命令行终端,打开后会进入 Shell 环境,可以使用Linux命令 2. Firefox:浏览器,可以用在需要前端界面的课程里,只需要打开环境里写的HTML/JS页面即可 3. GVim:非常好用的编辑器,最简单的用法可以参考课程Vim编辑器

3. 环境使用

使用GVim编辑器输入实验所需的代码及文件,使用终端运行所需命令进行操作。

实验报告可以在个人主页中查看,其中含有每次实验的截图及笔记,以及每次实验的有效学习时间(指的是在实验桌面内操作的时间,如果没有操作,系统会记录为发呆时间)。这些都是您学习的真实性证明。

实验楼虚拟机,自带了python2.X和python3.X版本,无需安装 该实验建议使用 python2.7 版本, 也就是默认版本

二、课程介绍

本节课程主要讲解下 python 的 threading 模块

本次爬虫的速度取决于图片下载速度和链接打开速度,如果你将前面三节的代码连起来下载,你会发现速度不算快,不会超过120k吧。但是呢,一个爬虫多个分身一起工作,那就能大大提高效率

三、实验代码

import re
import urllib2
import meizi_series_nextpage
import threading

def loadurl(url):
    try:
        conn = urllib2.urlopen(url,data=None,timeout=5)
        html = conn.read()
        return html
    except urllib2.URLError:
        return ''
    except Exception:
        print("unkown exception in conn.read()")
        return ''

def meizi(url,path):
    reTagContent = '<div.*?class="tags">.*?<span>(.*?)</span>'
    reTagUrl = '<a.*?href="(.*?)".*?>'
    print 'start open meiziwang'
    html = ''
    while True:
        html = loadurl(url)
        if html == '':
            print 'load', url,'error'
            continue
        else:
            break
    tagContent = re.findall(reTagContent, html, re.S)
    taglists = re.findall(reTagUrl, tagContent[0], re.S)
    taglists = sorted(list(set(taglists)))
    print 'open meiziwang over'
    #print len(taglists)
    threads = []
    for url in taglists:
        t =threading.Thread(target=meizi_series_nextpage.nextpage,args=(url,path))
        threads.append(t)
    for t in threads:
        t.start()
    for t in threads:
        t.join()

代码其实是基础课最后一节的代码

#导入threading模块
import threading

    #创建线程列表,这里的缩进,直接和上面对应,看仔细
    threads = []
    #循环,tag的url对应一个线程,传入参数,引用Thread函数,再加入到线程列表中,像不像高阶函数?
    for url in taglists:
        t =threading.Thread(target=meizi_series_nextpage.nextpage,args=(url,path))
        threads.append(t)
    #启动线程列表中的线程,start()
    for t in threads:
        t.start()
    #等待线程列表中的线程自动结束---如果没有这段代码,在这个函数(def meizi(url,path))结束,其余的线程会乖乖的结束
    for t in threads:
        t.join()

现在你可以将前面几个小节的代码改为多线程的了。

现在查看下网速,是不是火力全开下图片? 十兆网-火力全开

四、课程总结

本次爬虫的讲解,到这里就全部结束了(单线程到上一节结束),主要知识点分几个:

  • urllib2模块,获得HTML代码
  • re模块,解析HTML代码,获得我们想要的
  • os模块和内置函数open,写文件和操作文件夹
  • threading模块,增加线程以达到加速爬虫效率的目的

这些模块的使用,都不难,难的是思路,第一、二、三、四节大量讲了函数之间的参数传递(文件路径和url链接路径的拆解、合并),只有这一节主要精力放在代码上。

对爬虫感兴趣,建议学习scrapy 这个爬虫框架。

版权声明:允许转载,转载请注明出处 —— 《基于Python的网络爬虫》: 【拓展】多线程的展开

Copyright @2016-2017 | 赣ICP备16003025号