Python3爬虫里关于代理的设置总结_python

来源:脚本之家  责任编辑:小易  

从表面上看,Python爬虫程序运行中出现503错误是服务器的问题,其实真正的原因在程序,由于Python脚本运行过程中读取的速度太快,明显是自动读取而不是人工查询读取,这时服务器为了节省资源就会给Python脚本反馈回503错误。其实只要把爬取的速度放慢一点就好了。比如读取一条记录或几条记录后适当添加上time.sleep(10),这样就基本上不会出现503错误了。我本人在使用中一般是在每一次读取后都运行time.sleep(1)或time.sleep(3),具体的数值根据不同的网站确定www.zgxue.com防采集请勿采集本网。

在前面我们介绍了多种请求库,如 Requests、Urllib、Selenium 等。我们接下来首先贴近实战,了解一下代理怎么使用,为后面了解代理池、ADSL 拨号代理的使用打下基础。

Go没有泄露,并发原生支持,速度快。Python如果用代理IP,如果代理IP失效,会莫名其妙使用本地IP。且Go写爬虫可以和很多的数据库如mongo,redis,hbase,mysql集成。 Go开发效

下面我们来梳理一下这些库的代理的设置方法。

可以试试用【神箭手云爬虫开发平台】写爬虫,自带JS渲染、代理ip、验证码识别等功能,还可以发布和导出爬取的数据,生成图表等,都在云端进行,不需要安装开发环境

1. 获取代理

写爬虫的话,你可以试试用【神箭手云爬虫开发平台】写爬虫,自带JS渲染、代理ip、验证码识别等功能,还可以发布和导出爬取的数据,生成图表等,都在云端进行,不需要安装开发

在做测试之前,我们需要先获取一个可用代理,搜索引擎搜索“代理”关键字,就可以看到有许多代理服务网站,在网站上会有很多免费代理,比如西刺:http://www.xicidaili.com/,这里列出了很多免费代理,但是这些免费代理大多数情况下都是不好用的,所以比较靠谱的方法是购买付费代理,很多网站都有售卖,数量不用多,买一个稳定可用的即可,可以自行选购。

Python有很多应用的方向,比如后台开发、web开发、科学计算等等,但爬虫对于初学者而 使用代理IP池、抓包、验证码的OCR处理等等。往往网站在高效开发和反爬虫之间会偏

或者如果我们本机有相关代理软件的话,软件一般会在本机创建 HTTP 或 SOCKS 代理服务,直接使用此代理也可以。

几个方法 1、代理ip 2、设置延迟,就是time.sleep(1000) 3、渗透

在这里我的本机安装了一部代理软件,它会在本地 9743 端口上创建 HTTP 代理服务,也就是代理为 127.0.0.1:9743,另外还会在 9742 端口创建 SOCKS 代理服务,也就是代理为 127.0.0.1:9742,我只要设置了这个代理就可以成功将本机 IP 切换到代理软件连接的服务器的 IP了。

再后来,爬虫抓取的目标增加了访问频率限制,不得不为爬虫增加了一个动态选择代理的功能,此次的重构耗时较多,也是此次重构为之后埋下了坑,动态选择的过程、代理的不稳

所以本节下面的示例里我使用上述代理来演示其设置方法,你可以自行替换成自己的可用代理,设置代理后测试的网址是:http://httpbin.org/get,访问该站点可以得到请求的一些相关信息,其中 origin 字段就是客户端的 IP,我们可以根据它来判断代理是否设置成功,也就是是否成功伪装了IP。

简要说一下自己的思路 1,有两个代理可用,所以爬的时候随机选取一个 2,复制了一些User-agnet,随机选一个 3,爬一次随机睡眠3~6s 这样大概爬200次左右,就不能再 爬了

下面我们来看下各个库的代理设置方式。

大概是你爬得太频繁,被封了ip了。解决方法: 用代理 adsl上网的话,重新拨号可能会更改ip用云服务,通过外部服务器抓取,一旦被封就换一台

2. Urllib

爬虫开发平台,它是一个一站式爬虫开发平台,帮助开发者快速构建功能强大的爬虫系统,并对爬取的数据进行一站式分析及导出。 只需要写js就可以实现爬虫,自带js渲染、代理ip

首先我们以最基础的 Urllib 为例,来看一下代理的设置方法,代码如下:

python 呐,果断的,随手推荐几个用来搞python的库~ 网络库,httplib,httplib2,urllib,urllib2,requests等解析库,beautifulsoup,sgmlparser等还能多进程多线程,使用代理~对node.js

from urllib.error import URLErrorfrom urllib.request import ProxyHandler, build_opener proxy = '127.0.0.1:9743'proxy_handler = ProxyHandler({    'http': 'http://' + proxy,    'https': 'https://' + proxy})opener = build_opener(proxy_handler)try:    response = opener.open('http://httpbin.org/get')    print(response.read().decode('utf-8'))except URLError as e:    print(e.reason)

应该是被查出来你使用了代理。 在学习Python爬虫的时候,经常会遇见所要爬取的网站 proxies的格式是一个字典:{‘http’: ‘‘}。 (三)代理IP的使用 运行上面的代码会得到一

运行结果如下:

爬虫,就拿useragent来说,一般都是用一个报头list来随机choice,然后每次请求换一次ip用代理池,还有其他模拟用户的操作发送参数,想做到高效率又不被封,对于新手的话你可以用

{  "args": {},   "headers": {    "Accept-Encoding": "identity",     "Connection": "close",     "Host": "httpbin.org",     "User-Agent": "Python-urllib/3.6"  },   "origin": "106.185.45.153",   "url": "http://httpbin.org/get"}

在这里我们需要借助于 ProxyHandler 设置代理,参数是字典类型,键名为协议类型,键值是代理,注意此处代理前面需要加上协议,即 http 或者 https,此处设置了 http 和 https 两种代理,当我们请求的链接是 http 协议的时候,它会调用 http 代理,当请求的链接是 https 协议的时候,它会调用https代理,所以此处生效的代理是:http://127.0.0.1:9743。

创建完 ProxyHandler 对象之后,我们需要利用 build_opener() 方法传入该对象来创建一个 Opener,这样就相当于此 Opener 已经设置好代理了,接下来直接调用它的 open() 方法即可使用此代理访问我们所想要的链接。

运行输出结果是一个 Json,它有一个字段 origin,标明了客户端的 IP,此处的 IP 验证一下,确实为代理的 IP,而并不是我们真实的 IP,所以这样我们就成功设置好代理,并可以隐藏真实 IP 了。

如果遇到需要认证的代理,我们可以用如下的方法设置:

from urllib.error import URLErrorfrom urllib.request import ProxyHandler, build_opener proxy = 'username:password@127.0.0.1:9743'proxy_handler = ProxyHandler({    'http': 'http://' + proxy,    'https': 'https://' + proxy})opener = build_opener(proxy_handler)try:    response = opener.open('http://httpbin.org/get')    print(response.read().decode('utf-8'))except URLError as e:    print(e.reason)

这里改变的只是 proxy 变量,只需要在代理前面加入代理认证的用户名密码即可,其中 username 就是用户名,password 为密码,例如 username 为foo,密码为 bar,那么代理就是 foo:bar@127.0.0.1:9743。

如果代理是 SOCKS5 类型,那么可以用如下方式设置代理:

import socksimport socketfrom urllib import requestfrom urllib.error import URLError socks.set_default_proxy(socks.SOCKS5, '127.0.0.1', 9742)socket.socket = socks.socksockettry:    response = request.urlopen('http://httpbin.org/get')    print(response.read().decode('utf-8'))except URLError as e:    print(e.reason)

此处需要一个 Socks 模块,可以通过如下命令安装:

pip3 install PySocks

本地我有一个 SOCKS5 代理,运行在 9742 端口,运行成功之后和上文 HTTP 代理输出结果是一样的:

{  "args": {},   "headers": {    "Accept-Encoding": "identity",     "Connection": "close",     "Host": "httpbin.org",     "User-Agent": "Python-urllib/3.6"  },   "origin": "106.185.45.153",   "url": "http://httpbin.org/get"}

结果的 origin 字段同样为代理的 IP,设置代理成功。

3. Requests

对于 Requests 来说,代理设置更加简单,我们只需要传入 proxies 参数即可。

还是以上例中的代理为例,我们来看下 Requests 的代理的设置:

import requests proxy = '127.0.0.1:9743'proxies = {    'http': 'http://' + proxy,    'https': 'https://' + proxy,}try:    response = requests.get('http://httpbin.org/get', proxies=proxies)    print(response.text)except requests.exceptions.ConnectionError as e:    print('Error', e.args)

运行结果:

{  "args": {},   "headers": {    "Accept": "*/*",     "Accept-Encoding": "gzip, deflate",     "Connection": "close",     "Host": "httpbin.org",     "User-Agent": "python-requests/2.18.1"  },   "origin": "106.185.45.153",   "url": "http://httpbin.org/get"}

可以发现 Requests 的代理设置比 Urllib 简单很多,只需要构造代理字典即可,然后通过 proxies 参数即可设置代理,不需要重新构建 Opener。

可以发现其运行结果的 origin 也是代理的 IP,证明代理已经设置成功。

如果代理需要认证,同样在代理的前面加上用户名密码即可,代理的写法就变成:

proxy = 'username:password@127.0.0.1:9743'

和 Urllib 一样,只需要将 username 和 password 替换即可。

如果需要使用 SOCKS5 代理,则可以使用如下方式:

import requests proxy = '127.0.0.1:9742'proxies = {    'http': 'socks5://' + proxy,    'https': 'socks5://' + proxy}try:    response = requests.get('http://httpbin.org/get', proxies=proxies)    print(response.text)except requests.exceptions.ConnectionError as e:    print('Error', e.args)

在这里需要额外安装一个 Socks 模块,命令如下:

pip3 install "requests[socks]"

运行结果是完全相同的:

{  "args": {},   "headers": {    "Accept": "*/*",     "Accept-Encoding": "gzip, deflate",     "Connection": "close",     "Host": "httpbin.org",     "User-Agent": "python-requests/2.18.1"  },   "origin": "106.185.45.153",   "url": "http://httpbin.org/get"}

另外还有一种设置方式,和 Urllib 中的方法相同,使用 socks 模块,也需要像上文一样安装该库,设置方法如下:

import requestsimport socksimport socket socks.set_default_proxy(socks.SOCKS5, '127.0.0.1', 9742)socket.socket = socks.socksockettry:    response = requests.get('http://httpbin.org/get')    print(response.text)except requests.exceptions.ConnectionError as e:    print('Error', e.args)

这样也可以设置 SOCKS5 代理,运行结果完全相同,相比第一种方法,此方法是全局设置,不同情况可以选用不同的方法。

4. Selenium

Selenium 同样也可以设置代理,在这里分两种介绍,一个是有界面浏览器,以 Chrome 为例介绍,另一种是无界面浏览器,以 PhantomJS 为例介绍。

Chrome

对于 Chrome 来说,用 Selenium 设置代理的方法也非常简单,设置方法如下:

from selenium import webdriver proxy = '127.0.0.1:9743'chrome_options = webdriver.ChromeOptions()chrome_options.add_argument('--proxy-server=http://' + proxy)browser = webdriver.Chrome(chrome_options=chrome_options)browser.get('http://httpbin.org/get')

在这里我们通过 ChromeOptions 来设置代理,在创建 Chrome 对象的时候通过 chrome_options 参数传递即可。

这样在运行之后便会弹出一个 Chrome 浏览器,访问目标链接之后输出结果如下:

{  "args": {},   "headers": {    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8",     "Accept-Encoding": "gzip, deflate",     "Accept-Language": "zh-CN,zh;q=0.8",     "Connection": "close",     "Host": "httpbin.org",     "Upgrade-Insecure-Requests": "1",     "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML,like Gecko)     Chrome/59.0.3071.115 Safari/537.36"  },   "origin": "106.185.45.153",   "url": "http://httpbin.org/get"}

可以看到 origin 同样为代理 IP 的地址,代理设置成功。

如果代理是认证代理,则设置方法相对比较麻烦,方法如下:

from selenium import webdriverfrom selenium.webdriver.chrome.options import Optionsimport zipfile ip = '127.0.0.1'port = 9743username = 'foo'password = 'bar' manifest_json = """{    "version": "1.0.0",    "manifest_version": 2,    "name": "Chrome Proxy",    "permissions": [        "proxy",        "tabs",        "unlimitedStorage",        "storage",        "<all_urls>",        "webRequest",        "webRequestBlocking"    ],    "background": {        "scripts": ["background.js"]    }}""" background_js = """var config = {        mode: "fixed_servers",        rules: {          singleProxy: {            scheme: "http",            host: "%(ip)s",            port: %(port)s          }        }      } chrome.proxy.settings.set({value: config, scope: "regular"}, function() {}); function callbackFn(details) {    return {        authCredentials: {            username: "%(username)s",            password: "%(password)s"        }    }} chrome.webRequest.onAuthRequired.addListener(            callbackFn,            {urls: ["<all_urls>"]},            ['blocking'])""" % {'ip': ip, 'port': port, 'username': username, 'password': password} plugin_file = 'proxy_auth_plugin.zip'with zipfile.ZipFile(plugin_file, 'w') as zp:    zp.writestr("manifest.json", manifest_json)    zp.writestr("background.js", background_js)chrome_options = Options()chrome_options.add_argument("--start-maximized")chrome_options.add_extension(plugin_file)browser = webdriver.Chrome(chrome_options=chrome_options)browser.get('http://httpbin.org/get')

在这里需要在本地创建一个 manifest.json 配置文件和 background.js 脚本来设置认证代理,运行之后本地会生成一个 proxy_auth_plugin.zip 文件保存配置。

运行结果和上例一致,origin 同样为代理 IP。

PhantomJS

对于 PhantomJS,代理设置方法可以借助于 service_args 参数,也就是命令行参数,代理设置方法如下:

from selenium import webdriverservice_args = [    '--proxy=127.0.0.1:9743',    '--proxy-type=http']browser = webdriver.PhantomJS(service_args=service_args)browser.get('http://httpbin.org/get')print(browser.page_source)

在这里我们只需要使用 service_args 参数,将命令行的一些参数定义为列表,在初始化的时候传递即可。

运行结果:

{  "args": {},   "headers": {    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",     "Accept-Encoding": "gzip, deflate",     "Accept-Language": "zh-CN,en,*",     "Connection": "close",     "Host": "httpbin.org",     "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X) AppleWebKit/538.1 (KHTML, like Gecko)     PhantomJS/2.1.0     Safari/538.1"  },   "origin": "106.185.45.153",   "url": "http://httpbin.org/get"}

运行结果的 origin 同样为代理的 IP,设置代理成功。

如果需要认证,那么只需要再加入 –proxy-auth 选项即可,这样参数就改为:

service_args = [    '--proxy=127.0.0.1:9743',    '--proxy-type=http',    '--proxy-auth=username:password']

将 username 和 password 替换为认证所需的用户名和密码即可。

5. 本节代码

本节代码地址为:https://github.com/Python3WebSpider/ProxySettings

6. 结语

本节介绍了前文所介绍的请求库的代理设置方法,稍作了解即可,后面我们会使用这些方法来搭建代理池和爬取网站,进一步加深印象。

threading.local可以让线程间相互隔离,局部变量每个线程都可以对threading.local对象进行读写,且互相不干扰内容来自www.zgxue.com请勿采集。


  • 本文相关:
  • python爬虫设置ip代理过程解析
  • python3 scrapy爬虫框架ip代理配置的方法
  • 爬虫代理池python3webspider源代码测试过程解析
  • python爬虫使用代理ip的实现
  • python代理ip爬虫的新手使用教程
  • 用python生成器实现微线程编程的教程
  • python爬虫之遍历单个域名
  • python装饰器的函数式编程详解
  • 利用python selenium实现自动登陆京东签到领金币功能
  • python打印“菱形”星号代码方法
  • 使用python和xlwt向excel文件中写入中文的实例
  • 在python中用get()方法获取字典键值的教程
  • python文件写入write()的操作
  • python图像处理pil各模块详细介绍(推荐)
  • python使用scrapy采集时伪装成http/1.1的方法
  • 用python做爬虫,比如开十个个线程。每个线程用不同代理ip抓数...
  • python爬虫 如何解决http error 503问题
  • 如何处理python爬虫ip被封
  • python爬虫:常用的 Python 爬虫技巧总结
  • go写的爬虫相比python写的有哪些优势
  • python爬虫怎么添加头信息
  • 一段python爬虫代码,求转java,谢谢
  • 零基础小白如何在最短的时间快速入门python爬虫
  • Python爬虫如何避免爬取网站访问过于频繁
  • 做网络爬虫,python 的多线程,异步和 node.js 的异步哪个好
  • python 爬虫怎么断点继续爬
  • python写的爬虫,抓取百度的搜索结果,被屏蔽了怎么办
  • 谁会用python编写爬取淘宝商品信息的爬虫
  • Python,Node.js 哪个比较适合写爬虫
  • 火车头爬虫过程中换代理ip会对爬虫有影响吗
  • python爬取拉勾网,爬了一点就被禁了,老铁什么解决办法吗?爬虫...
  • 开源爬虫框架各有什么优缺点
  • 网站首页网页制作脚本下载服务器操作系统网站运营平面设计媒体动画电脑基础硬件教程网络安全vbsdos/bathtahtcpythonperl游戏相关vba远程脚本coldfusionruby专题autoitseraphzonepowershelllinux shellluagolangerlang其它首页pythonpython爬虫设置ip代理过程解析python3 scrapy爬虫框架ip代理配置的方法爬虫代理池python3webspider源代码测试过程解析python爬虫使用代理ip的实现python代理ip爬虫的新手使用教程用python生成器实现微线程编程的教程python爬虫之遍历单个域名python装饰器的函数式编程详解利用python selenium实现自动登陆京东签到领金币功能python打印“菱形”星号代码方法使用python和xlwt向excel文件中写入中文的实例在python中用get()方法获取字典键值的教程python文件写入write()的操作python图像处理pil各模块详细介绍(推荐)python使用scrapy采集时伪装成http/1.1的方法python入门教程 超详细1小时学会python 列表(list)操作方法详解python 元组(tuple)操作详解pycharm 2020最新永久激活码(附python 字典(dictionary)操作详解pycharm 使用心得(一)安装和首python strip()函数 介绍python 中文乱码问题深入分析python中使用xlrd、xlwt操作excepython科学计算环境推荐——anacpython实现对excel进行数据剔除操作实例python中的闭包用法实例详解django 自动生成api接口文档教程python 存取npy格式数据实例python3爬虫爬取英雄联盟高清桌面壁纸功能python探索之basehttpserver-实现web服务python异常的检测和处理方法python监控服务器实用工具psutil使用解析基于mseloss()与crossentropyloss()的区别在keras里面实现计算f1-score的代码
    免责声明 - 关于我们 - 联系我们 - 广告联系 - 友情链接 - 帮助中心 - 频道导航
    Copyright © 2017 www.zgxue.com All Rights Reserved