python 之proxy 代理

原创 赤水  2016年1月19日 08:55 阅读 291 次
       今天写python 爬虫碰到点问题,需要使用fiddler抓包分析,网上搜了一段代码怎么都实现不了,整了好几个小时,官方文档都没有说明
      我请求抓包的地址是https,故我的代码怎么也不经过fiddler转发,而是直接去访问服务器,网上搜了半天也没有解决方案,后我猜想如果请求的是http,而不是https呢?
      由猜想验证结果是:请求http 可以使用fiddler 代理,如果请求地址是https,居然直接请求服务器,如果代理地址是一个代理的地址不存在也不报错
    
后来我尝试修改ProxyHandler的代理类型,由http 修改为https,然后去请求https,结果成了,解决我的需求!
附带码:   
def Test1():
    Proxy = urllib2.ProxyHandler({'https':"http://172.16.1.177:8888"})
    Open = urllib2.build_opener(Proxy)
    urllib2.install_opener(Open)
    Open.addheaders = [('User-agent',"Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:43.0) Gecko/20100101 Firefox/43.0")]
    urllib2.install_opener(Open)
    f = urllib2.urlopen("https://172.16.1.137")
    print f.read()

Test()

以此做记录!



本文地址: http://blog.lssin.com/readblog/64.html
版权声明:本文为原创文章,版权归  赤水 所有,欢迎分享本文,转载请保留出处!

发表评论


表情