编辑器运行时截屏：

速度还是很快的，大约一秒钟一个页面，还可以三款车的信息一起爬，毫无压力！！！

这是早上爬取的内容，又要要出门做点事，我就先把代码暂停了，没有接着爬取信息，等我下午来继续运行这个代码是，想不到的事情发生了，这个爬虫程序被识别出来了，一直卡死，陷入假死状态，只能重启代码，后来直接不能请求网页了… …

现在我需要做的事情是如果请求超时，5秒请求失败就放弃，程序就自动结束请求，语法如:

但是，这个设置在这个程序中并没有用，还是陷入假死状态.

结果：

上面的这个代码测试是没有问题的，但是看看在requests中的用法，例如：

经过我的测试，对于这个网站并没哟作用… …

对于一些网站，它发现某个IP在频繁的访问时，它就可以把它当作爬虫程序看待，直接把这个 IP 禁掉，禁止这个IP访问网站，所以我们可以使用 IP 代理来访问它。

先来解读一下这个程序：

这样看起来是不是很简单，只需要找到大量的 IP ，并且把它变为字典性数据就可以直接放在requests中使用了。

作为一个学习型用户，找一个 网站爬取免费IP来使用就行了，商业用户可以选择购买IP来使用；但是网站上很多免费的 IP 一直被别人爬取使用，很多都是失效了的，所以在使用前必须要验证它的有效性。如果它还有效，就把它保存起来，用来代理爬取目标网站。

这里选择的 IP 网站是： http://www.89ip.cn/

测试网站： https://www.baidu.com/

方法： 使用 requests 携带 IP 请求百度的服务器，如果返回的状态码是 200 ，请求成功，说明该 IP 有效，保存起来

操作目标：

运行结果：

接下来就可以随机选择 IP 进行代理请求目标网站了，又要我们的有用 IP 都存放进数组中了，直接索引出来使用就行了。

运行结果：

随机选择代理 IP :

• 外观.*?(.*?)
• 内饰.*?(.*?)
• 空间.*?(.*?)
• 配置.*?(.*?)
• 动力.*?(.*?)
• 操控.*?(.*?)
• 油耗.*?(.*?)
• 舒适.*?(.*?).*?优点：(.*?).*?缺点：(.*?).*?外观：(.*?).*?内饰：(.*?).*?空间：(.*?).*?配置：(.*?).*?动力：(.*?).*?操控：(.*?).*?油耗：(.*?).*?舒适：(.*?)') re_html = re.findall(r, res_replace) # 写入数据 for index1 in range(len(re_html)): txt = re_html[index1] writer.writerow(txt) print ("一共发现%s页，正在爬取第%s页："%(771, page), comment_url) fp.close() #关闭文件 endTime =time.time()#获取结束时的时间 useTime =(endTime-startTime)/60 print ("该次所获的信息一共使用%s分钟"%useTime)

  IP代理第一次爬取100多页后也是卡住了，后来运行它，能爬取的越来越少，越来越少，后来我又加上了 cookie 值爬取网站。

  4、requests + cookie值

  Cookie，有时也用其复数形式 Cookies。类型为“小型文本文件”，是某些网站为了辨别用户身份，进行Session跟踪而储存在用户本地终端上的数据（通常经过加密），由用户客户端计算机暂时或永久保存的信息 ；这个文件与特定的 Web 文档关联在一起, 保存了该客户机访问这个Web 文档时的信息, 当客户机再次访问这个 Web 文档时这些信息可供该文档使用。由于“Cookie”具有可以保存在客户机上的神奇特性, 因此它可以帮助我们实现记录用户个人信息的功能。

  4.1、cookie值得获取与转化

  流程： 打开目标网站——> 鼠标右击——> 点击检查 ——> Network ——> All ——> 刷新 ——> 选中第一个文件 ——> headers ——> 找到cookie值
  

  但是代理得cookie值只能使用字典型的数据，所以必须要进行转换一下才能使用 # 这是从浏览器中复制来的原cookie值 cookie = "u=185xbtfa; PClocation=287; u4ad=273ocdum; pcsuv=1580903692070.a.454844964; UM_distinctid=170153417e7dd-099a8ded8ef766-b383f66-144000-170153417e86d1; c=185xbtfb; pcLocate=%7B%22proCode%22%3A%22520000%22%2C%22pro%22%3A%22%E8%B4%B5%E5%B7%9E%E7%9C%81%22%2C%22cityCode%22%3A%22520100%22%2C%22city%22%3A%22%E8%B4%B5%E9%98%B3%E5%B8%82%22%2C%22dataType%22%3A%22user%22%2C%22expires%22%3A1583290353983%7D; pcautoLocate=%7B%22proId%22%3A26%2C%22cityId%22%3A287%2C%22url%22%3A%22%2F%2Fwww.pcauto.com.cn%2Fqcbj%2Fgy%2F%22%2C%22dataTypeAuto%22%3A%22user%22%7D; favCar=%E5%8D%A1%E7%BD%97%E6%8B%89_2734%7C%E6%9C%97%E9%80%B8_3225; pc_browsing_history=%7B%22id%22%3A2734%2C%20%22name%22%3A%22%E5%8D%A1%E7%BD%97%E6%8B%89%22%7D%7C%7B%22id%22%3A3225%2C%20%22name%22%3A%22%E6%9C%97%E9%80%B8%22%7D; locationddPro=%u8D35%u5DDE%u7701; cmu=mb49383348; visitedfid=16040D30987D18666D19145D30725D21855D19975; iwt_uuid=49400312-d6e0-4db2-8746-60926d754ee5; common_session_id=C3716A0B649C7CB3ED68D0574C6CB05B5D75FB0C9F1979555E47AA80D67D829B26911511FF02EF52; pcuvdata=lastAccessTime=1582078030478|visits=43; channel=3799; __PCautoMsg=%7B%22systemNoticeCount%22%3A%220%22%2C%22messageCount%22%3A%220%22%2C%22forumReplyCount%22%3A%220%22%2C%22dynaPraise%22%3A%220%22%2C%22commentReplyCount%22%3A%220%22%2C%22carReplyCount%22%3A%220%22%2C%22autoClubTaskCount%22%3A%220%22%2C%22lastUpdated%22%3A%221582078321041%22%7D" # 将上面哪个cookie转化成字典类型 cookie_dict= {i.split("=")[0]:i.split("=")[-1] for i in cookie.split("; ")} print (cookie_dict)

  转化结果：

  {'u': '185xbtfa', 'PClocation': '287', 'u4ad': '273ocdum', 'pcsuv': '1580903692070.a.454844964', 'UM_distinctid': '170153417e7dd-099a8ded8ef766-b383f66-144000-170153417e86d1', 'c': '185xbtfb', 'pcLocate': '%7B%22proCode%22%3A%22520000%22%2C%22pro%22%3A%22%E8%B4%B5%E5%B7%9E%E7%9C%81%22%2C%22cityCode%22%3A%22520100%22%2C%22city%22%3A%22%E8%B4%B5%E9%98%B3%E5%B8%82%22%2C%22dataType%22%3A%22user%22%2C%22expires%22%3A1583290353983%7D', 'pcautoLocate': '%7B%22proId%22%3A26%2C%22cityId%22%3A287%2C%22url%22%3A%22%2F%2Fwww.pcauto.com.cn%2Fqcbj%2Fgy%2F%22%2C%22dataTypeAuto%22%3A%22user%22%7D', 'favCar': '%E5%8D%A1%E7%BD%97%E6%8B%89_2734%7C%E6%9C%97%E9%80%B8_3225', 'pc_browsing_history': '%7B%22id%22%3A2734%2C%20%22name%22%3A%22%E5%8D%A1%E7%BD%97%E6%8B%89%22%7D%7C%7B%22id%22%3A3225%2C%20%22name%22%3A%22%E6%9C%97%E9%80%B8%22%7D', 'locationddPro': '%u8D35%u5DDE%u7701', 'cmu': 'mb49383348', 'visitedfid': '16040D30987D18666D19145D30725D21855D19975', 'iwt_uuid': '49400312-d6e0-4db2-8746-60926d754ee5', 'common_session_id': 'C3716A0B649C7CB3ED68D0574C6CB05B5D75FB0C9F1979555E47AA80D67D829B26911511FF02EF52', 'pcuvdata': '43', 'channel': '3799', '__PCautoMsg': '%7B%22systemNoticeCount%22%3A%220%22%2C%22messageCount%22%3A%220%22%2C%22forumReplyCount%22%3A%220%22%2C%22dynaPraise%22%3A%220%22%2C%22commentReplyCount%22%3A%220%22%2C%22carReplyCount%22%3A%220%22%2C%22autoClubTaskCount%22%3A%220%22%2C%22lastUpdated%22%3A%221582078321041%22%7D'} 4.2、使用cookie值请求服务器

  设置方法：

  response = requests.get(url=comment_url, headers=headers, cookies= cookie_dict).text

  源码汇总：

  import requests import time import re import csv import random from fake_useragent import UserAgent startTime = time.time() #记录起始时间 headers = { "User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.116 Safari/537.36" #chrome浏览器随机代理 } cookie = "u=185xbtfa; PClocation=287; u4ad=273ocdum; pcsuv=1580903692070.a.454844964; UM_distinctid=170153417e7dd-099a8ded8ef766-b383f66-144000-170153417e86d1; c=185xbtfb; pcLocate=%7B%22proCode%22%3A%22520000%22%2C%22pro%22%3A%22%E8%B4%B5%E5%B7%9E%E7%9C%81%22%2C%22cityCode%22%3A%22520100%22%2C%22city%22%3A%22%E8%B4%B5%E9%98%B3%E5%B8%82%22%2C%22dataType%22%3A%22user%22%2C%22expires%22%3A1583290353983%7D; pcautoLocate=%7B%22proId%22%3A26%2C%22cityId%22%3A287%2C%22url%22%3A%22%2F%2Fwww.pcauto.com.cn%2Fqcbj%2Fgy%2F%22%2C%22dataTypeAuto%22%3A%22user%22%7D; favCar=%E5%8D%A1%E7%BD%97%E6%8B%89_2734%7C%E6%9C%97%E9%80%B8_3225; pc_browsing_history=%7B%22id%22%3A2734%2C%20%22name%22%3A%22%E5%8D%A1%E7%BD%97%E6%8B%89%22%7D%7C%7B%22id%22%3A3225%2C%20%22name%22%3A%22%E6%9C%97%E9%80%B8%22%7D; locationddPro=%u8D35%u5DDE%u7701; cmu=mb49383348; visitedfid=16040D30987D18666D19145D30725D21855D19975; iwt_uuid=49400312-d6e0-4db2-8746-60926d754ee5; common_session_id=C3716A0B649C7CB3ED68D0574C6CB05B5D75FB0C9F1979555E47AA80D67D829B26911511FF02EF52; pcuvdata=lastAccessTime=1582078030478|visits=43; channel=3799; __PCautoMsg=%7B%22systemNoticeCount%22%3A%220%22%2C%22messageCount%22%3A%220%22%2C%22forumReplyCount%22%3A%220%22%2C%22dynaPraise%22%3A%220%22%2C%22commentReplyCount%22%3A%220%22%2C%22carReplyCount%22%3A%220%22%2C%22autoClubTaskCount%22%3A%220%22%2C%22lastUpdated%22%3A%221582078321041%22%7D" # 将上面哪个cookie转化成字典类型 cookie_dict= {i.split("=")[0]:i.split("=")[-1] for i in cookie.split("; ")} print (cookie_dict) #创建CSV文件，并写入表头信息 fp = open('./太平洋汽车_朗逸轿车.csv','a',newline='',encoding='utf-8-sig') writer = csv.writer(fp) writer.writerow(('车主','发表时间','购买车型','购买时间','地点','价格','价格单位','平均油耗', '油耗单位','行驶里程(公里)', '外观评分', '内饰评分', '空间评分', '配置评分', '动力评分', '操控评分', '油耗评分', '舒适评分', '外观', '内饰', '空间', '配置', '动力', '操控', '油耗', '舒适')) for page in range(25, 789):# 1, 789 comment_url = 'https://price.pcauto.com.cn/comment/sg1633/p%s.html'%page time.sleep(random.uniform(1,3))#随机暂停1~3秒 response = requests.get(url=comment_url, headers=headers, cookies= cookie_dict).text res_replace = response.replace('\r\n', '').replace('\t','').replace(' ','') r = re.compile('(.*?)(.*?)发表.*?target="_blank">(.*?)<.*?购买时间(.*?).*?购买地点(.*?).*?裸车价格(.*?)(.*?).*?平均油耗(.*?)(.*?).*?行驶里程(.*?)公里.*?
  • 外观.*?(.*?)
  • 内饰.*?(.*?)
  • 空间.*?(.*?)
  • 配置.*?(.*?)
  • 动力.*?(.*?)
  • 操控.*?(.*?)
  • 油耗.*?(.*?)
  • 舒适.*?(.*?).*?优点：(.*?).*?缺点：(.*?).*?外观：(.*?).*?内饰：(.*?).*?空间：(.*?).*?配置：(.*?).*?动力：(.*?).*?操控：(.*?).*?油耗：(.*?).*?舒适：(.*?)') re_html = re.findall(r, res_replace) # 写入数据 for index1 in range(len(re_html)): txt = re_html[index1] writer.writerow(txt) print ("一共发现%s页，正在爬取第%s页"%(771, page)) fp.close() #关闭文件 endTime =time.time()#获取结束时的时间 useTime =(endTime-startTime)/60 print ("该次所获的信息一共使用%s分钟"%useTime)

    
    结论： 在短时间内，解决了不响应的假死状态，但是爬取的数量多了以后，它的cookie 也会被识别出来这是爬虫程序，不给予相应，所以，还得换其他的方法试试。

    
    5、Selenium自动化爬取

    这个是开发来做自动化测试的库，但是用它来做爬虫几乎是无敌的存在，就不多介绍它了，具体用法请转至 python爬虫爬取微博之战疫情用户评论及详情 观看 1.2.2.1、对selenium库的基本用法认识 和 1.2.2.2、认识xpath

    5.1、自动登录《太平洋汽车》

    上面写的代码总是会有各种各样的名称挂断，陷入假死状态出不来，于是我就用selenium 超控浏览器获取源码，传入 URL 模拟下拉，点击下一页，获取源码，本来以为可以高枕无忧时，代码又陷入假死状态了，被控制的浏览器也动不了了，后来注册了一个账号，用于登录网站获取 cookie 值， 然后赋予其他的链接进行爬取。

    账号登录页面： https://my.pcauto.com.cn/passport/login.jsp?tag=1

    
    节点的具体选择方法可以参考 python爬虫爬取微博之战疫情用户评论及详情 的 第2节《实现登录微博》，实现登录账号源码如下：

    from selenium import webdriver from selenium.webdriver.common.keys import Keys import time driver = webdriver.Chrome() def logon_web(): # 打开浏览器链接 driver.get('https://my.pcauto.com.cn/passport/login.jsp?tag=1') time.sleep(0.5)#暂停0.5秒 driver.find_element_by_id('loginProtocolIDTag1').click()#点击“我已阅读并同意 用户使用协议 和 隐私政策”框 driver.find_element_by_xpath('//*[@id="loginform"]/div[1]/input').send_keys('这里放你的账号') #输入账号 driver.find_element_by_id('password').send_keys('这里放你的密码') #输入密码 time.sleep(1) driver.find_element_by_class_name('inpBtn').click()#点击登录按钮 time.sleep(1) driver.find_element_by_xpath('//*[@id="chaMenu"]/span/a[1]').click() #点击左上角“LOGO”跳到官网首页 if __name__ == '__main__': logon_web()
    4.2、传入URL爬取信息

    如果想要被控制的浏览器隐藏起来，可以把

    driver = webdriver.Chrome()

    改为：

    chrome_options = Options() chrome_options.add_argument('--headless') chrome_options.add_argument('--disable-gpu')#上面三行代码就是为了将Chrome不弹出界面，实现无界面爬取 driver = webdriver.Chrome(chrome_options=chrome_options)

    这样全程浏览器都是隐藏起来进行的，方便自己去做其他的工作。

    源码汇总：

    from selenium import webdriver from selenium.webdriver.common.keys import Keys from selenium.webdriver.chrome.options import Options import time,eventlet,random import re import csv startTime =time.time()#获取开始时的时间 login = "https://my.pcauto.com.cn/passport/login.jsp?tag=1" #创建CSV文件，并写入表头信息 fp = open('./太平洋汽车_朗逸轿车.csv','a',newline='',encoding='utf-8-sig') writer = csv.writer(fp) writer.writerow(('车主','发表时间','购买车型','购买时间','地点','价格','价格单位','平均油耗', '油耗单位','行驶里程(公里)', '外观评分', '内饰评分', '空间评分', '配置评分', '动力评分', '操控评分', '油耗评分', '舒适评分', '外观', '内饰', '空间', '配置', '动力', '操控', '油耗', '舒适')) driver = webdriver.Chrome() def logon_web(): # 打开浏览器链接 driver.get(login) time.sleep(0.5)#暂停0.5秒 driver.find_element_by_id('loginProtocolIDTag1').click()#点击“我已阅读并同意 用户使用协议 和 隐私政策”框 driver.find_element_by_xpath('//*[@id="loginform"]/div[1]/input').send_keys('这里放你的账号') #输入账号 driver.find_element_by_id('password').send_keys('这里放你的密码') #输入密码 time.sleep(1) driver.find_element_by_class_name('inpBtn').click()#点击登录按钮 time.sleep(1) driver.find_element_by_xpath('//*[@id="chaMenu"]/span/a[1]').click() #点击左上角“LOGO”跳到官网首页 #设置爬取的第一个网页，接下来的网页翻页它自己点击 comment_url = 'https://price.pcauto.com.cn/comment/sg1633/'#这是第一页 driver.get(comment_url)#打开网页网页 def spider(page): #设置请求超时处理 eventlet.monkey_patch() #必须加这条代码 with eventlet.Timeout(10,False): #设置超时时间为5秒 for i in range(400,4500,900): time.sleep(random.uniform(0, 0.5))#延时，模拟人为加载 js=f"document.documentElement.scrollTop={i}"#下拉加载，每次下拉900像素，数值必须叠加 driver.execute_script(js)#操作js source = driver.page_source #1.直接获取源码 # source = driver.execute_script("return document.documentElement.outerHTML") #2.调用js获取源码 res_replace = source.replace('\r\n', '').replace('\t','').replace(' ','').replace('\n', '') r = re.compile('(.*?)(.*?)发表.*?target="_blank">(.*?)<.*?购买时间(.*?).*?购买地点(.*?).*?裸车价格(.*?)(.*?).*?平均油耗(.*?)(.*?).*?行驶里程(.*?)公里.*?
    • 外观.*?(.*?)
    • 内饰.*?(.*?)
    • 空间.*?(.*?)
    • 配置.*?(.*?)
    • 动力.*?(.*?)
    • 操控.*?(.*?)
    • 油耗.*?(.*?)
    • 舒适.*?(.*?).*?优点：(.*?).*?缺点：(.*?).*?外观：(.*?).*?内饰：(.*?).*?空间：(.*?).*?配置：(.*?).*?动力：(.*?).*?操控：(.*?).*?油耗：(.*?).*?舒适：(.*?)') re_html = re.findall(r, res_replace) return re_html def push_url(): for page in range(1, 789):# 1, 789 #网页的点击次数 re_html = spider(page) #传入数字page返回提取的信息 for index1 in range(len(re_html)):#写入CSV txt = re_html[index1] writer.writerow(txt) time.sleep(random.uniform(1.5, 2.5))#设置随机等待 driver.find_element_by_class_name('next').click() #点击下一页 print ("一共发现%s页，正在爬取第%s页："%(789, page)) if __name__ == '__main__': logon_web() push_url() fp.close() #关闭文件 driver.quit()#推出并关闭浏览器 endTime =time.time()#获取结束时的时间 useTime =(endTime-startTime)/60 print ("该次所获的信息一共使用%s分钟"%useTime)

      爬取信息过程截图：
      
      结论： 虽然爬到了自己需要的信息，但是它的寿命也不强，爬一段时间后也是会陷入假死状态，不在自动进行爬取下面的翻页爬取操作了，而且作为一个正真爬虫，是很少使用selenium 当作爬虫来使用的，所以，继续研究其他的方法吧

      
      6、会话请求

      经过上面一序列问题，我必须要改变一种方式了，就使用requests seesion建立会话吧，先用requests去提交我的账号和密码，登录网站，然后返回seesion，这里面就带上了本次访问后的所有信息，然后就用它去请求下一个页面，就相当于告诉服务器，现在我请求的链接是从上面一个链接跳转下来的，不信你可以查看我的通关文牒呀，seesion就是它的通关文牒，然后再设置随机暂停请求的时间长一点，这样就可以减少被反爬的概率了，甚至每隔20个停 30 ~ 60 秒钟，每请求下一个网页都停4 ~ 7秒，假装是人在 快速浏览网页。

      6.1、如何使用requests提交账号和密码

      先来抓包看看网页都提交了什么东西服务器，然后我们也这样提交给服务器，这样就实现账号的登录了，我们登录提交账号密码后服务器也会返回信息给我们，就相当于签发通关文牒了，只要记得每一关都要它发一个通关文牒， 接下来就可以用它畅行无忧啦~

      抓包步骤： 打开登录页面——> 鼠标右击选择检查——> 输入密码账号点击登录按钮
      
      页面跳转到：
      
      复制上面URL方法: 选中链接 ——> 鼠标右击 ——> copy ——> Copy Link address
      
      实现源码：

      import requests def logon(login): post_data = { 's': '9CF01B9F75975D555BE5407BACA68C04D76570DD88269DBE236B9C171C591416FBF00A26E1F7532C',#这里面放自己加密后的密码 'u': '这里放自己的ID', 'r': 'https://my.pcauto.com.cn/passport/login.jsp?tag=1' } seesion =requests.session() seesion.get(url=login, headers =headers, data =post_data) print ("=================完成登录================") return seesion login = 'https://passport3.geeknev.com/passport3/c?s=9CF01B9F75975D555BE5407BACA68C04D76570DD88269DBE236B9C171C591416FBF00A26E1F7532C&auto=90&u=mb49383348&r=https%3A%2F%2Fmy.pcauto.com.cn%2Fpassport%2Flogin.jsp' seesion = logon(login) print ("seesion = ", seesion) =================完成登录================ seesion =

      现在我们已经把第一个通关文牒办好了，开始过其他的关卡吧，并且在过的时候顺便把把下一关的通行证办理好，就畅通无阻了。为了减少被发现的次数，也可以弄一个假的身份去办理通关手续，这个通关手续就是代理IP啦。

      6.2、源码汇总 import requests import time import re import csv import random from fake_useragent import UserAgent startTime = time.time() #创建CSV文件，并写入表头信息 fp = open('./太平洋汽车_朗逸轿车12.csv','a',newline='',encoding='utf-8-sig') writer = csv.writer(fp) writer.writerow(('车主','发表时间 ','购买车型','购买时间','地点','价格','价格单位','平均油耗', '油耗单位','行驶里程(公里)', '外观评分', '内饰评分', '空间评分', '配置评分', '动力评分', '操控评分', '油耗评分', '舒适评分', '外观', '内饰', '空间', '配置', '动力', '操控', '油耗', '舒适')) headers ={ "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36" } ips = [] for i in range(1, 3): print ("正在爬取IP使用代理，请稍等......") headers = { "User-Agent" : UserAgent().chrome #chrome浏览器随机代理 } ip_url = 'http://www.89ip.cn/index_%s.html'%i res = requests.get(url=ip_url, headers=headers).text res_re= res.replace('\n', '').replace('\t','').replace(' ','') re_c = re.compile('(.*?)(.*?)') result = re.findall(re_c, res_re) for i in range(len(result)): ip = 'http://' + result[i][0] + ':' + result[i][1] proxies={"http":ip} html = requests.get('https://www.baidu.com/', proxies=proxies) if html.status_code == 200: ips.append(proxies) print ("完成IP代理准备工作！！！") def logon(login): #需要提交的账号数据 post_data = { 's': '9CF01B9F75975D555BE5407BACA68C04D76570DD88269DBE236B9C171C591416FBF00A26E1F7532C',#这里放自己加密后的密码 'u': '这里放自己的ID', 'r': 'https://my.pcauto.com.cn/passport/login.jsp?tag=1' } #创建会话 seesion =requests.session() seesion.get(url=login, headers =headers, data =post_data) print ("=================完成登录================") return seesion def requests_url(seesion,comment_url): """请求网页，得到源码，提取信息，并重新创建新的会话，返回给下一个网页""" time.sleep(random.uniform(3,5))#随机停3~5秒 response =seesion.get(url=comment_url, headers =headers, timeout=5, proxies=ips[random.randint(0 , len(ips)-1)]).text seesion =requests.session()#重新创建会话 seesion.get(url=comment_url, headers =headers) #替换掉干扰因子 res_replace = response.replace('\r\n', '').replace('\t','').replace(' ','') #使用正则匹配出信息 r = re.compile('(.*?)(.*?)发表.*?target="_blank">(.*?)<.*?购买时间(.*?).*?购买地点(.*?).*?裸车价格(.*?)(.*?).*?平均油耗(.*?)(.*?).*?行驶里程(.*?)公里.*?
      • 外观.*?(.*?)
      • 内饰.*?(.*?)
      • 空间.*?(.*?)
      • 配置.*?(.*?)
      • 动力.*?(.*?)
      • 操控.*?(.*?)
      • 油耗.*?(.*?)
      • 舒适.*?(.*?).*?优点：(.*?).*?缺点：(.*?).*?外观：(.*?).*?内饰：(.*?).*?空间：(.*?).*?配置：(.*?).*?动力：(.*?).*?操控：(.*?).*?油耗：(.*?).*?舒适：(.*?)') re_html = re.findall(r, res_replace) # 写入数据 for index1 in range(len(re_html)): txt = re_html[index1] writer.writerow(txt) return seesion def push_url(): login = 'https://passport3.geeknev.com/passport3/c?s=9CF01B9F75975D555BE5407BACA68C04D76570DD88269DBE236B9C171C591416FBF00A26E1F7532C&auto=90&u=mb49383348&r=https%3A%2F%2Fmy.pcauto.com.cn%2Fpassport%2Flogin.jsp' seesion = logon(login)#传入链接返回seesion for page in range(342, 771):# 在这里控制页数 if (page%20) == 0: time.sleep(random.uniform(30,50)) comment_url = 'https://price.pcauto.com.cn/comment/sg1633/p%s.html'%page seesion = requests_url(seesion,comment_url)#传入上一个的seesion和下一个链接，并返回seesion seesion = seesion print ("一共发现%s页，正在爬取第%s页"%(771, page)) if __name__ == '__main__': push_url() fp.close() #关闭文件 endTime =time.time()#获取结束时的时间 useTime =(endTime-startTime)/60 print ("该次所获的信息一共使用%s分钟"%useTime)

        

        这样的爬虫感觉已经很完美了，经过测试，实际效果也还是不错的，就是我把速度降得很慢了，防止被识别出来，各退一步吧。

        
        
        7、爬取“朗逸”论坛信息 7.1、分析论坛首页

        寻找目标： 可以在网页首页点击论坛，然后以 “朗逸” 为关键词搜索，一共可以找到50页以“朗逸” 关键词的目标。
        
        链接：

        #第一页 https://ks.pcauto.com.cn/auto_bbs.shtml?q=%C0%CA%D2%DD&key=cms #第二页 https://ks.pcauto.com.cn/auto_bbs.shtml?q=%C0%CA%D2%DD&key=cms&pageNo=2 #第三页 https://ks.pcauto.com.cn/auto_bbs.shtml?q=%C0%CA%D2%DD&key=cms&pageNo=3 #第四页 https://ks.pcauto.com.cn/auto_bbs.shtml?q=%C0%CA%D2%DD&key=cms&pageNo=4

        可以也给第一页加上 &pageNo=1 ，这样也是可以正常访问浏览器的，知道了这50页URL的规律，接下来就可以使用循环自己生成了。

        在论坛首页获取到每篇文章的内容，然后再分别访问它，这样就可以实现每篇文章及评论的爬取了。

        先请求一点源码来分析看看，是否能拿到自己需要的内容

        import requests response = requests.get('https://ks.pcauto.com.cn/auto_bbs.shtml?q=%C0%CA%D2%DD&key=cms&pageNo=2').text print (response)

        
        结论： 从上面的结果可以看出，这样页面没有任何发爬虫的措施，很轻松的就拿到了网页源码，接下来就是提取文章的链接了。

        7.2、爬取论坛首页论题链接 7.2.1、如何定位xpath节点

        步骤： 打开审查元素——> 点击左上角箭头图标——> 再去点击需要定位的位置 ——> HTML中 copy xpath
        
        复制第一篇和第二篇文章的XPath进行比较
        
        然后把它们分开使用：
        
        这种方法适合刚入门的同学使用，还可以直接用它的上一个节点来自己写 Xpath 节点，如改写为:
        

        相对定位：//div[@class="content"]/div/strong 绝对定位：./a

        由于我要获取的是 href标签 内的内容，所以给绝对定位加上 /@href ,表示提取提取其中的内容

        7.2.2、代码实现 import requests from lxml import etree response = requests.get('https://ks.pcauto.com.cn/auto_bbs.shtml?q=%C0%CA%D2%DD&key=cms&pageNo=2').text html_etree = etree.HTML(response) #筛选器格式化 items = html_etree.xpath('//div[@class="content"]/div/strong')#相对定位 for item in items: href = 'https:' + item.xpath('./a/@href')[0] #"https:" 拼接上a标签的内容，构成完整链接，[0]表示提取数组第一位 print (href)

        结果：

        https://bbs.pcauto.com.cn/topic-20741395.html https://bbs.pcauto.com.cn/topic-20740493.html https://bbs.pcauto.com.cn/topic-20740301.html https://bbs.pcauto.com.cn/topic-20739602.html https://bbs.pcauto.com.cn/topic-20739444.html https://bbs.pcauto.com.cn/topic-20738669.html https://bbs.pcauto.com.cn/topic-20736050.html https://bbs.pcauto.com.cn/topic-20735451.html https://bbs.pcauto.com.cn/topic-20734890.html https://bbs.pcauto.com.cn/topic-20730428.html

        提示： 加上翻页就可爬取它所有的链接了

        这个网站就温柔很多了，没有发现它有反爬措施，为了安全起见，我也给请求信息加上了 IP 代理，这个步骤很上面的方法是一样的，直接Copy下来就可以用了。

        7.3、BeautifulSoup筛选信息

        注意这个Class标签，车主写的所有的文字都在 class="post_msg replyBody" 中
        
        所有的回复都在 class="post_msg replyBody" 中：
        
        用法也相当的简单，这里就不详细讲了，我在代码中详细注释

        7.4、把文本写入txt文件保存

        这个可以分为三部曲，和把大象装进冰箱是一样的。

        创建并打开文件 把内容写进去 关闭文件

        看案例：

        #假设有这样一段文本，其实这是我写的诗，嘿嘿！现在我要把它保存起来 poetry = """ 斩梦 笔启云霄志，天涯梦何处。 引笔书倾诉，伴影两孤独。 三春花事好，空趣亦空无。 秀发软香系，重起行前鼓。 披风鉴星月，舟踏浪平渡。 漫思阑珊意，金榜路殊途。 勿时以为念，寒窗铭刻骨。 """ #创建一个txt文件，以添加的方式写入内容，编码格式为utf-8 f = open('./我的诗篇.txt','a',encoding='utf-8') # "./"表示当前文件夹 f.write(poetry) f.close()

        结果：
        

        7.5、论坛源码汇总 import requests import time import re import random from lxml import etree from bs4 import BeautifulSoup from fake_useragent import UserAgent startTime =time.time()#获取开始时的时间 f = open('./朗逸论坛.txt','a',encoding='utf-8')#创建一个txt文件，以添加的方式写入内容，编码格式为utf-8 ips = [] #装载有效IP for i in range(1,5):#爬取前四页 print ("正在爬取IP第%s页使用代理，请稍等......"%i) headers = { "User-Agent" : UserAgent().chrome #chrome浏览器随机代理 } ip_url = 'http://www.89ip.cn/index_%s.html'%i #构造链接 res = requests.get(url=ip_url, headers=headers).text res_re= res.replace('\n', '').replace('\t','').replace(' ','') # 正则匹配提取信息 re_c = re.compile('(.*?)(.*?)') result = re.findall(re_c, res_re) for i in range(len(result)): ip = 'http://' + result[i][0] + ':' + result[i][1] proxies={"http":ip} #验证IP是否有用 html = requests.get('https://www.baidu.com/', proxies=proxies) if html.status_code == 200: ips.append(proxies) """下面这个部分分别为爬取首页链接，论题内容和回复，并保存数据""" for page in range(1,51):#从第一个页面到第50个页面 headers = { "User-Agent" : UserAgent().chrome #chrome浏览器随机代理 } print ("================一共有50个主页面，正在爬取第%s个================"%page) index_url = 'https://ks.pcauto.com.cn/auto_bbs.shtml?q=%C0%CA%D2%DD&key=cms&pageNo=' + str(page) #设置异常捕捉，try,except try: response = requests.get(url=index_url, headers=headers, timeout=5, proxies=ips[random.randint(0 , len(ips)-1)]).text html_etree = etree.HTML(response) #筛选器格式化 items = html_etree.xpath('//div[@class="content"]/div/strong')#相对定位 for item in items: href = 'https:' + item.xpath('./a/@href')[0] #"https:" 拼接上a标签的内容，构成完整链接，[0]表示提取数组第一位 time.sleep(0.5) #暂停0.5秒 print (href) #打印链接 source = requests.get(url=href, headers=headers, timeout=5, proxies=ips[random.randint(0 , len(ips)-1)]).text # 提取全部评论 soup = BeautifulSoup(source, "html.parser")#BeautifulSoup解析器格式化 msg = soup.find(attrs={"class": "post_msg replyBody"})#定位作者笔记 wraps = soup.find(attrs={"class": "post_msg_wrap"})#定位用户评论 txt = msg.get_text().replace("\n","") #get_text()表示提取文字 wrap = wraps.get_text().replace("\n","") #replace("\n","")表示替换掉换行 #把提取到的信息转化为字符型 txt = str(txt) wrap = str(wrap) #把信息写入txt文件 f.write(txt) f.write(wrap) except: pass #发现异常就跳过 f.close()#完成后关闭文件 endTime =time.time()#获取结束时的时间 useTime =(endTime-startTime)/60 print ("该次所获的信息一共使用%s分钟"%useTime)

        编辑器结果截图:
        
        txt结果截图：
        

        没有什么是一蹴而就的，所有的成果都是在 “零” 的基础上不断摸爬滚打的成果，愿你挺住，一门语言不从入门到放弃，相信它就可以陪你从入门到入土，加油！！！

        
        作者：阿优乐扬

        
        

        
        实战 汽车 python爬虫 Python

        1024 个赞

        编辑 举报
        需要 登录 后方可回复, 如果你还没有账号请 注册新账号
        相关文章

        HTML 字符集

        Kamiisa 2020-04-27

        703

        AppML Customers - 完整的应用程序

        Pythia 2020-03-03

        887

        HTML5 Canvas 起步(1) - 基本概念

        Vicky 2021-07-27

        654

        PHP析构函数destruct与垃圾回收机制的讲解

        Ebony 2021-02-05

        984

        nginx location指令(匹配顺序匹配冲突)实战示例详解

        Nafisa 2023-07-22

        1688

        一文详解Python中多进程和进程池的使用方法

        Serafina 2023-07-24

        338

        Python中常用功能的实现代码分享

        Kathy 2023-07-24

        934

        python简单几步实现时间日期处理到数据文件的读写

        Nora 2023-07-24

        926

        

        Python采集二手车数据的超详细讲解

        Pandora 2023-07-24

        294

        Python进阶之利用+和*进行列表拼接

        Tani 2023-07-24

        656

        

        Python进阶之列表推导与生成器表达式详解

        Tanisha 2023-07-24

        1394

        

        Python实战使用XPath采集数据示例解析

        Diane 2023-07-24

        1433

        Python 对象拷贝及深浅拷贝区别的详细教程示例

        Miette 2023-08-09

        488

        

        使用Python对接OpenAi API实现智能QQ机器人的方法

        Miette 2023-08-28

        1874

        

        python进阶学习实时目标跟踪示例详解

        Serafina 2023-08-28

        1732

        

        Python人工智能语音合成实现案例详解

        Rhea 2023-08-28

        744

        

        python Tkinter实例详解

        Malinda 2023-08-28

        1999

        Python人工智能构建简单聊天机器人示例详解

        Kathy 2023-08-28

        1370

        

        Python ttkbootstrap的介绍与使用教程

        Nora 2023-08-28

        1592

        

        python中os模块和sys模块的使用详解

        Pandora 2023-08-28

        600
        我要提问

        致谢

        帮助他人，成就自己。

        人生最大成功就是伸出热情而温暖的双手，尽自己所能去帮助身边的每一个人，只要无私的奉献，就会收获到美好的生活。

        1024问感谢每一位朋友的帮助和支持。

        软件开发网提供编程的基础软件技术培训教程,软件开发编程实例讲解Go,Node,HTML,CSS,Javascript,Python,Java,Ruby,C,PHP,MySQL等软件开发编程语言以及数据开发的基础知识，也提供大量的软件开发在线实例、从入门到精通就在1024问。

        育儿网 微养生 全球行 美食街 育儿 菜谱大全 海南旅游 女性 养狗百科 星座