爬虫代理的cookie如何生成运行

Tyne ·

更新时间:2024-09-20

· 799 次阅读

HTTP是用于互联网传输数据信息到本地的一种传送协议

我们在浏览器中输入输入关键词，会返回页面内容。这就是我们用浏览器向网站所在的服务器发送了一个请求，网站的服务器接收到这个请求后进行解析，然后把网页内容呈现出来。

有时候服务器网站会检测IP在一个时间段内的请求次数，如果过于频繁，就会拒绝服务，简称为封IP。

HTTP代理就是用别人的IP进行访问，进行IP伪装。

除非是访问网站或APP专用数据api接口，正常的HTTP请求都需要进行ua（User-Agent）优化，因为ua是浏览器标识，如果http请求没有ua，或ua太少，都会被网站运维统计异常的，ua越丰富分布就越真实。cookie最好是登陆获取的，一般访客的cookie，对方限制会比较严格，可以控制一个地区新访客的访问频率。另外反爬统计的js也要分析下，是不是做了机器人判断，有没有做窗口分辨率判断等。

生成cookie：


import os
import time
import zipfile
from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait
class GenCookies(object):
  USER_AGENT = open('useragents.txt').readlines()
  # www.16yun.cn 代理配置
  PROXY_HOST = 't.16yun.cn' # proxy or host
  PROXY_PORT = 31111 # port
  PROXY_USER = 'USERNAME' # username
  PROXY_PASS = 'PASSWORD' # password


def open(self):
    """
    打开网页输入用户名密码并点击
    :return: None
    """
    self.browser.delete_all_cookies()
    self.browser.get(self.url)
    username = self.wait.until(EC.presence_of_element_located((By.ID, 'loginName')))
    password = self.wait.until(EC.presence_of_element_located((By.ID, 'loginPassword')))
    submit = self.wait.until(EC.element_to_be_clickable((By.ID, 'loginAction')))
    username.send_keys(self.username)
    password.send_keys(self.password)
    time.sleep(1)
    submit.click()
  def password_error(self):
    """
    判断是否密码错误
    :return:
    """
    try:
      return WebDriverWait(self.browser, 5).until(
        EC.text_to_be_present_in_element((By.ID, 'errorMsg'), '用户名或密码错误'))
    except TimeoutException:
      return False
  def get_cookies(self):
    """
    获取Cookies
    :return:
    """
    return self.browser.get_cookies()

运行cookie：

API接口开始运行
* Running on http://0.0.0.0:5000/ (Press CTRL+C to quit)
Cookies生成进程开始运行
Cookies检测进程开始运行
正在生成Cookies 账号 180000000 密码 16yun
正在测试Cookies 用户名 180000000
Cookies有效 180000000

如果HTTP请求成功，HTTP的状态码会返回200且返回数据。当然其他HTTP其他状态码也有，403表示禁止访问，504服务器内部出错等等。

以上就是爬虫代理的cookie如何生成运行的详细内容，更多关于爬虫代理 cookie的资料请关注软件开发网其它相关文章！

您可能感兴趣的文章:Vue+element+cookie记住密码功能的简单实现方法在vue中使用cookie记住用户上次选择的实例(本次例子中为下拉框)如何使用jQuery操作Cookies方法解析Vue axios 跨域请求无法带上cookie的解决Springboot中登录后关于cookie和session拦截问题的案例分析Selenium webdriver添加cookie实现过程详解Python3爬虫带上cookie的实例代码PHP如何获取Cookie并实现模拟登录SpringBoot中使用Cookie实现记住登录的示例代码通过实例了解cookie机制特性及使用方法

爬虫运行代理 cookie

1024 个赞