网络爬虫--Selenium的使用

Ivy ·

更新时间:2024-11-13

· 926 次阅读

为什么要使用Selenium?

JS动态渲染的页面不止Ajax这一种, 有些网站，不能直接分析Ajax来抓取，难以直接找出其规律。

如何解决上述问题呢?

直接使用模拟浏览器运行的方式来实现，可见即可爬。 Python提供了许多模拟浏览器运行的库，如Selenium、Splash、PyV8、Ghost等。

Selenium是一个自动化测试工具，利用它可以驱动浏览器执行特定的动作，如点击、下拉等操作，同时还可以获取浏览器当前呈现的页面的源代码，做到可见即可爬。对于一些JavaScript动态渲染的页面来说，此种抓取方式非常有效。

为了模拟浏览器运行，需要安装对应的浏览器的驱动driver。
安装三大浏览器的驱动：chrome driver驱动器、Firefoxr驱动器、IE驱动器

以Linux下Firefox浏览器驱动安装为例：

将 geckodriver-v0.23.0-linux64.tar.gz 移动到linux环境下，并解压。

mv geckodriver /usr/bin
这样驱动就安装成功了。

模拟浏览器的步骤（以Firefox浏览器为例）： 1、声明浏览器对象

Selenium支持非常多的浏览器，如Chrome、Firefox、Edge等，还有Android、BlackBerry等手机端的浏览器。另外，也支持无界面浏览器PhantomJS。
在这里插入图片描述

2、访问网址

运行后发现，弹出了Firefox浏览器并且自动访问了百度，然后控制台输出了百度页面的源代码，随后浏览器关闭。

# 1). 通过浏览器驱动打开浏览器
from selenium import webdriver
browser = webdriver.Firefox()
# 2). 通过浏览器访问网址
browser.get('http://www.baidu.com')
print(browser.page_source)

3、查找节点：单个节点/多个结点

Selenium可以驱动浏览器完成各种操作，比如填充表单、模拟点击等。比如，我们想要完成向某个输入框输入文字的操作，总需要知道这个输入框在哪里吧？查找多个节点只是element多了一个s。

节点交互的文档：https://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.remote.webelement

find_element_by_id find_element_by_name find_element_by_xpath find_element_by_link_text find_element_by_partial_link_text find_element_by_tag_name find_element_by_class_name find_element_by_css_selector find_element(By.ID, ‘q’) browser.find_element_by_id(‘q’) browser.find_element_by_css_selector(’#q’) browser.find_element_by_xpath(’//*[@id=“q”]’)

Selenium可以驱动浏览器来执行一些操作，也就是说可以让浏览器模拟执行一些动作。比较常见的用法有：输入文字时用send_keys()方法，清空文字时用clear()方法，点击按钮时用click()方法。

节点交互代码：

import time
from selenium import webdriver
# 1). 通过浏览器驱动打开浏览器
browser = webdriver.Firefox()
# 2). 通过浏览器访问网址
browser.get('http://www.baidu.com')
# 2-1) 节点查找：根据id=wd查找我们输入的表框对象
input = browser.find_element_by_id('kw')
# 2-2) 往表框input中填写信息python
input.send_keys('python')
# 2-3) 节点查找：根据id查找点击按钮
button = browser.find_element_by_id('su')
# 点击按钮
button.click()
time.sleep(5)
# 清空查询表单的内容
input.clear()
# 输入新的查询内容
input.send_keys('Java')
time.sleep(5)
button.click()

基于Selenium实现爬虫：

import time
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
# 1.通过驱动打开浏览器
brower = webdriver.Firefox()
# 2.浏览器通过get方式打开网页
brower.get('https://www.baidu.com')
# 3.通过id查找输入关键字的节点
input = brower.find_element_by_id('kw')
# 4.提交关键字
input.send_keys('python')
input.send_keys(Keys.ENTER)
time.sleep(10)
# 5.关闭浏览器
brower.close()

动作链

模拟浏览器过程中有一些操作，没有特定的执行对象，比如鼠标拖曳、键盘按键等，这些动作用动作链来执行。

下面以一个拖拽的案例为例：

访问网址，查看源代码，发现源代码在子内联标签内,需先切换到frame