虽然我们可以通过 requests 来模拟浏览器发送请求，并通过解析接口响应的结果来分析获取想要数据，但是现实中的情况往往要比示例中的要复杂的多，互联网数据是企业非常重要的资源，因此数据保护也非常重要，再加之现在很多网站的数据都是针对每个用户有专门的推荐，因此数据绝大多数情况是动态执行出来的。这些都增加了获取网页数据的复杂程度。

比如像淘宝，京东这些大型互联网公司的网站，即使我们通过模拟请求获取到数据，有许多内容都是被加密的，直接分析请求反而不是一种明智的选择。

为了解决这些问题，我们可以直接模拟浏览器运行的方式来实现，做到所见即所得，不管服务网站做了什么样的加密，只要能在浏览器完整的显示，那就可以获取到相应的数据。这就需要使用一些模拟浏览器的库来完成，常见的有 Selenium，PyV8，Ghost 等。本文将详细介绍如何使用 Selenium 的使用。

快速开始

Selenium 是一款自动化测试工具，通过它可以驱动浏览器执行特定的动作，如点击、下拉、滑动等等，最重要的是可以获取到页面的数据，真正做到了可见即可爬的效果。因此对于一些动态的数据内容，只要能真实展示在浏览器上，那就可以获取到其数据。

在开始使用 Selenium 之前，需要做一些前置工作，安装 Chrome 浏览器，并配置好 ChromeDriver，另外还需要安装三方库 Selenium。(ChromeDriver 需要注意版本需要和 Chrome 相对应，否则导致闪退)。

# 安装Selenium库
pip install Selenium

以下是获取豆瓣 250 电影的一个示例代码

from selenium import webdriver
from selenium.webdriver.common.by import By

browser = webdriver.Chrome()

# 打开网页
browser.get("https://movie.douban.com/top250")
# 获取节点
els = browser.find_elements(By.CLASS_NAME, "title")

for el in els:
    txt = el.text
    if not txt.startswith(" /"):
        print(txt)

# 肖申克的救赎
# 霸王别姬
# 阿甘正传
# 泰坦尼克号
# 这个杀手不太冷
# 千与千寻
# 美丽人生
# 星际穿越
# 盗梦空间
# 辛德勒的名单
# 楚门的世界
# ......

上边代码中, 首先需要webdriver.Chrome()方法来获取到浏览器实例, 此时会打开一个 Chrome 浏览器窗口, 再通过调用browser.get 方法访问目标网址获取网页数据，此时，就可以使用元素查找方法 browser.find_elements 指定查找类型和 class 名字来找到对应的元素标签。

获取浏览器对象及访问页面

虽然绝大多数 Selenium 教程中都会用 Chrome，其实其支持的浏览器非常多包括 Firefox，Edge（Edge 由于历史原因存在两个版本，在使用时需要区分），Android 等，甚至包括无界面浏览器 PhantomJS。需要注意的是，每种浏览器都需要对应的驱动来支持。

from selenium import webdriver
# 获取Chrome
webdriver.Chrome()
# 获取Chromium内核Edge
webdriver.ChromiumEdge()
# 获取Edge
webdriver.Edge()
# 获取火狐
webdriver.Firefox()
# 获取IE浏览器
webdriver.Ie()

在上方获取到浏览器对象后， 就可以使用 get 方法来请求页面了， 只需要传入 url 地址即可。

from selenium import webdriver

browser = webdriver.Chrome()
browser.get("https://www.baidu.com")

print(browser.title)

# 百度一下，你就知道

如上代码中，就成功访问了百度首页， 并获取到了网站的标题。

节点操作

爬虫最重要的目的就是要网站内容，因此节点查找是一个非常重要的功能。Selenium 提供了非常丰富的功能，包括可以填充表单，模拟点击等，但这些前提是找到对应的标签。

查找单个节点

Selenium 查找节点有多种方式，可以通过 id，xpath 等等，以下是可选用方式的源码

# 可用的查找方法
class By:
    ID = "id"
    XPATH = "xpath"
    LINK_TEXT = "link text"
    PARTIAL_LINK_TEXT = "partial link text"
    NAME = "name"
    TAG_NAME = "tag name"
    CLASS_NAME = "class name"
    CSS_SELECTOR = "css selector"

# 以class_name查找
browser.find_element(By.CLASS_NAME, "title")

# 获取到的Selenium节点对象
#<selenium.webdriver.remote.webelement.WebElement 
#(session="f8431912e8f72ee0fe17d026dfff2022", 
#element="649672B8DDD01F44A3183BFC28B8C624_element_21")>

如上述代码中，使用find_element 方法，并指定查找方式和查找的内容，即可返回 Selenium 的节点对象。需要注意的是，在 Selenium 以前的旧版本中会有 find_element_by_id 等方法，这些在新版本都已经被弃用，新版本中只有find_element 一个方法用来返回一个节点标签。

查找多个节点

查找多个节点和一个节点的方法一样，新版本 Selenium 中统一了查找的方法名使用 find_elements 来查找多个符合条件的节点。结果会被封装到一个包含WebElement 属性的列表中。

els = browser.find_elements(By.CLASS_NAME, "title")

#[<WebElement>.....]

节点交互

Selenium 除了可以获取页面节点数据外，还可以模拟浏览器执行一些动作，比如输入数据，清空文字，点击按钮等。

from selenium import webdriver
from selenium.webdriver import Keys
from selenium.webdriver.common.by import By
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

browser = webdriver.Chrome()

browser.get("https://www.baidu.com")
ipt = browser.find_element(by="id", value="kw")
ipt.send_keys("python")
ipt.send_keys(Keys.ENTER)

wait = WebDriverWait(browser, 10)
wait.until(EC.presence_of_element_located((By.ID, "content_left")))
print(browser.current_url)
print(browser.title)

# https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&tn=baidu&wd=python&fenlei=256&rsv_pq=0xb4aec00d00057ed1&rsv_t=46e0VkiflVRYEgv5gB6emF74ekrhKovPPAVF1KVxwU6hiwWQjp2N4DNj6wzk&rqlang=en&rsv_enter=1&rsv_dl=tb&rsv_sug3=6&rsv_sug2=0&rsv_btype=i&inputT=142&rsv_sug4=142
# python_百度搜索

如上述代码，使用 Selenium 完成自动在百度查找 Python 关键字。首先使用 find_element 方法找到输入框， 再使用 send_keys 设置输入框关键字，并执行回车动作，使用WebDriverWait 等待查询结果完成后结束程序。

获取节点信息

在上边获取到节点后，每个节点信息都被封装到了 WebElement 类中， 因此可以通过此类提供的方法和属性来获取到节点相关信息，如属性，文本等内容。

from selenium import webdriver
from selenium.webdriver.common.by import By

browser = webdriver.Chrome()
browser.get("https://movie.douban.com/top250")
els = browser.find_elements(By.CLASS_NAME, "title")

# 获取节点文本
print(els.text)
# 获取节点class属性值
print(els.get_attribute("class"))
# 获取id值
print(els.id)
# 获取位置信息
print(els.location)
# 获取标签名
print(els.tag_name)
# 获取组件大小
print(els.size)

# 肖申克的救赎
# title
# 27BB114F62D2F51C406DA6460B739476_element_15
# {'x': 164, 'y': 296}
# span
# {'height': 16, 'width': 84}

执行 JavaScript

Selenium 虽然支持众多的浏览器操作，但是某些情况仍然没有提供，这时，我们就可以使用 Selenium 执行 JavaScript 来完成更多的操作。

from selenium import webdriver
browser = webdriver.Chrome()

# 使用JavaScript将页面拉倒最下方
browser.execute_script("window.scrollTo(0, document.body.scrollHeight)")

如上述代码中使用execute_script 方法执行 JavaScript 代码，使页面被滑动到最下方。

浏览器操作

Selenium 提供了浏览器实例的操作方法，以此来提供更多的可操作空间。

浏览器响应等待

在网络访问中，请求并不是立马就会有响应，因此在访问网页后就需要等待页面响应完成后，才可以继续获取页面节点的数据。这里边 Selenium 在查找 DOM 时如果没有找到对应节点，就会继续等待，当超时后就会抛出异常，但是程序默认时间为 0，因此我们需要显示的修改一下等待时长。

browser.implicitly_wait(10)

如上使用implicitly_wait 方法设置了固定的时长 10 秒。

上边设置方式存在一个缺点，就是设置时间是一个固定值，这个时间就会很不容易掌握。幸好，还有一种方式来设置。代码如下：

from selenium.webdriver.support import expected_conditions as EC

wait = WebDriverWait(browser, 10)
wait.until(EC.presence_of_element_located((By.ID, "content_left")))

在上边代码中，我们初始化了一个WebDriverWait 对象， 并指定了最长等待时间，然后调用 until 方法，参数是一个条件presence_of_element_located，表示当节点中出现指定的内容时条件成立。

网页前进和后退

Selenium 还可以模拟浏览器执行前进和后退的功能，这里需要调用 back 和 forward 两个方法。

browser.get("https://www.baidu.com")
browser.get("https://youdao.com/")
browser.get("https://cn.bing.com")

# 网页后退
browser.back()
time.sleep(2)
# 网页前进
browser.forward()
time.sleep(2)

需要注意的是，前进和后退只能执行一步，如果有多步，则需要多次调用。

Cookies 处理

Cookies 作为网站的重要内容，Selenium 也提供了完全的支持，包括对 Cookies 的获取,新增,删除等操作

from selenium import webdriver
browser = webdriver.Chrome()

browser.get("https://www.baidu.com")
# 获取所有的cookies
print(browser.get_cookies())
# 设置指定的cookies内容
browser.add_cookie({"name": "name", "value": "value"})
# 删除所有的cookies
browser.delete_all_cookies()

# [
#     {'domain': '.baidu.com', 
#      'expiry': 1737617054, 
#      'httpOnly': False, 
#      'name': 'ZFY', 
#      'path': '/', 
#      'sameSite': 'None', 
#      'secure': True, 
#      'value': 'mnlDLVQ3mvzbCJmjtPbxdVNxuFCaIaL6DLYdZZbtkR0:C'},
#     {'domain': '.baidu.com', 
#      'expiry': 1706167453, 
#      'httpOnly': False, 
#      'name': 'BA_HECTOR', 
#      'path': '/', 
#      'sameSite': 'Lax', 
#      'secure': False, 
#      'value': '2t81012h20ah8565ag208l84gsu4351ir1eou1t'},
#     .....
# ]

浏览器标签切换

如果打开了多个浏览器选项卡，Selenium 也可以操作不同的选项卡。

import time
from selenium import webdriver

# 获取浏览器实例
browser = webdriver.Chrome()

# 访问百度
browser.get("https://www.baidu.com")
# 新打开一个标签页
browser.execute_script("window.open()")

time.sleep(2)
# 切换标签页
browser.switch_to.window(browser.window_handles[1])
# 打开有道搜索
browser.get("https://youdao.com/")
time.sleep(2)
# 重新切换回百度标签页
browser.switch_to.window(browser.window_handles[0])

#python#