Selenium 入门(基于 Python)
阿啊阿吖丁
编辑于 2021年06月20日 23:51
收录于文集
共3篇

自从转岗以来,我充分接触 Selenium 已经有一年了。在此期间,主管一直想让我出一些关于自动化测试的教育训练,但是由于工作太忙,加上一开始是要从 Python 开始做的,所以我找资料找了很久,都没有什么头绪。 最近,主管又催我做一套自动化测试的 PPT,于是我花了两天的时间,把 Selenium 最基础的东西做成了 PPT。但是主管和其他同事看了一下,觉得 PPT 介绍得太详细,已经不需要我去讲了,所以最后也没有让我讲它。 总之,我现在把它放出来,之后可能会出一期视频讲解。之后的内容在做了,不过也不知道什么时候做好——也许永远也做不好,也许明天就能做好。

在开始之前,我假定你们了解 Python 和 HTML、CSS、JS 的基础知识。

介绍

Selenium 是一款 Web 自动化框架,它适用于多种语言,包括 Python。

它并非直接控制浏览器,而是通过操作浏览器驱动(由浏览器厂家提供),实现对浏览器的操作。

除了 Web 自动化测试之外,它也可用于自动化和爬虫——我大三的时候爬 QQ 空间的数据,模拟登录就用了 Selenium。

Selenium 的替代产品也有一些,最近比较有名的是微软出品的 Playwright,也支持 Python 在内的很多语言。我研究过这个工具,虽然它对元素的自动等待比较好,不过它在处理提示框上面不尽人意,而且它也不支持元素的嵌套。对于 Playwright,中文的资料不多,我可能会在以后出一期关于它的介绍。总之,这次还是讲 Selenium 的。

安装

Python 中,Selenium 的安装方式和其他模块一样,用 pip 安装:

代码块
Shell
自动换行
复制代码
pip install selenium
复制成功

然后,根据自己使用的浏览器和版本下载浏览器驱动。

  • Chrome:chromedriver

  • Firefox:geckodriver

  • Edge:Microsoft Edge Driver

  • IE:The Internet Explorer Driver Server

将下载的浏览器驱动的可执行文件放到 Path 下。注意,不要放在网络文件夹下,一些驱动无法在网络文件夹下使用。如果你不知道什么是 Path,看一下下面的介绍。

关于 Path

简单来说,在终端执行命令时,如果不指定路径,系统会在系统环境变量中的 Path 里面的路径中找命令所属的可执行文件。

在 Windows 中,可以在“设置 - 系统 - 关于 - 高级系统设置 - 环境变量”中更改环境变量。

如果因为管理员权限,无法通过上述方式更改环境变量,可在 PowerShell 中执行下面的命令:

  1. $env:Path 返回目前的环境变量,复制下来;

  2. 在复制的环境变量中(一般为末尾)添加新的路径,参照已有环境变量写,末尾有英文分号;

  3. 重新写入环境变量:[environment]::SetEnvironmentvariable("Path", "新的环境变量字符串", "User")

讲解

接下来我们用一个示例来学习 Selenium 的基础知识。虽然很简单,但也覆盖了绝大部分内容。

示例

代码块
Python
自动换行
复制代码
import time

from selenium import webdriver
from selenium.webdriver.common.by import By

driver = webdriver.Chrome()

driver.get('https://www.baidu.com/')
driver.find_element(By.ID, 'kw').send_keys('Selenium')
driver.find_element(By.ID, 'su').click()
time.sleep(1)
print(driver.title)
results = driver.find_elements(By.XPATH, '//div[@id="content_left"]/div[not(@tpl="recommend_list")]//h3')
title_list = [result.text for result in results]
for index, title in enumerate(title_list):
    print(index, title)

driver.close()
driver.quit()
复制成功

以下是该代码的执行效果:

实际上就是在百度中搜索“Selenium”,再打印出第一页的标题和搜索结果标题。

接下来,我们看一下它是怎么运行的吧。

创建 WebDriver 实例

代码的第 3 行和第 6 行:

代码块
Python
自动换行
复制代码
from selenium import webdriver
...
driver = webdriver.Chrome()
复制成功

第6行创建了一个基于 Chrome 的  实例。接下来的所有操作在该实例上进行。

如果要用其他的浏览器,把  换成别的浏览器名称,如 。具体的可以看源码。

访问网页

代码第 8 行:

代码块
Python
自动换行
复制代码
driver.get('https://www.baidu.com/')
复制成功

访问给定的网页。给定的 URL 需要写明协议(就是上例中的 ),否则会报错。

寻找单个元素

代码第 4 行和第 9 行:

代码块
Python
自动换行
复制代码
from selenium.webdriver.common.by import By
...
driver.find_element(By.ID, 'kw').send_keys('Selenium')
复制成功

要想对网页上的元素进行操作,首先要寻找网页中的元素。Selenium 中寻找元素的最基础的方法,是对  实例调用  方法。

该方法需要两个参数:

  1. 定位方式

  2. 查找文本

如果查询到元素,会返回一个  实例,表示符合查询条件的第一个元素。如果查不到,会抛出  异常。

对于  实例,我们可以继续调用该方法,以查找隶属于该元素的元素。

定位方式

Selenium 提供 8 种定位方式:

  • 使用元素 ID 定位

  • 使用 XPath 定位

  • 使用链接文本定位

  • 使用链接文本的一部分定位

  • 使用元素的 name 属性定位

  • 使用元素的标签名定位

  • 使用元素 class 定位

  • 使用 CSS 选择器定位

传入  方法的第一个参数决定定位方式,为字符串。不过通常情况下,我们会导入 Selenium 提供的定位方式包(见代码第 4 行),从中调用值。

每一个定位方式都有对应的别名方法,也就是定义了名称不同的方法,实质仍然是调用之前提到的的方法。这些别名方法的名称其实就是在原方法的名称后面加上 ,调用它们只需要传入查找文本就行了。比如:

代码块
Python
自动换行
复制代码
driver.find_element(By.ID, 'kw')
driver.find_element_by_id('kw')
复制成功

上面两行代码等价。

所有定位方式的值和别名方法见下表:

上述定位方式中,我们要重点关注 XPath 和 CSS 选择器定位,这两种定位方式能够实现的功能非常强大,而且很常用。关于这两个选择器,我之后应该会出一期专门讲。

查看页面元素定位

通过浏览器的开发人员工具,能够方便地查看页面上的元素定位。

调用开发人员工具,一般按  即可。

我们以 Chrome 的开发人员工具为例:

按工具窗口左上角的按钮(或按 ),在页面上选取元素,能够查看元素在源代码中的位置,以及元素的参数等信息,方便定位。

在 Elements(元素)选项卡中,按  调出查询栏,输入文本、XPath、CSS 选择器文本,可以查询对应的元素。

切换到 Console(控制台),输入  或 ,回车,可以返回对应的元素。有时候,输入完毕,也可以先不用回车,根据是否能看到结果来初步判断文本是否正确。

右键点击元素,选择 Copy,可复制元素的信息,包括 XPath 和 CSS 选择器文本。不过,考虑到层级关系可能会变化,这种方式得到的查找文本仅供临时使用,不推荐将此作为主要的获取选择器文本的方式。

元素的方法

获取元素后,可以对元素进行操作。

 类的常用方法如下:

  • click():单击

  • clear():清除文本框的内容

  • get_attribute(name):返回元素参数(HTML 方面的)

  • get_property(name):返回元素属性(JS 方面的)

  • is_selected():是否选择(对于单选框或复选框)

  • is_enabled():是否启用

  • send_keys(*keys):输入文本或按键

  • is_displayed():是否显示

  • screenshot(filename):输出屏幕截图(PNG)到给定文件。错误返回 False,成功返回 True

  • value_of_css_property(property_name):返回元素的给定 CSS 属性值

由此可以得出,代码第 9、10 行

代码块
Python
自动换行
复制代码
driver.find_element(By.ID, 'kw').send_keys('Selenium')
driver.find_element(By.ID, 'su').click()
复制成功

的含义为:

  1. 找到 ID 为 kw 的元素,输入 Selenium

  2. 找到 ID 为 su 的元素,单击

等待

由于网页的元素加载有一定的时间需求,一些元素可能在请求完毕后不会立即显示,而是要一段时间后显示。如果贸然查找或操作还没有加载完毕的元素,会报错。因此,等待在 Web 自动化测试中非常重要。

最简单的方法是硬等待,使用  方法。如代码第 11 行:

代码块
Python
自动换行
复制代码
time.sleep(1)
复制成功

就是等待 1 秒。

此外,Selenium 也提供隐式等待和显式等待等方法,不过比较复杂,如果有时间的话,我以后会出一期讲这个。

驱动的属性

 和  类有一些属性可以使用。 类常用的属性有下面几个:

  • title:标题

  • current_url:当前 URL

  • page_source:页面源码

所以代码第 12 行:

代码块
Python
自动换行
复制代码
print(driver.title)
复制成功

就是打印出页面的标题。

寻找多个元素

除了寻找一个元素外,Selenium 也可以同时寻找所有符合条件的元素。

对应的方法,只是名称中把  改成了 ,包括那些别名方法。比如:

代码块
Python
自动换行
复制代码
driver.find_element(By.ID, 'kw')
driver.find_element_by_id('kw')

>>>

driver.find_elements(By.ID, 'kw')
driver.find_elements_by_id('kw')
复制成功

有人可能觉得:一个页面中就只有一个 ID,不会有多个元素吧。实际上,ID 说是只能有一个,但是如果你给多个元素赋同样的ID,页面还是能显示的,就是会在控制台有警告。当然,如果 CSS 和 JS 中涉及到这个 ID,那么会出现一些异常。

寻找多个元素的方法,返回一个列表,列表各项为  实例,表示每一个符合条件的元素。如果没找到元素,则不会报错,返回空列表。

所以代码第 13 行:

代码块
Python
自动换行
复制代码
results = driver.find_elements(By.XPATH, '//div[@id="content_left"]/div[not(@tpl="recommend_list")]//h3')
复制成功

就是查找页面所有符合所给的 XPath 的元素,存到  中。

元素的属性

 类常用的属性有下面几个:

  • tag_name:标签名

  • text:文本信息(不包括输入框里面的值,对于这种值,请使用 get_property('value') 获取)

  • size:尺寸(返回字典 {'height': H, 'width', W}

  • location:坐标(返回字典 {'x': X, 'y', Y}

  • screenshot_as_base64:截图,返回 Base64 数据

  • screenshot_as_png:截图,返回 PNG 二进制数据

所以代码第 14 ~ 16 行:

代码块
Python
自动换行
复制代码
title_list = [result.text for result in results]
for index, title in enumerate(title_list):
    print(index, title)
复制成功

表示:

  1. 遍历 results,取其中各元素的文本,返回一个列表;

  2. 打印列表各项的序号和值

关闭浏览器

所有操作完成之后,记得关闭浏览器驱动。

代码最后两行:

代码块
Python
自动换行
复制代码
driver.close()
driver.quit()
复制成功

分别表示:

  1. 关闭页面

  2. 退出浏览器驱动