python 单测还可以更简单,最佳实践分享

更好的单测姿势

对于一个正式的项目来讲,单元测试非常重要,python 的单元测试也很简单,标准库提供了 unittest ,并且这个库非常强大,也非常重,面向对象的编程范式。一般使用如下:

import unittest

# 定义单元测试类,需要继承 unittest.TestCase 类;
class TestStringMethods(unittest.TestCase):
    def test_upper(self):
        # 逻辑断言 
        self.assertEqual('foo'.upper(), 'FOO')

    def test_split(self):
        s = 'hello world'
        self.assertEqual(s.split(), ['hello', 'world'])
        # 断言异常
        with self.assertRaises(TypeError):
            s.split(2)

if __name__ == '__main__':
    unittest.main()

python 标准库的 unittest 已经满足了所有功能,但是为啥很多人还是不喜欢写单测呢?因为不够简单,程序员是最嫌麻烦的人,但凡有点费事都会避开。按照 unittest 的写法,必须得创建一个测试类,创建个单独的测试文件,各种都是面向对象的写法,太重。

对于单测,要能达到测试最小逻辑单元的目的,也要能满足最合适的用户习惯,对于简单逻辑,我们把单测和逻辑写到一起,就更好了,函数紧跟着单测,顺手就写了。如下:

def do_something():
    pass

def test_do_something():
    # 测试 do_something 的逻辑
    pass

试用过多种测试框架,向大家推荐一个最舒服的单测框架 —— pytest,就能做到上面说的样子,使用姿势简单且功能强大,如下:

# content of test_sample.py
def inc(x):
    return x + 1

def test_answer():
    assert inc(3) == 5

测试命令如下,测试一整个文件:

$ $PYTHON -m pytest test_sample.py

18dfdd7fb142923511126cf3f20f527a.png

如果,只想测试某个单测用例,如下:

$ $PYTHON -m pytest test_sample.py::test_answer

安装

首先安装 pytest

$ pip install pytest 

编写单测

以三个层次的单测来说,基础层,业务层,交互层:

  1. base 代码:最基础的逻辑函数封装,对外没有任何依赖,这种代码的单测最好就是紧跟其后,直接测试函数逻辑;
  2. api 代码封装:这个层次主要是组装的业务逻辑,对下有各种依赖,调用各种 component 函数,这种最好的方法就是 mock 函数接口啦;
  3. component client 交互封装:比如和 mongodb,和 mysql,和各种上下游组件打交道的封装,这种的代码由于存在网络交互,所以我们一般用 mockserver 来承接这个 http 请求,进行参数校验之后,回复 mock response,测试的点是参数封装和响应回复等;

1d262e942c869c558f54f2728cb6537a.png

下面一个个演示下,单测的简单区别:

base 基础层:

由于是最简单的函数逻辑,对外部东西都不依赖,那么就非常容易做单测,单测可以直接跟着函数下面:

# content of test_sample.py
def inc(x):
    return x + 1

def test_answer():
    assert inc(3) == 5

api 业务层:

这部分是最核心的业务逻辑,是一个汇总的入口,核心是实现业务,整合使用到各种的模块接口,所以依赖众多,这部分代码基本上只能用 unittest.patch 来 mock 外部的接口调用。

# api.py
def api_handler():
    # do_api_1
    # do_api_2
    # ...
    pass

# test_api.py
@unittest.mock.patch("do_api_1")
@unittest.mock.patch("do_api_2")
def test_api_handler(mock2, mock1): # 注意参数的顺序
    # mock2.return_value = 
    # mock1.return_value = 
    pass

这样通过 unittest.mock 可以 mock 所有的 api 接口,这样就能专心测试 api 的业务逻辑。

component client 交互层:

这种和组件的交互封装成 client ,那么单测测试的核心就是 request 参数封装和 response 数据解析。这个通过 unittest.mock 不大合适,所以我们直接启动一个 mock server(本质就是一个本地服务器代理,这个可以参考下 golang 的 httptest 库 )。

class Client:
    def __init__(host, port):
        pass
    def send():
        pass
    def recv():
        pass


server = MockServer()
with server as host, port:
    c = Client(host, port)
    # 测试

执行单测

pytest 支持丰富功能的调试,简单汇总:

  1. 执行特定格式的函数测试,比如 test_ 的函数用例;
  2. 给测试用例打标签,比如 P0,P1,这样区分优先级,然后根据实际情况执行不同标签的用例;
  3. 运行失败的时候,直接进入 pdb 调试;

执行单元测试

(这个是默认根据根目录下的 pytest.ini 文件配置来运行)

$ $PYTHON -m pytest

指定运行某一个文件

$ $PYTHON -m pytest ./test_api.py

指定运行某个用例

$ $PYTHON -m pytest ./test_api.py::test_sign_not_match

指定运行 p0 标签的所有用例

$ $PYTHON -m pytest -m p0

运行失败的时候,进入调试模式(这个非常实用)

$ $PYTHON -m pytest --pdb ./test_api.py

代码覆盖率

通常来讲,单测和代码覆盖率这两个话题是紧密联系的,跑过单测之后,我们肯定想知道我们跑了哪些代码,哪些代码根本就没有测试到。这个 pytest 配合 coverage 库来实现,也就是安装 pytest-cov 库。

pip install pytest-cov

执行命令:

$PYTHON -m pytest --cov testcase  --cov-report term ./testcase/ -v

这个命令是把覆盖率展示到终端,

结果示例:

----------- coverage: platform linux, python 3.8.2-final-0 -----------
Name                                              Stmts   Miss  Cover
---------------------------------------------------------------------
testcase/mockserver/server.py                        32      9    72%
---------------------------------------------------------------------
TOTAL                                                32      9    72%

在根目录下放一个叫做 pytest.ini 的配置,那么执行 pytest 命令的时候,就会使用到这个配置文件。可以做到更灵活的配置。

[pytest]
# 命令行参数
addopts = -s -v
# 单元测试的业务代码的路径
testpaths=testcase/ 
python_files = *.py
# 以 test_* 开头的都是我们的单测用例
python_functions = test_*

# 定义测试用例标签,配合测试用例就能测试指定的用例集合
markers =
    p0: P0 test case
    p1: P1 test case

    linux: Only can run in Linux
    win32: Only can run in windows

坚持思考,方向比努力更重要。关注公众号:奇伢云存储,获取更多干货。 关注我公众号, 获取更多干货