移动测试开发Mitmproxy用于测试抓包神器详解

Viridis ·

更新时间:2024-11-14

· 553 次阅读

1.前言

2.Mitmproxy 简介

3.Mitmproxy 工作原理

4.实践应用

5.总结

1.前言

在移动商业广告的测试的工作中，经常会需要对广告请求进行捕获和分析，常使用的有两个测试工具：fiddler,Charles,这两个工具都可以对广告请求进行抓包，断点调试，请求替换，构造请求等，但是这两个工具都有一定的局限性。首先，fiddler 只能在 windows 上运行，charles 虽然可以在 mac,windows 上运行，但是收费。其次，在商业广告请求中经常会对接口协议进行加密处理，使用 fiddler 和 charles 就不容易解决了。最后，商业广告测试中需要对广告请求协议的各种字段进行校验，但业务涉及到多字段修改的情况下，再利用 fiddler 和 charles 逐一校验判断显然很浪费时间。经过调研和实际应用，我们发现 mitmproxy 这个工具非常灵活，它是基于 Python 开发的开源工具，提供了 Python API，可以通过载入自定义 python 脚本轻松控制请求和响应。这是其它工具所不能做到的，通过自定义脚本进行二次开发，能够解决商业广告测试过程中所遇到的问题。

2.Mitmproxy 简介

MITM（Man In The Middle Attack）中间人攻击，这种攻击模式是通过各种技术手段将受入侵者控制的一台计算机虚拟放置在网络连接中的两台通信计算机之间，这台计算机就称为 “中间人”。mitmproxy 就是用于 MITM 的 proxy，用于中间人攻击的代理。首先会向正常的代理一样转发请求，保障服务端与客户端的通信，其次，会适时的查、记录其截获的数据，或篡改数据，引发服务端或客户端特定的行为。

mitmproxy 有两个关联组件。一个是 mitmdump，它是 mitmproxy 的命令行接口，利用它我们可以对接 Python 脚本，用 Python 实现监听后的处理逻辑。另一个是 mitmweb，它是一个 Web 程序，通过它我们可以清楚观察 mitmproxy 捕获的请求。

3.Mitmproxy 工作原理

mitmproxy 有 5 种代理模式，主要包含：正向代理，透明代理，反向代理，上游代理，socks 代理，在实际使用中经常用到正向代理，mitmproxy 作为正向代理是一个位于客户端和原始服务器 (origin server) 之间的服务器，为了从原始服务器取得内容，客户端向 mitmproxy 代理发送一个请求并指定目标 (原始服务器)，然后代理向原始服务器转交请求并将获得的内容返回给客户端。客户端必须要进行一些特别的设置才能使用正向代理。

我们以 HTTPS 请求为例介绍一下 mitmproxy 作为正向代理抓包的过程：

①. 客户端连接到 mitmproxy，并发出 HTTP 连接请求。

②. mitmproxy 响应建立了一个 200 的连接

③. 客户端认为它正在与远程服务器通信，并启动 SSL 连接。使用 SNI 来指定它连接到的主机名。

④. mitmproxy 使用客户端指定的 SNI 主机名与服务端建立一个 SSL/TLS 连接。

⑤. 服务器使用匹配的证书进行响应，该证书包含生成拦截证书所需的 CN 和 SAN 值。

⑥. mitmproxy 生成拦截证书，并继续跟客户端 SSL/TLS 握手。

⑦. 客户端通过已建立的 SSL/TLS 连接发送请求。

⑧. mitmproxy 通过步骤 ④ 中启动的 SSL/TLS 连接将请求传递到服务器。

4.实践应用

解决多字段校验效率问题：

商业广告测试中有大量的重复性工作在打点校验上，为了节省测试时间和解决易漏测的问题，我们可以利用 mitmproxy 二次开发，自定义业务相关的校验规则，然后通过捕获请求对协议中的各个字段进行自动化校验，这样既可以提高测试效率，又避免了漏测问题。

以所测广告业务为例，首先建立 addons.py 文件，addons 是个列表，每个元素是一个类实例，这些类，称为一个个 addon,这些类有若干方法，这些方法实现了某些 mitmproxy 提供的事件，mitmproxy 会在某个事件发生时调用对应的方法。如下图所示为 addons 文件内容，其中 SemiNativeCSJAd 则为 addon。