来自 技术 2019-01-22 00:00 的文章

python爬虫新姿势 -- mitmproxy

编辑:zone

来源:日常学python

mitmproxy 是一款工具,也可以说是 python 的一个包,在命令行操作的工具。

MITM 即中间人攻击(Man-in-the-middle attack)

使用这个工具可以在命令行上进行抓包,还可以对所抓到的包进行脚本处理,非常有用。

安装 mitmproxy

安装这个我们必须先安装了 pip。 pip 在安装了 python之后自带的,如果你安装了 python 就可以忽略了,如何安装这里就不说了,只说安装 mitmproxy

打开命令行,输入pip install mitmproxy即可

按下回车即可下载

但是到最后下载失败

error:MicrosoftVisualC++14.0isrequired.Getitwith“MicrosoftVisualC++BuildTools”:http://landinghub.visualstudio.com/visual-cpp-build-tools

是因为安装这个包的 window 系统需要首先安装Microsoft Visual C++ V14.0以上才行。

可以在https://visualstudio.microsoft.com/zh-hans/downloads/ 直接下载即可,安装之后需要把 c++ 的 库之类的东西都安装了,然后再在命令行进行安装 mitmproxy即可。

安装完之后查看 mitmproxy版本

命令行输入 mitmproxy --version

显示错误,这是因为 window操作系统不支持使用 mitmproxy 这个命令,我们可以使用 mitmdump 或 mitmweb 代替。

这样就成功了。

如何使用 mitmproxy抓包

开启抓包:mitmdump

这样子就是开始抓包了,监听了所有的地址,端口是 8080,如果需要改端口号,可以按 ctrl + c 退出抓包,然后输入下列命令:

mitmdump -p 8889

这样子就把端口号改成 8889 了

如果需要抓手机的包的话,就需要在你连接的 wifi 修改代理

上面的主机名字是 你电脑抓包的 ip 地址,端口号是刚才设置的端口号。设置完了打开浏览器查看。

发现需证书有问题,我们还需要安装 mitmproxy 提供的证书,要不抓包失败。

安装证书:浏览器输入mitm.it

然后根据你的手机系统进行安装即可。

然后就可以进行抓包了。在浏览器输入 baidu.com 就可以看到下面内容了。

电脑端的也是这样差不多,都是设置代理后安装证书,这里就不多说了。

抓包之后的操作

由于在 window上操作,只能使用 mitmdump 和 mitmweb这两个命令,mitmdump 命令是没有界面,只能进行默默地抓包,不能进行数据包的查看和过滤。而 mitmweb 和在一个网页上进行抓包的调试。所以下面我们用 mitmweb 来进行调试。

1.开始抓包

mitmweb -p 8889

在你输入 baidu.com 的时候就会看到这些包了。

查看包的请求信息和响应信息只需要点击相对应的包即可。其他的就不多说了。

在 mitmproxy 上运行 python脚本

mitmproxy 的强大之处就在于它能够运行 python 脚本来处理相关的请求,现在就来看看如何处理吧。

mitmdump -p 889 -s mitm.py

这个就是在抓包的同时运行了 mitm.py 的脚本了,代码是:

# 必须这样写defrequest(flow):print(flow.request.headers) # 打印请求头

这个是打印抓到的请求头,方法名和参数的名称是固定的,写错了就运行不了这个脚本。

这样子就开始了,然后在手机上打开网页。

这样子就把他们的请求头给输出了。

但是输出并不明显,我们可以使用里面的一个日志模块来输出,这样子就会显示出不同的颜色了。

命令行上显示这样:

这样子就清楚多了。

除了上面的请求头,我们还可以访问他们的请求方法,请求路径等。

响应的请求也可以获取:

同样,这里的方法名和参数也是固定的,不写这个会捕捉不到。