APP爬虫mitmproxy代理工具的安装和使用

python (911) 2020-09-28 13:19:10

mitmproxy 是python中的一款抓包工具

mitmproxy 安装:

安装mitmproxy,可以使用pip install mitmproxy直接安装,还会附带mitmdump和mitmweb这两个关联组件。mitmdump他是一种命令接,mitmweb是一种web程序

mitmproxy的作用:

拦截,修改,保存HTTP(S)请求

支持HTTP(S)发出请求返回响应

支持反向代理和透明代理

命令接口对接python对HTTP请求处理

mitmproxy原理:

mitmproxy 启动, 默认监听在 8080 端口。新开一个代理设置mitmproxy转发请求到本地上,mitmproxy就相当于一个中间人(抓包工具),抓取到数据后对接mitmdump组件进行保存和分析。

设置代理:

#! -*- encoding:utf-8 -*-
    import requests
    import random
    import requests.adapters

    # 要访问的目标页面
    targetUrlList = [
        "https://httpbin.org/ip",
        "https://httpbin.org/headers",
        "https://httpbin.org/user-agent",
    ]

    # 代理服务器(产品官网 www.16yun.cn)
    proxyHost = "t.16yun.cn"
    proxyPort = "31111"

    # 代理验证信息
    proxyUser = "username"
    proxyPass = "password"

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
        "host": proxyHost,
        "port": proxyPort,
        "user": proxyUser,
        "pass": proxyPass,
    }

    # 设置 http和https访问都是用HTTP代理
    proxies = {
        "http": proxyMeta,
        "https": proxyMeta,

使用mitmproxy:

APP爬虫mitmproxy代理工具的安装和使用 (https://www.tiejiang.org/) python 第1张

THE END

发表评论