利用爬虫解决公众号阅读的一个小障碍

python (9332) 2021-07-28 15:19:31

在这个各种短视频爆红的时代,很多人已经把微信公众号丢弃了,不过我还是比较喜欢看公众号的,有时遇到一个感兴趣的公众号时,都会感觉相逢恨晚,想一口气看完所有历史文章。但是微信的阅读体验挺不好的,看历史文章得一页页的往后翻,下一次再看时还得重复操作,很是麻烦。
于是便想着能不能把某个公众号所有的文章都保存下来,这样就很方便自己阅读历史文章了。刚好自己又是做数据采集工作的,那这件事还不简单吗?
今天就跟大家分享下通过使用 Python 脚本获取公众号所有历史文章数据,获取公众号号数据是有以下3个步骤:
1 使用 Fiddler 抓取公众号接口数据
2 使用 Python 脚本获取公众号所有历史文章数据
3 保存历史文章
今天就重点分享下使用 Python 脚本获取公众号所有历史文章数据,这里重点提一下,网站封ip比较严重,所以需要提前准备好高质量代理,不然就采集不到数据啦。
今天的代码示例如下:
` #! -- encoding:utf-8 --

import requests
import random

# 要访问的目标页面
targetUrl = "https://mp.weixin.qq.com/"

# 要访问的目标HTTPS页面
# targetUrl = "https://mp.weixin.qq.com/"

# 代理服务器(产品官网 www.16yun.cn)
proxyHost = "t.16yun.cn"
proxyPort = "31111"

# 代理验证信息
proxyUser = "username"
proxyPass = "password"

proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
    "host" : proxyHost,
    "port" : proxyPort,
    "user" : proxyUser,
    "pass" : proxyPass,
}

# 设置 http和https访问都是用HTTP代理
proxies = {
    "http"  : proxyMeta,
    "https" : proxyMeta,
}

#  设置IP切换头
tunnel = random.randint(1,10000)
headers = {"Proxy-Tunnel": str(tunnel)}

resp = requests.get(targetUrl, proxies=proxies, headers=headers)

print resp.status_code
print resp.text`

采集到的数据我们保存下来经过处理就可以啦,那么关于用python爬取公众号的方法就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。

THE END

发表评论