利用 charles 爬取数据请求
前置:安装好 charles 或者 fiddler 等抓包工具,不做赘述。
该医院的公众号中可以查看到近期的发票信息,我们在 pc 微信中打开该页面先清空 charles 中已经抓取到的请求,然后切换时间段,就能看到一个 gateway 的请求,结果如下图;不难发现,接口对数据进行了加密处理,返回的内容是不可读的。不要慌,我们下一步就来尝试找找看解密函数。
解析接口数据
清理 charles sessions,然后重新打开公众号,可以看到多了很多请求,里面也有一些 js、css 文件了。然后在搜索中尝试输入 crypto,不要问为什么,因为经验告诉我大概率是可以搜到的。果然搜到了不少相关信息,嘿嘿~然后尝试把 app.03c21be5.js 下载到本地,使用 vscode 打开并且格式化之后,继续搜索 crypto,不难找到如下代码现在我们要做的就是尝试找到里面的一些加密变量,然后翻译成一个能用的函数进行测试,我们使用 nodejs 来编写这次的脚步,首先在本地安装 crypto-js
npm install crypto-js -D
然后新建一个 decrypt.js 文件,按照 app.js 中的内容创建一个 decrypt 函数
const CryptoJS = require('crypto-js');
function decryptData(e) {}
我们观察 app.js 中的 decryptData 函数,发现参数都是混淆过的,不太容易找到具体的值。但是可以看到有一个 aseKey 参数名称是没有混淆的,那么我们继续在 app.js 中搜索 aesKey,看看是否能有所发现。现在找到了 aeskey 和 appSecret,但是 mode 和 padding 还不知道。经过一番全局搜索后,并没有找到相关的信息,那么我们可以换一种思路来逆向了。首先获取到当前页面的链接,然后复制出来,如下图所示然后提取出 redirect_url 中的内容,使用 decodeURIComponent 来进行还原,如下尝试在浏览器中直接打开该链接,发现是无法正常访问的继续观察 network 中发出的请求,不难发现也包含了 gateway 请求,返回的数据也是加密的,那么很有可能这个页面的 js 中存在解密代码。我们在开发者工具中全局搜索 decrptData 函数。然后跳转到具体位置,又出现了熟悉的内容尝试在 decryptData 函数中挂个断点,刷新页面。然后,见证奇迹的时刻到了,您才这么着,断点就进来了,嘿嘿~ 查看 c.a 变量,进入 entry.js 文件中跳转过来的内容如下,虽然找到代码了,但是还是不知道 mode 具体是什么值接着打开 crypto-js 的 github 仓库,搜索 “this._cipher.encryptBlock(e, t)”终于找到了,mode 使用的是 ECB。然后如法炮制,我们也不难找到 padding 对应的值是 Pkcs7回到我们自己的 decrypt.js 中,编写代码如下
const CryptoJS = require('crypto-js');
const fs = require('fs');
const aesKey = 'vss7db748e839799';
var getCryptoValue = function () {
return CryptoJS.enc.Utf8.parse(aesKey);
};
function decryptData(e) {
var decipher = CryptoJS.AES.decrypt(e, getCryptoValue(), {
mode: CryptoJS.mode.ECB,
padding: CryptoJS.pad.Pkcs7,
iv: '',
});
return CryptoJS.enc.Utf8.stringify(decipher);
}
// data.txt 存放的是待解密的数据
const data = fs.readFileSync('data.txt', 'utf-8');
console.log(decryptData(data));
执行 decrypt.js,发现可以成功的解析出数据了
编写爬虫脚本,批量获取发票
观察上一步中解析出来的数据,可以看到有一个 receiptUrl 字段非常惹眼,是一个 url,点击进去其实就是发票的地址然后我们点击该地址,就可以打开对应的发票页面了接下来就是编写 spider.js 脚本批量遍历所有的发票 list,然后下载发票保存到本地就 👌 了。这里我使用了 puppeteer + cheerio 来解析发票页面,获取到发票真实的 url,相关的内容会在下文再更新。
原创文章,作者:guozi,如若转载,请注明出处:https://www.sudun.com/ask/82159.html