爬虫笔记2(爬虫从入门到放弃)

爬虫笔记2import requestsheaders{# Cookie: wdcid7e24e0c44e0517c3,
# Host: pfsc.agri.cn,
# Origin: https://pfsc.agri.cn,
# Ref

导入请求

标题={

# \’Cookie\’: \’wdcid=7e24e0c44e0517c3\’,

# \’主机\’: \’pfsc.agri.cn\’,

# \’原产地\’: \’https://pfsc.agri.cn\’,

# \’推荐人\’: \’https://pfsc.agri.cn/\’,

\’用户代理\’ : \’Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML、Gecko 等) Chrome/123.0.0.0 Safari/537.36\’

}

url=\’https://pfsc.agri.cn/api/priceQuotationController/pageList?key=order=\’

数据={

\’页码\’: 1,

\’页面大小\’: 10,

\’市场ID\’:\’\’,

\’都道府县代码\’:\’\’,

\’pid\’:\’\’,

\’品种ID\’:\’\’

}

#requests.packages.urllib3.disable_warnings()

res=requests.post(url=url,data=data,headers=headers).text

打印(分辨率)

目前情况:源码是爬取网站json返回的数据,实际错误是标题777之类的。

解决步骤1。

添加post请求参数,无需验证

res=requests.post(url=url,data=data,headers=headers,verify=False).text

结果:

{

“代码”: 500,

\’消息\’:\’服务失败。请稍后再试。

}

第2步:

发送的有效负载必须是json,而不是data

res=requests.post(url=url,json=data,headers=headers,verify=False).text

响应成功。

以上关于#Reptile注2的相关内容摘自网络,仅供参考。相关信息请参见官方公告。

原创文章,作者:CSDN,如若转载,请注明出处:https://www.sudun.com/ask/93798.html

(0)
CSDN的头像CSDN
上一篇 2024年7月26日
下一篇 2024年7月26日

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注