爬虫笔记2(爬虫从入门到放弃)

爬虫笔记2import requestsheaders{# Cookie: wdcid7e24e0c44e0517c3,
# Host: pfsc.agri.cn,
# Origin: https://pfsc.agri.cn,
# Ref

导入请求

标题={

# \’Cookie\’: \’wdcid=7e24e0c44e0517c3\’,

# \’主机\’: \’pfsc.agri.cn\’,

# \’原产地\’: \’https://pfsc.agri.cn\’,

# \’推荐人\’: \’https://pfsc.agri.cn/\’,

\’用户代理\’ : \’Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML、Gecko 等) Chrome/123.0.0.0 Safari/537.36\’

}

url=\’https://pfsc.agri.cn/api/priceQuotationController/pageList?key=order=\’

数据={

\’页码\’: 1,

\’页面大小\’: 10,

\’市场ID\’:\’\’,

\’都道府县代码\’:\’\’,

\’pid\’:\’\’,

\’品种ID\’:\’\’

}

#requests.packages.urllib3.disable_warnings()

res=requests.post(url=url,data=data,headers=headers).text

打印(分辨率)

目前情况:源码是爬取网站json返回的数据,实际错误是标题777之类的。

解决步骤1。

添加post请求参数,无需验证

res=requests.post(url=url,data=data,headers=headers,verify=False).text

结果:

{

“代码”: 500,

\’消息\’:\’服务失败。请稍后再试。

}

第2步:

发送的有效负载必须是json,而不是data

res=requests.post(url=url,json=data,headers=headers,verify=False).text

响应成功。

以上关于#Reptile注2的相关内容摘自网络,仅供参考。相关信息请参见官方公告。

原创文章,作者:CSDN,如若转载,请注明出处:https://www.sudun.com/ask/93798.html

Like (0)
CSDN的头像CSDN
Previous 2024年7月26日
Next 2024年7月26日

相关推荐

  • Black(blackpink成员介绍)

    Black
    摘要
    深度学习,尤其是深度神经网络(DNNs),因其高效性和高效率而在许多关键应用中得到了广泛而成功的应用。DNNs的快速发展得益于一些高质量数据集的存在&#xff08

    网站运维 2024年6月26日
    0
  • 学英文学什么编程语言

    在当今全球化的社会中,学习英语和编程技能已成为提高自身竞争力的重要手段。1、英语是一种国际语言,广泛应用于世界各地的商业、技术和教育领域。2、编程语言是构建现代科技产品的基础。我们…

    网站运维 2024年5月12日
    0
  • 2024年财运亨通霸气的微信名字

    导语:微信是我们如今非常火爆的一款社交软件,在网络社交中,网名是很重要的,因此取好一个微信名字也是很有必要的一件事,那么2024年有财气又顺利霸气的微信名有哪些

    2024年8月30日
    0
  • 404错误页面模板代码集合

    一、腾讯的404错误页面模板代码腾讯推出一个非常公益的404错误页面代码,其中主要以寻人启事的形式发布,调用腾讯的JS,即可显示到你的404页面上,如果能够在把

    2024年8月30日
    0

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注