Python 网络爬虫 —— 提交信息到网页

一、模块核心逻辑

“提交信息到网页” 是网络交互关键环节,借助 requests 库的 post() 函数,能模拟浏览器向网页发数据(如表单、文件 ),实现信息上传,让我们能与网页背后的服务器 “沟通”,像改密码、传文件等操作,都可通过它完成 。

二、浏览器提交请求流程(以改密码为例 )

  1. 操作触发:登录账户进改密码页面,填 “当前密码”“新密码” 等表单 。
  2. 抓包分析:网页空白处右键 → 检查 → Network 窗口,输密码点 “修改密码”,Network 会捕获交互信息,能看到请求方法是 POST,还能找到提交的密码等数据 。
  3. 数据传递:浏览器把表单里的密码等信息,通过 POST 请求发给服务器,服务器验证、处理后返回结果 。

三、post() 函数详解

(一)基本形式 

requests.post(url, data=None, json=None, **kwargs)

 

二)参数说明

  • url:必填,要提交信息的网页地址(如改密码的接口地址 ),告诉 post() 该把数据发哪 。
  • data:选填,要发送的数据,可是字典、元组、列表等(常用来传表单数据,像 {'old_pwd':'123','new_pwd':'456'} )。
  • json:选填,专门传 JSON 格式数据(当服务器要求接收 JSON 时用 ),传参后 requests 会自动设请求头 Content-Type 为 application/json 。
  • **kwargs:选填,额外配置(如设置请求头 headers、超时时间 timeout 等 ),让请求更灵活 。

(三)返回值

执行 post() 后,返回 Response 对象,和 get() 类似,可通过 r.text 看响应内容、r.status_code 查状态码等 。

(四)示例理解

import requests
# 表单数据,存字典里
data = {'OldPassword':'123456python','NewPassword':'123python','ConfirmPassword':'123python'}  
# 发 POST 请求,提交数据到指定 url
r = requests.post('https://account.ryjiaoyu.com/change-password', data=data)  
# 打印响应内容
print(r.text)  

这里 data 存改密码的表单数据,post() 带着数据发给服务器,虽然实际改密码还得先登录,但演示了 “传数据” 的核心流程 。

四、上传文件的方法(files 参数 )

想把文件(如图片、文档 )传到网页,用 files 参数,步骤:

  1. 打开文件:用 open() 函数以二进制模式(rb )打开文件,得到文件对象 。
  2. 构造参数:建字典,键是服务器接收文件的字段名(如 file ),值是文件对象 。
  3. 发起请求post() 里传 files 参数,把文件数据发出去 。

示例代码

import requests
# 打开文件,'rb' 是二进制读模式
fp = {'file':open('bitbug.ico', 'rb')}  
# 发 POST 请求,上传文件到指定 url
r = requests.post('可上传图片的网址', files=fp)  
# 打印响应内容
print(r.text)  

代码里,open() 拿到文件对象,files 带着它发请求,服务器接收后,就能把文件存到指定位置(实际要填正确的上传网址 )。

总之,“提交信息到网页” 靠 post() 函数实现,不管是传表单改密码,还是传文件,都能通过配置参数完成,理解浏览器抓包和函数参数,就能灵活模拟各种提交操作啦 ~

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/news/914928.shtml
繁体地址,请注明出处:http://hk.pswp.cn/news/914928.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

SpringMVC4

一、SpringMVC 注解与项目开发流程1.1注解的生命周期- Target、Retention 等元注解:- Target(ElementType.TYPE) :说明这个注解只能用在类、接口上。- Retention(RetentionPolicy.RUNTIME) :说明注解在运行时保留,能通过反射获取…

数据结构排序算法总结(C语言实现)

以下是常见排序算法的总结及C语言实现,包含时间复杂度、空间复杂度和稳定性分析:1. 冒泡排序 (Bubble Sort)思想:重复比较相邻元素,将较大元素向后移动。 时间复杂度:O(n)(最好O(n),最坏O(n)) 空…

嵌入式学习-PyTorch(2)-day19

很久没有学了,期间打点滴打了一个多星期,太累了,再加上学了一下Python语法基础,再终于开始重新学习pytorchtensorboard 的使用import torch from torch.utils.tensorboard import SummaryWriter writer SummaryWriter("logs…

Prompt Engineering 快速入门+实战案例

资料来源:火山引擎-开发者社区 引言 什么是 prompt A prompt is an input to a Generative AI model, that is used to guide its output. Prompt engineering is the process of writing effective instructions for a model, such that it consistently generat…

「源力觉醒 创作者计划」_文心开源模型(ERNIE-4.5-VL-28B-A3B-PT)使用心得

文章目录背景操作流程开源模型选择算力服务器平台开通部署一个算力服务器登录GPU算力服务器进行模型的部署FastDeploy 快速部署服务安装paddlepaddle-gpu1. 降级冲突的库版本安装fastdeploy直接部署模型(此处大约花费15分钟时间)放行服务端口供公网访问最…

P10719 [GESP202406 五级] 黑白格

题目传送门 前言:不是这样例有点过分了哈: 这是我没考虑到无解的情况的得分: 这是我考虑了的得分: 总而言之,就是一个Subtask 你没考虑无解的情况(除了Subtask #0),就会WA一大片,然后这个Subt…

AWS RDS PostgreSQL可观测性最佳实践

AWS RDS PostgreSQL 介绍AWS RDS PostgreSQL 是亚马逊云服务(AWS)提供的托管型 PostgreSQL 数据库服务。托管服务:AWS 管理数据库的底层基础设施,包括硬件、操作系统、数据库引擎等,用户无需自行维护。高性能&#xff…

C++——set,map的模拟实现

文章目录前言红黑树的改变set的模拟实现基本框架迭代器插入源码map模拟实现基础框架迭代器插入赋值重载源码测试代码前言 set,map底层使用红黑树这种平衡二叉搜索树来组织元素 ,这使得set, map能够提供对数时间复杂度的查找、插入和删除操作。 下面都是基…

LabVIEW液压机智能监控

​基于LabVIEW平台,结合西门子、研华等硬件,构建液压机实时监控系统。通过 OPC 通信技术实现上位机与 PLC 的数据交互,解决传统监控系统数据采集滞后、存储有限、参数调控不便等问题,可精准采集冲压过程中的位置、速度、压力等参数…

15. 什么是 xss 攻击?怎么防护

总结 跨站脚本攻击&#xff0c;注入恶意脚本敏感字符转义&#xff1a;“<”,“/”前端可以抓包篡改主要后台处理&#xff0c;转义什么是 XSS 攻击&#xff1f;怎么防护 概述 XSS&#xff08;Cross-Site Scripting&#xff0c;跨站脚本攻击&#xff09;是一种常见的 Web 安全…

更换docker工作目录

使用环境 由于默认系统盘比较小docker镜像很容易就占满&#xff0c;需要挂载新的磁盘修改docker的默认工作目录 环境&#xff1a;centos7 docker默认工作目录: /var/lib/docker/ 新的工作目录&#xff1a;/home/docker-data【自己手动创建&#xff0c;一般挂在新加的磁盘下面】…

算法学习笔记:26.二叉搜索树(生日限定版)——从原理到实战,涵盖 LeetCode 与考研 408 例题

二叉搜索树&#xff08;Binary Search Tree&#xff0c;简称 BST&#xff09;是一种特殊的二叉树&#xff0c;因其高效的查找、插入和删除操作&#xff0c;成为计算机科学中最重要的数据结构之一。BST 的核心特性是 “左小右大”&#xff0c;这一特性使其在数据检索、排序和索引…

共生型企业:驾驭AI自动化(事+AI)与人类增强(人+AI)的双重前沿

目录 引言&#xff1a;人工智能的双重前沿 第一部分&#xff1a;自动化范式&#xff08;事AI&#xff09;——重新定义卓越运营 第一章&#xff1a;智能自动化的机制 第二章&#xff1a;自动化驱动的行业转型 第三章&#xff1a;自动化的经济演算 第二部分&#xff1a;协…

TypeScript的export用法

在 TypeScript 中&#xff0c;export 用于将模块中的变量、函数、类、类型等暴露给外部使用。export 语法允许将模块化的代码分割并在其他文件中导入。 1. 命名导出&#xff08;Named Export&#xff09; 命名导出是 TypeScript 中最常见的一种导出方式&#xff0c;它允许你导出…

数据结构-2(链表)

一、思维导图二、链表的反转def reverse(self):"""思路&#xff1a;1、设置previous_node、current、next_node三个变量,目标是将current和previous_node逐步向后循环并逐步进行反转,知道所有元素都被反转2、但唯一的问题是&#xff1a;一旦current.next反转为向…

ros2 标定相机

一个终端执行&#xff1a; ros2 run image_tools cam2image --ros-args -p width:640 -p height:480 -p frequency:30.0 -p device_id:-1 -r /image:/camera/image_raw另一个终端执行&#xff1a;8x6 是格子角点数量&#xff0c;0.028是格子尺寸 ros2 run camera_calibration …

IsaacLab学习记录(二)

二、导入并训练自己的机器人1、urdf等其他格式转usd&#xff08;工具在./scrips/tools/&#xff09;​​​维度​​​​URDF (Unified Robot Description Format)​​​​USD (Universal Scene Description)​​​​定位​​机器人模型描述标准&#xff08;仅描述单机器人&…

基于Rust Softplus 函数实践方法

Softplus 函数 Softplus 函数是神经网络中常用的激活函数之一,定义为: ​ Softplus函数导数 ​ 是 sigmoid 函数。Softplus 处处可导,并且导数恰好是 sigmoid。 它是 ReLU 函数的平滑近似,具有连续可导的特性,适合需要梯度优化的场景。 数学特性 平滑性:导数为 Sig…

Ubuntu服务器安装Miniconda

下载 Miniconda 安装脚本&#xff08;如果能联网&#xff09;wget https://repo.anaconda.com/miniconda/Miniconda3-py39_24.1.2-0-Linux-x86_64.sh -O Miniconda3.sh安装 Miniconda 到 /opt/condabash Miniconda3.sh -b -p /opt/conda激活 conda/opt/conda/bin/conda init ba…

Java数组补充v2

一、数组基本概念1. 什么是数组数组是Java中用来存储同类型数据的固定大小的连续内存空间的数据结构。2. 数组特点固定长度&#xff1a;一旦创建&#xff0c;长度不可改变相同类型&#xff1a;所有元素必须是同一数据类型索引访问&#xff1a;通过下标&#xff08;从0开始&…