Python爬虫实战：抓取百度15天天气预报数据

🌐 编程基础第一期《9-30》–使用python中的第三方模块requests，和三个内置模块(re、json、pprint)，实现百度地图的近15天天气信息抓取

记得安装

pip install requests

📑 项目介绍

网络爬虫是Python最受欢迎的应用场景之一，通过爬虫技术，我们可以自动获取互联网上的各种数据资源。本文将带您实现一个简易爬虫，抓取百度地图的15天天气预报数据，这是一个非常实用的入门级爬虫项目。

🔍 爬虫实现思路

爬虫开发的核心步骤通常包括：网页分析、构造请求、数据提取和数据处理。下面我们将按照这个流程来实现我们的天气数据爬虫。

1. 网页结构分析

首先，我们需要分析目标网页的结构，找出我们需要的数据在哪里。

步骤一：访问目标页面

在这里插入图片描述

步骤二：查看页面内容

在这里插入图片描述

步骤三：打开开发者工具

进入浏览器控制台，可以按F12，或者鼠标右键 —》检查
在这里插入图片描述

步骤四：定位数据元素

在这里插入图片描述

这个案例是需要获取天气的【日期、温度、天气】，这三个字段

如果是直接搜索相应的数据的话，是搜不到的，而且有点乱【Ctrl+F：搜索】，所以就用最笨的方法查看数据了，博主也是很快定位到了数据【15_day_forecast】

在这里插入图片描述

通过分析，我们发现天气数据是通过JavaScript动态加载的，数据存储在window.tplData变量中，具体是在15_day_forecast对象里。这意味着我们需要使用正则表达式从页面源码中提取这部分数据。

2. 获取请求参数

为了模拟浏览器发送请求，我们需要获取完整的请求参数，包括headers、cookies等。
在这里插入图片描述

使用工具转换请求格式

我们可以使用curlconverter.com工具，将浏览器复制的curl命令转换为Python代码：

在这里插入图片描述

这个工具可以帮助我们快速生成请求所需的cookies、headers和params等参数，大大简化了爬虫开发过程。

3. 代码实现

下面是完整的Python爬虫代码实现：

import requests
import re
import json
from pprint import pprintcookies = {'BAIDUID': 'D9390E952557E33F7CCC1A0109B7FA36:FG=1','PSTM': '1724329650','BIDUPSID': '32FE4B5E017DB09C400649766FC53D1B','H_WISE_SIDS_BFESS': '60360_60621_60630_60665_60677','BAIDUID_BFESS': 'D9390E952557E33F7CCC1A0109B7FA36:FG=1','ZFY': 'G4IF74JdDWkiPzA7wsun:A9:AdrfYQK3wASfOCR3zneJ0:C','__bid_n': '196e65bedde90245f15fbf','H_WISE_SIDS': '62325_62967_63195_63241_63247_63266','BDRCVFR[VXHUG3ZuJnT]': 'I67x6TjHwwYf0','H_PS_PSSID': '61672_62325_62967_63148_63195_63211_63241_63247_63255_63266_63325_63366_63389_63380_63186_63395_63392_63390_63403','delPer': '0','PSINO': '1','BDORZ': 'FFFB88E999055A3F8A630C64834BD6D0','BA_HECTOR': '242lah0h85202k00202lal8h0k0ga61k3b6p924','Hm_lvt_3535ee208b02ecdf4b2576fd444e8473': '1748343601','Hm_lpvt_3535ee208b02ecdf4b2576fd444e8473': '1748343601','HMACCOUNT': 'BF9680BBBCADEAE7',
}headers = {'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7','accept-language': 'zh-CN,zh;q=0.9','cache-control': 'no-cache','pragma': 'no-cache','priority': 'u=0, i','referer': 'https://www.baidu.com/link?url=ajB3uWQlmNXyVidQRV-1nepXkS-ZUJDTJP3_HkueruWRBti13-iGBZJC1qMnR8pVgkLXHUxRWG8iv9tlJZFuVD0UqvTN1KpXcH5Sjltgq93cArc4Ocpl5irtWM2zRTYi0nVOHUeSWeV3ArpliNJvgErF2AaOpuWN6Jzb_yPJd3_DDH4uDBSFAENIXFV98SgaWmQyD7eE7wSJtPaZK-Y_5a&wd=&eqid=e24cffc50001782a0000000368359b29','sec-ch-ua': '"Chromium";v="136", "Google Chrome";v="136", "Not.A/Brand";v="99"','sec-ch-ua-mobile': '?0','sec-ch-ua-platform': '"Windows"','sec-fetch-dest': 'document','sec-fetch-mode': 'navigate','sec-fetch-site': 'same-site','sec-fetch-user': '?1','upgrade-insecure-requests': '1','user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/136.0.0.0 Safari/537.36',# 'cookie': 'BAIDUID=D9390E952557E33F7CCC1A0109B7FA36:FG=1; PSTM=1724329650; BIDUPSID=32FE4B5E017DB09C400649766FC53D1B; H_WISE_SIDS_BFESS=60360_60621_60630_60665_60677; BAIDUID_BFESS=D9390E952557E33F7CCC1A0109B7FA36:FG=1; ZFY=G4IF74JdDWkiPzA7wsun:A9:AdrfYQK3wASfOCR3zneJ0:C; __bid_n=196e65bedde90245f15fbf; H_WISE_SIDS=62325_62967_63195_63241_63247_63266; BDRCVFR[VXHUG3ZuJnT]=I67x6TjHwwYf0; H_PS_PSSID=61672_62325_62967_63148_63195_63211_63241_63247_63255_63266_63325_63366_63389_63380_63186_63395_63392_63390_63403; delPer=0; PSINO=1; BDORZ=FFFB88E999055A3F8A630C64834BD6D0; BA_HECTOR=242lah0h85202k00202lal8h0k0ga61k3b6p924; Hm_lvt_3535ee208b02ecdf4b2576fd444e8473=1748343601; Hm_lpvt_3535ee208b02ecdf4b2576fd444e8473=1748343601; HMACCOUNT=BF9680BBBCADEAE7',
}params = {'query': '广东深圳天气','srcid': '4982','forecast': 'long_day_forecast',
}response = requests.get('https://weathernew.pae.baidu.com/weathernew/pc', params=params, cookies=cookies,headers=headers)
# 获取天气数据
tplData = re.findall(r'window.tplData = (.*?);', response.text)[0]
# 这个数据是`str`类型，所以需要转换成json数据类型，然后再获取数据
tpl_15_day_forecast = json.loads(tplData)['15_day_forecast']['info']
# 定义一个空列表
recently_data = []
for tpl in tpl_15_day_forecast:date = tpl['date']temperature = tpl['temperature_night'] + ' ~ ' + tpl['temperature_day'] + '°C'weather = tpl['weather_night']recently_data.append({"date": date, "temperature": temperature, "weather": weather})# 整齐输出
pprint(recently_data)

4. 运行效果

执行上述代码后，我们可以得到格式化的15天天气预报数据：

在这里插入图片描述

🔎 代码解析与知识点

这个简单的爬虫项目涵盖了多个Python爬虫开发的关键知识点，下面我们来详细分析：

1. HTTP请求与网络通信

  • requests模块应用：使用Python最流行的HTTP客户端库发送GET请求
  • 请求参数构造：通过params、cookies和headers参数模拟浏览器行为
  • 防反爬策略：通过设置User-Agent、Referer等头信息，避免被目标网站识别为爬虫
# 发送HTTP GET请求示例
response = requests.get('https://weathernew.pae.baidu.com/weathernew/pc', params=params, cookies=cookies,headers=headers)

2. 正则表达式数据提取

  • re模块应用：使用Python内置的正则表达式模块提取特定模式的文本
  • 贪婪与非贪婪匹配：使用.*?进行非贪婪匹配，精确定位目标数据
  • 捕获组：使用括号()创建捕获组，提取匹配的内容
# 正则表达式提取示例
tplData = re.findall(r'window.tplData = (.*?);', response.text)[0]

3. JSON数据处理

  • json模块应用：使用Python内置的JSON模块解析字符串为Python对象
  • 数据序列化与反序列化：将字符串转换为Python对象(反序列化)
  • 复杂数据结构访问：通过键名访问嵌套的JSON数据
# JSON解析示例
tpl_15_day_forecast = json.loads(tplData)['15_day_forecast']['info']

4. 数据结构与处理

  • 列表操作：创建空列表并使用append方法添加元素
  • 字典操作：创建包含多个键值对的字典对象
  • 循环遍历：使用for循环遍历列表中的每个元素
  • 字符串拼接：使用+运算符连接多个字符串
# 数据处理示例
recently_data = []
for tpl in tpl_15_day_forecast:date = tpl['date']temperature = tpl['temperature_night'] + ' ~ ' + tpl['temperature_day'] + '°C'weather = tpl['weather_night']recently_data.append({"date": date, "temperature": temperature, "weather": weather})

5. 格式化输出

  • pprint模块应用：使用Python的美化打印模块，以更易读的方式显示复杂数据结构
  • 数据可视化：将提取的数据以结构化、易读的方式展示
# 格式化输出示例
pprint(recently_data)

📚 学习要点总结

  1. 网络爬虫基础：HTTP请求、响应处理、模拟浏览器行为
  2. 数据提取技术：正则表达式、JSON解析
  3. Python模块应用：requests、re、json、pprint
  4. 网页分析方法：使用开发者工具定位数据元素
  5. 数据处理技巧：列表、字典操作，数据结构转换
  6. 爬虫伦理与合规：遵守网站robots.txt规则，合理控制请求频率

通过这个项目，您可以掌握Python爬虫开发的基本流程和技术要点，为进一步学习更复杂的爬虫项目打下坚实基础。

今日分享语录

与其攀比他人，不如攀比昨天的自己

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.pswp.cn/news/907544.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

HTML常见事件详解：从入门到实战应用

HTML常见事件详解：从入门到实战应用

前言 在Web开发中，事件是用户与网页交互的核心机制。HTML事件让我们能够响应用户的各种操作，如点击、鼠标移动、键盘输入等。掌握HTML事件是前端开发的基础技能之一，本文将深入探讨HTML中的常见事件类型及其实际应用。 HTML事件概览总结 H…
阅读更多...
模具制造业数字化转型：精密模塑，以数字之力铸就制造基石

模具制造业数字化转型：精密模塑，以数字之力铸就制造基石

模具被誉为 “工业之母”，是制造业的重要基石，其精度直接决定了工业产品的质量与性能。在工业制造向高精度、智能化发展的当下，《模具制造业数字化转型：精密模塑，以数字之力铸就制造基石》这一主题，精准点明…
阅读更多...
深度解读漏洞扫描：原理、类型与应用实践

深度解读漏洞扫描：原理、类型与应用实践

在网络安全领域，漏洞就像隐藏在系统中的定时炸弹，随时可能被攻击者利用，导致数据泄露、服务瘫痪等严重后果。而漏洞扫描作为发现这些潜在威胁的 “侦察兵”，是保障网络安全的重要防线。本文将全面介绍漏洞扫描的相关知识&#xff…
阅读更多...
[HNCTF 2022 Week1]silly_zip

[HNCTF 2022 Week1]silly_zip

下载附件 解压发现需要密码 用010打开看看，发现是伪加密 改成00点击保存 解压后得到图片 感觉图片看着怪怪的，修改一下高度看看有没有其他线索 把47改成78 最后得到flag
阅读更多...
Facebook 的隐私保护措施是否足够？技术观点

Facebook 的隐私保护措施是否足够？技术观点

在数字时代，隐私保护成为了公众关注的焦点，尤其是对于拥有数十亿用户的社交媒体巨头 Facebook 来说，其隐私保护措施的有效性更是备受瞩目。本文将从技术角度探讨 Facebook 的隐私保护措施是否足够。 数据收集与使用 Facebook 收集用户数据的…
阅读更多...
cocosCreator 1.8 升级到 2.4

cocosCreator 1.8 升级到 2.4

现在负责的一个运营中的商业项目，使用的是 cocosCreator1.8，之前没有做好设计，所以东西都是直接加载在内存中的，到了现在性能问题逐渐暴露出来，讨论之后想进行引擎升级，升级到cocosCreator 2.4。 官方的升…
阅读更多...
ubuntu 制作 ssl 证书

ubuntu 制作 ssl 证书

安装 openssl sudo apt install openssl 生成 SSL 证书 # 生成私钥 (Private Key) openssl genrsa -out private.key 2048 在当前目录生成 private.key # 生成证书签名请求 (CSR - Certificate Signing Request) openssl req -new -key private.key -out certificate.csr -…
阅读更多...
【Java基础-环境搭建-创建项目】IntelliJ IDEA创建Java项目的详细步骤

【Java基础-环境搭建-创建项目】IntelliJ IDEA创建Java项目的详细步骤

在Java开发的世界里，选择一个强大的集成开发环境（IDE）是迈向高效编程的第一步。而IntelliJ IDEA无疑是Java开发者中最受欢迎的选择之一。它以其强大的功能、智能的代码辅助和简洁的用户界面，帮助无数开发者快速构建和部署Java项目…
阅读更多...
WEB3——什么是ABI

WEB3——什么是ABI

怎么获得ABI？ 在编译完合约后，可以在左边下面点击复制ABI ABI（Application Binary Interface，应用二进制接口）是用来让前端或服务端 JavaScript 代码与智能合约进行交互的桥梁，它描述了合约的函数、事件和…
阅读更多...
移动安全Android——客户端数据安全

移动安全Android——客户端数据安全

本地文件权限配置 测试流程 （1）手机运行待测APP应用，adb执行命令找到APP包名 adb shell dumpsys activity top|findstr ACTIVITY （2）adb shell 进入设备，以Root权限进入/data/data/package包名目录下 c…
阅读更多...
拉普拉斯噪声

拉普拉斯噪声

1. 概念 拉普拉斯噪声是一种连续概率分布生成的随机噪声，其核心特点是符合拉普拉斯分布。这种噪声被特意添加到数据（尤其是查询结果或统计量）中，以实现差分隐私这一严格的隐私保护框架。 核心目的： 在保护数据集中的个…
阅读更多...
django项目开启debug页面操作有数据操作记录

django项目开启debug页面操作有数据操作记录

在项目的主文件中setting中配置 """ Django settings for ProjectPrictice project.Generated by django-admin startproject using Django 3.0.1.For more information on this file, see https://docs.djangoproject.com/en/3.0/topics/settings/For the ful…
阅读更多...
【科研绘图系列】R语言绘制森林图（forest plot）

【科研绘图系列】R语言绘制森林图（forest plot）

禁止商业或二改转载，仅供自学使用，侵权必究，如需截取部分内容请后台联系作者! 文章目录 介绍加载R包数据下载导入数据数据预处理画图系统信息介绍 本文介绍使用R语言绘制森林图(forest plot)的方法。首先加载必要的R包(grid、forestploter、openxlsx、stringr)，导入并预处…
阅读更多...
MySQL-8.0.42 主从延迟常见原因及解决方法

MySQL-8.0.42 主从延迟常见原因及解决方法

目录 1 查看从库延时方法 2 如何分析主从延迟 3 主从延迟的常见原因及解决方法 1 查看从库延时方法 mysql> show slave status \G *************************** 1. row *************************** Slave_IO_Running: Yes #两个yes说明主从复制正常 …
阅读更多...
Kotlin 活动事件通讯跳转深度讲解

Kotlin 活动事件通讯跳转深度讲解

在 Android 开发的浩瀚海洋中，活动（Activity）间的事件通讯与跳转犹如构建复杂应用程序的桥梁与纽带，而 Kotlin 语言的加入，更是为这一过程注入了简洁、优雅与高效的活力。本文将深入剖析 Kotlin 开发中安卓活动事件通讯跳转的方方面面，从基础概念到高级技巧，从代码示例到…
阅读更多...
[FreeRTOS- 野火] - - - 临界段

[FreeRTOS- 野火] - - - 临界段

一、介绍 临界段最常出现在对一些全局变量进行操作的场景。 1.1 临界段的定义 临界段是指在多任务系统中，一段需要独占访问共享资源的代码。在这段代码执行期间，必须确保没有任何其他任务或中断可以访问或修改相同的共享资源。 临界段的主要目的是防…
阅读更多...
Vad-R1：通过从感知到认知的思维链进行视频异常推理

Vad-R1：通过从感知到认知的思维链进行视频异常推理

文章目录 速览摘要1 引言2 相关工作视频异常检测与数据集视频多模态大语言模型具备推理能力的多模态大语言模型 3 方法：Vad-R13.1 从感知到认知的思维链（Perception-to-Cognition Chain-of-Thought）3.2 数据集：Vad-Reasoning3.3 A…
阅读更多...
CSS Day07

CSS Day07

1.搭建项目目录 2.网页头部SEO三大标签 3.Favicon图标与版心 （1）Favicon图标 （2）版心 4.快捷导航 5.头部-布局 6.头部-logo 7.头部-导航 8.头部-搜索 9头部-购物车 10.底部-布局 11.底部-服务区域 12.底部-帮助中心 13.底部-版权…
阅读更多...
Flutter图片Image、本地图片、程程图片、圆片剪切、圆形图片

Flutter图片Image、本地图片、程程图片、圆片剪切、圆形图片

目录 图片组件的介绍 1.Image.network加载图片 1.1 Image scale图片缩小一倍 1.2 Image alignment使用 1.3 Image fit 属性的取值及说明 1.3.1 Contain 默认效果 1.3.2 Fill 图片会缩放至完全填满目标区域（宽高） 1.3.3 Fill 图片会缩放至完全填满目…
阅读更多...
Prometheus学习之pushgateway和altermanager组件

Prometheus学习之pushgateway和altermanager组件

[rootnode-exporter41 /usr/local/alertmanager-0.28.1.linux-amd64]# pwd /usr/local/alertmanager-0.28.1.linux-amd64[rootnode-exporter41 /usr/local/alertmanager-0.28.1.linux-amd64]# cat alertmanager.yml # 通用配置 global:resolve_timeout: 5msmtp_from: 914XXXXX…
阅读更多...
最新文章

Copyright @ 2022~2023