在当今数据驱动的时代，能够从互联网上高效地抓取信息变得越来越重要。Python因其简洁易学的特性，成为了编写网络爬虫的首选语言之一。接下来，我将介绍如何使用Python来实现一个基础的网络爬虫，并对收集到的数据进行初步处理。
首先，我们需要了解一个网络爬虫的基本工作原理。简单来说，网络爬虫是通过自动访问互联网上的网页，从中提取有用信息的脚本或程序。在Python中，我们可以利用requests库来发送HTTP请求，获取网页内容，然后通过BeautifulSoup库解析这些内容，从而提取出我们感兴趣的数据。
让我们开始动手实践吧！首先确保你的Python环境中已经安装了requests和BeautifulSoup库。如果没有安装，可以使用pip命令进行安装：

pip install requests beautifulsoup4

接下来是一个简单的示例，演示如何抓取一个网页的标题：

import requests
from bs4 import BeautifulSoup# 发送HTTP请求
response = requests.get('http://example.com')# 解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')# 提取网页标题
title = soup.find('title').text
print('网页标题：', title)

上面的代码会输出网页<http://example.com>的标题。这只是最基本的用法，实际上你可以根据需要提取页面上的任何信息。
一旦我们抓取了数据，通常需要进行一些预处理才能进行分析。这时，pandas库就派上了用场。pandas是一个强大的数据处理库，可以帮助我们轻松地进行数据清洗和转换。以下是一个使用pandas处理数据的简单示例：

import pandas as pd# 假设我们已经抓取了一些书籍信息，存储在一个列表中
data = [{'title': 'Book 1', 'author': 'Author 1', 'price': 10.99},{'title': 'Book 2', 'author': 'Author 2', 'price': 19.99},# 更多书籍...
]# 转换为DataFrame
df = pd.DataFrame(data)# 查看数据
print(df.head())# 筛选价格小于15的书籍
cheap_books = df[df['price'] < 15]
print('Cheap books:', cheap_books)