一、Pandas基础入门
1.1 什么是Pandas
Pandas是Python生态中核心的数据分析库，提供高效的数据结构（Series/DataFrame）和数据分析工具。其名称源于"Panel Data"（面板数据）和"Python Data Analysis"的组合，由Wes McKinney于2008年开发，现已成为数据科学领域的标准工具。
1.2 核心数据结构
1.2.1 Series：一维标记数组
import pandas as pd
s = pd.Series([5, 2, 3], index=['A', 'B', 'C'])
- 特性：类似带标签的NumPy数组
- 操作：
s['A']获取值，s + 2向量运算
1.2.2 DataFrame：二维表格结构
df = pd.DataFrame({'Name': ['Alice', 'Bob', 'Charlie'],'Age': [25, 30, 35],'City': ['NY', 'SF', 'LA']
})
- 特性：支持异构数据类型，类似Excel表格
- 核心属性：
df.shape,df.dtypes,df.columns
二、数据加载与输出
2.1 数据导入
# CSV文件
df = pd.read_csv('data.csv', parse_dates=['date_column'])# Excel文件
df = pd.read_excel('data.xlsx', sheet_name='Sheet1')# JSON数据
df = pd.read_json('data.json', orient='records')
- 高级参数：
skiprows,nrows,chunksize（分块读取）
2.2 数据导出
df.to_csv('cleaned_data.csv', index=False, encoding='utf-8')
df.to_excel('report.xlsx', sheet_name='Results')
三、数据清洗核心技巧
3.1 缺失值处理
3.1.1 检测缺失值
df.isnull().sum() # 各列缺失值统计
3.1.2 处理策略
# 删除缺失值
df.dropna(subset=['Age'], inplace=True)# 填充缺失值
df['Salary'].fillna(df['Salary'].mean(), inplace=True)
3.2 数据去重
# 检测重复行
df.duplicated().sum()# 删除重复行
df.drop_duplicates(subset=['ID'], keep='last', inplace=True)
3.3 数据类型转换
df['BirthDate'] = pd.to_datetime(df['BirthDate'], format='%Y-%m-%d')
df['Category'] = df['Category'].astype('category')
四、数据选择与过滤
4.1 基础索引
# 选择列
df[['Name', 'Age']]# 选择行（前5行）
df.head()
4.2 高级索引
4.2.1 loc标签索引
df.loc[df['Age'] > 30, ['Name', 'City']]
4.2.2 iloc位置索引
df.iloc[1:4, 0:2] # 选取2-4行，1-2列
4.2.3 布尔索引
mask = (df['Score'] >= 80) & (df['Attempts'] < 5)
df[mask]
五、数据操作与转换
5.1 列操作
# 添加新列
df['Salary'] = df['Salary'] * 1.1 # 涨薪10%# 删除列
df.drop('TempColumn', axis=1, inplace=True)# 重命名列
df.rename(columns={'OldName': 'NewName'}, inplace=True)
5.2 数据合并
5.2.1 横向合并
pd.merge(df1, df2, on='ID', how='inner') # 支持inner/left/right/outer
5.2.2 纵向合并
pd.concat([df1, df2], axis=0, ignore_index=True)
5.3 分组聚合
df.groupby('Department')['Salary'].agg(['mean', 'sum'])
六、高级功能应用
6.1 时间序列处理
# 创建时间范围
dates = pd.date_range('20250101', periods=365)# 重采样
df.resample('M').mean() # 月度重采样# 滑动窗口
df['RollingMean'] = df['Value'].rolling(window=7).mean()
6.2 文本处理
# 字符串方法
df['Name'].str.upper()# 正则表达式
df['Email'].str.extract(r'(\w+)@(\w+\.com)')
6.3 数据可视化集成
import matplotlib.pyplot as pltdf['Age'].plot(kind='hist', bins=10)
plt.savefig('age_distribution.png')
七、性能优化技巧
7.1 内存优化
# 修改数据类型
df['ID'] = df['ID'].astype('int32')# 分类数据类型
df['Category'] = df['Category'].astype('category')
7.2 向量化操作
# 避免循环，使用内置函数
df['NewCol'] = df['Col1'] + df['Col2']
7.3 分块处理
chunk_iter = pd.read_csv('big_data.csv', chunksize=10000)
for chunk in chunk_iter:process(chunk)
八、实战案例：电商数据分析
8.1 案例背景
分析某电商平台用户行为数据，包含：
- 用户ID、商品ID、购买数量、金额、时间戳
8.2 数据预处理
# 转换时间戳
df['OrderTime'] = pd.to_datetime(df['OrderTime'])# 计算客单价
df['UnitPrice'] = df['Amount'] / df['Quantity']
8.3 深度分析
# 用户购买周期分析
df.groupby('UserID')['OrderTime'].diff().mean()# 商品关联分析
pd.crosstab(df['ProductA'], df['ProductB'])
8.4 结果可视化
import seaborn as snssns.boxplot(x='Category', y='Sales', data=df)
plt.title('Category Sales Distribution')
plt.xticks(rotation=45)
plt.tight_layout()
plt.savefig('sales_analysis.png')
九、学习资源推荐
官方文档：https://pandas.pydata.org/docs/
实战书籍：《利用Python进行数据分析》
练习平台：Kaggle、DataCamp
进阶资源：Dask（并行计算）、Modin（分布式Pandas）
