目录

一、缺失值处理

1.1 缺失值的识别

1.2 删除缺失值

1.3 填充缺失值

二、异常值检测

2.1 异常值的定义

2.2 常用检测方法

IQR（四分位数间距）法

Z-score（标准分数）法

三、实战案例：基因表达数据预处理

四、总结

---

数据分析过程中，数据的质量直接影响分析结果的可靠性。缺失值和异常值是两类常见的数据问题，如果不及时处理，可能会导致模型偏差、误判或不稳定的结果。本文将详细介绍如何使用Pandas对数据中的缺失值进行处理，以及如何检测并处理异常值，帮助你构建更为健壮的数据预处理流程。

---

一、缺失值处理

1.1 缺失值的识别

在Pandas中，缺失值通常由NaN表示。我们可以利用内置方法快速识别数据中缺失值的分布和数量。

示例代码：

import pandas as pd
import numpy as np# 构造示例DataFrame
data = {'A': [1, 2, np.nan, 4, 5],'B': [5, np.nan, np.nan, 8, 10],'C': [np.nan, 2, 3, 4, 5]
}
df = pd.DataFrame(data)
print("原始数据：")
print(df)# 检查每一列缺失值数量
print("\n缺失值统计：")
print(df.isnull().sum())

原始数据：A     B    C
0  1.0   5.0  NaN
1  2.0   NaN  2.0
2  NaN   NaN  3.0
3  4.0   8.0  4.0
4  5.0  10.0  5.0缺失值统计：
A    1
B    2
C    1
dtype: int64

1.2 删除缺失值

如果缺失值比例较小或缺失行/列对分析影响不大，可以使用dropna()方法删除缺失值。

示例代码：

# 删除含有缺失值的行
df_drop_rows = df.dropna()
print("\n删除含有缺失值的行后的数据：")
print(df_drop_rows)# 删除含有缺失值的列
df_drop_columns = df.dropna(axis=1)
print("\n删除含有缺失值的列后的数据：")
print(df_drop_columns)

删除含有缺失值的行后的数据：A     B    C
3  4.0   8.0  4.0
4  5.0  10.0  5.0删除含有缺失值的列后的数据：
Empty DataFrame
Columns: []
Index: [0, 1, 2, 3, 4]

1.3 填充缺失值

有时候删除缺失值会导致数据量骤减，此时可以考虑填充缺失值。常用方法包括使用均值、中位数、前一个有效值等进行填充。

示例代码：

# 使用每列均值填充缺失值
df_filled_mean = df.fillna(df.mean())
print("\n使用均值填充缺失值后的数据：")
print(df_filled_mean)# 使用前向填充方法填充缺失值
df_filled_ffill = df.fillna(method='ffill')
print("\n使用前向填充后的数据：")
print(df_filled_ffill)

使用均值填充缺失值后的数据：A          B    C
0  1.0   5.000000  3.5
1  2.0   7.666667  2.0
2  3.0   7.666667  3.0
3  4.0   8.000000  4.0
4  5.0  10.000000  5.0使用前向填充后的数据：A     B    C
0  1.0   5.0  NaN
1  2.0   5.0  2.0
2  2.0   5.0  3.0
3  4.0   8.0  4.0
4  5.0  10.0  5.0

二、异常值检测

2.1 异常值的定义

异常值通常是指与其他数据相比显著偏离的数据点。它们可能由测量错误、数据录入错误或真实的罕见现象引起。检测并处理异常值对于避免模型误判十分关键。

2.2 常用检测方法

IQR（四分位数间距）法

IQR方法利用数据的四分位数来识别异常值：

• 计算第一四分位数（Q1）和第三四分位数（Q3）。

• IQR = Q3 - Q1

• 通常认为低于 Q1 - 1.5*IQR 或高于 Q3 + 1.5*IQR 的数据为异常值。

示例代码：

# 构造示例数据
data_outliers = {'Value': [10, 12, 11, 13, 100, 12, 11, 14, 10, 13]
}
df_outliers = pd.DataFrame(data_outliers)# 计算四分位数和IQR
Q1 = df_outliers['Value'].quantile(0.25)
Q3 = df_outliers['Value'].quantile(0.75)
IQR = Q3 - Q1print("Q1: {:.2f}, Q3: {:.2f}, IQR: {:.2f}".format(Q1, Q3, IQR))# 定义异常值检测条件
lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQRprint("异常值下界：{:.2f}, 上界：{:.2f}".format(lower_bound, upper_bound))# 筛选非异常值数据
df_no_outliers = df_outliers[(df_outliers['Value'] >= lower_bound) & (df_outliers['Value'] <= upper_bound)]
print("\n去除异常值后的数据：")
print(df_no_outliers)

Q1: 11.00, Q3: 13.00, IQR: 2.00
异常值下界：8.00, 上界：16.00去除异常值后的数据：Value
0     10
1     12
2     11
3     13
5     12
6     11
7     14
8     10
9     13

Z-score（标准分数）法

Z-score方法基于均值和标准差，将数据标准化后检测偏离较远的点。通常，当Z-score大于3或小于-3时，认为该数据点为异常值。

示例代码：

from scipy import stats# 计算Z-score
df_outliers['Z_score'] = stats.zscore(df_outliers['Value'])# 筛选Z-score在-3到3之间的数据
df_no_outliers_z = df_outliers[(df_outliers['Z_score'] > -3) & (df_outliers['Z_score'] < 3)]
print("\n使用Z-score方法去除异常值后的数据：")
print(df_no_outliers_z)

使用Z-score方法去除异常值后的数据：Value   Z_score
0     10 -0.400060
1     12 -0.324577
2     11 -0.362318
3     13 -0.286835
4    100  2.996675
5     12 -0.324577
6     11 -0.362318
7     14 -0.249094
8     10 -0.400060
9     13 -0.286835

注意：在使用Z-score方法时，数据应近似服从正态分布；对于偏态分布的数据，IQR方法可能更为合适。

三、实战案例：基因表达数据预处理

假设我们在基因表达数据中不仅存在缺失值，还包含一些测量异常的表达值。下面展示如何将上述方法应用到实际数据中。

示例数据文件：gene_expression.csv

Gene,Condition,Sample_A,Sample_B,Sample_C
Gene1,Treated,20,25,30
Gene2,Control,15,NA,18
Gene3,Treated,22,20,21
Gene4,Control,100,17,19  # 这里的100为异常值

实战代码：

# 读取数据
df_expr = pd.read_csv('gene_expression.csv', header=0, na_values=['NA'])# 将基因名称设为索引
df_expr.set_index('Gene', inplace=True)
print("原始基因表达数据：")
print(df_expr)# 1. 缺失值处理：使用每列均值填充缺失值
df_expr.fillna(df_expr.mean(), inplace=True)
print("\n填充缺失值后的数据：")
print(df_expr)# 2. 异常值检测：以Sample_A列为例，使用IQR方法检测异常值
Q1 = df_expr['Sample_A'].quantile(0.25)
Q3 = df_expr['Sample_A'].quantile(0.75)
IQR = Q3 - Q1
lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQRprint("\nSample_A列 - Q1: {:.2f}, Q3: {:.2f}, IQR: {:.2f}".format(Q1, Q3, IQR))
print("Sample_A列 - 异常值下界：{:.2f}, 上界：{:.2f}".format(lower_bound, upper_bound))# 筛选非异常值数据
df_expr_no_outliers = df_expr[(df_expr['Sample_A'] >= lower_bound) & (df_expr['Sample_A'] <= upper_bound)]
print("\n去除Sample_A列异常值后的数据：")
print(df_expr_no_outliers)

原始基因表达数据：Condition  Sample_A  Sample_B  Sample_C
Gene                                         
Gene1   Treated        20      25.0        30
Gene2   Control        15       NaN        18
Gene3   Treated        22      20.0        21
Gene4   Control       100      17.0        19填充缺失值后的数据：Condition  Sample_A   Sample_B  Sample_C
Gene                                          
Gene1   Treated        20  25.000000        30
Gene2   Control        15  20.666667        18
Gene3   Treated        22  20.000000        21
Gene4   Control       100  17.000000        19Sample_A列 - Q1: 18.75, Q3: 41.50, IQR: 22.75
Sample_A列 - 异常值下界：-15.38, 上界：75.62去除Sample_A列异常值后的数据：Condition  Sample_A   Sample_B  Sample_C
Gene                                          
Gene1   Treated        20  25.000000        30
Gene2   Control        15  20.666667        18
Gene3   Treated        22  20.000000        21

四、总结

在数据预处理中，去除缺失值和检测异常值是确保数据质量的关键步骤。通过Pandas提供的方法，我们可以快速识别并处理缺失数据；利用IQR和Z-score方法，我们可以检测并剔除明显偏离的数据点，从而为后续分析和建模打下坚实的基础。掌握这些技巧不仅能提高数据分析的准确性，也有助于构建更加稳健的分析流程。

欢迎大家在评论区分享你们在实际应用中的经验和问题，进一步探讨数据预处理中的最佳实践！

• 

• AIDD learning 便捷查看

• 方式1：（免费获取）转发此文章至朋友圈（所有人可见，获6个赞）或者3个群，并附“推荐关注学习”，1小时后将截图发送后台留言：2025312pandas。本人会在24小时内回复您获取资料。