网站开发常见技术问题最近的新闻大事20条
案例 26: 检测异常值
知识点讲解
在数据分析中，检测和处理异常值（或离群值）是一个重要的步骤。异常值可能会影响数据的整体分析。一种常用的方法是使用四分位数和四分位数间距（IQR）来识别异常值。
- 四分位数和 IQR: 第一四分位数（Q1）是数据中所有数值的 25% 分位数，第三四分位数（Q3）是 75% 分位数。IQR 是 Q3 和 Q1 的差。通常，超出 Q1 - 1.5 * IQR 或 Q3 + 1.5 * IQR 的值被认为是异常值。
示例代码
# 准备数据和示例代码的运行结果，用于案例 26# 示例数据
data_outlier_detection = {'Values': [10, 12, 12, 14, 15, 15, 100]
}
df_outlier_detection = pd.DataFrame(data_outlier_detection)# 检测异常值
Q1 = df_outlier_detection['Values'].quantile(0.25)
Q3 = df_outlier_detection['Values'].quantile(0.75)
IQR = Q3 - Q1
outliers = df_outlier_detection[(df_outlier_detection['Values'] < (Q1 - 1.5 * IQR)) | (df_outlier_detection['Values'] > (Q3 + 1.5 * IQR))]df_outlier_detection, outliers在这个示例中，我们使用 IQR 方法检测了异常值。
示例代码运行结果
原始 DataFrame (df_outlier_detection):
Values
0 10
1 12
2 12
3 14
4 15
5 15
6 100
检测到的异常值 (outliers):
Values
6 100
这个结果显示，值 100 是一个异常值。异常值检测对于理解数据集和进行准确的统计分析至关重要。