【pythonデータ前処理】複数カラムで外れ値が存在する行を削除したい

データの前処理に際して、外れ値の処理があります。

Kaggleのカーネルを読んでいて、勉強になった外れ値処理の方法がありましたので、ここにメモしておこうと思います。

▼こちらのカーネルを参照

https://www.kaggle.com/yassineghouzam/titanic-top-4-with-ensemble-modeling

やりたいこと

複数の特徴量において、外れ値を検出し、値が外れ値であるカラムが複数存在する行を削除したい。

例題）

・こんなサンプルデータがある

・特徴量A,B,Cにおいてそれぞれ1000が外れ値

・値が1000（外れ値）であるカラムが2つ以上存在している行＝11行目と特定

・11行目を削除

方針・考え方

・第三四分位数と第一四分位数の差の1.5倍上下した範囲外を外れ値とみなす

・Tukeys methodとかいうらしい

実装

まずは例題のサンプルデータを作成します。

import pandas as pd
import numpy as np

#サンプルデータの作成
A = [1,2,3,4,5,6,7,8,9,10,1000]
B = [10,9,8,7,6,5,4,3,2,1,1000]
C = [1000,1,2,3,4,5,6,7,8,9,10]
ID = list((range(100,111)))

df = pd.DataFrame({"ID":ID,"A":A,"B":B,"C":C})

import pandas as pd

import numpy as np

#サンプルデータの作成

A = [1,2,3,4,5,6,7,8,9,10,1000]

B = [10,9,8,7,6,5,4,3,2,1,1000]

C = [1000,1,2,3,4,5,6,7,8,9,10]

ID = list((range(100,111)))

df = pd.DataFrame({"ID":ID,"A":A,"B":B,"C":C})

外れ値の考え方としては、第三四分位数（Q3）と第一四分位数（Q1）の差の定数倍をQ1,Q3にプラスマイナスした範囲の外にある値、とします。

例えば特徴量Aに関しての外れ値は以下のように求めます。

Q1 = np.percentile(df["A"],25)
Q3 = np.percentile(df["A"],75)
IQR = Q3-Q1
outlier_step = 1.5*IQR
outlier_A = df[(df["A"] < Q1-outlier_step) | (df["A"] > Q3+outlier_step)]

print("Q1 : " + str(Q1))
print("Q3 : " + str(Q3))
print("IQR : " + str(IQR))
print("outlier_step : " + str(outlier_step))
print(outlier)

'''
Q1 : 3.5
Q3 : 8.5
IQR : 5.0
outlier_step : 7.5
'''

Q1 = np.percentile(df["A"],25)

Q3 = np.percentile(df["A"],75)

IQR = Q3-Q1

outlier_step = 1.5*IQR

outlier_A = df[(df["A"] < Q1-outlier_step) | (df["A"] > Q3+outlier_step)]

print("Q1 : " + str(Q1))

print("Q3 : " + str(Q3))

print("IQR : " + str(IQR))

print("outlier_step : " + str(outlier_step))

print(outlier)

'''

Q1 : 3.5

Q3 : 8.5

IQR : 5.0

outlier_step : 7.5

'''

外れ値Xの範囲は

X < Q1 – (Q3 – Q1) * 1.5 , X > Q3 + (Q3 – Q1) * 1.5

となります。

特徴量Aの場合は

X < -4 , X > 16　の範囲が外れ値となり、1000のみが該当します。

最後にAが外れ値である行を取得しています。

では、次にこれをすべての特徴量でおこない、値が外れ値であるカラムが複数存在する行を発見する処理を書きます。

import collections

def detect_outlier(df,n,features):
    outlier_list = []
    for col in features:
        Q1 = np.percentile(df[col],25)
        Q3 = np.percentile(df[col],75)
        IQR = Q3-Q1
        outlier_step = 1.5*IQR

        #外れ値が存在する行インデックスの取得
        outlier_list_col = df[(df[col] < Q1-outlier_step) | (df[col] > Q3+outlier_step)].index
        
        outlier_list.extend(outlier_list_col)
    
　　#{外れ値が存在する行：出現回数}という辞書をつくる
    outlier_list = collections.Counter(outlier_list)
    
    multiple_outliers = list( k for k, v in outlier_list.items() if v >= n)
    
    return multiple_outliers

drop_rows = detect_outlier(df,2,["A","B","C"])

print(drop_rows)

'''
[10]
'''