import numpy as npimport pandas as pd__author__='莫叹'复制代码

#生成一个表格型的二维数组df=pd.DataFrame({
       'a':[34,6,20,np.nan,56],               'b':['juejin','number','one','good',np.nan]})复制代码

输出如下：

判断数据中是否存在缺失值以及非缺失值数据筛选：

#判断二维数组df是否缺失print(df.notnull(),'\n')#通过索引判断a列是否缺失print(df['a'].notnull(),'\n')#筛选a列不存在缺失值数组print(df[df['a'].notnull()])复制代码

输出如下：

a      b0   True   True1   True   True2   True   True3  False   True4   True  False 0     True1     True2     True3    False4     TrueName: a, dtype: bool       a       b0  34.0  juejin1   6.0  number2  20.0     one4  56.0     NaN复制代码

缺失值删除

通过上面的notnull布尔序列值筛选也是缺失值删除的一种方法

缺失值的删除需要按照具体数据情况和业务情况来处理，有时候需要删除全部缺失数据，有时候需要删除部分缺失数据，有时候只是需要删除指定缺失数据。

删除缺失值的方法：dropna(axis)

• 默认参数axis = 0，为删除行数据，当参数axis = 1删除列数据（但是一般不会选择axis=1，如果为1，则直接删除了一整个变量数据）
• 传入thresh=n时保留至少有n个非NaN数据的行

#生成一个表格型二维数组df2=pd.DataFrame([[1,2,3],['juejin',np.nan,np.nan],['a','b',np.nan],[np.nan,np.nan,np.nan],['d','j','h']],                 columns=list('ABC'))print(df2,'\n')#删除所有存在缺失值的行print(df2.dropna(),'\n')#删除部分存在缺失值的行，保留至少有n个非NaN数据的行(比如保留至少有一个非NaN数据的行)print(df2.dropna(thresh=1),'\n')#删除某一列存在缺失值的行（删除A列里存在缺失值的所有的行，和上面的布尔值序列筛选相同）print(df2[df2['A'].notnull()])复制代码

输出如下：

A    B    C0       1    2    31  juejin  NaN  NaN2       a    b  NaN3     NaN  NaN  NaN4       d    j    h    A  B  C0  1  2  34  d  j  h         A    B    C0       1    2    31  juejin  NaN  NaN2       a    b  NaN4       d    j    h         A    B    C0       1    2    31  juejin  NaN  NaN2       a    b  NaN4       d    j    h复制代码

缺失值填充/替换

填充方法：fillna(value=None, method=None, axis=None, inplace=False, limit=None, downcast=None, **kwargs)

• value参数：填充值
• method参数： pad / ffill → 用之前的数据填充，backfill / bfill → 用之后的数据填充

替换方法：replace(to_replace=None, value=None, inplace=False, limit=None, regex=False, method='pad', axis=None)

• to_replacec参数：被替换的值
• value参数：替换值

使用举例如下：

import copydf3=pd.DataFrame([[1,2,3],['juejin',np.nan,np.nan],['a','b',np.nan],['k',np.nan,np.nan],['d','j','h']],                 columns=list('ABC'))df4=copy.deepcopy(df3)print(df3,'\n')#缺失值全部用 0 填充print(df3.fillna(0),'\n')#method=‘pad’，使B列每一个缺失值用缺失值的前一个值填充df3['B'].fillna(method='pad',inplace=True)print(df3,'\n')#用replace替换print(df4,'\n')df4.replace(np.nan,'juejin',inplace = True)print('将缺失值替换为juejin\n',df4)复制代码

A    B    C0       1    2    31  juejin  NaN  NaN2       a    b  NaN3       k  NaN  NaN4       d    j    h         A  B  C0       1  2  31  juejin  0  02       a  b  03       k  0  04       d  j  h         A  B    C0       1  2    31  juejin  2  NaN2       a  b  NaN3       k  b  NaN4       d  j    h         A    B    C0       1    2    31  juejin  NaN  NaN2       a    b  NaN3       k  NaN  NaN4       d    j    h将缺失值替换为juejin         A       B       C0       1       2       31  juejin  juejin  juejin2       a       b  juejin3       k  juejin  juejin4       d       j       h复制代码

缺失值插值

上面讲到缺失值的填充，但是在实际的数据处理过程中，对于缺失值的处理不是随便找个数据全部填充，而是有针对性的对每个局部缺失值进行插值填充。

这里选择几种常用的具有代表性的缺失值插值方法：

• 中位数/众数/平均值插值
• 临近值插值
• 拉格朗日值插值