it-roy-ru.com

Как подсчитать значения NaN в столбце в pandas DataFrame

У меня есть данные, в которых я хочу найти номер NaN, так что, если он меньше некоторого порогового значения, я пропущу эти столбцы. Я посмотрел, но не смог найти никакой функции для этого. есть value_counts , но это будет медленным для меня, потому что большинство значений различны, и я хочу только подсчет NaN.

318
user3799307

Вы можете использовать метод isna() (или его псевдоним isnull(), который также совместим со старыми версиями pandas <0.21.0) и затем суммировать для подсчета значений NaN. Для одного столбца:

In [1]: s = pd.Series([1,2,3, np.nan, np.nan])

In [4]: s.isna().sum()   # or s.isnull().sum() for older pandas versions
Out[4]: 2

Для нескольких столбцов это также работает:

In [5]: df = pd.DataFrame({'a':[1,2,np.nan], 'b':[np.nan,1,np.nan]})

In [6]: df.isna().sum()
Out[6]:
a    1
b    2
dtype: int64
501
joris

Вы можете вычесть общую длину из значений count non-nan:

count_nan = len(df) - df.count()

Вы должны рассчитать время на ваших данных. Для малых серий скорость возросла в 3 раза по сравнению с решением isnull.

64
elyase

Предположим, что df является панелью данных.

Затем, 

    df.isnull().sum(axis = 0)

Это даст количество значений NaN в каждом столбце. 

Если вам нужно, значения NaN в каждой строке, 

    df.isnull().sum(axis = 1)
35
rAmAnA

Основываясь на ответе с наибольшим количеством голосов, мы можем легко определить функцию, которая дает нам информационный кадр для предварительного просмотра пропущенных значений и% пропущенных значений в каждом столбце:

def missing_values_table(df):
        mis_val = df.isnull().sum()
        mis_val_percent = 100 * df.isnull().sum() / len(df)
        mis_val_table = pd.concat([mis_val, mis_val_percent], axis=1)
        mis_val_table_ren_columns = mis_val_table.rename(
        columns = {0 : 'Missing Values', 1 : '% of Total Values'})
        mis_val_table_ren_columns = mis_val_table_ren_columns[
            mis_val_table_ren_columns.iloc[:,1] != 0].sort_values(
        '% of Total Values', ascending=False).round(1)
        print ("Your selected dataframe has " + str(df.shape[1]) + " columns.\n"      
            "There are " + str(mis_val_table_ren_columns.shape[0]) +
              " columns that have missing values.")
        return mis_val_table_ren_columns
31
Nikos Tavoularis

Начиная с панд 0.14.1 мое предложение здесь было реализовано в качестве ключевого аргумента в методе value_counts:

import pandas as pd
df = pd.DataFrame({'a':[1,2,np.nan], 'b':[np.nan,1,np.nan]})
for col in df:
    print df[col].value_counts(dropna=False)

2     1
 1     1
NaN    1
dtype: int64
NaN    2
 1     1
dtype: int64
29
K.-Michael Aye

если его просто считать значения нан в столбце панд здесь это быстрый способ

import pandas as pd
## df1 as an example data frame 
## col1 name of column for which you want to calculate the nan values
sum(pd.isnull(df1['col1']))
15
sushmit

если вы используете ноутбук Jupyter, как насчет ....

 %%timeit
 df.isnull().any().any()

или же

 %timeit 
 df.isnull().values.sum()

или есть где-нибудь NaNs в данных, если да, то где?

 df.isnull().any()
15
Manoj Kumar

Вы можете использовать метод value_counts и вывести значения np.nan

s.value_counts(dropna = False)[np.nan]
5
Itachi
dataset.isnull().sum()

это будет работать!

4
Nikhila Munipalli
df1.isnull().sum()

Это сделает свое дело.

2
Naveen Bharadwaj

В июле 2017 года есть статья в Nice Dzone, в которой подробно описываются различные способы суммирования значений NaN. Проверьте это здесь .

Статья, которую я привел, предоставляет дополнительную ценность: (1) показывает способ подсчета и отображения количества NaN для каждого столбца, чтобы можно было легко решить, следует ли отбрасывать эти столбцы, и (2) продемонстрировать способ выбора этих строк в конкретные, которые имеют NaN, так что они могут быть выборочно отброшены или вменены.

Вот быстрый пример, демонстрирующий полезность этого подхода - с несколькими столбцами, возможно, его полезность неочевидна, но я обнаружил, что он полезен для больших фреймов данных.

import pandas as pd
import numpy as np

# example DataFrame
df = pd.DataFrame({'a':[1,2,np.nan], 'b':[np.nan,1,np.nan]})

# Check whether there are null values in columns
null_columns = df.columns[df.isnull().any()]
print(df[null_columns].isnull().sum())

# One can follow along further per the cited article
2
avg

Еще один простой вариант, который еще не предложен - просто подсчитать NaN, - это добавить в форму, чтобы вернуть количество строк с NaN.

df[df['col_name'].isnull()]['col_name'].shape
1
SlipperyD

Вот код для подсчета столбцов значений Null:

df.isna().sum()
1
Sanket

основанный на ответе, который был дан и некоторые улучшения, это мой подход 

def PercentageMissin(Dataset):
    """this function will return the percentage of missing values in a dataset """
    if isinstance(Dataset,pd.DataFrame):
        adict={} #a dictionary conatin keys columns names and values percentage of missin value in the columns
        for col in Dataset.columns:
            adict[col]=(np.count_nonzero(Dataset[col].isnull())*100)/len(Dataset[col])
        return pd.DataFrame(adict,index=['% of missing'],columns=adict.keys())
    else:
        raise TypeError("can only be used with panda dataframe")
1
Espoir Murhabazi

В случае, если вам нужно получить количество не-NA (не None) и NA (None) в разных группах, извлеченных группой:

gdf = df.groupby(['ColumnToGroupBy'])

def countna(x):
    return (x.isna()).sum()

gdf.agg(['count', countna, 'size'])

Это возвращает количество не-NA, NA и общее количество записей на группу.

1
aysa
import numpy as np
import pandas as pd

raw_data = {'first_name': ['Jason', np.nan, 'Tina', 'Jake', 'Amy'], 
        'last_name': ['Miller', np.nan, np.nan, 'Milner', 'Cooze'], 
        'age': [22, np.nan, 23, 24, 25], 
        'sex': ['m', np.nan, 'f', 'm', 'f'], 
        'Test1_Score': [4, np.nan, 0, 0, 0],
        'Test2_Score': [25, np.nan, np.nan, 0, 0]}
results = pd.DataFrame(raw_data, columns = ['first_name', 'last_name', 'age', 'sex', 'Test1_Score', 'Test2_Score'])


results 

  first_name last_name   age  sex  Test1_Score  Test2_Score
0      Jason    Miller  22.0    m          4.0         25.0
1        NaN       NaN   NaN  NaN          NaN          NaN
2       Tina       NaN  23.0    f          0.0          NaN
3       Jake    Milner  24.0    m          0.0          0.0
4        Amy     Cooze  25.0    f          0.0          0.0

Вы можете использовать следующую функцию, которая даст вам вывод в Dataframe

  • Нулевые значения
  • Недостающие ценности
  • % от общей стоимости
  • Всего нулевых пропущенных значений
  • % Нулевых пропущенных значений
  • Тип данных

Просто скопируйте и вставьте следующую функцию и вызовите ее, передав ваш панду Dataframe

def missing_zero_values_table(df):
        zero_val = (df == 0.00).astype(int).sum(axis=0)
        mis_val = df.isnull().sum()
        mis_val_percent = 100 * df.isnull().sum() / len(df)
        mz_table = pd.concat([zero_val, mis_val, mis_val_percent], axis=1)
        mz_table = mz_table.rename(
        columns = {0 : 'Zero Values', 1 : 'Missing Values', 2 : '% of Total Values'})
        mz_table['Total Zero Missing Values'] = mz_table['Zero Values'] + mz_table['Missing Values']
        mz_table['% Total Zero Missing Values'] = 100 * mz_table['Total Zero Missing Values'] / len(df)
        mz_table['Data Type'] = df.dtypes
        mz_table = mz_table[
            mz_table.iloc[:,1] != 0].sort_values(
        '% of Total Values', ascending=False).round(1)
        print ("Your selected dataframe has " + str(df.shape[1]) + " columns and " + str(df.shape[0]) + " Rows.\n"      
            "There are " + str(mz_table.shape[0]) +
              " columns that have missing values.")
#         mz_table.to_Excel('D:/sampledata/missing_and_zero_values.xlsx', freeze_panes=(1,0), index = False)
        return mz_table

missing_zero_values_table(results)

Результат

Your selected dataframe has 6 columns and 5 Rows.
There are 6 columns that have missing values.

             Zero Values  Missing Values  % of Total Values  Total Zero Missing Values  % Total Zero Missing Values Data Type
last_name              0               2               40.0                          2                         40.0    object
Test2_Score            2               2               40.0                          4                         80.0   float64
first_name             0               1               20.0                          1                         20.0    object
age                    0               1               20.0                          1                         20.0   float64
sex                    0               1               20.0                          1                         20.0    object
Test1_Score            3               1               20.0                          4                         80.0   float64

Если вы хотите сохранить простоту, вы можете использовать следующую функцию, чтобы получить пропущенные значения в%

def missing(dff):
    print (round((dff.isnull().sum() * 100/ len(dff)),2).sort_values(ascending=False))


missing(results)

Test2_Score    40.0
last_name      40.0
Test1_Score    20.0
sex            20.0
age            20.0
first_name     20.0
dtype: float64
1
Suhas_Pote

Предположим, вы хотите получить количество пропущенных значений (NaN) в столбце (серии), известном как цена, в кадре данных, называемом обзорами.

#import the dataframe
import pandas as pd

reviews = pd.read_csv("../input/wine-reviews/winemag-data-130k-v2.csv", index_col=0)

Чтобы получить пропущенные значения с переменной n_missing_prices, просто выполните

n_missing_prices = sum(reviews.price.isnull())
print(n_missing_prices)

сумма является ключевым методом здесь, пытался использовать счетчик, прежде чем я понял, сумма является правильным методом для использования в этом контексте

0
John R
import pandas as pd
import numpy as np

# example DataFrame
df = pd.DataFrame({'a':[1,2,np.nan], 'b':[np.nan,1,np.nan]})

# count the NaNs in a column
num_nan_a = df.loc[ (pd.isna(df['a'])) , 'a' ].shape[0]
num_nan_b = df.loc[ (pd.isna(df['b'])) , 'b' ].shape[0]

# summarize the num_nan_b
print(df)
print(' ')
print(f"There are {num_nan_a} NaNs in column a")
print(f"There are {num_nan_b} NaNs in column b")

Дает в качестве вывода:

     a    b
0  1.0  NaN
1  2.0  1.0
2  NaN  NaN

There are 1 NaNs in column a
There are 2 NaNs in column b
0
Arjaan Buijk

Использовал решение, предложенное @sushmit в моем коде. 

Возможное изменение того же самого также может быть

colNullCnt = []
for z in range(len(df1.cols)):
    colNullCnt.append([df1.cols[z], sum(pd.isnull(trainPd[df1.cols[z]]))])

Преимущество этого состоит в том, что он возвращает результат для каждого из столбцов в df впредь.

0
vsdaking

https://pandas.pydata.org/pandas-docs/stable/generated/pandas.Series.count.html#pandas.Series.count

pandas.Series.count Series.count (level = None) [source] Возвращает количество ненулевых/нулевых наблюдений в серии

0
sivi