データハンドリング 前処理

python/pandas/DataFrame/欠損値確認

投稿日:

データフレーム内の値がNoneまたはNAかどうかを確認する。

※isnullとisnaの機能は同じ。isnullはisnaの別名なのでisnaが推奨

メソッド

データの準備

PassengerIdSurvivedPclassSexAgeEmbarked
0NaN03.0male22.0S
12.011.0female38.0NaN
23.01NaNNaNNaNNaN
34.011.0female35.0S
45.003.0male35.0S

pandas.DataFrame.isna

PassengerIdSurvivedPclassSexAgeEmbarked
0TrueFalseFalseFalseFalseFalse
1FalseFalseFalseFalseFalseTrue
2FalseFalseTrueTrueTrueTrue
3FalseFalseFalseFalseFalseFalse
4FalseFalseFalseFalseFalseFalse

pandas.DataFrame.notna

PassengerIdSurvivedPclassSexAgeEmbarked
0FalseTrueTrueTrueTrueTrue
1TrueTrueTrueTrueTrueFalse
2TrueTrueFalseFalseFalseFalse
3TrueTrueTrueTrueTrueTrue
4TrueTrueTrueTrueTrueTrue

pandas.DataFrame.isnull

0TrueFalseFalseFalseFalseFalse
1FalseFalseFalseFalseFalseTrue
2FalseFalseTrueTrueTrueTrue
3FalseFalseFalseFalseFalseFalse
4FalseFalseFalseFalseFalseFalse

pandas.DataFrame.notnull

PassengerIdSurvivedPclassSexAgeEmbarked
0FalseTrueTrueTrueTrueTrue
1TrueTrueTrueTrueTrueFalse
2TrueTrueFalseFalseFalseFalse
3TrueTrueTrueTrueTrueTrue
4TrueTrueTrueTrueTrueTrue

-データハンドリング, 前処理

執筆者:


comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

関連記事

no image

kaggle:メルカリ チュートリアル(EDA探索的データ解析)

Contents1 概要説明1.1 データ探索の流れ2 ライブラリインポート3 データ読み込み4 目的変数5 送料6 アイテムカテゴリ¶7 ブランド8 アイテム説明8.1 前処理 tokenizati …

no image

タイタニック生存者予測~ランダムフォレスト~

有名なタイタニックのデータを使って、RandamForestを使って生存者を予測します。 Contents0.1 前処理について0.2 モデル選定について 0.2.1 ロジスティック回帰0.2.2 S …

no image

Pandas/DataFrame/ビニング

ビニングとは数値データを任意の幅で区切ったカテゴリ変数に変換すること。 具体的には、年齢データを年代データ( 10代、20代…)に変換するイメージ。 Contents1 データの読み込み2 …

no image

探索的データ分析 | PortoSeguro コンペ

Contents1 概要説明2 コンペの説明3 パッケージの読み込み4 データについて5 メタデータ6 記述統計6.1 間隔変数6.1.1 reg変数6.1.2 car変数6.2 calc変数6.3 …

no image

教師なし学習〜主成分分析〜

Contents1 教師なし学習1.1 不要な特徴量を消す1.2 Feature Scalingの実行1.3 疑問1.4 【課題】なぜFeature Scalingが必要なのか記述せよ1.5 PCAの …