前処理 | データ分析とかの備忘録

Pandas/DataFrame/ビニング

2019/06/16 -データハンドリング, 前処理

ビニングとは数値データを任意の幅で区切ったカテゴリ変数に変換すること。具体的には、年齢データを年代データ（ 10代、20代…）に変換するイメージ。データの読み込み [crayon-5f …

pythonのpandasを使ったデータ処理2

2019/06/16 -データハンドリング, 前処理

pythonのpandasを使ったデータ処理1からの続き。データは有名なタイタニックデータを使います。データはこちらkaggleコンペページのリンクです。左上の「data」からデータをダウンロー …

毒キノコの判定〜SVM〜

2019/05/26 -データハンドリング, 前処理, 可視化, 機械学習

SVMとはクラス間のマージンを最大化するように境界線を引く手法。クラス分類や場合によっては回帰にも使うことができる。利点：高次元でも識別性能が良い利点：最適化すべきパラメータが少ない欠点：特徴 …

ボストン住宅価格〜決定木〜

2019/05/26 -コンペチュートリアル, データハンドリング, 前処理, 可視化, 機械学習

線形回帰とは線形回帰複数の変数における相関関係を直線モデルによって説明する分析手法。具体的に言うと？ボストンの住宅価格を、住宅の立地や間取り、築年数などから予測するモデルを作ること分類と何か違う …

教師なし学習〜主成分分析〜

2019/05/26 -データハンドリング, 前処理, 可視化, 機械学習

教師なし学習教師あり学習との比較正解ががあらかじめ決まっていないという点で、教師あり学習と異なる。教師なし学習は、データの背後に存在する本質的な構造を抽出するために用いられる。どんなときに使うの …

教師なし学習　クラスタリング

2019/05/26 -データハンドリング, 前処理, 可視化, 機械学習


import pandas as pd from sklearn.datasets 
import make_blobs 

X, y = make_blobs(n_samples=100, n_features=20, centers=15,
 cluster_std=2.0, shuffle=True, random_state=0) 

variables = ['辛さ','重厚','スパイシー','果実味','コク','酸味','落ち着き','香り','華やか','ジューシー','熟成','透明感','シャープ','力強い','フレッシュ','渋み','苦味','樽','エキゾチック','粘性'] 

name = list(map(str,[i for i in range(100)])) df = pd.DataFrame(X, columns=variables, index=name)

1

2

3

4

5

6

7

8

9

10

11

import pandas as pd from sklearn.datasets

import make_blobs

X, y = make_blobs(n_samples=100, n_features=20, centers=15,

cluster_std=2.0, shuffle=True, random_state=0)

variables = ['辛さ','重厚','スパイシー','果実味','コク','酸味','落ち着き','香り','華やか','ジューシー','熟成','透明感','シャープ','力強い','フレッシュ','渋み','苦味','樽','エキゾチック','粘性']

name = list(map(str,[i for i in range(100)])) df = pd.DataFrame(X, columns=variables, index=name)


#データの概要を表示 
df.describe()

1

2

3

4

#データの概要を表示

df.describe()

辛さ重厚スパイシー果実味コク酸味落ち着き香り華や …

タイタニック生存者予測～ランダムフォレスト～

2019/05/26 -データハンドリング, 前処理, 可視化, 機械学習

有名なタイタニックのデータを使って、RandamForestを使って生存者を予測します。前処理について前処理とはデータ分析に適したデータセットの作成を目的とした生データの加工処理のこと前処理の必要 …

Pandas/DataFrame/データ抽出

2019/05/26 -データハンドリング, 前処理

分析をするにあたって、最初に必要になるpandas/DataFrameのデータ抽出について記載しています。メソッド pandas.DataFrame.locpandas.DataFrame.iloc …

「 前処理 」 一覧

「前処理」一覧