機械学習 | データ分析とかの備忘録

2019/07/30 -機械学習

回帰問題用に重回帰、ラッソ回帰、リッジ回帰、SVM、ランダムフォレストの5つの手法及び各手法のハイパーパラメータを最適化するランダムサーチ、グリッドサーチのサンプルスクリプトです。データセット作成 …

2019/06/20 -データハンドリング, 前処理, 可視化, 機械学習, 統計解析

多変量に対して各変数の関係性を可視化するのに役立ちます。データ取得必要なモジュールのインポート


import matplotlib.pyplot as plt
from sklearn.datasets import load_boston
import pandas as pd

from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression

%matplotlib inline

1

2

3

4

5

6

7

8

9

10

import matplotlib.pyplot as plt

from sklearn.datasets import load_boston

import pandas as pd

from sklearn.model_selection import train_test_split

from sklearn.linear_model import LinearRegression

%matplotlib inline

データのロード [crayon-5 …

python/sklearn/単回帰(LinearRegression)

2019/06/19 -可視化, 機械学習, 統計解析

２次元のデータに対して単回帰分析を行う。データ取得必要なモジュールのインポート


import matplotlib.pyplot as plt
from sklearn.datasets import load_boston
import pandas as pd

from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression

%matplotlib inline

1

2

3

4

5

6

7

8

9

10

import matplotlib.pyplot as plt

from sklearn.datasets import load_boston

import pandas as pd

from sklearn.model_selection import train_test_split

from sklearn.linear_model import LinearRegression

%matplotlib inline

データのロード [crayon-5f90f3dd7 …

毒キノコの判定〜SVM〜

2019/05/26 -データハンドリング, 前処理, 可視化, 機械学習

SVMとはクラス間のマージンを最大化するように境界線を引く手法。クラス分類や場合によっては回帰にも使うことができる。利点：高次元でも識別性能が良い利点：最適化すべきパラメータが少ない欠点：特徴 …

ボストン住宅価格〜決定木〜

2019/05/26 -コンペチュートリアル, データハンドリング, 前処理, 可視化, 機械学習

線形回帰とは線形回帰複数の変数における相関関係を直線モデルによって説明する分析手法。具体的に言うと？ボストンの住宅価格を、住宅の立地や間取り、築年数などから予測するモデルを作ること分類と何か違う …

教師なし学習〜主成分分析〜

2019/05/26 -データハンドリング, 前処理, 可視化, 機械学習

教師なし学習教師あり学習との比較正解ががあらかじめ決まっていないという点で、教師あり学習と異なる。教師なし学習は、データの背後に存在する本質的な構造を抽出するために用いられる。どんなときに使うの …

教師なし学習　クラスタリング

2019/05/26 -データハンドリング, 前処理, 可視化, 機械学習


import pandas as pd from sklearn.datasets 
import make_blobs 

X, y = make_blobs(n_samples=100, n_features=20, centers=15,
 cluster_std=2.0, shuffle=True, random_state=0) 

variables = ['辛さ','重厚','スパイシー','果実味','コク','酸味','落ち着き','香り','華やか','ジューシー','熟成','透明感','シャープ','力強い','フレッシュ','渋み','苦味','樽','エキゾチック','粘性'] 

name = list(map(str,[i for i in range(100)])) df = pd.DataFrame(X, columns=variables, index=name)

1

2

3

4

5

6

7

8

9

10

11

import pandas as pd from sklearn.datasets

import make_blobs

X, y = make_blobs(n_samples=100, n_features=20, centers=15,

cluster_std=2.0, shuffle=True, random_state=0)

variables = ['辛さ','重厚','スパイシー','果実味','コク','酸味','落ち着き','香り','華やか','ジューシー','熟成','透明感','シャープ','力強い','フレッシュ','渋み','苦味','樽','エキゾチック','粘性']

name = list(map(str,[i for i in range(100)])) df = pd.DataFrame(X, columns=variables, index=name)


#データの概要を表示 
df.describe()

1

2

3

4

#データの概要を表示

df.describe()

辛さ重厚スパイシー果実味コク酸味落ち着き香り華や …

タイタニック生存者予測～ランダムフォレスト～

2019/05/26 -データハンドリング, 前処理, 可視化, 機械学習

有名なタイタニックのデータを使って、RandamForestを使って生存者を予測します。前処理について前処理とはデータ分析に適したデータセットの作成を目的とした生データの加工処理のこと前処理の必要 …

「 機械学習 」 一覧

「機械学習」一覧