- Coursera Machine Learning Week1を受けた & メモ - $shibayu36->blog;
- Coursera Machine Learning Week2の学習 - $shibayu36->blog;
に引き続き、Coursera Machine Learning Week3を受講した。
Week3の講義を受けると次のことを学ぶことができた。
以下講義を受けながら書いたメモを置いておく。
Classification and Representation
Classification
- 線形回帰を分類問題に単純に適用してみるとうまく分類できない
- ロジスティック回帰という手法を使うことで、分類問題を解くことができる
Hypothesis Representation
- ロジスティック回帰で、あるxが与えられた時y=1となる確率を求める
- ロジスティック回帰の予測関数は次のとおり
Decision Boundary
- ロジスティック回帰によって、決定境界を見つけるというイメージ
- 決定境界を決めるような
を得られたら、あとは
を計算することで、yの値を決めることができる
Logistic Regression Model
Cost Function
- 線形回帰と同一のcost functionを利用してしまうと、局所最適が多数できるような形になり、最急降下法が利用できない
- 代わりに次のようなcost functionを利用する
Simplified Cost Function and Gradient Descent
ロジスティック回帰のcost functionを1行に圧縮すると
]
となり、それをベクター化すると
となる。
Advanced Optimization
- 正直あまり理解が進まなかったので、気が向いたらもう一回見る
Solving the Problem of Overfitting
The Problem of Overfitting
- Modelのfeatureが少なすぎてうまく線形回帰問題や分類問題を解けない時、underfitting(high bias)と呼ぶ
- 逆にfeatureが多すぎて、学習として与えたものにはフィットするが、予測に使えないModelになってしまったものをoverfitting(high variance)という
- 対策としては
- 1. featureを減らす
- 手動で減らす <- 選択が難しいことが多い
- model selection algorithmを利用する
- 2. 正則化を行う
- 特定のパラメータの重みを減らす(?)
- 1. featureを減らす