简介

对于一个简单的二分类问题，利用输入向量x预测y为正样本或负样本，学习参数为

就分类任务而言, 直接学习(直接学习输入空间到输出标签的映射), 就是判别模型.

而生成模型试图为输入建模, 训练完成后, 运用贝叶斯规则乘上先验转化为后验使用.

频率学派通过给定的参数为可能性建模，贝叶斯学派为数据和参数建立联合概率分布，通过链式法则，需要在似然函数前乘上先验概率。
生成模型可以用来预测输入和预测出现的概率，然而判别模型仅仅给出在输入条件下y属于正负样本的概率

常用模型分类：

• 生成式：
  Gaussians, Naive Bayes, Mixtures of multinomials高斯、朴素贝叶斯、混合指数
  Mixtures of Gaussians, Mixtures of experts, HMMs 混合高斯、专家混合
  Sigmoidal belief networks, Bayesian networks 反曲信念网络、贝叶斯网络
  Markov random fields，EM，LDA 马尔可夫随机场、EM算法、线性判别分析（类似PCA）
• 判别式：
  logistic regressionlogistic 回归
  SVMs 支持向量机
  traditional neural networks 传统神经网络
  Nearest neighbor 最近邻算法
  Conditional random fields(CRF) 条件随机场