最近读了这篇paper:

Deep Multi-instance Networks with Sparse Label Assignment for Whole Mammogram Classification(Wentao Zhu, Qi Lou, Yeeleng Scott Vang, and Xiaohui Xie)

因为手上的数据标签非常粗糙,质量低下,所以想要借鉴一下在医学图像数据里面的处理方法.之后还会整理关于弱监督的一些文章.

文中提到医学数据的学习和训练存在的问题, 由于问题是数据驱动的, 而整个数据依赖于经验丰富的专家或者病理结果等的金标准,所以数据的处理和获得都需要耗费人力物力.
而这篇paper受深度神经网络和多实例学习的方法所启发,利用多实例学习与深度神经网络的结合来提高INbrest乳腺X光数据集上的分类和检测的鲁棒性.

• 参考文献
  Generative Adversarial Nets

概述

2014年Goodfellow的论文中提出了GAN的架构，这是一种通过“对抗”来生成的模型，在学习完以后总觉得似懂非懂，打算通过整理的方式来加深理解。

在机器学习领域，深度的生成模型的训练非常麻烦，并且很难评估。GAN就通过一个生成网络G和另一个辨别网络D的对抗训练来完善整个生成模型，利用对抗样本来减少过拟合，并且能够定性、定量的评估一个生成网络。

相关资料

因为论文中第二节提到了DBMs和RBMs，刚好对这一块不太熟悉，于是整理了一下《Deep Learning》一书中的第20章的内容。已经熟悉这部分或者不感兴趣的话，跳过这一部分，对后面没有太大影响。这一小节简要介绍了几个生成模型，但并未详细论述模型的训练方式和论证过程。

深度学习所需数学知识整理

其实只是因为自己忘完了，然后把自己忘掉的写成了笔记

1. 线性代数：标量、向量、矩阵和张量
   张量（Tensor）坐标超过两维的数组

2. 矩阵和向量相乘
   A(B+C)=AB+AC 分配律
   A(BC)=(AB)C 结合律
   transepose(AB)=transepose(B)transepose(A)

3. 单位矩阵和逆矩阵
   矩阵求逆的时间代价很大，我上一篇blog中提到过

4. 线性相关和生成子空间
   若矩阵A的逆存在，那么Ax=b对于每一个向量b恰好存在一个解，但是对于方程组而言，b中某些有可能无解，或者存在无限多个解。
   所以一组向量的线性组合，是指每个向量乘以对应标量系数的和。
   一组向量的生成子空间，是原始向量线性组合后能达到的点的集合。

5. 范数
   用于衡量向量的大小。

6. 特殊类型的矩阵和向量
   对角矩阵、对称矩阵 、正交矩阵（矩阵的转置 = 矩阵的逆 的一个方阵）

7. 特征分解
   特征分解则是将一个矩阵分解成一组特征向量和特征值。方阵A的特征向量 v 指的是：Av = λv，λ就是特征值。

8. 奇异值分解

9. Moore-Penrose 伪逆
   如果对A求逆的时候，A的行数大于列数，则可能 Ax=y –> x=By 无解，若A的行数小于列数，则可能有无数多个解
   对A进行奇异值分解得到U,D,V
   A的伪逆 = VD的伪逆U的转置

10. 迹运算
    返回的是矩阵对角元素的和。

11. 行列式

12. 主成分分析

信息论基础

参考《统计自然语言处理技术》

20世纪40年代，Claude Shannon提出的理论，对于任何类型的信息源和信息通道，香浓希望在理论上能给出数据压缩率（熵H，或称为柯尔莫戈罗夫复杂度K）和数据传输率的最高值。
香农证明了只要数据传输速率低于信道容量C，即可获得我们期望的任意错误率。

1. 熵（Entropy）

   表示单个随机变量的不确定性的均值，随机变量的熵越大，它的不确定性越大，越不容易正确的估计其值的概率。

   H(p) = H(x) = -Sigma(p(x)log2p(x))

数值计算

机器学习知识整理

前两天在替人写作的时候遇到了一些matlab问题，整理在博客中，涉及到一些计算方法。

生成三角矩阵

以3*3的三角矩阵为例：

1
2

tril(ones(3,3),0)   %下三角矩阵
triu(ones(3,3),0)   %上三角矩阵

但是当矩阵很大时，会出现以下问题：

1
2
3
4

>> n=10^6
n =  1000000
>> triu(ones(n,n),0)
error: out of memory or dimension too large for Octave's index type

我是在octave上写的，在matlab中报错信息可能不同。但我在公式中所要计算的其实是这个下三角矩阵的逆，直接求出矩阵的逆就可以了，所以就利用了matlab中的稀疏矩阵。