离线博客

Err:Out of serverce...


  • Startseite

  • Über

  • Tags

  • Kategorien

  • Archiv

  • Schedule

Deep Multi-instance Networks with Sparse Label Assignment

Veröffentlicht am 2018-09-17 | Edited on 2018-09-19 | in DL . paper

最近读了这篇paper:

Deep Multi-instance Networks with Sparse Label Assignment for Whole Mammogram Classification(Wentao Zhu, Qi Lou, Yeeleng Scott Vang, and Xiaohui Xie)

因为手上的数据标签非常粗糙,质量低下,所以想要借鉴一下在医学图像数据里面的处理方法.之后还会整理关于弱监督的一些文章.

文中提到医学数据的学习和训练存在的问题, 由于问题是数据驱动的, 而整个数据依赖于经验丰富的专家或者病理结果等的金标准,所以数据的处理和获得都需要耗费人力物力.
而这篇paper受深度神经网络和多实例学习的方法所启发,利用多实例学习与深度神经网络的结合来提高INbrest乳腺X光数据集上的分类和检测的鲁棒性.

Weiterlesen »

Deep Learning - 生成对抗网络GAN

Veröffentlicht am 2017-11-04 | Edited on 2017-11-16 | in 深度学习
  • 参考文献
    Generative Adversarial Nets

概述

2014年Goodfellow的论文中提出了GAN的架构,这是一种通过“对抗”来生成的模型,在学习完以后总觉得似懂非懂,打算通过整理的方式来加深理解。

在机器学习领域,深度的生成模型的训练非常麻烦,并且很难评估。GAN就通过一个生成网络G和另一个辨别网络D的对抗训练来完善整个生成模型,利用对抗样本来减少过拟合,并且能够定性、定量的评估一个生成网络。

相关资料

因为论文中第二节提到了DBMs和RBMs,刚好对这一块不太熟悉,于是整理了一下《Deep Learning》一书中的第20章的内容。已经熟悉这部分或者不感兴趣的话,跳过这一部分,对后面没有太大影响。这一小节简要介绍了几个生成模型,但并未详细论述模型的训练方式和论证过程。

Weiterlesen »

Deep Learning - 基础知识

Veröffentlicht am 2017-11-04 | in 深度学习

深度学习所需数学知识整理

其实只是因为自己忘完了,然后把自己忘掉的写成了笔记

  1. 线性代数:标量、向量、矩阵和张量
    张量(Tensor)坐标超过两维的数组

  2. 矩阵和向量相乘
    A(B+C)=AB+AC 分配律
    A(BC)=(AB)C 结合律
    transepose(AB)=transepose(B)transepose(A)

  3. 单位矩阵和逆矩阵
    矩阵求逆的时间代价很大,我上一篇blog中提到过

  4. 线性相关和生成子空间
    若矩阵A的逆存在,那么Ax=b对于每一个向量b恰好存在一个解,但是对于方程组而言,b中某些有可能无解,或者存在无限多个解。
    所以一组向量的线性组合,是指每个向量乘以对应标量系数的和。
    一组向量的生成子空间,是原始向量线性组合后能达到的点的集合。

  5. 范数
    用于衡量向量的大小。

  6. 特殊类型的矩阵和向量
    对角矩阵、对称矩阵 、正交矩阵(矩阵的转置 = 矩阵的逆 的一个方阵)

  7. 特征分解
    特征分解则是将一个矩阵分解成一组特征向量和特征值。方阵A的特征向量 v 指的是:Av = λv,λ就是特征值。

  8. 奇异值分解

  9. Moore-Penrose 伪逆
    如果对A求逆的时候,A的行数大于列数,则可能 Ax=y –> x=By 无解,若A的行数小于列数,则可能有无数多个解
    对A进行奇异值分解得到U,D,V
    A的伪逆 = VD的伪逆U的转置

  10. 迹运算
    返回的是矩阵对角元素的和。

  11. 行列式

  12. 主成分分析

信息论基础

参考《统计自然语言处理技术》

20世纪40年代,Claude Shannon提出的理论,对于任何类型的信息源和信息通道,香浓希望在理论上能给出数据压缩率(熵H,或称为柯尔莫戈罗夫复杂度K)和数据传输率的最高值。
香农证明了只要数据传输速率低于信道容量C,即可获得我们期望的任意错误率。

  1. 熵(Entropy)

    表示单个随机变量的不确定性的均值,随机变量的熵越大,它的不确定性越大,越不容易正确的估计其值的概率。

    H(p) = H(x) = -Sigma(p(x)log2p(x))

数值计算

机器学习知识整理

Weiterlesen »

Matlab问题整理

Veröffentlicht am 2017-11-01 | Edited on 2018-09-19 | in Math

前两天在替人写作的时候遇到了一些matlab问题,整理在博客中,涉及到一些计算方法。

生成三角矩阵

以3*3的三角矩阵为例:

1
2
tril(ones(3,3),0)   %下三角矩阵
triu(ones(3,3),0) %上三角矩阵

但是当矩阵很大时,会出现以下问题:

1
2
3
4
>> n=10^6
n = 1000000
>> triu(ones(n,n),0)
error: out of memory or dimension too large for Octave's index type

我是在octave上写的,在matlab中报错信息可能不同。但我在公式中所要计算的其实是这个下三角矩阵的逆,直接求出矩阵的逆就可以了,所以就利用了matlab中的稀疏矩阵。

Weiterlesen »

Camixxx

日常学习……

4 Artikel
4 Kategorien
7 Tags
© 2018 Camixxx
Erstellt mit Hexo v3.7.1
|
Theme – NexT.Pisces v6.4.1