首页 1 2 3 4 5 6 7

深度学习：乳腺 BI-RADS classification ,co-registration ,DoG

paper:BI-RADS Classification of breast cancer:A New pre-processing pineline for deep model training

BI-RADS：7个分类 0-6
dataset：InBreast
pre-trained:Alexnet
data augmentation :base on co-registraion is suggested,multi-scale enhancement based on difference of Gaussians outperforms using by mirroing the image

input:original image or pyramid of scales or DoG

augmentation :no data augmentation or proposed method

imbalance:original proportion原始部分 or undersampling下采样

1、流程：

2、图像扩增 n->n*(n-1)

3、DoG 一通道变成三通道

4、mean basolute error 平均绝对误差

5、实验结果

balance :yes or no :original proportion原始部分 or undersampling下采样

名词解释

一、图片金字塔 pyramid of scales image

图像resize

其实非常好理解，如上图所示，我们将一层层的图像比喻为金字塔，层级越高，则图像尺寸越小，分辨率越低。

两种类型的金字塔：

高斯金字塔：用于下采样，主要的图像金字塔；
拉普拉斯金字塔：用于重建图像，也就是预测残差（我的理解是，因为小图像放大，必须插入一些像素值，那这些像素值是什么才合适呢，那就得进行根据周围像素进行预测），对图像进行最大程度的还原。比如一幅小图像重建为一幅大图像，

图像金字塔有两个高频出现的名词：上采样和下采样。现在说说他们俩。

上采样：就是图片放大（所谓上嘛，就是变大），使用PryUp函数
下采样：就是图片缩小（所谓下嘛，就是变小），使用PryDown函数

下采样将步骤：

对图像进行高斯内核卷积
将所有偶数行和列去除

下采样就是图像压缩，会丢失图像信息。

上采样步骤：

将图像在每个方向放大为原来的两倍，新增的行和列用0填充；
使用先前同样的内核（乘以4）与放大后的图像卷积，获得新增像素的近似值。

上、下采样都存在一个严重的问题，那就是图像变模糊了，因为缩放的过程中发生了信息丢失的问题。要解决这个问题，就得看拉普拉斯金字塔了。

二、co-registration:影像融合

DoG:Difference of Gaussian 角点检测

灰度图像增强和角点检测的方法，其做法较简单，证明较复杂，具体讲解如下:

Difference of Gaussian(DOG)是高斯函数的差分。可以通过将图像与高斯函数进行卷积得到一幅图像的低通滤波结果，即去噪过程，这里的Gaussian和高斯低通滤波器的高斯一样，是一个函数，即为正态分布函数。

那么difference of Gaussian 即高斯函数差分是两幅高斯图像的差，

一维表示：

二维表示：

具体到图像处理来讲，就是将两幅图像在不同参数下的高斯滤波结果相减，得到DoG图。

1. 处理一幅图像在不同参数下的DoG

A = Process(Im, 0.3, 0.4, x);  
B = Process(Im, 0.6, 0.7, x);  
a = getExtrema(A, B, C, thresh);

其中，

function [ out_img ] = Process( img, sig1, sig2, size )

是求图像DoG的结果，两个高斯平滑参数分别为sig1和sig2,结果如下：

```
A = Process(Im, 0.3, 0.4, x);  
```

B = Process(Im, 0.6, 0.7, x);

C = Process(Im, 0.7, 0.8, x);

2. 根据DOG求角点

Theory：DOG三维图中的最大值和最小值点是角点

X标记当前像素点，绿色的圈标记邻接像素点，用这个方式，最多检测26个像素点。X被标记为特征点，如果它是所有邻接像素点的最大值或最小值点。

因此在上一步计算出的A,B,C三个DOG图中求图B中是极值的点，并标记（max:1;min:-1）

a = getExtrema(A, B, C, thresh);
figure;
imshow(a, [-1 1]);

结果：

黑色为极小值，白色为极大值

最后在原图上予以显示：

就得到了一幅图的DOG角点检测结果。

三、mean basolute error 平均绝对误差

1、显著性目标检测简介
显著性目标(Salient Object)：
当我们在看一张图片时，注意力首先会落在我们所感兴趣的物体部分。比如我们看到一张画有羊吃草的图像时，我们一般会先注意草坪上的羊，而不是羊的背景，所以我们把该图中的羊就定义为图像的显著性目标。

显著性目标检测(Salient Object Detection)：
即让计算机学会跟人类一样，自动检测并提取输入图像中的显著性目标。

评价指标(Evaluation Metrics)：
显著性目标检测算法常用的评价指标有：平均绝对误差(Mean Absolute Error, MAE)，PR曲线(Precision-Recall curves)以及F度量值(F-measure)。

这些度量指标我会依次介绍并编程实现，在本篇博客中，主角是平均绝对误差(Mean Absolute Error, MAE)。

2、Mean Absolute Error(MAE) 原理
MAE就是直接计算模型输出的显著性图谱与Ground-truth 之间的平均绝对误差，首先将两者进行二值化，然后用下面的公式进行计算 [1]。