【图像处理笔记】图像分割之形态学分水岭
0 引言
迄今为止，我们讨论了基于三个主要概念的分割：边缘检测、阈值处理和区域提取。每种方法都有优点[例如全局阈值处理具有速度优势]和缺点[例如在基于边缘的分割中，需要进行后处理(如边缘连接)]。本节讨论的基于形态学分水岭概念的方法。分水岭分割体现了其他三种方法的许多概念，因此往往会产生更稳定的分割结果，包括连通的分割边界。
1 原理
分水岭方法是一种基于拓扑理论的数学形态学的分割方法，基本思想是把图像看作测地学上的拓扑地貌，将像素点的灰度值视为海拔高度，整个图像就像一张高低起伏的地形图。每个局部极小值及其影响区域称为集水盆，集水盆的边界则形成分水岭。算法的实现过程可以理解为洪水淹没的过程：最低点首先被淹没，然后水逐渐淹没整个山谷；水位升高到一定高度就会溢出，于是在溢出位置修建堤坝；不断提高水位，重复上述过程，直到所有的点全部被淹没；所建立的一系列堤坝就成为分隔各个盆地的分水岭。
分水岭的计算过程是一个迭代标注过程，通过寻找集水盆和分水岭对图像进行分割。经典的分水岭算法分为排序过程和淹没过程两个步骤，首先对每个像素的灰度级从低到高排序，然后在从低到高的淹没过程中，对每一个局部极小值在 h 阶高度的影响域进行判断及标注。
2 cv::watershed的使用
2.1 相关函数
OpenCV提供了函数watershed实现基于标记的分水岭算法。输入图像一般是原图，或者梯度图，由于噪声和梯度的局部不规则性会导致过度分割，控制过度分割的一种方法依据是标记。标记图像为CV_32S 类型，我们预先把一些区域标注好，图像中每个非零像素代表一个标签。对图像中部分像素做标记，表明它的所属区域是已知的。这些标注了的区域称之为种子点。watershed 算法会把这些标记的区域慢慢膨胀填充整个图像。
void watershed( InputArray image, // 输入8位3通道图像。 InputOutputArray markers //输入/输出标记的 32 位单通道图像（地图）。 与 image 具有相同的大小。 );
OpenCV中，函数distanceTransform()用于计算图像中每一个非零点像素与其最近的零点像素之间的距离，输出的是保存每一个非零点与最近零点的距离信息。图像上越亮的点，代表了离零点的距离越远。可以根据距离变换的这个性质，经过简单的运算，用于细化字符的轮廓和查找物体质心（中心）。
void distanceTransform( InputArray src, //输入图像，8-bit 单通道灰度图像 OutputArray dst, //保存了每一个点与最近的零点的距离信息，点越亮离零点越远。 int distanceType,//距离的类型 int maskSize, //距离变换遮罩的大小，通常取 3, 5 int dstType=CV_32F); //输出图像类型
2.2 标记的生成
标记由3部分组成：确定前景、确定背景和未知区域。分为两步：
（1）通过 阈值分割+形态学【例1】，距离变换【例2】，鼠标交互等方法得到这三个区域。
（2）通过 connectedComponents【例1】或 drawContours【例2】标记区域，其中未知区域用0标记，其他区域用大于0的整数标记。
例1 阈值分割+形态学得到三区域→connectedComponents标记区域→分水岭
#include#include using namespace cv; using namespace std; int main() { Mat src; Mat img = imread("./16.tif"); cvtColor(img, src, COLOR_BGR2GRAY); imshow("src", src); // 阈值处理 Mat thresh; threshold(src, thresh, 0, 255, THRESH_OTSU);
// 生成确定背景区域 Mat background; Mat ele = getStructuringElement(MORPH_RECT, Size(3, 3)); dilate(thresh, background, ele, cv::Point(-1, -1), 2); bitwise_not(background, background); // 生成确定前景区域，并利用连通区域标记 Mat foreground; morphologyEx(thresh, foreground, MORPH_OPEN, ele, cv::Point(-1, -1), 2); int n = connectedComponents(foreground, foreground, 8, CV_32S);// 此时确定前景大于0，其余为0 // 生成标记图 Mat markers = foreground; markers.setTo(255, background);// 将确定背景设为255，其余为0的不动，即为unkown Mat markers8u; markers.convertTo(markers8u, CV_8U, 10);//灰度值*10使得差异变得明显 imshow("Markers（输入）", markers8u); // 分水岭算法标注目标的轮廓 watershed(img, markers);// 轮廓由-1表示 markers.convertTo(markers8u, CV_8U, 10);//灰度值*10使得差异变得明显 imshow("Markers（输出）", markers8u); // 后处理（颜色填充） Mat mark; markers.convertTo(mark, CV_8U);//转换后-1变成0 bitwise_not(mark, mark); vectorcolors; for (size_t i = 0; i (i, j); if (index > 0 && index (n)) dst.at (i, j) = colors[index - 1]; } } imshow("dst", dst); waitKey(0); return 0; }
例2 梯度+距离变换得到三区域→drawContours标记区域→分水岭
分水岭分割的主要应用之一是，从背景中提取出接近一致的（团状）目标。由变化较小的灰度表征区域有较小的梯度之。因此，在实践中，我们常常看到分水岭分割应用到梯度图像，而不是应用到图像本身。在这一表述中，汇水盆地的区域极小值与对应感兴趣目标的梯度的极小值密切相关。
#includeusing namespace cv; using namespace std; int main() { Mat src_bgr = imread("./18.png"); imshow("src", src_bgr); Mat mask, src_gray; cvtColor(src_bgr, src_gray, COLOR_BGR2GRAY); // 1.梯度+距离变换得到前景区域 Mat blurImg; blur(src_gray, blurImg, Size(7, 7)); Mat gx, gy, gxy; Sobel(blurImg, gx, CV_16S, 1, 0, 3); Sobel(blurImg, gy, CV_16S, 0, 1, 3); convertScaleAbs(gx, gx); convertScaleAbs(gy, gy); gxy = gx + gy; Mat binImg; threshold(gxy, binImg, 110, 255, THRESH_BINARY); Mat ele = getStructuringElement(MORPH_RECT, Size(3, 3)); morphologyEx(binImg, binImg, MORPH_OPEN, ele); morphologyEx(binImg, binImg, MORPH_CLOSE, ele); floodFill(binImg, Point(0, 0), Scalar(255)); bitwise_not(binImg, binImg); Mat dist, binImg1; distanceTransform(binImg, dist, DIST_L2, 3); normalize(dist, dist, 0, 1.0, NORM_MINMAX); imshow("dist", dist); threshold(dist, binImg1, 0.4, 1.0, THRESH_BINARY); binImg1.convertTo(binImg1, CV_8U, 255); imshow("binImg1", binImg1); // 2.确定背景区域 Mat markers = Mat::zeros(binImg1.size(), CV_32S); circle(markers, Point(5, 5), 3, Scalar(255), -1); inRange(src_gray, Scalar(0), Scalar(15), mask); // 3.生成标记图 vector > contours; findContours(binImg1, contours, RETR_EXTERNAL, CHAIN_APPROX_SIMPLE); for (size_t i = 0; i (i), Scalar(static_cast (i) + 1), -1); } markers.setTo(255, mask); Mat markers8u; markers.convertTo(markers8u, CV_8U, 10); imshow("Markers1", markers8u); // 4.分水岭 watershed(src_bgr, markers); // 5.后处理 Mat mark; markers.convertTo(mark, CV_8U); bitwise_not(mark, mark); markers.convertTo(markers8u, CV_8U, 10); imshow("Markers2", markers8u); vector colors; for (size_t i = 0; i (i, j); if (index > 0 && index (contours.size())) dst.at (i, j) = colors[index - 1]; } } imshow("dst", dst); waitKey(0); return 0; }
3 watershed源码
3.1 大致流程
1. 对输入的标记图mask的边界（1像素）置为-1，即边界不处理
2. 初始阶段：遍历mask中所有点，将标记为0且四邻域中有标记大于0的点（也就是标记点外面的一圈点）进队。有256个队列，进哪个队列呢？分两种情况：（1）四邻域中只有一个标记大于0的点，计算该点和这个邻域点的梯度（差值），若梯度为250，就进第250个队列。由于输入的原图是三通道的，算梯度要算三个通道的梯度，选最大的；（2）四邻域中不止一个标记大于0的点，选择梯度最小的点进队。
3. 经过上一步，得到256个队列，有些队列是空的，有些不是。定位到第一个非空的队列，遍历队列中的点。比较这个点的四邻域，分三种情况：（1）四邻域中有一个以上的邻域标记大于0（且它们标记不同），该点为分水岭；（2）四邻域中只有一个邻域标记大于0，那该点和这个邻域点标记相同，即被这个邻域点扩充（3）邻域中没有大于0的标记点，这是不可能的。因为标记点要么是初始种子点，要么是初始阶段延伸的种子点的邻接点，即该点一定存在一个邻接点是标记点
4. 在上一步中，情况（1）的分水岭点被pop出队列，且在mask中被标记为-1；情况（2）的点为新标记点，被pop出队列，同时查看其四邻域点，有没有没处理的点。没处理的点被push进队列（相当于又往外一圈），进哪个队列呢？和上面一样，根据梯度t。再次进入第3步，直到所有队列为空。有所不同的是，初始阶段从第0个队列开始找非空队列，而之后从min(t, active_queue)开始。也就是说，如果第二圈的点梯度都很大，就从第active_queue开始找非空队列。如果第二圈的梯度都很小，那就从最小的梯队开始找非空队列。
3.2 源码注解
注解来自OpenCV 源码中分水岭算法 watershed 函数源码注解，对比OpenCV 2.4.9，OpenCV 4.5中Mat取代了CvMat，cv::Mat是一个类（Class），而CvMat是一个Struct，获取元素的写法不同，如下：
Mat test = (Mat_(3, 3) ();//获取元素的写法不同，之前是test->data.i int istep = test.step/sizeof(int);// 步长 = 一行字节数 / sizeof(像素数据类型) for (int i = 0; i
源码注解
#include "precomp.hpp"
// 结点，用于存储原始图img中像素的偏移量和输出图mask中像素的偏移量
typedef struct CvWSNode
{
struct CvWSNode* next;
int mask_ofs;
int img_ofs;
}
CvWSNode;
// 队列，用于存储结点 CvWSNode
typedef struct CvWSQueue
{
CvWSNode* first;
CvWSNode* last;
}
CvWSQueue;
// 分配空间
static CvWSNode*
icvAllocWSNodes( CvMemStorage* storage )
{
CvWSNode* n = 0;
int i, count = (storage->block_size - sizeof(CvMemBlock))/sizeof(*n) - 1;
n = (CvWSNode*)cvMemStorageAlloc( storage, count*sizeof(*n) );
for( i = 0; i storage;
CvMat sstub, *src;
CvMat dstub, *dst;
CvSize size;
CvWSNode* free_node = 0, *node;
CvWSQueue q[NQ]; // 长度为256的CvWSQueue数组，注意数组中每个元素都是一个队列，队列中每个元素是一个节点
int active_queue; // 指明当前处理的队列，q[active_queue]
int i, j;
int db, dg, dr;
int* mask; // 指向标记图像的指针
uchar* img; // 指向原始图像的指针
int mstep, istep; // mstep是mask对应的一行像素数（不是字节数），istep是img对应的一行像素数
int subs_tab[513];
// MAX(a,b) = b + MAX(a-b,0) 取最大值
#define ws_max(a,b) ((b) + subs_tab[(a)-(b)+NQ])
// MIN(a,b) = a - MAX(a-b,0) 取最小值
#define ws_min(a,b) ((a) - subs_tab[(a)-(b)+NQ])
// 进队操作
#define ws_push(idx,mofs,iofs)
{
if( !free_node )
free_node = icvAllocWSNodes( storage );
node = free_node;
free_node = free_node->next;
node->next = 0;
node->mask_ofs = mofs;
node->img_ofs = iofs;
if( q[idx].last )
q[idx].last->next=node;
else
q[idx].first = node;
q[idx].last = node;
}
// 出队操作
#define ws_pop(idx,mofs,iofs)
{
node = q[idx].first;
q[idx].first = node->next;
if( !node->next )
q[idx].last = 0;
node->next = free_node;
free_node = node;
mofs = node->mask_ofs;
iofs = node->img_ofs;
}
// 求出 ptr1 和 ptr2 指向的像素 r,g,b 差值的最大值
#define c_diff(ptr1,ptr2,diff)
{
db = abs((ptr1)[0] - (ptr2)[0]);
dg = abs((ptr1)[1] - (ptr2)[1]);
dr = abs((ptr1)[2] - (ptr2)[2]);
diff = ws_max(db,dg);
diff = ws_max(diff,dr);
assert( 0 type) != CV_8UC3 )
CV_Error( CV_StsUnsupportedFormat, "Only 8-bit, 3-channel input images are supported" );
if( CV_MAT_TYPE(dst->type) != CV_32SC1 )
CV_Error( CV_StsUnsupportedFormat,
"Only 32-bit, 1-channel output images are supported" );
if( !CV_ARE_SIZES_EQ( src, dst ))
CV_Error( CV_StsUnmatchedSizes, "The input and output images must have the same size" );
size = cvGetMatSize(src); // 获取图像的size
storage = cvCreateMemStorage();
// 步长 = 一行字节数 / sizeof(像素数据类型)
istep = src->step; // img是uchar型， sizeof(uchar) = 1，所以忽略除数
img = src->data.ptr; // 获取 uchar类型指针
mstep = dst->step / sizeof(mask[0]); // mask是int（32SC1）型，sizeof(mask[0]) = 4
mask = dst->data.i; // 获取 int类型指针
memset( q, 0, NQ*sizeof(q[0]) ); // 初始化队列q
for( i = 0; i 0 || m[1] > 0 || m[-mstep] > 0 || m[mstep] > 0) ) // 若该点为非标记点（0），且四邻域存在标记点（>0）
{
// 求出原图中该点到有标记点的四邻域中，梯度值最小（idx）方向的点，将该点和对应的最小梯度值放入q[idex]队列中
// 两个像素的r,g,b 三个通道中相差最大的值作为像素间的梯度值
uchar* ptr = img + j*3;
int idx = 256, t;
if( m[-1] > 0 )
c_diff( ptr, ptr - 3, idx );
if( m[1] > 0 )
{
c_diff( ptr, ptr + 3, t );
idx = ws_min( idx, t );
}
if( m[-mstep] > 0 )
{
c_diff( ptr, ptr - istep, t );
idx = ws_min( idx, t );
}
if( m[mstep] > 0 )
{
c_diff( ptr, ptr + istep, t );
idx = ws_min( idx, t );
}
assert( 0 data.ptr;
mask = dst->data.i;
// recursively fill the basins
// 递归地填满聚水盆
for(;;)
{
int mofs, iofs; // 将二维图像线性化后图像像素的坐标 mask_offset 和 img_offset 的缩写
int lab = 0, t;
int* m;
uchar* ptr;
// 如果这个灰度上的队列处理完了，就继续找下一个非空队列
if( q[active_queue].first == 0 )
{
for( i = active_queue+1; i 0 ) lab = t;
t = m[1];
if( t > 0 )
{
if( lab == 0 ) lab = t;
else if( t != lab ) lab = WSHED; // 如果该像素点的标记类型和邻居像素标记类型都 > 0 且不同，则为分水岭
}
t = m[-mstep];
if( t > 0 )
{
if( lab == 0 ) lab = t;
else if( t != lab ) lab = WSHED;
}
t = m[mstep];
if( t > 0 )
{
if( lab == 0 ) lab = t;
else if( t != lab ) lab = WSHED;
}
// 因为标记点要么是初始种子点，要么是初始阶段延伸的种子点的邻接点
// 该点一定存在一个邻接点是标记点，所以lab一定会赋值一次，不为 0
assert( lab != 0 );
// 若lab > 0 ，则该点被周围的标记点扩充；若lab = -1（WSHED）,则该点定义为分水岭，继续下一个循环
m[0] = lab;
if( lab == WSHED )
continue;
// lab > 0 的情况，确定该点为标记点，且邻居点中存在未标记点的情况，将未标记点扩充为标记点
if( m[-1] == 0 )
{
c_diff( ptr, ptr - 3, t ); // 计算梯度t
ws_push( t, mofs - 1, iofs - 3 ); // 将m[-1]这一未标记的点扩充为标记点，进队
active_queue = ws_min( active_queue, t ); // 判断，若t
参考
1. 冈萨雷斯《数字图像处理（第四版）》Chapter 10（所有图片可在链接中下载）
文章来源于互联网：【图像处理笔记】图像分割之形态学分水岭