使用深度学习进行脑肿瘤检测和定位：Part2

问题陈述通过使用 Kaggle 的 MRI 数据集的图像分割来预测和定位脑肿瘤。这是该系列的第二部分。如果你还没有阅读第一部分，我建议你访问使用深度学习进行脑肿瘤检测和定位：第1部分以更好地理解代码，因为这两个部分是相互关联的。文章地址：https：／／mp．weixin．qq．com／s／vBsTsVvHjA0gtQy3X1wdmw我们在 ResNet50 上训练了一个分类模型，该模型使用回调对脑部 MRI 是否有肿瘤进行分类以提高我们的性能。在这一部分，我们将训练一个模型来使用图像分割来定位肿瘤。

现在，让我们开始实施第二部分，即构建分割模型来定位肿瘤。图像分割的目标是在像素级别理解图像。它将每个像素与某个类相关联。图像分割模型产生的输出称为图像的蒙版。首先，从我们在上一部分创建的数据帧中选择蒙版值为 1 的记录，因为只有肿瘤存在，我们才能对其进行定位。＃ Get the dataframe containing MRIs which have masks associated with them．
brain＿df＿mask ＝ brain＿df［brain＿df［＇mask＇］ ＝＝ 1］
brain＿df＿mask．shape
输出：（1373， 4）将数据拆分为训练和测试数据集。首先，我们将整个数据拆分为训练和验证数据，然后将一半的验证数据拆分为测试数据。from sklearn．model＿selection import train＿test＿split
X＿train， X＿val ＝ train＿test＿split（brain＿df＿mask， test＿size＝0．15）
X＿test， X＿val ＝ train＿test＿split（X＿val， test＿size＝0．5）
我们将再次使用DataGenerator 生成虚拟数据，即training＿generator 和validation＿generator。为此，我们将首先创建要传递到生成器的图像和蒙版路径的列表。train＿ids ＝ list（X＿train．image＿path）
train＿mask ＝ list（X＿train．mask＿path）
val＿ids ＝ list（X＿val．image＿path）
val＿mask＝ list（X＿val．mask＿path）
＃ Utilities file contains the code for custom data generator
from utilities import DataGenerator
＃ create image generators
training＿generator ＝ DataGenerator（train＿ids，train＿mask）
validation＿generator ＝ DataGenerator（val＿ids，val＿mask）
定义一个如下所示的方法 Resblock ，以在我们的深度学习模型中使用。模型中使用 Resblocks 以获得更好的结果。这些块只是一堆层。resblocks 的主要功能是在顶部学习残差函数，而信息沿底部传递不变。def resblock（X， f）：
 ＃ make a copy of input
 X＿copy ＝ X
 X ＝ Conv2D（f， kernel＿size ＝ （1，1） ，strides ＝ （1，1），kernel＿initializer ＝＇he＿normal＇）（X）
 X ＝ BatchNormalization（）（X）
 X ＝ Activation（＇relu＇）（X）
 X ＝ Conv2D（f， kernel＿size ＝ （3，3）， strides ＝（1，1）， padding ＝ ＇same＇， kernel＿initializer ＝＇he＿normal＇）（X）
 X ＝ BatchNormalization（）（X）
 X＿copy ＝ Conv2D（f， kernel＿size ＝ （1，1）， strides ＝（1，1）， kernel＿initializer ＝＇he＿normal＇）（X＿copy）
 X＿copy ＝ BatchNormalization（）（X＿copy）
 ＃ Adding the output from main path and short path together
 X ＝ Add（）（［X，X＿copy］）
 X ＝ Activation（＇relu＇）（X）
 return X
同样，定义 upsample＿concat 方法来放大和连接传递的值。Upsampling 层是一个简单的层，没有权重，可以将输入的维度加倍。def upsample＿concat（x， skip）：
 x ＝ UpSampling2D（（2，2））（x）
 merge ＝ Concatenate（）（［x， skip］）
 return merge
建立一个分割模型，添加下面显示的层，包括上面定义的 resblock 和 upsample＿concat。input＿shape ＝ （256，256，3）
＃ Input tensor shape
X＿input ＝ Input（input＿shape）
＃ Stage 1
conv1＿in ＝ Conv2D（16，3，activation＝ ＇relu＇， padding ＝ ＇same＇， kernel＿initializer ＝＇he＿normal＇）（X＿input）
conv1＿in ＝ BatchNormalization（）（conv1＿in）
conv1＿in ＝ Conv2D（16，3，activation＝ ＇relu＇， padding ＝ ＇same＇， kernel＿initializer ＝＇he＿normal＇）（conv1＿in）
conv1＿in ＝ BatchNormalization（）（conv1＿in）
pool＿1 ＝ MaxPool2D（pool＿size ＝ （2，2））（conv1＿in）
＃ Stage 2
conv2＿in ＝ resblock（pool＿1， 32）
pool＿2 ＝ MaxPool2D（pool＿size ＝ （2，2））（conv2＿in）
＃ Stage 3
conv3＿in ＝ resblock（pool＿2， 64）
pool＿3 ＝ MaxPool2D（pool＿size ＝ （2，2））（conv3＿in）
＃ Stage 4
conv4＿in ＝ resblock（pool＿3， 128）
pool＿4 ＝ MaxPool2D（pool＿size ＝ （2，2））（conv4＿in）
＃ Stage 5 （Bottle Neck）
conv5＿in ＝ resblock（pool＿4， 256）
＃ Upscale stage 1
up＿1 ＝ upsample＿concat（conv5＿in， conv4＿in）
up＿1 ＝ resblock（up＿1， 128）
＃ Upscale stage 2
up＿2 ＝ upsample＿concat（up＿1， conv3＿in）
up＿2 ＝ resblock（up＿2， 64）
＃ Upscale stage 3
up＿3 ＝ upsample＿concat（up＿2， conv2＿in）
up＿3 ＝ resblock（up＿3， 32）
＃ Upscale stage 4
up＿4 ＝ upsample＿concat（up＿3， conv1＿in）
up＿4 ＝ resblock（up＿4， 16）
＃ Final Output
output ＝ Conv2D（1， （1，1）， padding ＝ ＂same＂， activation ＝ ＂sigmoid＂）（up＿4）
model＿seg ＝ Model（inputs ＝ X＿input， outputs ＝ output ）
编译上面训练的模型。这次我们将自定义优化器的参数。Focal tversky 是损失函数，tversky 是度量。＃ Utilities file also contains the code for custom loss function
from utilities import focal＿tversky， tversky
＃ Compile the model
adam ＝ tf．keras．optimizers．Adam（lr ＝ 0．05， epsilon ＝ 0．1）
model＿seg．compile（optimizer ＝ adam， loss ＝ focal＿tversky， metrics ＝ ［tversky］）
现在，你知道我们在分类器模型中使用的回调。我们将使用相同的方法来获得更好的性能。最后，我们训练我们的分割模型。＃ use early stopping to exit training if validation loss is not decreasing even after certain epochs．
earlystopping ＝ EarlyStopping（monitor＝＇val＿loss＇， mode＝＇min＇， verbose＝1， patience＝20）
＃ save the best model with lower validation loss
checkpointer ＝ ModelCheckpoint（filepath＝＂ResUNet－weights．hdf5＂， verbose＝1， save＿best＿only＝True）
model＿seg．fit（training＿generator， epochs ＝ 1， validation＿data ＝ validation＿generator， callbacks ＝ ［checkpointer， earlystopping］）
预测测试数据集的蒙版。这里，model是前面训练的分类器模型，model＿seg是上面训练的分割模型。from utilities import prediction
＃ making prediction
image＿id， mask， has＿mask ＝ prediction（test， model， model＿seg）
输出将为我们提供图像路径、预测蒙版和类标签。根据预测结果创建数据帧并与 image＿path 上的测试数据帧合并。＃ creating a dataframe for the result
df＿pred ＝ pd．Dataframe（｛＇image＿path＇： image＿id，＇predicted＿mask＇： mask，＇has＿mask＇： has＿mask｝）
＃ Merge the dataframe containing predicted results with the original test data．
df＿pred ＝ test．merge（df＿pred， on ＝ ＇image＿path＇）
df＿pred．head（）

正如你在输出中看到的那样，我们现在已将最终预测的蒙版合并到我们的数据帧中。最后，将原始图像、原始蒙版和预测蒙版一起可视化，以分析我们的分割模型的准确性。count ＝ 0
fig， axs ＝ plt．subplots（10， 5， figsize＝（30， 50））
for i in range（len（df＿pred））：
 if df＿pred［＇has＿mask＇］［i］ ＝＝ 1 and count ＜ 5：
   ＃ read the images and convert them to RGB format
   img ＝ io．imread（df＿pred．image＿path［i］）
   img ＝ cv2．cvtColor（img， cv2．COLOR＿BGR2RGB）
   axs［count］［0］．title．set＿text（＂Brain MRI＂）
   axs［count］［0］．imshow（img）
   ＃ Obtain the mask for the image
   mask ＝ io．imread（df＿pred．mask＿path［i］）
   axs［count］［1］．title．set＿text（＂Original Mask＂）
   axs［count］［1］．imshow（mask）
   ＃ Obtain the predicted mask for the image
   predicted＿mask ＝ np．asarray（df＿pred．predicted＿mask［i］）［0］．squeeze（）．round（）
   axs［count］［2］．title．set＿text（＂AI Predicted Mask＂）
   axs［count］［2］．imshow（predicted＿mask）
   
   ＃ Apply the mask to the image ＇mask＝＝255＇
   img［mask ＝＝ 255］ ＝ （255， 0， 0）
   axs［count］［3］．title．set＿text（＂MRI with Original Mask （Ground Truth）＂）
   axs［count］［3］．imshow（img）
   img＿ ＝ io．imread（df＿pred．image＿path［i］）
   img＿ ＝ cv2．cvtColor（img＿， cv2．COLOR＿BGR2RGB）
   img＿［predicted＿mask ＝＝ 1］ ＝ （0， 255， 0）
   axs［count］［4］．title．set＿text（＂MRI with AI Predicted Mask＂）
   axs［count］［4］．imshow（img＿）
   count ＋＝ 1
fig．tight＿layout（）

输出显示我们的分割模型非常好地定位了肿瘤。做得好！此外，你可以尝试向目前训练的模型添加更多层并分析性能。还可以将类似的解决方案应用于其他问题陈述，因为图像分割是当今非常感兴趣的领域。