本文转自微信公众号 数据派THU

［ 导读 ］本文整理自2017年7月3日，清华大学生物医学工程系教授宋森在清华-青岛数据科学研究院，联合清华大学医学院未来影像实验室共同举办的 “清华大学人工智能与未来医学影像高峰论坛”上，发表的”类脑计算在医疗图像上的应用”演讲内容精华。

一、类脑人工智能与深度学习

1．类脑人工智能

类脑人工智能，跟我研究背景有关。我小时候玩过一段人工智能，后来觉得从当时来看，如果要实现人工智能，还要向人的大脑学习，所以有很长一段时间在进行大脑的研究。现在我非常高兴有机会能把这两点结合起来。

2．深度学习

大家听的比较多的所谓深度学习，从类脑人工智能的角度来看，是受到灵长类视觉结构的启发。左边那张图，视觉系统有很多层，所以这是为什么叫深度学习。

3．深度学习的历史

最近深度学习有比较大突破，在医疗图像里面也有很大进展。大数据和计算能力的提升，使得这种受大脑启发的算法总算能够和现实应用结合起来。当然，深度学习真正的历史是几起几伏，很曲折的。

这几年机器学习的主要的区别是什么？传统上做机器学习，是先要用人工去提取一些特征，然后通常会训练一个比较简单的分类器。这几年的区别就是开始能够做自动特征提取。

具体来说，深度学习自动特征提取这一部分是把它分成了很多层。

大家可能知道深度学习突破是2012年。有一个比赛，从网上找到了大量图片，给它们进行标注，然后让机器去学习，看能不能学出来。前几年准确率都还挺低，后来用深度学习的方法直接一下提升了几十个百分点，从这个以后深度学习变得非常热门。

二、深度学习应用到医疗图像领域

1．皮肤癌诊断

皮肤癌诊断跟这类算法很像，给一个标签看它能不能做？取得了很大成功。但是，如果把深度学习的方法应用到医疗上，很多情况下不是这么直接就能用过去的，还是有些特殊性。

2．深度学习应用到生物图像

这是我做博士后期间我们开始进行的尝试，神经元图片想把它变成右边这样，然后就能分型研究，本质是一个分割问题。

我们开始了一个合作项目，能不能通过对形态学进行描述，把这个视网膜类神经元搞清楚。

为什么困难？它难的地方在哪里?主要是因为成像的原因，有时候会断开，有时候会连起来。

一开始我花了一年时间，尝试传统方法，但效果不好，后来我博士后的导师说我们要不要试试卷积神经网络，虽然这个方法当时名声很差。于是我们就开始用这个方法做端到端的训练。这个方法现在叫深度学习。

最后突破是什么呢？我们后来搞明白了，你要从刚才图片照片直接变成一个细化的结构很难，如果你看传统算法设计上，它其实把它变成类似于中间这样一个图片，然后再把它一层一层剥掉，剥的这个过程用深度学习不是很好做。它是多步运算，所以我们其实主要是把深度学习来做一件它并不适合的事情，就很难。

其实我们真正需要的就是把那些断点连起来，所以我们就把原图进行二值化，人工把那些断的点全连起来。这张图其实跟原图长得很像。所以在做一个问题之前，你得搞清楚深度学习擅长什么，不擅长什么。

三、注意力神经元网络

1．注意力神经元网络研究

我回到清华以后， 2014年跟微软研究院的张铮老师合作，提出了一个叫注意力的神经网络。总的来说，是受神经科学的启发，我们认为以前的神经元模型太简单了。神经元可以看到它有两种因素，它会把两种因素乘起来，现在叫注意力机制，目前这类算法在深度学习里面得到了广泛应用。

2．图像预测

我们的两位学生，受张钹院士的指导。

要根据这个图像预测一年以后的发病率。要怎么弄呢？你要仔细想一想人是怎么做的。人会先看到一些可疑的地方。

第一步把这些可疑的地方找出来，找的过程中我们就用了类似于注意力机制，把两组输入整合的机制。（上图中的R）

在这个基础上就选出五个可能的病灶地方，再用概率的方法整合起来预测发病率。这个概率的方法是很关键的，减少了过拟合的可能。

3．类脑计算

清华有类脑计算研究中心，我们的目的是慢慢迈向通用人工智能，是跨学科领域的一个中心。

四、对未来的展望

1．对未来的展望

对于医学影像来说，人工智能有几个方向很重要：

第一个是医学影像确实是个小数据问题，不可能像网络图片是海量的，成百万上千万的。医学影像涉及到几千例、几万例就不得了，所以要把每一张图片价值化。通过适合小数据的算法，把这些图像里面的价值放大。这是我们研究上很重要的一点。

第二个是需要有可解释的机器学习。如果只是一个黑箱子出来是不够的，中间不知是什么。在上面肺癌的例子里，我们先发现可能的病灶，然后再判断，找出一些特征，这样对医生会有帮助。

第三个就是需要多模态的融合，以及可能跟基因、病历等这些融合。

2．小样本问题

减少对标注的依赖对医疗影像很重要。前年发表在science，是怎么回事呢？通俗的讲：你能不能先学会一个概念，比如说怎么写字。不是给你一大堆东西，你就照着弄，而是你先学会写字这个概念。你学会了以后，给你看一个样子，它马上就学会了。我们在医疗影像上由于数据量比较小，以后真能用的可能是类似这样的：比如说你先学会了怎么看片，到了一个医院以后，给你看几个例子，大概这一类就学会了，这样比较现实。

3．可解释的机器学习

另外一个就是可解释的机器学习。因为很大一个问题：机器学习如果是黑箱的话，你不知道他学习什么。

上图是很有名的例子，用深度学习的方法，将左图与右图组合起来，用右边的风格画左边这张画。然后问你，这是什么？我相信有人可能会说这是一个帆船，绝对不会说这是一个豹子，但是神经元网络说这是豹子，认为是船的概率为零。为什么？现在的卷积网络，他其实更关心概率分布，更关心纹路。

怎么办？有点像我们下围棋，你必须要有直觉。一些基础功能怎么去检测，这些深度学习可以帮你。同时你要有推理过程，基于概率等等。这样算是一个完整系统，跟人的思考方式是一样的。

4．多态融合和复杂决策

最后比较有意思的是，我们需要多模态的融合和复杂决策。我也看到一些希望，最近一篇文章通过比较挖掘电子病历，用机器学习的方法可以较好的预测心脏病发作，所以在未来我们有办法把各个成像模式跟电子病历的融合。

5．硬件加速和清华脑类计算研究中心

硬件加速也非常重要，清华类脑计算中心有非常多研究，包括张钹院士，有一整套解决方法，从算法到硬件我们都希望跟大家合作。

完整版PPT下载：

宋森：类脑计算在医疗图像上的应用4.0.pptx