laodar吧 关注:22贴子:1,108
  • 22回复贴,共1

两个新理论:RCN模型和hinton的Capsule理论

只看楼主收藏回复

RCN model
http://science.sciencemag.org/content/sci/suppl/2017/10/25/science.aag2612.DC1/aag2612_George_SM.pdf
Dynamic Routing Between Capsules
https://arxiv.org/pdf/1710.09829v1.pdf
这两个理论和我这几年扯得都挺像的。


1楼2017-10-29 14:13回复
    第二个刚有论文,第一个是书还是论文?


    IP属地:浙江2楼2017-10-29 15:41
    收起回复
      这些作者真的没有暗中观察我吗


      来自Android客户端3楼2017-10-30 12:56
      回复
        https://openreview.net/pdf?id=HJWLfGWRb


        IP属地:浙江4楼2017-10-30 20:35
        收起回复
          RCN厉害了,从生成模型,推出和人脑工作方式(学习过程除外)非常像的消息传递和动态规划求解过程。除了硬性设计池化规则外,人脑是通过时序信息学会这种不变性的,当然这应该是很久以后的工作了。


          来自Android客户端5楼2017-10-31 22:08
          收起回复
            Capsule:
            传统CNN的通道用单一实数即特征神经元的激活强度,表示某个特征出现的概率/可能性,其丢失了特征的细节描述。虽然在分类任务中,特征通过忽视细节,承担某种类别不变性,可以很好的完成任务,但是Hinton认为不应该为了分类任务而只提取特征的类别信息,不变性不应该通过这种舍去其它信息的方式实现,而应该通过分离各描述因子来实现,将各种不变性因子分离并全盘保留。
            为此Hinton把每个通道用一个向量来表示,每个格点都附着多个这样的向量(即Capsule,一个同道一个),每个向量是该处实体的描述,同样不同通道表示的是不同特征/实体类别,但是特征/实体的信息不再仅仅是一个表示概率的实数,而是包含实体所有信息的向量,而概率被编码在向量的长度上。在靠近底层的层里,位置信息直接反映在Capsule所处的空间位置,越往高层,位置信息会逐渐被编码到描述向量里。
            同样通过卷积完成抽象。在传统CNN中,高层特征的激活是通过观察低层特征激活的空间几何分布,而CapNet则不仅要知道特征的空间几何关系,还要对局部实体的细节信息进行总结,生成高层实体的细节描述向量。
            如果仅仅是这样,则CapNet和CNN本质上还是等价的,因为可以认为其就是通道数更多并且对同道分组了的CNN。
            Routing:
            考虑到池化会丢失空间信息,并且传统CNN没法解决binding问题,无法分割物体,因此CapNet设计了Routing层来替代池化层,通过Routing来决定哪些低层实体应该与哪个高层实体进行耦合,这种耦合将这些低层实体绑定成一个物体,此为分布式特征按客体表面绑定,因而实现分割,而对应的高层实体就是这个物体的认知信息,此为分布式特征-认知类别的绑定,因而实现定位识别。
            下文将介绍Dynamic Routing Between Capsules一文中的Routing算法


            6楼2017-11-01 14:08
            收起回复
              一直没看明白,那个RCN模型,它到底是怎么识别的?建立起那个框架之后,把轮廓和表面分开表示,然后提取出轮廓,在把轮廓内部用随机场填充,然后呢?怎么识别的啊,一直没搞懂?用每一层的轮廓信息?还是啥?还是对填充后的字母进行识别?感觉这些都没说清楚。看了半天还是一头雾水


              IP属地:陕西7楼2018-04-03 14:49
              回复