laodar吧 关注:22贴子:1,108
  • 35回复贴,共1

元学习学习出ART?

只看楼主收藏回复

尝试过设计一个loss将ART过程替代成梯度下降的过程,但终究没有很好的实现出来。
索性我们预先设计好人脑网络模型,再训练一个网络参数更新器,希望它能实现增量式学习。
网络模型主要参考:


网络参数更新器的先验设计:
只输入相邻两层的激活量和其连接权重(更强的约束可能是只输入突触前后的激活量和连接强度),要求输出该两层连接权重的改变量。
其它待定。


1楼2017-07-20 16:55回复
    最大的问题是ART即使在学习单个样本时也是RNN


    2楼2017-07-20 16:57
    回复
      关键是网络权重更新器要窥探哪些信息才足以判断局部需要新增结点、微调结点,完整的记忆涉及到整个网络,可真实大脑突触的学习率是局部的基本上是板上钉钉不容置疑的,这意味着每次学习都必然需要或多或少的RNN过程以交换各局部的信息(这个过程正是人类对当前输入的理解过程),如果这个过程简化不了,这个任务就太复杂目前不值得做。


      3楼2017-07-20 17:12
      收起回复
        说到真实连接,之前SMART帖子里我记得你说过depletable transimtters是假设的,但从ART的框架看,没有了这个网络就是死的,无法搜索的。如果真实的皮层里没有一大片depletable transimtters,那就不是这样的工作过程了。


        IP属地:浙江4楼2017-07-21 12:57
        收起回复
          回复 大头萝莉2012 :不一定是DL,可以先做一个浅层的网络,希望它能实现序列无关的增量式记忆功能。比如网络分为一个认知存储网络,一个权重更新网络,存储网络接受输入数据,激活所有神经元。更新网络接受存储网络的激活状况,输出存储网络权重的修改量,希望每次更新都能保证见过的数据被记下来。整个模型的训练参数是权重更新网络的权重。


          来自Android客户端5楼2017-07-21 14:42
          收起回复
            我觉得人的好处是:1在小的方面有已训练好的权值更新网络(STDP),这个与训练使得模型训练时不需要全局考虑了。2局部ART,3先进的全局回路。模仿的话为什么不在更新上面也模仿呢?这样你就不需要BP了。


            IP属地:浙江6楼2017-07-23 21:46
            收起回复
              IP属地:浙江7楼2018-08-13 14:31
              回复(2)