nas可微方法


CVPR这个方法跟DARTS方法很像

前言

假如说

一个CNN 一般有几个参数

  1. 卷积核大小
  2. strip的个数

假如说 咱们上面两个超参数都有三个选项

那一共就有9种

假如说 咱们一共有20层

那么 我们的可能性就是

$$9^{20}$$

ok 大致情况说明白了

super net

来看看一个层

输入一个x

输出 9个模块处理的效果

然后通过这九个模块的处理结果 加权和 就能输出z

针对于 每个层来说

可训练的参数 有 每个模块的权重参数

还有 9个加权和的权重

而针对于 层与层之间 层内的参数是不共享的

总的来看

模型训练

这样 就能确定要 我们需要的路径

还有一条路(考虑时延)

latency 延迟

模块的平均时延

总的时延

实验添加损失函数的方法

总的来看