判断创新


多头注意力换头数(换超参数)

不行 n=8 换成 16 不行

比如有人用 elmo 做了词向量,然后我用bert 做词向量去做下游任务

如果你是第一个,大概率可以, (水一篇水刊水文)
然后就编故事
这个领域有了什么问题,然后我用 bert 解决了这个问题(偏应用的领域,交叉学科)
千万不能是: bert 好,我用 bert

我用自己的电脑跑,原模型性能变差了,我自己改进后,性能好,但是没有原模型好

原模型: 50
我拿自己电脑跑 (原模型) : 48
我做了个改进,我自己电脑跑我的代码: 49
毫无问题

性能好就可以了吗?

最重要的是:你加去的东西,能够编个故事

新兴领域:50 你做的对这个领域有贡献,别人能够借鉴,或者说你能编个好故事 需要提升较多性能才行

水大论文,是没有问题的

老领域:99% 99.2% 改参数 也算是创新

最重要

最重要的一点,编故事

这个领域有什么问题,俺通过这个解决了
而不是我用了这个模块,性能变好了
搞代码的时候:我用了这个模块,性能变好了

搞代码

一定要有继承

复现效果更差怎么办

解决方案
用复现的结果一定要记住,保存证据,保存你跑出来的模型文件,然后写论文的时候记住,标明一下(是俺跑出来的)

继承

有一个好的继承,我啥都有了,代码,配环境,数据,配套论文,还有他们的一些没有完成的想法
我只需要做,看懂代码里的极少部分代码
在别人的基础上加上一点东西即可,学术裁缝

研 4(对解码器做了改进),研 3(这是对编码器做了改进),把他们的拼接起来了。在别人的基础上加上一点东西即可,学术裁缝

ai 所有的方向都是坑,有什么能继承给你的,你就去继承什么?