目前想了想
现在是2023年5月4日21点22分
我应该在每天9点多的时候 给自己一天的学习来个总结
今天是第一天 也算是那种小日记那样子
5/4号
- 对比学习
今天看了一整天的对比学习
https://www.bilibili.com/video/BV19S4y1M7hm/
https://zhuanlan.zhihu.com/p/405117499
具体来说 我想了想自己的论文
觉得缺一部分内容
我想试着添加些对比学习的内容在之中
最后选定的方法是 simsiam 然后 数据增强用随机颜色变换 加上 随机裁剪
目前看到好用的方法是
- moco
- simclr
- BYOL
- SIMSIAM
明天去看看有监督的对比学习方法
- senet 介绍
今天 又去看了看senet的解释
解释1
挤压和激励(SE) 模块用于对通道之间的相互依赖性进行建模并对特征进行重新加权通道间的信息将被选择，大大提高了模型的效率
解释2
表明重新校准特征的通道重要性确实提高了性能
这玩意就是一个重新校准通道重要性的东西
- simsiam
5/5 5/6
这两天 哇 身体不好 外加帮忙去了
- 对比学习总结
以下为三个范式
- 自监督学习
- 对比自监督学习（Contrastive Self-Supervised Learning (SSL) ）
- 有标签的监督学习（https://www.bilibili.com/video/BV1MV411q7KU/）
- 一个总结比较好的自监督对比学习综述
可以算是李沐那个视频的文字版
https://zhuanlan.zhihu.com/p/334732028
- 对比损失的性质以及温度系数的用法（多看看评论区）
https://zhuanlan.zhihu.com/p/357071960
- 损失函数设计
看明白这个论文
https://zhuanlan.zhihu.com/p/619450183
- 小插曲 和师兄的聊天
5/9
中间的78 有一天是给整理自己的文献去了
8 我干了啥 我去看看
应该是一个躺着很舒服 饭后打羽毛球的一天
啊哈哈哈
不多说
目前的目标 是 想通过添加对比的联合学习在上面
今天看了看库
recbole-da 其中数据增强的全都是 序列推荐
- 我看到的第一篇 推荐下的对比学习（召回 双塔模式下）
Self-supervised Learning for Large-scale Item Recommendations
其中的数据增强方法可以看看
- 自监督学习
- coserec 模型训练
在一个大batch中 在前几个batch内做数据增强 对比学习
- 互信息最大化（MIM）说实话 我没看懂
s3 rec
真的没看懂
- causerec
这篇老早之前就看过了 有代码
看了个大概
通过替换 可有可无的概念生成正例
替换 必要的概念 来生成反例
- 找了个 最早的数据增强用在序列推荐的
cl4rec
https://zhuanlan.zhihu.com/p/478358988
目前看起来最舒服 最简单的方法
可以复现的那种
最后最后
