SimCLR-视觉表示形式对比学习的简单框架
消息！ 我们发布了SimCLR的TF2实现（以及TF2中的转换后的检查点），它们位于。
消息！ 新增了用于Colabs，请参见。
SimCLR的插图（来自 ）。
SimCLRv2的预训练模型
我们在这里开源了总共65个经过预训练的模型，与论文的表1中的模型相对应：
深度
宽度
SK
参数（M）
金融时报（1％）
FT（10％）
FT（100％）
线性评估
监督下
50
1倍
错误的
24
57.9
68.4
76.3
71.7
76.6
50
1倍
真的
35
64.5
72.1
78.7
74.6
78.5
50
2倍
错误的
94
66.3
73.9
79.1
75.6
77.8
50
2倍
真的
140
70.6
77.0
81.3
77.7
79.3
101
1
2023-03-06 21:21:34
2.98MB
1
自我监督视觉预训练的密集对比学习
该项目托管用于实现DenseCL算法以进行自我监督表示学习的代码。
王新龙，张如凤，沉春华，Kong涛，李磊在：Proc。 IEEE Conf。 2021年的计算机视觉和模式识别（CVPR） arXiv预印本（ ）
强调
增强密集预测： DenseCL预训练模型在很大程度上有利于密集预测任务，包括对象检测和语义分段（最高+ 2％AP和+ 3％mIoU）。
简单的实现： DenseCL的核心部分可以用10行代码实现，因此易于使用和修改。
灵活的用法： DenseCL与数据预处理脱钩，因此可以快速灵活地进行培训，同时不知道使用哪种增强方法以及如何对图像进行采样。
高效的培训：与基准方法相比，我们的方法引入的计算开销可忽略不计（仅慢1％）。
更新
发布了DenseCL的代码和预训练模型。 （02/03/2021）
安装
请参考进行安装和数据集准备。
2022-10-13 15:48:27
591KB
1
纸
论文“深度融合集群网络”的源代码
图W.涂，周S.，刘X.，郭X，蔡Z.
被AAAI2021接受。
安装
克隆此仓库。
git clone https://github.com/WxTu/DFCN.git
Windows 10或Linux 18.04
的Python 3.7.5
脾气暴躁的1.18.0
斯克莱恩0.21.3
火炬视觉0.3.0
Matplotlib 3.2.1
准备
我们总共采用了六个数据集，包括三个图形数据集（ACM，DBLP和CITE）和三个非图形数据集（USPS，HHAR和REUT）。 要在这些数据集上训练模型，请从（访问代码：4622）或下载它们。
代码结构与用法
在这里，我们提供了PyTorch中的深度融合集群网络（DFCN）的实现，以及DBLP数据集上的执行示例（由于文件大小的限制）。 该存储库的组织方式如下：
load_data.py
2022-09-15 10:00:13
27.93MB
1
Nb2Nb
该项目旨在了解论文“ Neighbor2Neighbor：来自单噪声图像的自我监督降噪”的思想。 由于此代码是非官方的实现，因此某些细节可能与本文的原始说明有所不同。 为了更容易理解基础理论，所有代码均由Python和Tensorflow编写。
样品结果
所有结果均在上进行了测试
嘈杂的影像
去噪结果
更新
测试文件（包括经过训练的模型）已上传。 主要测试文件是“ test.py”，可以通过输入命令轻松运行。
python test . py - s saves - n nets . Unet - d dataDir - r resultDir
“ dataDir”指定测试数据目录，“ resultDir”是保存结果的路径。
要渲染“ .mat”数据，请使用“ 。
更多培训文件将尽快上载。 未完待续 ...
2022-02-21 10:45:39
214.92MB
1
在Pytorch中进行对比学习变得简单
似乎我们可以进行图像的自我监督学习。
这是一种使用Pytorch包装器的简单方法，可以在任何视觉神经网络上进行对比式自我监督学习。 目前，它包含足够的设置供一个人在SimCLR或CURL中使用的任何一种方案上进行训练。
您可以包装接受可视输入的任何神经网络，无论是Resnet，策略网络还是GAN的鉴别器。 其余的都照顾好了。
问题
事实证明，CURL的结果。 建议您使用SimCLR设置，直到另行通知。
安装
$ pip install contrastive-learner
用法
SimCLR（具有标准化温度标度的交叉熵损失的投影头）
import torch
from contrastive_learner import ContrastiveLearner
from torchvision import models
resnet = m
2021-12-14 21:08:17
307KB
1
像素级对比学习
在Pytorch的论文提出了像素级对比学习的实现。 除了在像素级别进行对比学习之外，在线网络还将像素级别表示形式传递给像素传播模块，并向目标网络施加相似度损失。 他们在细分任务中击败了所有以前的非监督和监督方法。
安装
$ pip install pixel-level-contrastive-learning
用法
下面是一个示例，说明了如何使用该框架进行Resnet的自我监督训练，并获取第4层（8 x 8个“像素”）的输出。
import torch
from pixel_level_contrastive_learning import PixelCL
from torchvision import models
from tqdm import tqdm
resnet = models . resnet50 ( pretrained = True )
learn
2021-09-22 09:56:45
51KB
1
自我监督学习（SSL）
文件
论文2021
RGB-D显着目标检测的自监督表示学习（）
通过自我监督的多任务学习来学习特定于形式的表示形式以进行多模态情感分析（）（）
理解无对比对的自我监督学习动力学（）（）
多视角的自我监督学习。（）（ ICLR 2021 ）
与差异的对比：带有噪声标签的学习的自我监督式预训练。（）（ ICLR 2021 ）（）
自我监督的可变自动编码器。（）（ ICLR 2021 ）
自我监督视觉预训练的密集对比学习。（）（ CVPR 2021 ）（）（）
超越眼界的是：通过提取多模态知识进行自我监督的多目标检测和声音跟踪。（）（ CVPR 2021 ）
AdCo：有效地从自我训练的负面对手中学习无监督表示的对抗性对比。（）（ CVPR 2021 ）（）
探索简单的暹罗表示学习。（）
Barlow Twins：通过减少冗余进行自我监督的学习。（）
2021-07-23 20:00:05
137KB
1
细粒度的自我监督学习
此存储库具有与用于细粒度图像分类的自我监督学习相关的代码。 我使用了木薯植物病数据集
2021-07-07 16:26:16
137KB
1