-
Notifications
You must be signed in to change notification settings - Fork 18
Open
Description
目前Vision下已经有的一个可以参考的projects,迁移了Swin-T的训练代码,用于Vision下进行模型的训练,但是vision中绝大部分模型的精度复现还无法保证,所以这里开启一个完善训练的projects: 用于复现vision下实现的模型的精度,并且在后续逐渐将vision下迁移的权重替换为oneflow自身训练的权重,这里是暂时的规划,需要2-3位实习生参与完成:
可参考的projects:
训练的任务,以及首批需要复现精度的模型:
- 完善Vision下的这个projects: - https://github.com/Oneflow-Inc/vision/tree/main/projects/classification, 熟悉这个projects的用法(与Swin-T基本一致)
- 这里我们列举一下第一阶段在vision下需要复现精度的模型以及相关paper:
| Model | Paper | 认领人 | PR |
|---|---|---|---|
| ResNet50 | ResNet strikes back: An improved training procedure in timm | 林松 | |
| DeiT | Training data-efficient image transformers & distillation through attention | ||
| Swin-Transformer | Swin Transformer: Hierarchical Vision Transformer using Shifted Windows | 林德铝 | |
| DeiT III | DeiT III: Revenge of ViT |
- 需要的硬件条件:8卡V100机器,能跑得下单卡256batchsize即可
Ldpe2G
Metadata
Metadata
Labels
No labels