[WeeklyReports] 2024.09.09~2024.09.23 周报汇总

[FlamingoPg]

[WeeklyReports] 2024.09.09~2024.09.23 周报汇总

请各位学员在本 issue 下以 comment 的形式填写周报摘要，ddl 本周日晚，格式示例如下：

### 姓名

xxx

### 本周工作

1. xxx
2. xxx
 
### 下周工作

1. xxx
2. xxx

### 详细周报链接：

- https://github.com/PFCCLab/Camp/pull/xxx

护航计划

项目一：PIR 专项

• @gouzil (@SigureMo )
• @zrr1999 (@SigureMo )
• @AndPuQing (@wanghuancoder )
• @ooooo-create (@wanghuancoder )

项目四：组合机制建设

• @zeroRains (@xiaoguoguo626807 )

项目五：框架API易用性提升

• @NKNaN (@zhwesky2010 )

项目八：PaddleDetection 套件能力建设

• @Yang-Changhui (@lyuwenyu)
• @MINGtoMING (@lyuwenyu)

项目十：推理Predictor 及 IR Pass建设

• @yinfan98 (@yuanlehome )
• @Hanyonggong (@lizexu123 )
• @aooxin (@vivenfanghuagood)
• @Layssy (@lizexu123 )

项目十一：模型迁移工具建设

• @Xuxuanang(@zhwesky2010)

护航计划正式批

1. 框架 API 易用性提升

• @guozixu2001 (@zhwesky2010)

4. PaddleNLP套件能力建设

• @lvdongyi (@DrownFish19)

5. 飞桨科学计算材料领域建设

• @kylekk01 (@zhiminzhang0830)

7. 自动并行张量切分机制预研&建设

• @smile2game (@JZ-LIANG)

8. 自动并行在复杂模型结构下的能力摸底和技术储备

• @zty-king (@From00)

开源之夏

项目一：飞桨PaddlePaddle-PIR适配2ONNX推理转换

• @qzylalala (@risemeup1 )

项目二：飞桨PaddlePaddle-动转静支持子图高阶微分

• @CSWYF3634076 (@SigureMo )

项目三：飞桨PaddlePaddle-PIR适配VisualDL模型可视化

• @cse0001 (@changeyoung98 )

GLCC

项目一：为Paddle推理新增Pass管理功能

• @xue-yun-liang (@yuanlehome )

项目二：为开源大语言模型推理增加优化Pass

• @lszxb (@vivienfanghuagood )

项目三：飞桨Save/Load体系功能升级适配PIR

• @eggman-1024 (@xiaoguoguo626807 )

项目五：飞桨稀疏算子API升级适配PIR

• @epiphanyer (@risemeup1 )

项目六：动静统一自动并行支持 MoE 专家并行策略

• @fxfxfxfxfxfxfxfx (@pkuzyc )

[lszxb]

姓名

刘斯哲

本周工作

1. 对先前的优化Pass工作进行完善
2. 为先前Attention显存管理的自定义算子实现优化pass

下周工作

1. 继续调研W4A8系统QServe的实现，以及CUTLASS中W4 x FP8的实现。

详细周报链接：

• [WeeklyReport] lszxb 2024.09.09~2024.09.23 #388

[lvdongyi]

姓名

吕东翼

本周工作

1. 优化add_special_token函数，允许replace_additional_special_tokens

2. 允许padding_side做为调用时参数

3. 支持Tokenizer读取Tiktoken tokenizer.model

下周工作

1. 完善工作3，加入更多测试

2. 继续tokenizer对齐

详细周报链接：

• [WeeklyReport] lvdongyi 2024.09.09~2024.09.23 #384

[guozixu2001]

姓名

郭子旭

本周工作

1. 熟悉Pacovert源码，熟悉开发流程以及步骤，熟悉工作安排，配置Paconvert开发环境
2. 梳理 paddle.vision 和 torchvision 之间的对应关系
3. 添加相关映射规则，新增单测 + 转换规则 + 文档30个。

相关PR:

• 新增 torchvision 和 paddle.vision 的对应关系 PaddlePaddle/docs#6898
• 新增 Torchvision 转换规则 PaddlePaddle/PaConvert#491

下周工作

1. 继续完成 torchvision 转换规则的开发工作

详细周报链接：

• [WeeklyReport] guozixu2001 2024.10.08~2024.10.25 #386

[NKNaN]

姓名

李睿文

本周工作

1. 核对已修改的 69 个 API
2. 修改 F.batch_norm 在 PaConvert 中的单测
3. 修复 paddle.Tensor.cast_ 存在的 bug
4. paddle.linalg.det 支持复数

下周工作

1. 完善已修改 API 的映射文档以及 PaConvert 中的 json 映射规则/mathcer/单测
2. paddle.linalg.slogdet 支持复数
3. paddle.chunk 支持非整除情况

详细周报链接：

• [WeeklyReport] NKNaN 2024.09.09~2024.09.23 #387

[zty-king]

姓名

郑天宇

本周工作

1. 对自动并行及工作相关信息进行学习
2. 开发了load_state_dict_from_url API，并写了多个单测

下周工作

开发自动并行相关工具

详细周报链接：

• [WeeklyReport] zty-king 2024.09.09~2024.09.23 #390

[Layssy]

姓名

李伟

实习项目

推理Predictor 及 IR Pass建设

本周工作

算子的 Converter 的开发 和单测的实现

1. 整理divide、multiply、substract的converter的文件
2. 修改split 算子的convrter，并修改一些bug
3. 完成pd_op.nearest_interp算子的converter的开发，并对这一类算子进行归类
4. 进行了pd_op.conv2d_transpose的converter开发和测试

下周工作

1. 继续完成converter的开发
2. 学习paddle其他部分

详细周报链接

#392

[Layssy]

姓名 李伟 实习项目 推理Predictor 及 IR Pass建设 本周工作 整理divide、multiply、substract的converter的文件 修改split 算子的convrter，并修改一些bug 完成pd_op.nearest_interp算子的converter的开发，并对这一类算子进行归类 进行了pd_op.conv2d_transpose的converter开发和测试 下周工作 继续完成converter的开发 学习paddle其他部分 详细周报链接 #392 在 2024-09-29 22:31:51，"zty-king" ***@***.***> 写道： 姓名 郑天宇 本周工作 对自动并行及工作相关信息进行学习 开发了load_state_dict_from_url API，并写了多个单测 下周工作 开发自动并行相关工具 详细周报链接： #390 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: ***@***.***>

[kylekk01]

姓名
叶欢

本周工作
对chagnet网络、代码和模型迁移进行学习
初步将代码迁移成paddle

下周工作
将代码迁移到paddle框架内，尝试将已有模型进一步迁移

[zrr1999]

姓名

詹荣瑞

实习项目

PIR 专项

本周工作

1. 找不到对应的参数时，全部符号变量退化为常量

• [SOT][dynamic shape] Fallback static shape all symvar PaddlePaddle/Paddle#68113

下周工作

1. 实现 SOT 中 SymbolicOperationTracker 的 need_guard 和 is_traceable

详细周报链接

• [WeeklyReport] zrr1999 2024.09.09~2024.09.23 #393

[gouzil]

姓名

gouzil

本周工作

1. 了解动转静体验优化现阶段已有的任务，对部分场景报错进行优化. PR: #68328、#68508

下周工作

1. 继续进行部分动转静体验优化任务

详细周报链接：

• [WeeklyReport] gouzil 2024.09.09~2024.09.23 #394

[aooxin]

姓名

马奥欣

本周工作

1. 对周中拿到的测试报告中提到的问题进行定位已经修改

• 定位并解决amp pass的cast缓存问题导致的pass 顺序不同会导致的报错问题，修改后的 pass 在不同顺序下不会受到影响
• 定位出在 C++推理正常情况下python推理会报错的问题

• [PIR][Inference] open pir amp pass and fix some bugs PaddlePaddle/Paddle#67822

2. 学习使用 paddle profile，并完成相关 python 测试脚本

下周工作

1. 解决C++推理正常情况下python推理会报错的问题
2. 解决amp pass之前存在 cast op 重复的问题
3. 检查相关 op 是否正确设置了推理前的输入输出精度并改进
4. 对典型模型进行性能分析，查看是否还有改进的点

详细周报链接：

• [WeeklyReport] aooxin 2024.09.09~2024.09.23 #395

[zeroRains]

姓名

卢林军

实习项目

组合机制建设和机制推全

本周工作

1. 为roll_grad op 添加动态shape支持

相关 PR：

• [Prim][PIR] Add the dynamic shape test case for roll_grad PaddlePaddle/Paddle#68272

2. 为one_hot op 添加动态shape支持

相关 PR：

• [Prim][PIR] Support the dynamic shape for one_hot op PaddlePaddle/Paddle#68295

3. 为batch_norm 与 batch_norm_ op 添加动态shape支持

相关 PR：

• [Prim][PIR] Support dynamic shape for batch_norm and batch_norm_ op PaddlePaddle/Paddle#68353

4. 为bmm op 添加动态shape支持

相关 PR：

• [Prim][PIR] Support dynamic shape for bmm op PaddlePaddle/Paddle#68357

5. 为layer_norm_grad op 添加动态shape支持

相关 PR：

• [Prim][PIR] Support the dynamic shape for layer_norm_grad PaddlePaddle/Paddle#68274

6. 为group_norm_grad op 添加动态shape支持

相关 PR：

• [Prim][PIR] Support the dynamic shape for group_norm_grad PaddlePaddle/Paddle#68271

下周工作

1. 修复group_norm_grad与layer_norm_grad pr的BUG

详细周报链接：

• [WeeklyReport] zeroRains 2024.09.09~2024.09.23 #385

[Xuxuanang]

姓名

许轩昂

本周工作

1. 根据反馈意见修改之前提交的PR。
2. 通过利用文档对齐工具来验证存量的文档与Matcher不对齐的情况，并查看实际源码来对其进行修改，并提交PR。
3. 添加torch.Tensor.addcmul_，torch.autograd.Variable等api的映射文档，已经全部完成所有映射文档缺失的检查。

下周工作

1. 继续完成文档不对齐以及bug修复等相关工作

详细周报链接：

https://github.com/PFCCLab/Camp/pull/396/files

[fxfxfxfxfxfxfxfx]

姓名

冯潇

实习项目

动静统一自动并行支持MoE专家并行策略

本周工作

1. 发现并且复现 paddle 中 where 在自动并行情况下会导致shape出现-1。

下周工作

1. 熟悉where的实现，并作出修改，使其在自动并行情况下符合使用逻辑。

详细周报链接

#354

[smile2game]

姓名

刘卉杰

本周工作

1. 学习jeff提交的 s_to_r case下的不均匀切分的pr，并调研其余cases。参考链接 67756pr

2. 进行code-reading和学习，参考链接 code-reading

   • 学习PIR机制的概念
   • 学习自动并行机制

下周工作

1. 尝试 r-to-s的不均匀切分实现
2. 尝试 s-to-r的多重切分实现

详细周报链接：

- https://github.com/PFCCLab/Camp/pull/382