dtype generalization pass测试

[WHoutstanding]

测试环境：
python=3.10
torch=2.6

1. 使用graph_net/test/dtype_gen_test.sh测试graph_net/config/small100_torch_samples_list.txt中100个sample的float16和bfloat16的dtype generalization pass，测试结果：

smaple_float16 和 sample_bfloat16 都生成的数量: 74
只生成 smaple_float16 的数量: 0
只生成 smaple_bfloat16 的数量: 7

2. 使用graph_net/torch/validate.py对生成的sample_float16和sample_bfloat16进行验证，生成的smaple_float16 和 sample_bfloat16 都通过验证

3. 部分sample dtype generalization pass 出现error，对RuntimeError 和 [WARNING]进行过滤，详细见error_log.txt.txt文件
   失败例子：
   RuntimeError: expected scalar type Half but found Float
   RuntimeError: expected scalar type BFloat16 but found Float
   2026-01-15 14:50:15,468 [WARNING] No dtype passes applicable for /home/aistudio/GraphNet/graph_net/../samples/transformers-auto-model/hf-tiny-model-private_tiny-random-Swinv2ForImageClassification

[Xreki]

1. bf16转换成功、fp16不成功的样本是哪几个，为什么fp16失败了？
2. 请统计下每种错误的类型
3. 以下错误可以详细看看模型： - 报错在什么算子

RuntimeError: expected scalar type Half but found Float
RuntimeError: expected scalar type BFloat16 but found Float

• 为什么两个输入的数据类型没有做相同的变换

RuntimeError: mat1 and mat2 must have the same dtype, but got Float and Half
RuntimeError: mat1 and mat2 must have the same dtype, but got Float and BFloat16

• bias的数据类型理论上也会变换，为什么没有变换成功

RuntimeError: invalid dtype for bias - should match query's dtype
RuntimeError: invalid dtype for bias - should match query's dtype

[WHoutstanding]

1. bf16转换成功、fp16不成功的样本共有7个:

samples/transformers-auto-model/distilbert_distilbert-base-multilingual-cased
samples/transformers-auto-model/Helsinki-NLP_opus-mt-zh-en
samples/transformers-auto-model/aimarsg_prueba5
samples/transformers-auto-model/mohsenfayyaz_BERT_Warmup
samples/transformers-auto-model/simjo_dummy-model
samples/transformers-auto-model/distilbert_distilbert-base-uncased
samples/transformers-auto-model/TrustSafeAI_RADAR_Vicuna_7B

fp16不成功的RuntimeError都是：

    attn_output = torch.nn.functional.scaled_dot_product_attention(q, k, v, attn_mask = attention_mask, dropout_p = 0.0, is_causal = False);  q = k = v = None
RuntimeError: invalid dtype for bias - should match query's dtype

原因：

if self._is_float32_tensor(node):
    return new_graph.call_method("to", args=(new_node, self.torch_dtype))

self._is_float32_tensor没有正确处理scaled_dot_product_attention内部的 bias
当 self.torch_dtype = torch.bfloat16 时：
scaled_dot_product_attention内部的bias是 float32，能自动cast为bfloat16。
当 self.torch_dtype = torch.float16 时：
caled_dot_product_attention内部bias仍然是 float32
PyTorch kernel要求q和bias dtype完全一致

2. bf16、fp16都不成功的错误类型：

     context_layer_6 = torch.matmul(attention_probs_5, value_layer_2);  attention_probs_5 = value_layer_2 = None
RuntimeError: expected scalar type **(Half or BFloat16)** but found Float

    linear_1 = torch.nn.functional.linear(x_1, to_3, to_4);  x_1 = to_3 = to_4 = None
RuntimeError: mat1 and mat2 must have the same dtype, but got Float and **(Half or BFloat16)**

    query_states = torch.nn.functional.linear(normed_hidden_states, to_3, None);  to_3 = None
RuntimeError: expected mat1 and mat2 to have the same dtype, but got: float != c10::**(Half or BFloat16)**

    patch_embeds = torch.conv2d(to_592, to_1, None, (14, 14), (0, 0), (1, 1), 1);  to_592 = to_1 = None
RuntimeError: Input type (torch.cuda.FloatTensor) and weight type (torch.cuda.HalfTensor) should be the same

原因：上面四个错误类型都是graph_net/torch/dtype_gen_passes/dtype_generalization_pass.py的rewrite函数没有处理计算图中间计算节点（call_function / call_method）的输出或者上游输入的dtype转换，rewrite核心逻辑：

for node in gm.graph.nodes:
    if node.op == "placeholder":
        val_map[node] = create_placeholder(node)
    elif node.op == "get_attr":
        val_map[node] = create_get_attr(node)
    else:
        new_node = new_graph.node_copy(node, lambda x: val_map.get(x, x))
        val_map[node] = new_node

[Xreki]

是不是可以遍历一遍计算图，针对计算图这些中间算子进行改写。不过这属于对计算图很大的改动，极有可能会引发别的问题，需要谨慎些，可能需要设计一些白名单机制。

[WHoutstanding]

torch.matmul在计算图的node类型为”call_function"
torch.nn.functional.linear在计算图的node类型为"call_module"
torch.conv2d在计算图的node类型为”call_function"
目前rewrite的代码只对node类型为"placeholder"和“get_attr"进行了dtype转换

解决办法：是否可以对node类型为”call_function"进行类型转换或者对报错的call_funtion的算子进行特殊处理，如果特殊处理，但是考虑到目前只跑了100个samples，随着samples数量增加，可能会有新的算子Error,白名单的算子数量会增加

[lixinqi]

torch.matmul在计算图的node类型为”call_function" torch.nn.functional.linear在计算图的node类型为"call_module" torch.conv2d在计算图的node类型为”call_function" 目前rewrite的代码只对node类型为"placeholder"和“get_attr"进行了dtype转换

解决办法：是否可以对node类型为”call_function"进行类型转换或者对报错的call_funtion的算子进行特殊处理，如果特殊处理，但是考虑到目前只跑了100个samples，随着samples数量增加，可能会有新的算子Error,白名单的算子数量会增加

可以。这就很像维度泛化那边的逻辑了

[Xreki]

解决办法：是否可以对node类型为”call_function"进行类型转换或者对报错的call_funtion的算子进行特殊处理，如果特殊处理，但是考虑到目前只跑了100个samples，随着samples数量增加，可能会有新的算子Error,白名单的算子数量会增加

依据amp.auto_cast的规则，matmul、linear、conv2d是在低精度的白名单中的，碰到白名单算子，若输入不是低精度，则插入cast即可，不用考虑图中其它结构。

torch.cuda.amp.autocast_amp._AUTOCAST_OPS可以获取torch内部的一些名单信息。