[SOT] Mark dynamic dims by type annotations

[SigureMo]

利用类型提示来标记动态维度，以保证动转静能够一次即可收敛，避免重复组网

1. 支持递归处理 typing，比如 dataclass、Optional[T]
2. Tensor 类型具有隐式动态维度 (0,)
3. 支持以 Annotated[Tensor, DynamicDims((1, 2))] 标记其余维度

示例如下

from typing import Annotated
from dataclasses import dataclass

from fastdeploy.model_executor.graph_optimization.dynamic_dims_marker import (
    DynamicDims
)
def fn(x: Tensor):
    # x 具有隐式动态维度 (0,)
    ...

def fn(x: Annotated[Tensor, DynamicDims(1)]):
    # x 具有动态维度 (1,)
    ...

@dataclass
class ForwardMeta:
    a: Annotated[Tensor, DynamicDims((2, 3))]
    caches: list[Tensor]

def fn(x: ForwardMeta):
    # x.a 具有动态维度 (2, 3)
    # x.caches 中所有元素具有隐式动态维度 (0,)
    ...

另外在 warmup 阶段会根据是否发生打断、是否有重复构图来确定能否用更加快速的实现，直接使用编译好的 code 来执行，当无法使用时会报 warning

[paddle-bot]

Thanks for your contribution!

[gongshaotian]

如何理解 Tensor 类型具有隐式动态维度 (0,)，是一个规则吗

[SigureMo]

如何理解 Tensor 类型具有隐式动态维度 (0,)，是一个规则吗

是一个规则，主要是基本上所有 Tensor batch 维度基本都是动态的，从标记的角度将会很麻烦，因此添加此默认规则（该隐式规则同 vLLM）

[gongshaotian]

LGTM

[yuanlehome]

其他forward函数中也写成 Optional[paddle.Tensor] 吧

[SigureMo]

已修改

[yuanlehome]

加上这个我记得是会有循环引用的？

[SigureMo]

不会有的，除非是之前设计不合理导致的

[yuanlehome]

所有函数参数都需要添加类型注解

[SigureMo]

已经添加

[zyfncg]

这个默认是 no ?

[SigureMo]

框架里默认特化 1，即 "1"，FD 里默认是不特化，是 "no"

[zyfncg]

"ForwardMeta" 包字符串的作用是什么？

[SigureMo]

常用于

• 解决循环引用
• 降低运行时解析开销

但这些文件都使用了 PEP 563，所以这里其实加不加 " 效果是一样的，为提高可读性这里恢复了下