[DEV] 为 InfiniLM-v0.2.9c 增加可复用的 GGUF 线性层与 BlockFP8 支持

[xindongliu594]

目标版本

InfiniLM-v0.2.9c

功能描述

为 NVIDIA 后端增加可复用的 GGUF linear_gguf 与 BlockFP8 线性算子，支持 Q8_0、Q4_K、Q5_K、Q6_K，用于 InfiniLM 的 Qwen3.5 / Qwen3-Next GGUF Route B 推理适配，并为后续其他 GGUF 模型提供公共基础设施。

主要内容：

• 补齐 C ABI、InfiniCore C++ API、Python binding 和 NVIDIA CUDA backend；
• 增加 shape、dtype、workspace 与 GGUF block layout 校验；
• 增加 GGUF 解码/线性算子与 BlockFP8 测试；
• 优化 GGUF prefill 的分块解量化路径；
• 保持现有非 GGUF 路径行为不变。

验证结果

• InfiniCore + FlashAttention 完整构建通过；
• Python 扩展加载与动态链接检查通过；
• MHA varlen NVIDIA 测试 22/22 通过；
• Qwen3.5 27B GGUF 单请求推理通过；
• 256-token prefill 相对 paged attention 约提升 1.37x，512-token prefill 约提升 3.61x