[Feature] 支持设置GPU占用的绝对值

[lh9171338]

Motivation

cache_max_entry_count参数可以配置剩余GPU显存用于kv cache的比例，如果有多个模型在同一个GPU上启动，剩余GPU占用是动态变化的，容易导致有的模型启动失败，同时在推理阶段可能因为分配的kv cache显存不够导致推理失败

Related resources

No response

Additional context

No response

[windreamer]

您好！
cache_max_entry_count 只是告诉 lmdeploy “把此刻剩余的显存按这个比例拿来做 KV-cache”，它并不会把显存真正“锁”住，也无法预测别的进程稍后还会占多少。因此：
• 多模型同卡时，显存占用会动态变化，容易启动失败或推理 OOM。
• 要做到显存隔离，需要 NVIDIA MPS、MIG、vCUDA 等基础设施 先给每张卡分区，lmdeploy 再各自在分好的隔离区域内里运行即可。

简单说：显存隔离由底层方案负责，lmdeploy 只管在“自己看到的那块 GPU 内存”里做好 KV-cache 规划。

[lh9171338]

我看到docs/zh_cn/inference/turbomind_config.md中提到TurboMind 2.x支持cache_max_entry_count > 1，请问在部署时支持设置cache_max_entry_count > 1吗？通过这种方式可以将KV-Cache的显存设定为固定值吗？

cache_max_entry_count 根据取值不同，表示不同的含义：

当值为 (0, 1) 之间的小数时，cache_max_entry_count 表示 k/v block 使用的内存百分比。比如 A100-80G 显卡内存是80G，当cache_max_entry_count为0.5时，表示 k/v block 使用的内存总量为 80 * 0.5 = 40G
当 lmdeploy 版本大于 0.2.1 时，cache_max_entry_count 将空闲内存的百分比用于 k/v blocks，默认值为 0.8。例如，在 A100-80G GPU 上运行 Turbomind 加载 13b 模型时，k/v blocks 使用的内存为 (80 - 26) * 0.8 = 43.2G，即利用剩余 54G 中的 80%
当值为 > 1的整数时，表示 k/v block 数量

[windreamer]

应该可以通过配置大于1的固定数值来约束kv-cache部分显存，但是总共使用的显存依旧是不固定的，希望多个实例相互显存布干扰，还是需要隔离方案

[lvhan028]

你可以使用pytorch engine，设置引擎配置中的 num_gpu_blocks，分配固定数量的 kv block。
看前文的意思，是想在单卡上部署多个推理实例，对么？如果是的话，如 @windreamer 建议，还是隔离合适

[lh9171338]

配置大于1的固定数值来约束kv-cache部分显存

通过配置cache_max_entry_count > 1实现了想要的功能，建议将https://github.com/InternLM/lmdeploy/blob/main/lmdeploy/messages.py L263的assert 0 < self.cache_max_entry_count < 1改为assert 0 < self.cache_max_entry_count

[lvhan028]

😅忘记还有这么一个彩蛋了。
是的，对于 turbomind引擎来说，cache_max_entry_count >1 的时候，内部会认为它表示 k/v block 数量

BlockManager::BlockManager(
    size_t block_size, double block_count, int chunk_size, core::Allocator allocator, GetFreeMemSize get_free_size):
    block_size_(block_size), allocator_(allocator)
{
    if (block_count < 1.) {
        max_block_count_ = GetBlockCount(block_size, block_count, get_free_size);
    }
    else {
        max_block_count_ = block_count;
    }

关于在 TurbomindEngineConfig 中判断参数合法性的问题，我们考虑下

配置大于1的固定数值来约束kv-cache部分显存

通过配置cache_max_entry_count > 1实现了想要的功能，建议将https://github.com/InternLM/lmdeploy/blob/main/lmdeploy/messages.py L263的assert 0 < self.cache_max_entry_count < 1改为assert 0 < self.cache_max_entry_count

[github-actions]

This issue is marked as stale because it has been marked as invalid or awaiting response for 7 days without any further response. It will be closed in 5 days if the stale label is not removed or if there is no further response.

[github-actions]

This issue is closed because it has been stale for 5 days. Please open a new issue if you have similar issues or you have any new updates now.