tp=2，pp=2时，kvcache存储时是只存储 rank0 节点的kvcache嘛？还是说rank0-ran3 的kv都进行存储

[tianlang-wq]

🚀 Feature Description and Motivation

构建了一个ray集群 一个head一个work，连接器使用的是AIBrixOffloadingConnectorV1Type1，kvcache后端使用的infinistore。
vllm配置 tp=2 pp=2 两个节点4张卡。

根据python/aibrix_kvcache/aibrix_kvcache/l2/l2_cache.py:88
cat_head_ids = "".join(
[
str(self.block_spec.tensor_spec.heads[0]),
str(self.block_spec.tensor_spec.heads[-1]),
]
)
cat_layer_ids = "".join(
[
str(self.block_spec.tensor_spec.layers[0]),
str(self.block_spec.tensor_spec.layers[-1]),
]
)
partition_id = f"h{cat_head_ids}_l{cat_layer_ids}"
猜测 rank0-3的kvcache都会存储到infinistore中，是这样子嘛？由于环境问题目前还无法自测验证

Use Case

无

Proposed Solution

无