vllm 支持流式的batch推理吗？

[yungangwu]

我看源码好像vllm还是一条一条的推理的，并不是一次计算所有的输入的。也没有看到文档说能否支持stream的batching推理。