| 名称(name) | LLM推理加速方案制定与优化配置 |
|---|---|
| 简介(displayDescription) | LLM推理加速方案制定与优化配置。当用户提到LLM推理加速、推理优化、推理性能、推理框架选型、vLLM配置、SGLang配置、TensorRT-LLM、模型量化、KV-Cache优化、推测解码、推理吞吐提升、推理延迟降低、大模型部署加速、推理引擎选型、GPU推理优化,或想了解"LLM推理怎么加速""推理框架怎么选""vLLM怎么配""模型推理太慢怎么办""推理吞吐怎么提升""推理延迟怎么降""大模型部署怎么优化"时触发。不适用于模型训练加速、纯算法研究、非LLM的推理优化、推理引擎源码开发。 |
| 分类(categories) | 开发工具效率工具数据分析 |
| 累计使用人次 | 0 |
| 版本(version) | 1.0.0 |
| 日期 | 累计使用人次 | 日增 |
|---|---|---|
| 2026-09-23 | 0 | — |