LMCache
想要大模型在通用性上获得更好的效果，就需要让大模型对更多的领域知识进行“补充”。
《Do Large Language Models Need a Content Delivery Network》论文提出了 KDN（Knowledge Delivery Network），简单来说就是对输入进行“缓存”，从而提升模型首个 Token 响应时间，并将 KDN 开源为 LMCache（https://github.com/LMCache/LMCache）
威伦特
解码生命