这篇论文介绍了一种称为SparQ Attention的新技术，可以显著减少生成型大语言模型(LLM)在推理时的内存带宽需求，从而提高LLM的推理吞吐量。

将视觉模型的规模扩大已成为获取更强大视觉表征能力的现实趋势。但是未来“大”就是“硬道理”吗？论文讨论了较大视觉模型的那些“不必要”。