显存
-
清华团队突破算力难题：4090显卡单枪匹马就能跑“满血版”DeepSeek-R1！有用户称整套方案成本不到7万元，直降95%以上
随着大规模语言模型（LLMs）的不断发展，模型规模和复杂性急剧提升，其部署和推理常常需要巨大的计算资源，这对个人研究者和小型团队带来了挑战。 2月10日，清华大学KVCache.AI团队联合趋境科技发布的KTransformers开源项目公布更新：一块24G显存的4090D就可以在本地运行DeepSeek-R1、V3的671B“满血版”。预处理速度最高达到286 tokens/s，推理生成速度最高能达到14 tokens/s。 KTransformers通过优化本...