MarkTechPost 发布用 llama.cpp 运行 NVIDIA Dory 4B 的教程

MarkTechPost 发布教程，讲解如何用 llama.cpp 构建并评测 NVIDIA Nemotron Labs 的 Dory 1.0 4B 循环推理模型。该模型的中层构成一个共享块，可对每个 token 应用 1 到 4 次，因此能在不增加参数的情况下以四种算力预算运行。 教程提醒了几个关键条件：Dory 在 llama.cpp 中的支持仍是开放的草稿 PR，目前没有已发布的二进制文件能加载该模型，需要固定 fork 的 commit；GGUF 默认循环次数为 4，而模型卡片推荐 2，若启动服务时不显式覆盖，会默默以最昂贵的设置运行，因此应显式设置循环次数。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。