GGitHub 趋势观察站
每日 07:00 更新订阅EN
← 返回今日榜单

karpathy /

nanochat

串联分词、预训练、微调、评估与聊天推理的语言模型实验框架。

访问 GitHub 仓库 ↗
最近上榜 · 2026-11-03#14

当日排名

+325当日新增 Star59,711总 Star

nanochat:用精简代码研究语言模型训练到聊天的完整流程

一分钟看懂

nanochat 是一个语言模型实验框架,涵盖分词、预训练、微调、评估和推理,目标是让研究者更容易读懂、修改并复现完整流程。仓库中的低成本 ChatGPT 表述是项目定位和特定实验预算,不是购买成熟在线服务。

你可以用它做什么

  • 研究一个小型语言模型如何从数据走到可聊天状态。
  • 修改模型深度并观察训练和评估结果。
  • 在同一代码框架中串联预训练、微调与推理。
  • 用 CPU 或 Apple Silicon 的缩小示例学习流程。

主要能力

项目以相对精简的代码组织训练阶段,并提供 speedrun 参考脚本和评估记录。模型深度是重要规模参数,其他训练设置据此计算。官方关注的 GPT-2 级实验需要对应评估口径,不意味着达到当前通用商用聊天模型的水平。

适合哪些人

适合想理解语言模型训练、愿意阅读代码和实验日志的研究者及开发者。若只是想使用聊天助手,通常不需要自行训练整个模型。

怎么开始使用

按 README 的 Setup 准备仓库和 uv 环境,再根据硬件选择路径。完整 speedrun 面向 8 张 H100 的节点;普通电脑应先阅读 CPU/MPS 的缩小示例,而不是直接照跑高算力脚本。训练完成后再使用对应检查点与 CLI 聊天入口。本文仅核对文档,没有执行训练。

使用前需要知道

实际花费由 GPU 租价、运行时长、模型规模和实验次数决定,不能把仓库特定价格当作自己的预算保证。CPU/MPS 示例显著缩小模型,官方也提示其结果较弱。数据、训练检查点和依赖占用磁盘,生成结果可能有幻觉。框架采用 MIT,训练数据与派生模型的使用条件需另行核对。

官方资料