GGitHub 趋势观察站
每日 07:00 更新订阅EN
← 返回今日榜单

精选指南 · 编程与开发

SkillEvaluator

用公开的文本分析技能比较原始说明和删减副本,查看静态质量报告中的分数与具体发现。练习无需模型密钥。

访问 GitHub 仓库 ↗
最近上榜 · 2026-11-16#12

当日排名

+205当日新增 Star1,621总 Star
← 全部精选指南

入选理由:读者可在提交技能变更前复查示例和排错说明,官方有可复现的无密钥入门路径。两次报告便于核对差异,补充现有技能使用指南。

入选:2026-11-16 · 资料核对:2026-11-16。根据官方资料整理,未进行安装与功能实测。

SkillEvaluator:在本机比较两份技能说明的静态质量

它解决什么问题

当团队修改一份智能体技能时,原有示例、输入条件或异常处理有时也会被删掉。SkillEvaluator 的 quality-check 能检查技能目录并生成静态报告,帮助评审者找到需要复核的条目。

这次用 NVIDIA 提供的文本分析技能做对照。先保存原样报告,再复制一个版本,移除示例及后面的说明,用相同命令比较两份报告。练习只检查技能材料,不需要模型服务。

适合谁,哪些情况不适合

适合编写 SKILL.md、维护内部技能仓库或审核文档变更的人。示例使用公开材料,便于先理解报告再检查自己的技能。

需要判断技能能否让某个智能体更准确地完成任务时,应使用实际任务评估。要核对脚本与依赖的安全性,则应按 Tier 1 说明配置和查看扫描证据。静态质量结果用于发现改进线索。

环境与准备

下面以 Linux 的 Bash 或其他兼容 Shell 为例。需要 Git、uv、一处可写目录以及首次安装时能访问 GitHub 与依赖下载源的网络。本例采用官方 v0.9.0 源码标签。uv 按命令准备 Python 3.13 和项目依赖,练习中的 quality-check 无需 GPU、Docker、模型密钥或安全扫描器。官方终端演示以 Linux 为验证环境,其他平台的经验应以实际环境为准。

建议先运行 git --version 与 uv --version,确认命令可用。下面两次评估使用同一份检出目录和同一版本。首次安装之前请核对官方仓库、发行记录和依赖。这里按官方资料编写步骤,CLI 的报告输出仍以读者机器上的实际结果为准。

安装与第一次使用

1. 检出固定版本。 在你用于练习的父目录执行。进入新目录后,后面的命令都在这里运行。

git clone --depth 1 --branch v0.9.0 https://github.com/NVIDIA/SkillEvaluator.git skillevaluator-lab
cd skillevaluator-lab
git rev-parse HEAD

本次核对的标签指向 b78d14618a694dec84bc9601468f8f711df5cab3。下一步 uv 会在项目环境中安装运行所需依赖。

2. 给原始示例留下报告。 运行静态检查,并同时保留终端输出和 JSON。

demo=src/skillevaluator/tier3/reference_skills/text-analyzer
uv run --python 3.13 skillevaluator quality-check "$demo" -r cli -r json -o reports/lab-original

先检查命令是否完成,再打开 reports/lab-original/skillevaluator-quality.json。终端报告列出分数、等级和具体发现,JSON 便于后面对照。官方 v0.9.0 快速入门记录的样例分数是 84.5,默认阈值为 70,可用来核对环境或版本差异。

3. 比较删减说明后的副本。 在同一终端创建新目录,复制示例,并只在副本移除从 ## Examples 开始的部分。样例原目录保留完整。

mkdir -p lab/shortened && cp -R "$demo" lab/shortened/
uv run --python 3.13 python - <<'PY'
from pathlib import Path

file = Path("lab/shortened/text-analyzer/SKILL.md")
text = file.read_text(encoding="utf-8")
intro, section, _ = text.partition("\n## Examples\n")
if not section:
    raise SystemExit("未找到 Examples 章节,请核对标签和样例路径")
file.write_text(intro.rstrip() + "\n", encoding="utf-8")
PY
uv run --python 3.13 skillevaluator quality-check lab/shortened/text-analyzer -r cli -r json -o reports/lab-shortened

如果命令显示分数未达阈值,也查看已生成的报告。把两份 JSON 中的 quality_summary 与 finding_groups 并排比较,记下总分和一条发生变化的发现,查看它能否对应到你删掉的示例、限制或排错说明。删减副本的分数由本次运行决定。

4. 检查结果的边界。 在两份报告里分别查找 overall_status 与 publication_status。前者用于了解本次检查结果,仅有静态质量证据时,官方说明后者会保持 INCOMPLETE。完成练习后,可把 quality-check 的目标路径换成自己的技能目录,报告仍写到目录外。

主要能力与典型场景

  • 审阅合并请求。 固定评估版本和输入,分别记录修改前后的质量报告,优先人工查看新增的具体发现。
  • 让问题能够复现。 保留运行参数与报告,便于下一位评审者核对阈值、技能版本和条目变化。
  • 为更深入的验证做准备。 静态结果可以帮助定位文档要改哪里。要继续比较类似技能或测试智能体效果,再分别配置去重或实际任务评估所需的环境。

常见问题与排错

  • 找不到 Git 或 uv。 先按各自官方说明安装。新终端中能输出版本后再从练习目录继续。
  • 首次运行卡在下载。 先确认 GitHub、Python 下载源和依赖源能访问。依赖安装失败时没有质量分数可以解释,修复安装后重新运行。
  • 报告写到了意外位置。 从包含项目配置文件的根目录运行,并确认 -o 指向预期的输出目录。不要把两个报告写到同一个目录。
  • 删减版得分变动与预期不同。 先核对两次输入路径和标签,确认脚本确实找到了示例章节,再读具体发现。文档少了某个章节不保证分数按固定幅度降低。
  • 报告显示 INCOMPLETE。 查看缺少哪类证据。这个练习只运行质量检查,安全扫描与真实智能体任务需要对应的评估步骤。

费用、隐私与限制

项目采用 Apache 2.0,另行安装的依赖按各自许可证使用。首次安装需要下载工具及依赖,官方说明该静态检查在安装后可以离线运行。练习所需成本主要是本机时间、网络和存储。

改用模型评审时,提供方会接收所提交的技能文档,费用和用量限制由服务决定。涉及内部技能或运行记录时,先确认哪些内容可交给外部服务。报告中的分数反映规则看到的静态材料,实际执行效果需要单独测试。

官方资料