SIE：为 Agent 统一托管检索、识别与生成模型
一分钟看懂
SIE（Superlinked Inference Engine）是一个自托管推理服务，用同一套 API 运行 Agent 所需的多种开放模型，包括向量嵌入、重排、文档转 Markdown、结构化抽取、内容安全和 Agent 循环。
你可以用它做什么
- 用 OpenAI 兼容接口替换分散的模型服务。
- 为 RAG 流程提供嵌入、匹配、重排与文档解析。
- 在同一集群按需加载多个模型，并对闲置模型执行淘汰。
- 用 Kubernetes、KEDA 和 Grafana 部署可扩缩的生产集群。
主要能力
- 内置多类任务模型目录，并支持按需下载与加载。
- 提供 Python 和 TypeScript SDK。
- 可在 CPU、本地 Apple Silicon 或 Linux NVIDIA GPU 环境运行相应构建。
- 能与 LangChain、LlamaIndex、Haystack、DSPy 等生态集成。
适合哪些人
适合需要自托管模型、统一 Agent 推理接口的 AI 平台团队，也适合构建检索、文档理解与结构化抽取服务的工程师。
怎么开始使用
本地可在 Python 3.12 环境安装 sie-server[local] 并运行 sie-server serve；NVIDIA GPU 或 CPU 环境可选择官方容器。服务就绪后通过 /v1/embeddings 等接口调用，再按需安装 sie-sdk。
使用前需要知道
项目采用 Apache-2.0。首次调用某个模型会下载权重，磁盘、内存、显存与延迟取决于模型和批量大小；各模型权重还可能有独立许可证。官方容器按依赖族区分，选错镜像可能无法加载目标模型。生产集群仍需自行配置认证、网络隔离和容量监控。