@easbot/local-model-sdk weekly downloads statistics

English | 中文

Local Model SDK

基于 Transformers.js + ONNX 的本地模型 SDK，支持 Language Model（文本生成）和 Embedding（文本嵌入）功能，完全兼容 AI SDK 规范。

版本

v0.3.29

特性

• ✅ Language Model 支持：基于 Transformers.js 的文本生成能力 • ✅ Embedding 支持：高质量的文本嵌入向量生成 • ✅ 流式生成：支持实时流式文本输出 • ✅ 批量处理：高效的批量嵌入处理 • ✅ 模型缓存：自动管理模型文件缓存 • ✅ AI SDK 兼容：完全兼容 AI SDK v3 规范 • ✅ TypeScript：完整的类型定义支持 • ✅ 离线运行：无需网络连接，完全本地化

安装

快速开始

Language Model - 文本生成

Language Model - 流式生成

Embedding - 文本嵌入

支持的模型

Language Models

| 模型 ID | 描述 | 参数量 |

| qwen3-0.6b | Qwen3 0.6B 基础模型 | 0.6B | | qwen2.5-0.5b-instruct | Qwen2.5 0.5B 指令模型 | 0.5B | | qwen2.5-1.5b-instruct | Qwen2.5 1.5B 指令模型 | 1.5B | | qwen2.5-3b-instruct | Qwen2.5 3B 指令模型 | 3B |

Embedding Models

| 模型 ID | 描述 | 维度 |

| bge-small-zh-v1.5 | BGE Small 中文模型 | 512 | | bge-base-zh-v1.5 | BGE Base 中文模型 | 768 | | bge-large-zh-v1.5 | BGE Large 中文模型 | 1024 |

2026-09-23 PR-2 同步：embedding model 运行时依赖说明

@huggingface/transformers 的本地推理需要 onnxruntime-common 作为 native runtime。

• 症状：status / probeEmbeddingDims 时报 Cannot find package 'onnxruntime-common' imported from @huggingface/transformers - 影响：probe 失败但 service fallback 到 config 中的 dim（如 768），搜索功能仍可用；仅是告警级别不阻塞 - 修复： - 全量安装：pnpm add -w onnxruntime-common（推到 monorepo root，被所有包共享） - 或临时：跳过 probe（status 命令暂不主动探测） - 或用 remote embedding（OpenAI / 通义千问 / Ollama）替代本地 embedding - 长期：@easbot/local-model-sdk 的 package.json 应加 onnxruntime-common 为 optionalDependencies 让 pnpm 自动安装

开发

许可证

MIT