LiteLLM
LiteLLM 是一个 LLM Gateway 可在 100 多个 LLM 中提供模型访问、回退和支出跟踪。全部采用 OpenAI 格式。，它被用于 AI 智能体/聊天/知识检索 AI 多模型统一交互界面 AI 写作与创意内容生成 等场景。LLM Gateway 可在 100 多个 LLM 中提供模型访问、回退和支出跟踪。全部采用 OpenAI 格式。
准备
在参阅本文档使用 LiteLLM 时，需要确保如下几点：
-
登录 Websoft9 控制台，然后找到（或安装）LiteLLM：
- 我的应用 菜单找到应用
- 应用商店 菜单部署应用
-
应用是基于 Websoft9 安装的
-
应用的用途符合 MIT 开源许可协议
-
为应用准备配置访问方式：配置域名 或 服务器安全组开启网外端口
入门指南
初始化
Websoft9 控制台安装 LiteLLM 后，通过 我的应用 查看应用详情，在 访问 标签页中获取登录信息。
登录后台
Websoft9 控制台安装 LiteLLM 后，通过 我的应用 查看应用详情，在 访问 标签页中获取登录信息。
安装插件
配置选项
- CLI
- 多语言（√）
- SMTP（√）
- 插件市场（√）
管理维护
- 重置管理员密码
- 更换 URL
- HTTPS 额外设置
- 在线备份
- 在线升级