资源共享,记录个人心得等

Trae使用自定义模型使用英伟达平台模型

1.前言

Trae我使用的是国内版本,软件自身是没办法使用自定义平台的模型,下面是我使用第三方软件使Trae能够使用自定义的平台,自定义的模型。

模型平台我选用新出来的英伟达平台,这里正好能介绍一下,目前不用花钱,注册上即可。其中有国内开源模型,GLM-4.7,MiniMax M2.1.

理论上对接公益站模型也是可以的,在我下面的举例中按照公益站的内容自行修改参数即可。

2.注册英伟达AI平台并获取api

其他平台可以略过这步骤。

点击链接:https://build.nvidia.com/models

现在 nvdia 免费每分钟 40 次

打开页面后点击右上角,填入邮箱开始注册,推荐使用Gmail邮箱,使用国内的邮箱注册完后会提示找客服验证身份。使用Gmail邮箱注册完后会校验手机号,使用+86手机号验证即可,通过后就可以正常使用了。

在上面的models页面看不到GLM和MiniMax2.1,但是没有关系,可以在模型端点页面看到。

https://integrate.api.nvidia.com/v1/models

然后在页面右上角点击用户头像,再点击“API Keys”,进入api管理页面,点击“Generate API Key”,创建一个新的api key。

3.使用mtga代理服务

项目的地址是:https://github.com/BiFangKNT/mtga

原理是基于本地代理的方式,绕过 IDE 的固定模型服务商限制。

在github页面中有详细使用教程,这里说一下我的配置。

平台用的macOS。

3.1 安装mtga

首先下载mtga,在https://github.com/BiFangKNT/mtga/releases页面下载arm64.dmg文件

直接使用会出现“包已损坏” 问题,解决方法如下:

  1. Sentinel Releases 下载 Sentinel.dmg
  2. 双击 Sentinel.dmg 文件,将 Sentinel.app 拖拽到 Applications 文件夹
  3. 从启动台或 Applications 文件夹启动 Sentinel.app
  4. 将本项目的 MTGA_GUI.app 拖拽到 Sentinel.app 的左侧窗口中
    • sentinel add app

MTGA_GUI.app 将被自动处理并启动

3.2 使用mtga

3.2.1 信任证书

首先看页面下方的“证书管理”,菜单中从上往下依次生成CA证书,安装证书,期间需要输入密码。

3.2.2 修改hosts文件

软件可能会没有修改/etc/hosts 文件的权限,没关系,手动改一下即可。

打开终端,输入 sudo vim /etc/hosts 使用vim编辑器打开,然后添加

127.0.0.1 api.openai.com, ::1 api.openai.com

3.2.3 添加AI平台

我这里使用上面申请的英伟达平台。

首先打开配置组列表右侧的新增:

API URL 填写 https://integrate.api.nvidia.com

实际模型我使用GLM,填写 z-ai/glm4.7

API Key填写在上面英伟达页面生成的API Key,然后点击保存即可。

在下面的全局配置中,继续设置

映射模型ID,可以填写正常存在的模型,也可以自定义,我填写my-custom-local-model用来展示

MTGA鉴权Key,只用来转发,不需要真实Key,填写sk-开头的任意代码即可如:sk-tyuans

3.2.4 开启服务

因为我软件没有权限编辑hosts,因此使用一键启动会报错,手动开启代理服务器即可。

进入“代理服务器操作”页面中,点击“启动代理服务器”即可。

4.配置Trae

  1. 点击“设置”-“模型”-“添加模型”,开始添加模型
  2. 服务商选择“OpenAI”,模型选择“使用其他模型”,模型ID填写上面设置的my-custom-local-model ,API密钥填写上面的sk-tyuans ,然后点击“添加模型”

5.验证服务

如果添加成功,说明配置应该没有问题,咱们回到mtga中,看右侧的日志应该已经有了输出,比如能看到调用真实glm4.7模型的日志。

回到Trae中,开启对话,在下面模型选择中选择刚刚添加的,开启对话尝试一下,看一下返回内容是否正常。

以下是成功图片,是我找的,与我上面的设置没没有关系

赞(0) 打赏
转载需标明出处Lee's Blog » Trae使用自定义模型使用英伟达平台模型

相关推荐

  • 暂无文章

评论 抢沙发

觉得文章有用就打赏一下文章作者

Sol地址:7MrBphQke6RSiJ4xerbfipDhVnEoiRyP7H6rc1nCF1Zy

Solana地址

登录

找回密码

注册