Created
Aug 12, 2024 12:34 AM
Favorite
Favorite
Priority
备注
推荐
🌟🌟🌟🌟
类型
模型部署
几天前,Github发布了Github Models,提供免费测试不同提示和模型参数。
GitHub 的初衷是让开发者在开发生成式 AI 应用程序时,可以使用 GitHub Models 免费查找和试验 AI 模型。当你准备将应用程序投入生产环境时,可以切换到付费的 Azure 帐户。
今天我收到邮件通知可以体验Github Models了。
还没有申请的小伙伴们,可以登录 gh.io/models 申请。
GitHub playground只支持文字和模型对话,我写了简单的Streamlit应用,可以选择GPT-4o或4o mini,文字或图片对话。
文章最后,我将分享完整代码。
可用模型
可以免费使用GPT-4o,llama 3.1 405B和Mistral Large 2等模型。
GitHub Models 概述
- GitHub Models 简介
- 为超过1亿用户提供领先的大型和小型语言模型
- 目标:让每个开发者都能成为AI工程师
- 核心功能
- 模型playground:免费测试不同提示和模型参数
- Codespaces集成:将模型引入开发环境
- Azure AI支持:生产环境部署,提供负责任的AI、企业级安全和数据隐私
- 主要特点
- 交互式模型playground
- 多模型比较和测试
- Codespaces集成,提供样例代码
- GitHub Actions支持
- 生产环境部署到Azure AI
- 隐私和安全承诺
- 提示和输出不会与模型提供商共享
- 不用于训练或改进模型
使用限制
对于个人用户,GPT-4o属于Rate limit tier,每天最多可使用50次,GPT-4o mini最多可使用150次。
点击"get started"可以了解如何在本地运行。
开始使用
申请通过后,则可以在playground和模型对话。
点击"get started"可以了解如何在本地运行。
本地配置
以我Mac电脑为例,通过命令将 GITHUB_TOKEN 写入到 ~/.zshrc 文件中。
- 首先,将 "xxx" 替换为实际的 GitHub Token。然后,在终端中运行以下命令:
- 为了使更改生效,你需要重新加载 .zshrc 文件。运行以下命令:
- 为了验证 token 是否已正确设置,你可以运行:
这应该会显示你的 token。
GitHub CLI 集成
从视频里看出,还可以通过GitHub CLI和Github Models对话,但我试了下,现在还不支持。
自定义 Streamlit 应用
GitHub playground只支持文字和模型交流,我做了简单的程序,可以选择GPT-4o或4o mini,文字或图片对话。
完整代码
分享完整代码 app.py
运行说明
要运行这个Streamlit应用程序,请按照以下步骤操作:
- 环境准备:确保你的系统中已安装Python(推荐使用Python 3.9或更高版本)。
- 安装依赖:打开命令行终端,运行以下命令安装必要的库:
- 设置环境变量:你需要设置GITHUB_TOKEN环境变量。在终端中运行:
对于macOS(或者参考我上文做法):
对于Windows(命令提示符):
- 运行应用:在包含app.py文件的目录中,运行以下命令:
- 访问应用:Streamlit会自动在你的默认web浏览器中打开应用。如果没有自动打开,你可以在浏览器中访问终端显示的URL(通常是http://localhost:8501)。
结语
现在就登录 gh.io/models 申请吧。
广告时间
过去我已写了170+篇AI主题原创长文,我对继续写作充满信心,因为这是我的爱好,我非常热爱这件事。
最近我开通了知识星球,你加入后可以访问公众号收费文章,向我提问,第一时间获取AI资讯。
精选历史文章,请看这里: