Created
Aug 12, 2024 12:34 AM
Favorite
Favorite
Priority
备注
推荐
🌟🌟🌟🌟
类型
模型部署
几天前，Github发布了Github Models，提供免费测试不同提示和模型参数。
GitHub 的初衷是让开发者在开发生成式 AI 应用程序时，可以使用 GitHub Models 免费查找和试验 AI 模型。当你准备将应用程序投入生产环境时，可以切换到付费的 Azure 帐户。
今天我收到邮件通知可以体验Github Models了。
还没有申请的小伙伴们，可以登录 gh.io/models 申请。
GitHub playground只支持文字和模型对话，我写了简单的Streamlit应用，可以选择GPT-4o或4o mini，文字或图片对话。
文章最后，我将分享完整代码。
可用模型
可以免费使用GPT-4o，llama 3.1 405B和Mistral Large 2等模型。
GitHub Models 概述
- GitHub Models 简介
- 为超过1亿用户提供领先的大型和小型语言模型
- 目标：让每个开发者都能成为AI工程师
- 核心功能
- 模型playground：免费测试不同提示和模型参数
- Codespaces集成：将模型引入开发环境
- Azure AI支持：生产环境部署，提供负责任的AI、企业级安全和数据隐私
- 主要特点
- 交互式模型playground
- 多模型比较和测试
- Codespaces集成，提供样例代码
- GitHub Actions支持
- 生产环境部署到Azure AI
- 隐私和安全承诺
- 提示和输出不会与模型提供商共享
- 不用于训练或改进模型
使用限制
对于个人用户，GPT-4o属于Rate limit tier，每天最多可使用50次，GPT-4o mini最多可使用150次。
点击"get started"可以了解如何在本地运行。
开始使用
申请通过后，则可以在playground和模型对话。
点击"get started"可以了解如何在本地运行。
本地配置
以我Mac电脑为例，通过命令将 GITHUB_TOKEN 写入到 ~/.zshrc 文件中。
- 首先，将 "xxx" 替换为实际的 GitHub Token。然后，在终端中运行以下命令：
- 为了使更改生效，你需要重新加载 .zshrc 文件。运行以下命令：
- 为了验证 token 是否已正确设置，你可以运行：
这应该会显示你的 token。
GitHub CLI 集成
从视频里看出，还可以通过GitHub CLI和Github Models对话，但我试了下，现在还不支持。
自定义 Streamlit 应用
GitHub playground只支持文字和模型交流，我做了简单的程序，可以选择GPT-4o或4o mini，文字或图片对话。
完整代码
分享完整代码 app.py
运行说明
要运行这个Streamlit应用程序，请按照以下步骤操作：
- 环境准备：确保你的系统中已安装Python（推荐使用Python 3.9或更高版本）。
- 安装依赖：打开命令行终端，运行以下命令安装必要的库：
- 设置环境变量：你需要设置GITHUB_TOKEN环境变量。在终端中运行：
对于macOS（或者参考我上文做法）：
对于Windows（命令提示符）：
- 运行应用：在包含app.py文件的目录中，运行以下命令：
- 访问应用：Streamlit会自动在你的默认web浏览器中打开应用。如果没有自动打开，你可以在浏览器中访问终端显示的URL（通常是http://localhost:8501）。
结语
现在就登录 gh.io/models 申请吧。
广告时间
过去我已写了170+篇AI主题原创长文，我对继续写作充满信心，因为这是我的爱好，我非常热爱这件事。
最近我开通了知识星球，你加入后可以访问公众号收费文章，向我提问，第一时间获取AI资讯。
精选历史文章，请看这里：