Created
Jul 29, 2024 05:46 AM
Favorite
Favorite
Priority
备注
推荐
🌟🌟🌟🌟
类型
模型部署
Meta公司最近发布了Llama 3.1，但在中文处理方面表现平平[1]。幸运的是，现在在Hugging Face上已经可以找到经过微调、支持中文的Llama 3.1版本。这篇文章将手把手教你如何在自己的个人电脑上安装这个强大的模型，并进行详细测试，让你轻松享受流畅的中文AI体验。准备好了吗？让我们一起开始吧！
安装Ollama
Ollama是一个强大的机器学习模型管理工具，能够帮助我们快速安装和管理各种大语言模型。以下是安装 Ollama的步骤：
macOS
MacOS 下载 Ollama 链接 - https://ollama.com/download/Ollama-darwin.zip
Windows
Windows 下载 Ollama 链接 - https://ollama.com/download/OllamaSetup.exe
Linux
Linux 下载并安装 Ollama
安装完成后运行以下命令检测有没有安装完成。
安装 Llama3.1-8B-Chinese-Chat 模型
在安装好 Ollama 后，我们可以通过 Ollama 快速安装 shenzhi-wang 的 Llama3.1-8B-Chinese-Chat 模型。首先在 HuggingFace 里面找到 Llama3.1-8B-Chinese-Chat 的下载页面并下载模型。下载链接： shenzhi-wang/Llama3.1-8B-Chinese-Chat · Hugging Face[2]
导入模型
下载到本地的模型文件不能直接导入到Ollama，需要编写一个配置文件，随便起个名字，如
config.txt，配置文件内容如下：首先，确保第一行
FROM "..."中的模型文件路径已经根据你的实际情况进行了修改。其余部分的模板内容已经优化好，无需任何改动。然后，只需运行以下命令，即可轻松导入你的模型：
llama3-zh 是我们给模型起的名字，成功导入后可以使用 list 命令查看：
可以下载多个模型，给每个模型写一个配置文件（仅需修改路径），导入时起不同的名字，我们就可以用 Ollama 方便地运行各种模型。
运行模型
模型安装完成后，我们可以通过以下命令启动模型并进行测试：
模型测试与应用
启动模型后，可以通过命令行与模型进行交互，输入中文问题并获取模型的回答。例如：
模型将会生成相应的回答。您也可以将模型集成到自己的应用中，如聊天机器人、智能客服等，提升应用的智能化水平。
也可以使用 curl 命令通过 http 接口使用模型。
总结
通过 Ollama 在个人电脑上快速安装运行 shenzhi-wang 的 Llama3.1-8B-Chinese-Chat 模型，不仅简化了安装过程，还能快速体验到这一强大的开源中文大语言模型的卓越性能。希望本文能为在个人电脑使用大模型提供一些启发。
如果您在安装或使用过程中遇到任何问题，欢迎在评论区留言。
引用链接
[1] 但在中文处理方面表现平平: https://www.ifb.me/blog/ai/cloudflarellama31-mi[2] shenzhi-wang/Llama3.1-8B-Chinese-Chat · Hugging Face: https://huggingface.co/shenzhi-wang/Llama3.1-8B-Chinese-Chat欢迎加入我的知识星球，一起探讨有意思的 AI 新鲜玩法。