Created
Aug 14, 2024 01:43 PM
Favorite
Favorite
Priority
备注
推荐
类型
https://textdata.cn/blog/2024-08-06-using-the-ollama-local-large-model-to-predict-the-sentiment-category-of-online-comments/
情感分析是分析文本以确定消息的情绪基调是积极、消极还是中性的过程。通过情感分析，我们可以了解文本是否表现出快乐、悲伤、愤怒等情绪。主要的计算方法有语义词典法、机器学习法、混合方法、其他方法。随着chatGPT这类大语言模型的出现， 它们增强了文本理解能力，使我们能够更精准的把握文本中的语义和情绪，也因此大型语言模型 (LLM) 一出场就有实现情感分析功能。
一、任务描述
大邓准备了200条外卖评论数据(下图蓝色框)， 已进行标注, 其中负面110条，正面90条。
现在想设计一个Prompt， 使用中文大模型对 review 文本进行情感类别(pos/neg)的预测(红色框)， 最终会计算大模型预测的准确率。
先提前剧透一下， 模型预测的准确率89.5%。这种准确率，用到经管社科研究中， 应该没啥问题。
二、传统模式 VS 大语言模型
大语言模型 (LLM) 因其在理解和生成人类语言方面的熟练程度而在情绪分析方面表现出色。通过对各种数据和算法进行训练，LLM 可以检测文本中的细微差别，从而增强其在社交媒体、新闻文章和客户评论等平台上掌握人们情绪和观点的能力。它们捕捉上下文和情感线索的能力提高了情绪分析的准确性和深度。
情感分析领域，传统模式与大语言模型 (LLM) 的比较
- 传统的内容分析方法可能难以准确捕捉细微的情绪。
- LLM 使用深度学习和迁移学习等先进技术，擅长理解不同的语言表达。
- LLM 在跨文本源（包括社交媒体帖子和新闻文章）的情感分析方面具有卓越的准确性和效率。
三、Ollama
Ollama是一款开源应用程序，可让您使用 MacOS、Linux 和 Windows 上的命令行界面在本地运行、创建和共享大型语言模型。
Ollama 可以直接从其库中访问各种 LLM，只需一个命令即可下载。下载后，只需执行一个命令即可开始使用。这对于工作量围绕终端窗口的用户非常有帮助。Ollama的安装、配置、使用的详细教程可阅读 教程 | 如何使用 Ollama 下载 & 使用本地大语言模型
3.1 安装模型
假设电脑中已安装了Ollama软件， 现在安装需要的大模型。这里我们安装
- qwen2:7b：阿里的通义千问大模型， 主要适用于中文场景， 英文也可。
- llama3:8b：Meta发布的LLama大模型，主要适用于英文场景， 中文也可。
3.2 安装python包
打开电脑命令行cmd(mac是terminal), 网络是连网状态，执行安装命令
3.3 启动ollama服务
在电脑中找到软件Ollama， 双击打开，即可开启Ollama服务。
四、实验
4.1 代码结构
点击下载本文代码
4.2 读取数据
data.csv 内存储着200条外卖评论，均已标注(1正面， 0负面)
字段的数据类型
Run
label数值的分布
Run
4.3 设计提示
需要根据单词，生成单词、音标、语义、例句、历史文化、相关单词等信息， 提示如下，
4.4 小实验
Run
运行一条评论耗时1.42s， 需要注意，返回结果的格式不唯一也不确定，这是我发现的别的格式
据此，设计了如下的代码
Run
五、批量运算
六、检查准确率
假设label为1时， sentiment为pos(或label为0时， sentiment为neg)， 大模型判断正确。反之，判断失误。
Run
今天使用的国产大模型（qwen2:8b) 预测情感分类的表现还不错， 准确率高达89.5% 。
Tips: 公众号推送后内容只能更改一次，且只能改20字符。如果内容出问题，或者想更新内容， 只能重复推送。为了更好的阅读体验，建议阅读本文博客版， 链接地址https://textdata.cn/blog/2024-08-06-using-the-ollama-local-large-model-to-predict-the-sentiment-category-of-online-comments/