password
URL
type
status
date
slug
summary
tags
category
icon
周起始
标签
是否汉化
生活,就是心怀最大的善意在荆棘中穿行,即使被刺伤,亦不改初衷。
catalog
catalogintroductionwork_2024_上数据可视化展示效果技术整理工具可视化官方文档展示效果AI-test重构prompt的模板分离一键生成功能的兼容性python-excel的读写封装爬虫框架Scrapy的研究scrapy_doubanBeautifulSoup_telegram接口服务部署→vercel公众号文章的GPT输出实践UI自动化框架改造基于模型的UI自动化项目_实践大模型在测试领域的应用规划示例流程总结实践应用基于模型的本地知识库的搭建日常工作总结思考与规划项目执行报告总结工作流程与方法论复盘生活工作
introduction
回首望去,时光竟是如此匆匆,转眼间,2024 年已然近乎走到了一半的节点。静下心来好好地整理一下思绪,总结一下上半年的工作状况以及生活的点点滴滴吧-工作篇
- 2024年07月7日 ➡️
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F68202bb5-9faf-4bfe-9cc4-aaf29bc1fbcc%2F507a59fa-d79a-4bb0-9753-f1c645e41b0f%2FUntitled.png?table=block&id=ad81fc1c-72d3-43e3-b9c7-acf5a8928f3a&t=ad81fc1c-72d3-43e3-b9c7-acf5a8928f3a&width=708&cache=v2)
work_2024_上
数据可视化
在确保自动化巡检稳定运行的同时,应更关注和分析巡检结果,
首先进行直观统计,包括用例数量、系统数量、错误数量和失败用例数量等,
进一步分析数据,确定哪些系统运行稳定,几乎没有报错,可以适当降低巡检频次。
对于经常报错的系统,统计其平均周报错次数和月报错次数,找出导致报错的原因并提出解决方案。
后续在优化和更新框架及用例时,应更加关注巡检结果,以提升整体效能。
展示效果
Flow:
测试用例数据—>入库(sql封装)—>查询(sql封装)—>数据加工分类提取—>写入到pyecharts报表—>服务nginx搭建—>前台展示
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F68202bb5-9faf-4bfe-9cc4-aaf29bc1fbcc%2F1963d8ad-11a0-48c6-92ef-29369582de0d%2FUntitled.png?table=block&id=42bdb55e-1cd0-4e45-b480-5140dea35b14&t=42bdb55e-1cd0-4e45-b480-5140dea35b14&width=708&cache=v2)
技术整理
- 在学习pyecharts的同时将api项目的sql查询重新整理了一遍,图表只是前端展示,需要展示哪些数据,如果查询这是核心,顺便又将sql熟悉了一遍,重新建了表及新增了相关字段以便统计
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F68202bb5-9faf-4bfe-9cc4-aaf29bc1fbcc%2F95fbe791-4089-42f0-ba15-2483e3c462b1%2FUntitled.png?table=block&id=afdca0b9-e8af-46dd-af9d-5d9de29f95e9&t=afdca0b9-e8af-46dd-af9d-5d9de29f95e9&width=672&cache=v2)
- 文章整理 ➡️
工具可视化
之前辅助测试基本都是独立接口,整理在各自的postman中,最近由于改版,某个提交接口无法直接获取提交,需要鉴权加密,单纯的一个接口调取无法满足,因此打算先利用快捷的构建方式实现小工具表单可视化,工具使用:pywebIO 来实现,后续再考虑vue+django的方式形成工程项目
官方文档
展示效果
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F68202bb5-9faf-4bfe-9cc4-aaf29bc1fbcc%2Fa35601b8-d6a8-4e1a-ace4-d574d489f912%2FUntitled.png?table=block&id=a6eb068e-7fe0-4f8e-b888-83a214a53c99&t=a6eb068e-7fe0-4f8e-b888-83a214a53c99&width=240&cache=v2)
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F68202bb5-9faf-4bfe-9cc4-aaf29bc1fbcc%2Fc154dc28-9584-42f4-88f3-f4235b3461f7%2FUntitled.png?table=block&id=f53ed60f-84e2-4d8e-a7e0-f4ba86420c07&t=f53ed60f-84e2-4d8e-a7e0-f4ba86420c07&width=240&cache=v2)
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F68202bb5-9faf-4bfe-9cc4-aaf29bc1fbcc%2Fe5abfe9e-b7d1-45bc-966b-b195be816aee%2FUntitled.png?table=block&id=2bd5df56-f8ae-4360-b7fa-b406fa16a465&t=2bd5df56-f8ae-4360-b7fa-b406fa16a465&width=240&cache=v2)
AI-test重构
包括prompt、接口调用分离,测试文件模板重写,提高代码可读性,兼容性,后续调整维护更加方便
除了用例GPT生成,新增了其他方面的应用,如:生成IM问答输入与输出,以达到更多的覆盖场景批量测试
prompt的模板分离
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F68202bb5-9faf-4bfe-9cc4-aaf29bc1fbcc%2F5551ae1d-657d-4d0d-89f4-54d08700d4ae%2FUntitled.png?table=block&id=defb1ca4-77d4-464e-8b7a-6a559a859256&t=defb1ca4-77d4-464e-8b7a-6a559a859256&width=708&cache=v2)
一键生成功能的兼容性
- 根据不同业务系统的特殊规则,一键生成脚本及用例更具兼容性
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F68202bb5-9faf-4bfe-9cc4-aaf29bc1fbcc%2F61b6f5a0-fb73-4844-99c0-e0add8672807%2FUntitled.png?table=block&id=b9534e52-f2b1-44f9-80ec-100043f7af50&t=b9534e52-f2b1-44f9-80ec-100043f7af50&width=708&cache=v2)
python-excel的读写封装
爬虫框架Scrapy的研究
起初是想借助GPT做些自动化方面的事情,自动生成公众号文章,自动整理总结相关内容并输出…
但有些源数据还是相当不错的,想着抓取下来利用GPT再加工下,包括telegram频道数据的爬取,各个网站热门文章的抓取等等
- 公众号接口开发已完成,今天开始寻找”数据源” 爬数, 选择了scrapy框架,边研究边写,个别的元素定位xpath实属困难,最后组合拳:scrapy+BeautifulSoup 无所不能了,还是正则find,用着丝滑🤣
scrapy_douban
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F68202bb5-9faf-4bfe-9cc4-aaf29bc1fbcc%2F67321a17-b795-46d6-8339-335854dd7667%2FUntitled.png?table=block&id=3f1ca0b5-75fd-4315-8cd3-164488f8710c&t=3f1ca0b5-75fd-4315-8cd3-164488f8710c&width=2212&cache=v2)
BeautifulSoup
_telegram
电服的api_key 好难获取呀,搞了好半天才申请成功 😂
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F68202bb5-9faf-4bfe-9cc4-aaf29bc1fbcc%2Fa1befe60-69f8-4cb9-806a-001e5dbc28cf%2FUntitled.png?table=block&id=eb9cda33-350b-4902-8ada-02298b03d250&t=eb9cda33-350b-4902-8ada-02298b03d250&width=708&cache=v2)
接口服务部署→vercel
repo了一份开源的各个平台的接口服务,通过vercel一键部署后,就可以为我所用啦
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F68202bb5-9faf-4bfe-9cc4-aaf29bc1fbcc%2F87693116-efb6-490f-807b-d887cf24fcca%2FUntitled.png?table=block&id=0f741370-78f9-4b00-9020-199b84fe8793&t=0f741370-78f9-4b00-9020-199b84fe8793&width=432&cache=v2)
公众号文章的GPT输出实践
热门文章获取→GPT→prompt文章美化建立(含公众号可实别的html格式)→封装公众号文章(草稿、上传、发布)接口→定时任务
UI自动化框架改造
1. 将UI自动化项目从代码重构、项目结构目录重新划分、selenium\appium等封装分类汇总,不在写在一起,使目录结构更清晰,便于维护
2. 图像对比功能重新封装供其在测试用例可能灵活调用
3. action与driver分开独立封装维护
4. 遵循:UI自动化的编写思想尽可能地使用循环遍历+图像对比校验的方式,避免因业务场景及UI变更需要频繁更新用例及代码逻辑
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F68202bb5-9faf-4bfe-9cc4-aaf29bc1fbcc%2F67e74a86-596c-401b-a4ac-3b9e4cf33dd1%2FUntitled.png?table=block&id=d6848505-4d6c-4834-b754-78caf84c8429&t=d6848505-4d6c-4834-b754-78caf84c8429&width=708&cache=v2)
基于模型的UI自动化项目_实践
原流程:yml(元素数据维护)->page/action文件编写->test_case文件编写
改进后:yml(自然语言动作描述)-> test_case执行
规划中:嵌入大模型_自然语言识别
- 多样化的语言描述->模型意图识别->调用不同的动作->组装流程->执行
- 新增对话流Chat:语言描述->执行动作
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F68202bb5-9faf-4bfe-9cc4-aaf29bc1fbcc%2Fb2188dbd-2288-491e-9b93-79095845a7d8%2FUntitled.png?table=block&id=164fb5b9-b17f-48e7-9213-f3fcf0d96f3c&t=164fb5b9-b17f-48e7-9213-f3fcf0d96f3c&width=708&cache=v2)
大模型在测试领域的应用
规划
基于 收集bug数据+需求文档+测试用例→转换json模型识别的格式→LLama Factory→进行训练→agent_api→实践应用
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F68202bb5-9faf-4bfe-9cc4-aaf29bc1fbcc%2Fb4c71388-1b4e-4716-a26d-8883119b0522%2FUntitled.png?table=block&id=786f7b81-574f-40e9-8505-197bac659a2b&t=786f7b81-574f-40e9-8505-197bac659a2b&width=1500&cache=v2)
示例流程总结
- 收集数据:获取bug数据、需求文档和测试用例。
- 数据清洗和预处理:确保数据格式一致、内容完整。
- 转换为JSON格式:将数据转换为JSON格式,以便模型处理。
- 训练模型:使用LLama Factory进行模型训练和微调。
- 应用模型:通过agent_api将模型应用于实际测试场景。
实践应用
在实际应用中,可以通过以下方式进行实践:
- 自动生成测试用例:提交需求文档,生成相应的测试用例。
- 缺陷预测和分析:提交代码或需求文档,预测潜在的缺陷。
- 自动化测试执行:提交测试用例,自动执行并生成测试报告。
基于模型的本地知识库的搭建
基于模型的本地知识库的搭建
- 用例(根据已知需求和用例-扩展补充用例)
- 业务规则(查询检索相关业务规则
本地搭建
- Ollama: qwen-7b, mxbai-embed-large
- 客户端:1. maxkb
2. anythingLLM
3. Reor
4. Dify
- 流程: 上传数据(需求、用例)文件à加工处理存入à向量化数据库à加载大语言模型+嵌入模型(RAG )à模型参数调优à prompt调优à Chat对话
感想
- 依赖于大模型的基座能力,7b满足不了,检索的效果,要做好,难度大
- 好多企业选择知识库首先想到的就是 AI 客服,但实际用下来,目前没找到真的实现效果好的。基本要么用不起来,要么需要无数的人力去打标记。原本想要的是智能客户降本增效,用上知识库之后反而反过来了。
- 大家概念都说的很好,一旦到实际生产落地的时候,对输入的内容要求太高了。又要有规律,又要规则统一,又要内容种类明晰不杂乱,总之基本不太可能实现,最终还是要大量的人力去打标记。
日常工作总结
做任何事情时,都应该明确其目的,并考虑下一步to下一步的行动,以确保心中有数。
思考与规划
- 制定合理的工作策略
- 任务安排:
- 排期与工时管理
- 技术分享PPT、半年述职PPT的撰写
- 自动化结果分析
- 任务工时统计、PMO项目工时统计分析
- 业务相关:
- 跟踪渠道、价格、分发等线索信息
- 了解套餐包类型、价格、会员数,车源分发数量等
- 加强工时评估的严谨性,定期检查邮件
项目执行
- 工时评估: 严格评估工时,确保项目按时交付
- 项目监控: 定期检查项目进度,及时调整计划
- 任务规划: 精细化管理工作任务,确保按时完成
- 时间管理: 提高时间管理的精细化,加强自律性
报告总结
- 明确绩效考核、述职PPT、员工评语等的目的和衡量标准
- 总结应包括整个组的情况,了解每个员工的情况、产出、工作质量及工作量
工作流程与方法论
- 多角度思考: 遇到难题时,尝试从不同角度进行思考排查问题,不要钻牛角尖,找到最有效的解决方案,强调方向和定位的重要性。
- 简化设计:避免过度工程,减少不必要的文件和分层,对于公众号接口开发,可能不需要过于复杂的分层架构
- 对于脚本类/小项目,先尽快实现基本功能,再进行优化重构
复盘
TIPS:
- ⏰时间管理:确定每天最重要的三件事,确定DDL,去完成!
- 📚阅读不必求全,在于能用。用便签归纳代替详细笔记。
- 💜周末一天出门玩即可,一天在家工作复盘。
- ⬆最重要的是输出,一定要完成计划;学习部分,保持向上的劲头即可。
生活
- 说话放慢语速:有助于思考和沟通,更加清晰地表达自己的观点。
- 保持家居简洁:实行极简主义,减少不必要的物品,保持环境整洁,减少干扰,保持心境平和。
- 少说话少喝酒:减少无效的社交和不健康的饮酒习惯,提升生活质量。
- 健康饮食:控制饮食量,减少油腻食物的摄入,保持健康的饮食习惯。
工作
- 精细化管理:对工作内容进行精细化管理,提高自律性,确保任务按时高质量完成。
- 整理月报:每月从周报中提取数据,进行整理,便于年终总结。
- 定期做笔书笔记:每周抽出时间进行总结、归纳和整理,保持思维的清晰和条理。
离开乏味的皮囊,自由的灵魂在路上
- Name: Alan Hsu
- Tag: 随感、技术、经验、旅行、推荐、生活、音乐、电影 etc.
- Email:xulanzhong521gmail.com
- Twitter:@AlanHsu521
- Telegram:@AlanHsu521
- WeChat: Alan_Hsu_521
- Github: https://github.com/xsoway/
![notion image](https://cdn.jsdelivr.net/gh/xsoway/xmylog_imgs@main/wechat.jpeg?t=c801f848-eeb3-4323-ab52-b438cd83ba11)
![notion image](https://cdn.jsdelivr.net/gh/xsoway/xmylog_imgs@main/%E5%85%AC%E4%BC%97%E5%8F%B7.jpeg?t=ff58f8a0-f440-4f9c-abfa-8481cb10570e)
- Author:Alan_Hsu
- URL:https://xmylog.com/article/articles_review_2024_half-year_work
- Copyright:All articles in this blog, except for special statements, adopt BY-NC-SA agreement. Please indicate the source!