由于一直感觉大模型有些虚无缥缈，为了便于实践中理解，近期进行了GPT3.5和阿里开源的qwen 7b模型本地部署，尝试与工作中的实际场景进行结合，形成一个直观的认知。
测试了几个场景
1. 开源大模型不加微调参加不同专业的测试
选择了网络学堂不需要培训直接参加的考试，使用GPT3.5和阿里开源版本，在没有经过任何微调的情况下，使用自己开发的chrome的AI扩展插件参加四项考试，进行验证，验证结果：
测试采取的chrome插件直接读取题目并由模型给出参考答案，根据插件显示进行题目填充方式。
通过考试结果可以看出：
- 越是专业的网络知识，模型的成绩越好；
- 国家或者业内通用准则落地规范（例如采购规范）成绩也可以达到中等偏上的水平。
- 联通的自有产品的培训考试，因为个性化太强，没有达到考核标准。
结论：直接使用开源大模型基本相当于一个新入职的大学生水平（甚至略高）。
对其进行必要的培训（模型微调）具备在一些岗位提供专业技能支撑的能力
2. 对于大模型的“自以为是”、“胡言乱语”问题。
通过提示词控制，可以避免大模型的自由发挥，只对明确知识进行解答。
以下在帮助家人确定治疗方案时利用GPT4.0对国际卫生组织诊疗方案pdf文档的解读，对于材料中没有提及的内容，避免其生造。
八、使用替诺福韦二吡呋酯对避免原发性肝癌的效果如何？
文档中提到，使用替诺福韦二吡呋酯（TDF）相比其他抗病毒药物，如恩替卡韦（ETV），在降低慢性乙型肝炎（CHB）患者发展为肝细胞癌（HCC）的风险方面显示出更低的风险。具体来说，一个更新的荟萃分析表明，在某些慢性乙型肝炎患者子集中，使用TDF比使用ETV治疗时，患肝细胞癌的风险更低 。
==文档中没有提供==使用替诺福韦二吡呋酯（TDF）对避免肝细胞癌（HCC）的具体数字或统计数据。相关的数据通常来自大型的队列研究或荟萃分析，可能在其他研究或出版物中详细讨论。因此，==尽管文档中提到TDF可能降低HCC的风险，但未给出具体的百分比或比例==。3. 构建本地化的大模型的技术门槛
开源大模型的本地化部署门槛很低，像阿里的qwen-7b可以做到一键部署。部署没有技术难点，而模型效率提升（GPU的驱动加载、系统参数优化）是需要着力提升和研究的地方。
想法
大模型在架构设计中的三层规划：
- 基础能力层：无论是国内还是国外开源大模型的知识水平可以满足一些专业的直接使用，在这个情况下需要做的是对新入职大学生的专业提升而不需要从幼儿园、小学教起。基础能力部分应弱化构建、强化优化：
- . 效率优化：怎么快速的响应前端需求并反馈结果，榨干GPU的所有算力。
- . 模型微调：根据上游提供的微调数据，结合不同的底层大模型数据格式，实现微调数据的模型加载。
- AGENT层：底层的大模型能力是开源的（大家起点相同），前端的需求也是共通的，ai能力的差异体现在如何做好”需求-大模型“的中间代理人。基于大模型与前端业务需求的理解，实现“微调”策略优化，实现代理专业方向上的模型能力的不断提升，例如，同样的大模型经过规则约束，实现对问题的准确回答；别人的通义千问只能对话聊天，但是我们的通义千问已经可以解答智家工程师的问题：
{ role: 'user', content: '（单选题）EPON下行采用广播方式，ONU接收数据时，仅接收符合自己的( )的帧或者广播帧。A、MAC B、SN C、LLID D、IP地址' } (total messages = 2)
C、LLID\n\nEPON（Ethernet Passive Optical Network，以太无源光网络）下行传输是使用广播技术，ONU（Optical Network Unit，光网络单元）会接收到所有带有正确LLID（Line Identifier，线路识别码）的帧。LLID是一个唯一的地址，每个ONU在注册时会设置，并且只为自己的设备分配，这样可以确保数据只发送给目标设备，提高了网络效率。"
使用AI的场景
1. 利用浏览器插件模型，布局到各个部门和专业领域
采用浏览器的AI插件方式，对现有系统能力实现垂直提升。
- 在营业受理环节提供受理指引，发生报错后提供的原因分析。
- 在客服领域提供客服处理问题的在线解答辅助。
- 在采购环节提供公司各项规定的条文出处。
- 在经分平台提供当前统计指标经过“微调”后的口径指引。
利用chrome浏览器插件实现数字化的AI能力入口。
2. 构建联通各专业线知识库
利用大模型构建知识库可以规避两个痛点问题：
- 知识整理的耗时耗力导致的时效性问题。通过开发自动读取文档，将现有文档自动整理为微调数据，实现模型训练提升。降低知识需要人工维护整理的工作量（保留数据校准人员）。
- 大量知识需要从零开始训练的问题，利用已有的大模型为能力基础，通过将日常的各种文档的日常整理训练，逐步提升和构建起专业的知识库。
通过浏览器插件迅速布局到各个专业的知识支撑中。
