财务大模型“一本正经地胡说八道”，怎么解决？

　　全文发表于《财会月刊》2023年第17期

　　原文标题《金 源 魏振 李成智 | 基于ChatGPT的问答式财务知识库构建与应用》

​图片​

​图片​

　　上周，我们发布的财务AI大模型测评结果受到了广泛关注。半数以上被测大模型表现基本及格，但是仍然存在计算不准、科目有误等问题。会计领域对精确度要求高，如何避免财务大模型“一本正经地胡说八道”，让财会人真正放心用上AI工具呢？

　　为此，本文提出了一种基于ChatGPT构建问答式财务知识库的可行框架，并以H公司的问答式财务知识库ChatDoc作为案例，具体呈现了问答式财务知识库在财务部门的落地路径及其在赋能财务知识管理过程中的应用价值。这种方法可以帮助企业更好地管理财务知识，提高员工的学习和工作效率，也可以为其他垂直领域的知识库的建设提供参考与借鉴。

　　PART 1

　　 论文框架

​图片​

　　PART 2

　　正文精读

　　一、WHY：财务领域的知识管理模式演变

　　本文从DIKW视角分析财务领域从数据管理到信息管理再到知识管理的演变逻辑，进而论述基于ChatGPT构建问答式财务知识库的必要性与可行性。

　　1.DIKW视角下财务知识管理的演变逻辑

　　DIKW模型是一个被广泛应用于知识管理领域的模型。在数据沿着财务金字塔由下至上被逐层传递的过程中，传递内容的数量不断下降，质量不断提升。

　　​图片图1 数据沿着财务金字塔被逐层加工

　　而ChatGPT的问世为DIKW模型带来了更多想象空间，使得财务知识管理模式从单向管理向双向智慧问答演变。

　　表1 ChatGPT推动财务知识管理模式演变

​图片​

　　2. 基于ChatGPT构建问答式财务知识库的必要性与可行性

　　搜索引擎、内部知识库和ChatGPT各有优劣，无法单独实现财务知识库功能（见表2）。因此，本文认为可将三者的核心优势相结合，构建基于ChatGPT的问答式财务知识库。

　　表2 三种知识管理方式对比

​图片​

　　二、HOW：基于ChatGPT的问答式财务知识库框架设计

　　本文将从系统架构、运行过程和日常维护三个角度介绍如何基于ChatGPT构建问答式财务知识库。

　　1.系统架构

　　基于ChatGPT的问答式财务知识库系统至少需由文档库、组件库、​向量数据库​、OpenAI的API接口、日志系统和用户界面六大模块组成，如图2所示。

​图片​

　　图2 基于ChatGPT的问答式财务知识库系统架构

　　2.运行过程

　　问答式财务知识库的运行过程可以分为文档准备和用户问答两个阶段，如图3所示。

​图片​

　　图3 问答式财务知识库两阶段运行过程

　　3.日常维护

　　在知识入库时需要对文档进行分类管理，制定标准化的入库流程，以确保知识能够被高效地记录和管理。在知识更新方面，可以利用RPA技术定期检查法规的有效状态，确保知识库中的信息始终保持最新、准确和可靠。在知识弃用方面，需要确保知识库中的信息经过充分的筛选和审核，将不再适用或不准确的信息标记为弃用，以避免给用户带来误导或困扰。

　　三、CASE：H公司问答式财务知识库ChatDoc实践

　　1​ ****.​ChatDoc的系统结构

　　 （1）问答式财务知识库架构

　　在搭建过程中用到的组件包括：OpenAI公司的Embedding模型（用于实现前文所述的词句转向量功能）、ChatGPT模型（负责基于问题和背景知识给出回复）、LlamaIndex组件（负责读取并切割文档资料，构建索引，检索并匹配向量相似度，查询并转接信息）、文档库（负责存储文档资料）、向量数据库（负责存储文本信息的向量）。

​图片​

　　图4 H公司ChatDoc系统架构图

　　 （1）用户交互界面

　　ChatDoc的用户交互界面被设计成文档列表区、文档内容展示区和问答区三个部分。在文档列表区，用户可以上传文档，并可查看文档索引的状态，在系统完成对文档的索引后，用户就可以选择多个文档，并且基于这些文档进行提问。在文档内容展示区，用户可以查看文档内容预览。在问答区，用户可以提出问题，问题会被实时展示在对话框里，在短时间的延迟后，用户就能获得回复。

​图片​

　　图5 ChatDoc的用户交互界面

　　2.ChatDoc的应用场景****

　　 ****************（1）​财务制度查询

　　ChatDoc可作为​智能财务客服​，帮助员工实现报销和薪资查询等。

　　 （2）准​则税法溯源****

　　ChatDoc不仅可以准确回答提问，而且可以精准给出回答所参照的企业会计准则条目。

​图片​

　　图6 ChatDoc实现精确准则溯源

　　 （3） ​跨文档查询

　　用户可在文档列表区同时勾选多个文件让ChatDoc综合参考，可用于投资决策时对多份公司财报、行业报告等进行对比分析。

　　 （4） ​财务理论查询

　　ChatDoc可提供实例对理论给出进一步阐释，以便于财务人员理解。

　　 （5）公开财报分析

　　ChatDoc支持用户上传各种格式的报表文件，并可进行财务报表初步的比率分析。

​图片​

　　图7 ChatDoc进行初步财务分析

　　3​ . ​**ChatDoc的应用场景**********

　　H公司通过将ChatDoc小范围投入测试并搜集反馈后发现，基于ChatGPT的问答式财务知识库能为用户提供更精准的答案，使用户获得更佳的用户体验，具体表现如下：

　　(1)可以更精确地理解用户的问题和意图，提供更为精准的答案
(2)能够提供更加个性化的答案，包括详细的逻辑推理过程
(3)自助查询服务可以减轻财务人员的工作压力，还可集成在办公软件中

　　然而，实践中ChatGPT本身能力上的不足也一定程度上限制了ChatDoc的价值发挥，具体表现在：

　　(1)对文本以外的资料理解并不好，比如在处理复杂表格数据时会存在取数不准的问题

　　(2)用户提问的提示词（Prompt）对于答案的可靠性至关重要，甚至产生“大模型幻觉”

　　基于文档库、组件库、向量数据库、OpenAI接口、日志系统、用户界面的体系框架是当前阶段构建基于ChatGPT的问答式财务知识库行之有效的一种方式，可以提高财务人员获取和使用知识的效率。然而，数据安全问题需要重视，可以对非敏感数据进行脱敏处理后纳入文档库并使用ChatGPT进行问答处理，对于特别敏感的数据可考虑本地化部署大模型进行本地化处理。未来，还需要综合运用多种解决方案实现数据安全和知识库建设的平衡发展，稳步探索财务管理的未来方向。

　　作者 | 金源等
编辑 | 王柏文
审核 | 朱海莹

　　‍