前端框架关于大模型，这几位基金经理，问了这些问题常用的前端框架有哪些学到了，

原标题：关于大模型，这几位基金经理，问了这些问题

我们现在都在说大模型或者大语言模型。

我想大模型对我们来说就像一个巨人，庞然大物，我们像小孩一样充满着好奇地看着这个巨人，巨人背后是各种各样未知的可能性。

所以小编就用了 Midjourney 工具，输入了些文字，生成了这个图片。

近期，多位基金经理向文因君提问，希望了解大型语言模型的底层技术以及如何运用于工作。以下为问答实录：

问|基金经理们

答|陈凯博士

编辑整理|白羽蝶

01

大语言模型是什么

基金er：大语言模型意味着什么？相较于传统的自然语言处理技术有哪些优势？

陈凯博士：

相比于传统的自然语言处理技术，大语言模型具有更好的上下文理解能力，更广泛的覆盖范围，更高的精度和准确性。这得益于两大核心技术，分别为预训练大模型和RLHF（Reinforcement Learning from Human Feedback）。前者从工程角度提升大模型准确度，后者使大模型更理解人类的指令，并对齐人类水平。

“知其然，且知其所以然”，从一个问题的很多可能答案中选择有用的，避免回答具有错误价值观的回复。并且支持多模态的输入，可理解图片内容。

目前大型语言模型仍处于通用模型阶段，要真正在金融领域中应用，需要垂直领域的专业大型语言模型。

基金er：在领域落地的时候，希望对目前基于 Transformer 框架制作的模型，如 BERT 、LLaMA 等开发使用，该如何进行调试或修改？

陈凯博士：

如果单指优化，目前对模板优化，可直接通过 Hugging Face 提供的接口进行训练及优化，在确定自身需要的语料或数据，根据其提供的脚本（）进行模型训练。也可直接通过 Hugging Face 提供的接口进行 inference 调用任务。目前优先使用Transformer 进行调用，属于 Hugging Face 提供的包（package），对于这些模型，除自身开发新框架或结构外，基本无需更改。

也就是说，通过优化使模板满足基金工作需求时，可从训练层面中对模型本身做脚本优化，或在推理过程中，通过外部叠加数据库，最终将模型部署到实际环境中进行测试。因为目前需要优化的内容均属于参数，可直接在其提供的脚本内进行改写。并且实际使用模板进行输出过程中，也无需在脚本或框架内优化，直接通过外部数据库清理进行结果输出即可。

就目前的基金而言，构建自己的大型语言模型从长期来看是非常有利的，但就短期而言，这需要投入大量的资金和人力，并且可能会面临一些算法和工程方面的问题。这对于每个公司来说都是一项挑战。

基金er：OpenAI 的 Sam 采访中提到，人们通常认为 OpenAI 主要具备后端的训练和大模型等能力，但实际上前端的数据无损压缩等能力也非常重要。对于目前大模型落地基金领域的需求，这句话该如何理解？

陈凯博士：

在大模型落地基金领域，除上文描述的训练和构建大规模的深度学习模型外， 更需要将这些模型有效地部署到实际应用中，在此过程中，前端数据处理和无损压缩等能力非常重要。

数据清洗可对金融领域中原始数据进行处理和转换，金融领域的原始数据涉及内容和形式较为多元，包括财报、新闻等等。数据清洗有助于后续分析和基金领域相关文本撰写。除数据清洗外。无损压缩对于大模型训练而言也同样重要，可通过减小数据占用的存储空间，从而提高数据传输的效率。

GPT-3 同样花费了大量的时间和资源进行数据清洗，将原始40 TB的数据减脂蒸馏至400GB 左右，使模型更好地 API 化。并且，目前在具体应用中，已经有相关API 插件对模型进行筛检蒸馏。

02

大语言模型是什么

基金er：ChatGPT有何技术突破？对于金融领域公司，该如何拥有属于自身垂直领域的大模型？能否使用大公司的模型？

陈凯博士：

ChatGPT并不是技术创新，它的核心技术——Transformer，是谷歌在2017年提出的。自监督学习算法和强化学习也在早期已经得到了应用。但是，现在ChatGPT已经被广泛使用，它可以进行聊天、写文章、会议总结、行研分析、写程序等多种应用，这使得大语言模型得到了重视。

最近几周，硅谷围绕OpenAI的产品上线了几十个，例如ChatPDF等。国内目前的创业主要集中在大语言模型领域。百度发布对标产品文心一言，美团联合创始人王慧文、创新工场CEO李开复、前搜狗CEO王小川等都宣布要创业做大模型。

这些大模型都属于通用领域，在具体场景使用时需要创建自己的大模型，这需要投入大量的时间、人力和资源。目前国内使用的底层大模型结构相似，具体落地时目前并无具体前例。从理论上来说，金融领域中的各家公司可以根据现有数据进行训练，然后比较效果。

现在优化还处于发展阶段，客户进行 RLHF（人类反馈）较难，但可以从工程角度出发，通过 prompt 调整模板，也能获得较为完整的结果，未来可能会出现更加智能的方法。

大公司模型通常是通用性的，而不是专注于特定领域的，并不适用于所有情况。目前垂直领域中，建立自身的大模型可能更有优势，能够更好适应行业特定的数据和任务，以提供更准确和高效的解决方案。

在金融领域落地的时，目前市面通用的语言模型有诸多局限。 所以如何以有限的预算落地国产的大模型应用，是未来发展的重点。 而文因互联过去8年深耕金融领域，在监管、券商、资管、银行等不同细分领域诸多业务场景落地实践，积累了大量的金融领域专业语料， 沉淀出文因独有的金融领域大模型，即将于4月初发布，今后每个月都会进行迭代，到 6 月份推出一个更强能力的金融语言模型。

基金er：RLHF 系统是大语言模型落地中重点训练内容，在具体训练时有何要求？能够成为创业公司新方向？需要的条件有哪些？

陈凯博士：

RLHF 在国内属于很少人做的领域，并且需要投入的成本很大，要求很多人进行排序及标注。并且，对于标注人的专业能力有一定要求，能进行 OpenAI 模型的标注人员一定需要有专业知识，人力成本较高。 鉴于RLHF所需要投入的成本，对创业公司做 RLHF无法给出确切答案。

与之相对的大模型应用方面，才属于未来真正智能的场景应用。对于目前金融领域公司而言，大模型能力属于全新的效率革命。 但需要具备大模型专业知识和专业的数据能力才能完成垂直领域的大模型训练及建设。

2022年，OpenAI 花掉了5.44亿美元，收入只有3600万美元。对于初步踏入大语言模型的公司而言，所需要的投入巨大，无论是未知的工程难题，还是现有的资金、算力、数据和人才等方面问题都需要长期坚持，短期内并无可能训练高质量大语言模型。

基金er：在基金行业，大语言模型有哪些落地场景、应用及局限性？目前语言模型的安全可信度以及准确性和实时性如何？能否满足金融机构希望提供的服务，大语言模型会如何应对存在的风险或挑战？

陈凯博士：

目前对于金融行业而言，大语言模型落地场景广泛，无论是日常工作中的自然语言处理和文本分析、还是相对复杂的交易策略和风险管理都有涉及。在 ChatGPT 和大语言模型之前，人工智能落地领域集中于解析及处理非结构化数据，可初步满足金融工作者日常对文本编撰和数据搜集整理的应用需求。

具体而言，大语言模型可以帮助金融机构进行“读”、“写”、“查”一条龙服务。对大量文本数据进行分析，例如新闻报道、公司报告等。在此基础上，可进行文本撰写，包括但不限于研报、公告、新闻、财报等。除此之外，还可进行市场数据分析，帮助金融机构制定交易策略和进行风险管理。

对于基金公司而言，利用大模型技术进行底层知识库的构建至关重要，可此基础上，利用AI技术在一些特定场景下为基金公司提供助力，如基金合同的自动撰写等。

基金公司日常工作中需要处理大量的投资决策、交易数据、财务报表等各种信息。建立底层知识库一方面可以帮助基金公司更好地组织和管理这些数据，另一方面为基金公司的决策提供更加精准的支持。在文档撰写方面，传统上基金合同需要人工完成，这个过程通常非常繁琐和耗时。但是，通过AI技术的应用，可以实现基金合同的自动化撰写，大大提高合同撰写的效率和准确性。这不仅可以节省人力成本，还可以避免因人为疏忽而引发的错误和纠纷。 基于大模型的方法进行知识库构建时，需要注意金融公司对语料的准确性和实时性的高要求。 在大语言模型在基金领域落地中需要注意风险：

首先需要确保数据的安全和保密性，因为金融机构在使用大语言模型时需要处理大量敏感数据，包括客户数据、财务数据等。 其次要注意数据实时性问题，大语言模型目前无法实现实时更新数据，可能会产生数据偏差，特别在金融领域中，这些偏差可能会导致错误的决策。 不止于实时数据，金融行业还存在许多新兴金融产品和服务，涉及新的术语和概念，对于大语言模型而言，需要更多的训练数据和更新模型来适应这些新的变化。

也就是说，大语言模型在金融领域落地中，可以通过专业的服务商进行前期数据优化和专业模型搭建，建立并使用属于金融领域自身的大语言模型。返回搜狐，查看更多

责任编辑：