大模型驱动的数据治理技术展望

  近年来，，，
，大模型技术热潮中对数据质量的要求提升到了一个新的高度。
。。
。与此同时，，人们也在探索大模型本身能否助力于数据清洗与数据治理等工作。
。
。本文将从技术的角度展望大模型驱动的数据治理技术，，，，并分享此领域的一些研究热点。。。。

  主要内容包括以下几个部分：

  1.以数据为中心的人工智能

  2.大模型预训练中的数据工程

  3.大模型驱动的数据治理技术

  4.总结与展望

01 以数据为中心的人工智能

  以数据为中心的人工智能
，，
，
，这一理念在 2021 年由吴恩达教授提出，，，
，强调了在构建 AI 系统时，，对数据的系统化工程处理的重要性。。
。
。与过去以模型为中心的方法相比
，，
，以数据为中心的方法更加注重数据的质量、、
、
、多样性和治理流程。。在早期的机器学习和深度学习时代
，，，，我们主要关注特征工程、、模型设计和参数制定等方面，，
，，但如今，，，
，数据的质量和治理已成为决定 AI 系统性能的关键因素。。在大模型时代
，，，，我们不再需要过多关注特征工程和模型层面的变动，，
，而是将更多的精力投入到数据的治理上，
，，
，即如何通过有效的数据管理和迭代
，，
，
，使数据发挥更大的价值
。。。

  数据是 AI 的原油，
，，，AI 系统的成功在很大程度上取决于数据的质量，，这一点被广泛认同。。一个 AI 系统 80% 的工作量集中在前期的预训练数据准备和后期的数据飞轮迭代上
。。对于如何定义优质的数据，，，张博士的论文中提出了几个关键维度：覆盖范围广、、、、维度多样、
、时效性强
、、精度高以及合规性好。
。。这些维度不仅反映了小模型对数据的要求，，，，在大模型预训练时代更是显得至关重要。。
。我们需要的是具有多样性和泛化能力的数据
，，以确保AI 模型在各种场景下都能表现出色。。。。

  在以数据为中心的 AI 框架中
，，
，数据开发通常分为三个阶段
：训练数据的开发
、、推理数据的开发和数据维护。。。训练数据的开发包括数据的收集
、、、、标注和预处理等步骤
。。推理数据的开发涉及训练样本评估与提示工程等
。。。。数据的维护则关注于当后续不断有新数据产生时，，，，对于数据的理解与质量管控
，
，以及数据的存储和检索等任务。。。以上是以数据为中心的人工智能的整体思路。。
。。

02 大模型预训练中的数据工程

  在大模型的预训练过程中，，
，，数据工程的工作量显著增加
。。。以 GPT 为例，
，实际训练中使用的数据涵盖了多个层面，，，，我们需要收集大量的语料库，，其原始大小为 45TB，，清洗完之后剩下 175GB。。。
。此外还融合丰富的代码数据及上万个 Prompt 任务参与训练。。。实际上，，，
，成本及创意主要在数据准备上
，
，对于 Transformer 技术的运用，
，，，大家的使用方法都大同小异。
。对于某些特定领域的表达与通用领域存在差异时，，，，如专业术语或符号，，，
，我们可能需要进行词表的扩充
，，以确保模型能够准确地理解这些表达。。

  纵观 GPT 的发展历史，，从 2018 年到 2020 年，，我们不难发现，，，，随着模型参数的逐步增加
，，，数据规模也在同步扩大。
。
。。例如，
，GPT-1 虽然只有 1 亿多参数，，，但它已经使用了 4.8GB 的未过滤数据。
。。到了 GPT-2，，参数数量增至 15 亿
，，，数据规模扩大了 10 倍，，并且这些数据还经过了人工过滤，
，
，，进一步提升了数据质量。
。。到了 GPT-3，，，，算力提升了近百倍
，，，，数据量也大幅增加，，
，从 45TB 的原始数据中过滤出了 570GB 的数据。
。因此
，，
，，尽管参数庞大和算力强大是 GPT 模型的显著特点，
，，但背后的核心在于海量的数据输入
。。。没有足够的数据支持，
，，，再强大的算力也难以发挥作用，，正所谓“巧妇难为无米之炊”。。。。数据的丰富性和质量对于模型的训练至关重要
。。。。另一方面，，，我们观察到整个模型的架构其实并未发生显著变化
。。。。真正在起作用的是 scaling law（伸缩法则），，，，即随着模型规模和数据量的增加，
，，模型的性能也会相应提升。。
。

转载自公众号数据思考笔记