2024年，曾被行业专家预言为生成式AI的丰收之年。当时，各种实操性应用案例不断涌现，技术门槛降低，通用人工智能似乎触手可及。那么，这些预言究竟是否成真？

2025 年数据工程的趋势

1. 推理能力短板制约 AI 发展（托马什观点）：在人工智能步入反乌托邦时代短短三年后，企业已在部分领域挖掘出价值，但并非全部。托马什将当下人工智能的应用现状归为三类：一是能完成语句、纠正代码错误的人工智能助理；二是利用数据答疑解惑的搜索工具；三是可执行复杂任务多步骤工作流程的推理工具。虽然 AI 助理和搜索工具在企业中取得一定成效，特别是 AI 助理，但推理模型仍相对滞后。原因在于，当前模型难以将任务有效拆解为步骤，除非遇到特定模式，而这类情况在多数工作中并不常见。例如，让大模型制作财务计划与分析报表，或许可行；但如果涉及重大变革，如从软件计费转向基于使用量计费，模型便会陷入困境。所以，现阶段 AI 助理和部分精准的搜索结果更具优势。

2. 流程重于工具（巴尔观点）：新工具的成效取决于背后的支撑流程。随着 “现代数据栈” 不断发展，数据团队常陷入对新工具的评估与试验中，过于关注工具本身，却忽略了更关键的使用方式。当企业逐步迈向生产级人工智能，让新工具切实可用变得刻不容缓。以数据质量为例，2024 年，随着输入人工智能的数据愈发重要，数据质量也成为焦点。鉴于人工智能即将投入生产，企业数据领导者已无暇在众多数据质量解决方案中徘徊，他们急需可靠、高效且易于部署的方案。即便拥有最先进的数据质量平台，若无法让团队迅速上手并投入使用，也只是徒有其表。预计未来 12 个月，数据团队将更倾向于采用经过验证的端到端解决方案，而非拼凑的工具包，以优先解决数据质量管理、事件管理和长期领域赋能等紧迫问题。能满足这些需求的解决方案，将在人工智能领域崭露头角。

3. AI 降本成效显著，创收仍待突破（托马什观点）：与其他数据产品类似，生成式人工智能的价值体现在降低成本或增加收入两方面。在创收方面，诸如人工智能销售发展代表、增值机器或推荐系统等工具虽能创造大量潜在销售机会，但并非都是优质机会。因此，若 AI 无法直接创收，就需通过降本体现价值，而在这一点上，这项新兴技术已初显成效。托马什指出，若 AI 用例满足重复性工作、劳动力市场紧张或招聘需求迫切这三个条件之一，通常便能实现降本。例如，EvenUp 这家将诉讼信件自动化的法律交易公司，凭借模板化却高度专业化的服务，在现阶段的人工智能应用中取得了意想不到的成果。

4. AI 推广步伐放缓，领导者蓄势待发（托马什观点）：与一年前 “AI 战略” 的热潮相比，如今的领导者似乎更加谨慎。去年，众多企业积极尝试，董事会也纷纷询问自身的人工智能战略。但如今，这股热潮逐渐退去。部分企业因未从早期实验中看到价值而退缩，另一些则因基础技术的快速更迭而难以应对。托马什认为，这是投资人工智能公司面临的重大挑战之一，并非技术本身无价值，而是企业尚未掌握有效利用的方法。他预计，下一波 AI 应用浪潮将与第一波不同，因为领导者将更明确自身需求以及实现途径。就像大型演出前的彩排，团队目标明确，已解决法律和采购方面的问题，尤其是数据丢失和预防问题，一旦时机成熟，便会果断行动。未来最大的挑战在于如何更快地挖掘价值并实现盈利。

5. 小数据或成 AI 未来发展方向（托马什观点）：开源与托管的争论由来已久，在人工智能领域，这一问题变得更为复杂。从企业层面看，这不仅关乎控制权和互操作性，还涉及运营成本。托马什认为，大型 B2C 公司可能会采用现成的模型，而 B2B 公司则更倾向于使用专有模型和开源模型。B2B 模型通常规模较小、开源程度更高，因为运行小型开源模型的成本更低。此外，小型模型性能也更优。大型模型如谷歌，旨在满足各种用例，需在庞大的数据语料库上训练，以应对用户的各种提问。然而，训练模型的主题越多，就越容易混淆概念，随着时间推移，错误率也会增加。托马什举例说，用 10000 张支持工单对拥有 80 亿参数的 llama 2 进行微调，其性能将大幅提升。此外，ChatGPT 等托管解决方案因使用未经授权的数据进行训练，屡遭诉讼。除成本和性能因素外，这可能会对专有模型的长期应用产生影响，尤其是在监管严格的行业，但其影响程度仍不确定。当然，专有模型也在积极应对，ChatGPT 等模型已降价约 50%，并预计未来 6 个月再降 50%，这对渴望参与 AI 竞争的 B2C 公司而言，无疑是一大福音。

6. 分析师与数据工程师职责渐趋融合（巴尔观点）：在扩大数据管道生产时，数据团队常面临两大难题：分析师技术经验不足，数据工程师时间有限。人工智能似乎为解决这些问题提供了契机。展望 2025 年，数据团队可能会出现两大趋势，推动工程与分析职责的整合。一方面，业务领导者对数据和人工智能产品的需求不断增长，数据团队需以更少的资源完成更多工作。为减少瓶颈，领导者自然会赋予原本专业化的团队更多管道管理职责和相关利益方支持责任。另一方面，随着技术的不断进步，自动化水平提高，工程师能够以更少的资源完成更多任务，分析师也能更加独立地开展工作。随着需求的增加，管道自动化将不断发展，创建和管理管道的障碍将减少，技能差距也会缩小，团队创造新价值的能力将得到提升。自助式人工智能管道管理的趋势意味着，工作中最繁琐的部分将被自动化取代，而创造和展现新价值的能力将得到拓展。

7. 合成数据的潜力与局限（托马什观点）：当前，互联网上约有 21 至 25 万亿个 Token（词汇），现有的人工智能模型已几乎用尽这些数据。为推动数据发展，需要无限的数据语料库用于训练，因为数据越多，生成输出的上下文信息就越丰富，准确性也越高。当人工智能研究人员面临训练数据短缺时，合成数据应运而生。过去 24 个月，围绕合成数据已形成一个完整的行业，如 Tonic 公司开始生成合成的结构化数据，Gretel 公司为金融和医疗等监管行业创建合规数据。然而，合成数据并非长久之计。其原理是利用模型创建具有有机性的人工数据集，再用这些新数据训练模型。从短期看，这种方法可行，但长期来看，合成数据往往存在局限性。可以将其类比为食物，如果新鲜的有机数据源是模型训练的优质营养，那么从现有数据集提取的数据，其营养价值自然较低。偶尔添加人工调味料尚可，但如果长期仅用合成训练数据，而没有新鲜数据输入，模型最终可能会失效或表现不佳。按照托马什的说法，目前我们距离模型崩溃还为时尚早，但随着人工智能研究不断挑战模型的功能极限，人工智能的发展瓶颈或许很快就会显现。

8. 非结构化数据栈的兴起（巴尔观点）：在生产中利用非结构化数据的理念并非新鲜事物，但在人工智能时代，非结构化数据被赋予了全新的角色。根据 IDC 的报告，目前组织中仅有约一半的非结构化数据得到分析。随着生成式人工智能的发展，企业的成功在很大程度上依赖于用于训练、微调和增强人工智能的非结构化数据。当越来越多的企业将人工智能应用于实际业务时，对非结构化数据以及新兴的 “非结构化数据栈” 的关注度将持续攀升。一些团队甚至正在探索如何利用额外的大语言模型（LLM）为非结构化数据添加结构，以拓展其在其他训练和分析场景中的应用。对于数据领导者而言，挖掘组织内现有的非结构化数据资源，并探索如何激活这些数据以服务于利益相关方，仍是一片有待开发的领域。如果说 2024 年是探索非结构化数据潜力的一年，那么 2025 年将是实现其价值的关键之年。

9. 智能体 AI 的应用困境（托马什观点）：关注风险投资的人或许听说过 “助理” 和 “智能体” 这两个术语。“助理” 用于执行单一任务，而 “智能体” 可处理多步骤工作流程。然而，将 AI 智能体应用于实际生产仍面临巨大挑战，其精确性目前无法满足大规模部署的要求。从实际情况来看，人工智能的最高准确率在 75% - 90% 之间，大多数人工智能的水平相当于高中生。如果每个步骤的准确率在 75% - 90% 之间，那么一个包含 3 个步骤的任务，最终准确率可能仅为 50% 左右。以目前的表现，大多数 AI 智能体投入生产不仅无法为组织带来收益，反而可能造成损害。托马什表示，这一问题亟待解决。

10. 数据管道扩张与质量覆盖失衡（托马什观点）：微调模式的广泛应用导致数据管道数量激增，管理复杂性也随之大幅增加。然而，当前的数据质量管理方法无法跟上这种扩张速度，这将成为数据团队面临的一大挑战。数据质量风险不断变化，但数据质量管理却未能及时调整。数据质量与管道的数量和复杂性密切相关，管道越多、越复杂，出现故障的可能性就越大，且及时发现故障的难度也越高。

   声明：本站所使用的图片文字等素材均来源于互联网共享平台，并不代表本站观点及立场，如有侵权或异议请及时联系我们删除。