新范式：AIGC推动的数据要素产业价值促进创新

2024-08-08 17:42:36 浏览数 (1810)

引言

大模型的发展与数据要素的价值创造互为因果，LLM正推动着数据要素以“激发AGI”的全新范式创造价值。如何有效地整合规模化、高质量的数据以用于大型模型的训练，不仅是推进大模型发展的窗口，也将成为进一步发掘数据要素潜在价值的关键动力。遵循技术发展的规律和市场的原则，将有助于各企业筛选并确定发展通用大模型与行业特定大模型的独特路径。

01 从人工智能发展历程，看数据要素价值创造

自2022年末至2024年初，GPT以其卓越的表现引起了广泛关注。随着Sora的诞生，短时间内智能的极限被不断突破。我们目睹了数据价值的极大增强：大型模型通过吸收海量数据，掌握了人类的语言模式、逻辑推理，在诸如文本创作、多语种翻译、情绪识别、复杂问题解构与执行等众多领域取得了翻天覆地的成就，甚至能够在视频制作中模拟物理动作，因此，被誉为“世界模拟器”。数据不单是构建这些复杂模型的根基，更是推进它们持续进化的源泉。

在美国20世纪70年代的一场语音识别竞赛中，展现了两种截然不同的设计：一种是借助于人类丰富的知识，深入挖掘对人类语言的理解，通过手工编写的规则来描述语音与语言的结构，例如将音节组合成单词，或根据上下文确定单词的发音。另一种是依赖于海量的数据，采用统计从大量语音中提取特征，基于数据的新方法展现出其优越性，特别是在处理庞大、复杂和多变的语音数据时，新方法能够更好地适应不同的口音、方言和噪音环境。这场比赛的结果直接引发了自然语言处理技术路径的重大转变，统计学与计算能力逐渐崛起为该领域的主导。

2004年，DARPA挑战赛。第一年的比赛宛如一场惨烈的车祸现场，被人们戏称为“沙漠溃败”。然而，仅仅一年半后，第二次赛事便再度启动，展现出两种截然不同的技术路线：一种是依托于人类丰富的经验和总结，例如预先探查沙漠路径，为车辆设计特殊程序以突破路途中的障碍物；另一种则是依赖于庞大的数据，通过机器学习来学习道路特征进行导航和脱障，同时加强对道路数据的实时采集，使无人车能够“随机应变”。这一次，依旧是依赖数据的第二条技术路线取得了胜利。从沙漠赛道到城市街道，从基本导航到复杂的交通规则遵守，这些挑战赛成为无人驾驶技术发展的重要里程碑。

2016年，AlphaGo凭借数百万局人类棋手的对局数据进行训练，掌握了高水平的棋局策略和模式。然而，第二个版本AlphaGo Zero却完全依赖于自我对弈生成的数据进行迭代训练，从而获得了超越人类棋手的知识和经验，达到了前所未有的围棋境界。这每一次不同类型的比赛，都是算法从统计、机器学习发展到深度学习的过程，也是算力从单片机发展到GPU的过程，更是人类经验逐步让渡于海量数据的过程，同时也是人类带着数据冲击机器智能新上限的过程。

我们目睹了数据要素在各行各业中通过投入替代、价值倍增以及资源优化三种方式创造价值，发挥着至关重要的作用。回顾人工智能的发展历程，我们可以看到算法从统计学习、机器学习逐步演化为深度学习，计算能力也从单片机发展至GPU，这一系列变革反映了人类经验向海量数据的过渡，同时也是人类携带数据挑战机器智能极限的历程。从依赖经验到主要从数据中挖掘规律，从专注于解决单一问题到促进AGI的发展，这些转变不仅体现了数字要素的价值，更要求我们以全新视角重新评估其重要性。

在近日，萝卜快跑引起了广泛关注，其在一些城市的实践虽显示出些许迟钝于道路路况的反应，但总体表现证明了其实施的可行性。随之，将有越来越多的网约车司机面临由无人驾驶技术所替代的局面，这仿佛重现了农业机械取代农民的传统耕作，移动支付淘汰传统支付方式的历史场景。

展望未来20年，车路网云的新时代将为近地空中飞行打开无尽的发展空间与可能性。在未来的世界里，或许我们将见证如同电影中描绘的场景：地面行驶着无人驾驶汽车，而低空则被各型飞行器占据。诸如空中出租车和无人配送等新型服务模式的涌现，预示着未来城市交通将向三维空间延伸。

随着车路网云技术的不断进步，那些掌握着最新一代城市交通技术、人工智能技术、云计算技术的国家，其发展效率必将提升至新的高度。技术的升级正推动整个社会效率的持续提升，这一趋势势不可挡。同时，这也见证了数据要素通过投入替代、价值倍增和资源优化等方式，发挥了巨大的作用。这也是中国在过去二十年里迈向数字化生活和生产方式的根本动力。

02 算力和数据是基础设施层的关键，中国正加速挖掘数据价值

图：智算中心的基础架构

在数字化的新时代，数据已化身为重要的生产资料，而算力则成为处理这些数据的强劲引擎。伴随着人工智能、大数据、云计算等前沿技术的飞速进步，算力与数据的关键作用愈发显著，它们共同构筑了当代信息社会的基础设施层。在这样的大背景下，中国正致力于深化数据价值的挖掘，推动经济与社会向数字化方向的全面转型。

图：中国通用算力规模与预测

算力、存储、网络构建智算中心作为基础，智算中心的基于最新AI理论和领先的AI计算架构，算力技术与算法模型是其中的核心关键，算力技术以AI芯片、AI服务器、AI集群为载体，而当前算法模型的发展趋势以AI大模型为代表。

智能算力规模正在快速增长，复杂的模型和大规模的训练需要大规模的高算力支持，这不仅需要消耗大量计算资源，而且对算力的速度、精度、性能也提出更高要求。

AI生态加速收敛，大模型技术逐步收敛，生态走向聚合，模型更收敛、框架更归一。为了开发更高性能的 AI大模型需要更强的算力平台，算力底座技术门槛将提高，未来训练核心依赖集群系统能力。

图：算力底座技术门槛提高

算力，作为数据处理的核心能力，其发展水平直接关系到一个国家的科技创新能力和产业竞争力。中国在算力建设方面投入巨大，不仅在超级计算机领域取得了显著成就，连续多年位居全球超算TOP500的数量首位，而且在云计算、边缘计算等领域也展现出强劲的发展势头。通过构建高性能的算力平台，中国为各行各业提供了强大的数据处理能力，支撑起复杂的数据分析和模型训练需求。

数据的价值在于其能够被有效利用，政府高度重视数据资源的整合与开放，推动公共数据资源的开发利用，鼓励企业间的数据共享与合作。通过建立数据交易市场、完善数据治理体系，国内逐步释放数据的潜在价值，促进数据资产化、服务化。同时，也在积极探索数据隐私保护和安全使用的法律法规，确保数据价值的挖掘在合法合规的框架内进行。

在应用层面，中国将算力和数据的优势转化为实际的生产力。无论是在智能制造、智慧城市建设，还是在金融科技、医疗健康等领域，数据驱动的决策和智能化的服务逐渐成为常态。例如，通过大数据分析，金融机构能够更准确地评估风险，提供个性化的金融产品；而智能制造则通过实时数据监控和分析，优化生产流程，提高产品质量和生产效率。

未来，随着5G网络的普及和IOT技术的发展，数据的产生和应用将更加广泛。中国将继续加大对算力和数据基础设施的投入，推动技术创新和产业升级，构建更加完善的数据生态系统。总之，算力和数据是现代社会不可或缺的基础设施，加速挖掘数据价值，它们是推动经济增长和社会进步的关键资源。

03 AGI的发展遵循扩展定律

AGI‌的发展不仅体现在技术的进步上，‌还涉及到算力的持续提升和模型规模的演进升级。‌随着AI变得越来越流行和易于获取，‌研究想法的增长无疑加速了技术的发展。尤其是在算力层面，即便面对着摩尔定律的放缓趋势，片内互联技术的突破仍为单个芯片设计的规模拓展与能效提升开辟了新的工程成就之路。‌这些技术进步为AGI的发展提供了强大的基础。

‌

扩展定律，作为人工智能产业内部破解困局的共识：通过运用更庞大的模型架构，配备更强大的计算能力，从更广泛的数据集中挖掘更深层次的隐含知识与普遍适用的能力。从GPT 1演进至GPT 3的过程中不断探索实验，当参数规模增加至百倍之多，训练数据集增至五十倍之际，GPT 3.5展现了能力的“涌现”：全球逾亿用户蜂拥而至，验证了该模型能够以近乎类人的方式理解上下文和进行对话交流；同时，此模型还展现出了更高级的泛化能力和思维链能力，能够对于未知情境做出合理的推断，并将复杂问题分解为简易任务，逐步解决。由此塑造出的AGI（人工通用智能）初步形态：一个基础且通用的大型模型能够进行内容创作，能够革新程序编码、文档编辑等多样化工具软件的使用体验，能够“转生为”机器人，借助具身智能加快机器人研发的步伐，并且改变了科学研究的传统范式，促成了生物医学、材料科学、工业仿真等多个领域的新突破。

中国的LLM型路线见证着数据要素的作用，比如阿里巴巴通义千问，自2023年8月以来，其连续发布了7B、14B、72B及200B参数版本，随着参数规模的壮大，模型的能力亦显著提高。AI研究了几十年，唯一有效的东西便是scaling law（尺度定律），就是不断放大数据、算力和算法这几样生产要素。

AGI正逐渐成为推动社会进步和产业革新的关键力量，技术不断进步，从最初的专家系统到机器学习，再到深度学习的兴起，AI技术已经取得了显著的成就。随着计算能力的增强、大数据的积累和算法的创新，AGI成为了科技发展的下一个里程碑。AGI的发展背景是复杂多元的，涉及技术进步的内在逻辑、经济社会的外在需求、伦理法律的约束条件以及国际竞争合作的大环境。未来，AGI的发展将在这些因素的共同作用下不断推进，同时也需要全社会的智慧和努力来确保其健康、有序和有益的发展。

此外，AI规模法则的提出预示着计算资源的可持续增长与成本的持续降低，从而为AGI的发展奠定了物理上的可能性。OpenAI首席执行官山姆·奥特曼所提出的AI时代摩尔定律——宇宙中的智能数量每18个月翻一番，进一步凸显了AI技术发展的速率与规模。

在模型方面，随着算力的不断强化，基于大模型的AGI智能能力已远超传统适用于特定场合的中小型AI模型。一旦完备的通用AI得以实现，其将在AI+各种场景下展现广泛的应用潜力，同时算法的逐步确立也为AI技术的持续优化开辟了新的可能性。这种相互作用的关系促进了AGI技术的不断前进与发展。AGI的进步无疑遵循着扩展的原则，通过算力的系统提升与模型规模的逐步升级，推动着AGI技术的迅猛前行。

04 AGI领域应用层创新发展

OpenAI的联合创始人伊尔亚·苏茨克维，在一次深入的访谈中，曾以一句精辟而抽象的话语概括了人工智能模型的本质：“The models just want to learn！”此言并非赋予了模型以生命般的学习欲望，而是揭示了模型被设计的初衷——从浩如瀚海的数据中自动汲取隐含的规则与经验，借助算法的巧思与算力的增强，不断优化学习的效率，拓宽学习的边界。

AGI市场，犹如一座宏伟的大厦，其结构复杂而有序，主要分为基础设施层、模型层、中间层以及应用层。大模型在应用层的探索与创新，如同点亮了这座大厦的璀璨灯塔，为AI领域带来了前所未见的机遇。随着计算能力的飞跃提升，数据量的激增，以及算法的持续优化，大模型已悄然崭露头角，在自然语言处理（NLP）、计算机视觉、语音识别等多个领域展现出了强大的能力。这些显著的进步，使得大模型在追寻人工通用智能（AGI）的道路上，愈发展现出全球领先的潜力。

AGI，这片神奇的土地，以其无限的可能性与挑战，吸引着无数探索者。它要求模型不仅能在某一领域内专精，更要具备跨领域的知识表示与推理能力，如同一位博学多才的智者，能自如地穿梭于不同的领域，应对各种挑战。同时，AGI还需具备自适应学习的能力，犹如生命体一般，能根据不同的任务与环境，灵活地调整学习的策略与参数。

然而，真正的智能不仅仅是逻辑的推理与知识的积累，更是情感的理解与社交的互动。因此，大模型在追求AGI的道路上，还需赋予其情感与社交智能，使其能够更加深刻地理解人类的情感，适应人类社会的需求。

在智能的征途上，伦理与道德的指引不可或缺。大模型在实现AGI的旅途中，必须植入伦理与道德的判断能力，确保其在决策的每一步都能遵循人类的价值观与道德规范，成为维护人类福祉的守护者。人机协作与交互，是AGI融入人类社会的重要桥梁。大模型应具备与人类协作与交互的能力，能在人类的生产、生活中提供智能化的服务与支持，成为人类智慧的延伸，生活的益友。

因此，大模型在应用层的探索与创新，为AGI的实现注入了蓬勃的生机。通过算法的不断优化、应用领域的持续拓展、智能水平的日益提升，大模型正稳步迈向AGI的高峰，为社会带来更为广泛、更为深入的智能化服务，开启一个崭新的智能时代。

图：AGI市场的四层结构示意图

应用行业现状

· 营销和零售：‌AGI应用颠覆营销领域，‌推动营销效率提升和体验优化。‌

· 金融：‌金融行业整体处于AGI应用探索期，‌逐渐向产品测试期迈进。‌

· 企业应用：‌AGI应用覆盖企业全流程，‌注重效率、‌知识管理和流程优化。‌

· 教育：‌集中在应用探索和产品测试阶段，‌学生侧应用速度快、‌探索程度深。

05 通用大模型与行业大模型并驾齐驱，小模型市场需求更大

在大模型的演进之路上，每一次通用大模型的力量提升，皆如潮水般席卷，对散落的应用与解决方案形成无可匹敌之势；大模型所蕴含的通用智能之价值，势必超越那些零散场景应用的总和。然而，在AI的广袤天地中，通用大模型与行业大模型各承其妙，各有千秋。通用大模型，犹如璀璨星辰，于众多领域与任务中展现卓越性能；行业大模型，则如精密的钟表，针对特定行业或领域精准调校，专业定制。尽管通用大模型在诸多领域捷报频传，但行业大模型仍不可或缺，当应用场景对反应速度有极高要求时，我们或许更需依赖一个更为小型的模型。这类模型虽不具备大模型的普适智能，却在特定垂直场景中展现出无可比拟的优势。此时，对模型进行精细调整，满足定制化需求，追求实时性与高效率，将行业数据注入其中，打造出规模更小、垂直更深的行业模型，方能满足市场那更为庞大的需求。

在通用大模型的雄厚基础之上，行业大模型得以筑建。这些通用模型，蕴含着深邃的知识储备与卓越的泛化能力，不仅为行业大模型奠定了坚实的知识根基，并极大地提升了互动体验的丰富度；同时，它们还大幅降低了从零起步训练模型所需的海量数据和计算资源，显著提高了行业大模型开发及其应用的效率和成效。经由对通用大模型实施提示工程、检索增强生成、精调、持续预训练/后训练等手段，模型能够更精准地适应特定数据集或任务需求，进而衍生出行业大模型的特定版本（即模型有变），或赋予其行业大模型所具备的功能（即模型不变）。。如今，市场上涌现的众多行业大模型，如金融、法律、教育、传媒、文旅等领域，大多基于Llama、SD、GLM、Baichuan等国内外广为人知的开源大模型而构建。

在专业领域内，大型模型往往需根据特定数据集与任务进行精细调整或定制开发。针对B端客户群体，每一家企业均有其独树一帜的商业运作、数据资产及业务流程，对于大型模型所寄望解决的关键问题亦各具特色，个性化需求普遍可见。因此，供应商所提供的行业大型模型不单是产品与工具的集合，更包含必要的定制化服务与支援，甚至于需要客户的积极参与和共同建设。可以这般理解：行业大型模型中的产品宛如“待装修之房屋”，客户必须依据各自用途进行“内部装潢”方能真正满足其需求。例如，借助TI平台之力，构建了行业大模型的精选商铺，推出了MaaS服务，为客户提供了一系列周全的行业大模型解决方案，覆盖模型预训练、精细调整及智能应用开发等多个方面。

行业大模型需

重视全生命周期的安全保障机制

在大型模型的数据处理流程中，相较于传统模型，其复杂度更高，诸多不可控的因素孕育着不容轻视的安全隐患，涉猎数据隐私保护、推理过程安全、内容审查安全、版权防护等诸多方面。这便迫切需求一套系统化的安全防御机制，对于行业大型模型而言，此需求尤为显著。安全厂商倡导的大型模型安全框架，针对模型全生命周期内的各类安全风险，提供了原则与方法上的指导，覆盖内生安全及应用安全两个维度，助力体系解决大型模型在生产研发过程中遇到的基础设施、数据、模型、算法等各层面的安全风险，以及不合理应用可能触发的决策失控风险等。在此之中，针对大型模型生产研发过程中内在的安全问题，应由大型模型研发团队与安全团队共同聚焦，通过安全评估等机制确保大型模型的应用能够达成安全目标。总而言之，将安全举措具体实施于研发、训练、测试、部署发布等每一个环节，同时，也是业界共识，旨在提升大型模型的安全水平，其中可采纳的措施包括prompt安全评估、红蓝对抗演练、源代码的安全防护、基础设施漏洞的安全防护等多种方式。

2024CSDI 9月20-22日

共话科技应用元年

正值LLM时代，智能软件研发的技术、范式和工具都发生了巨大的变化。无论是依赖于深度学习、神经网络和大数据技术。还是软件研发的范式从传统的规则驱动和专家系统转变为数据驱动和模型驱动。大量的智能软件研发工具和框架应运而生。数据成为了智能软件研发的核心。智算资源的需求与训练部署复杂的模型，开发者需要利用高性能的硬件（如GPU、TPU等）和分布式计算技术（如云计算、集群计算、数据库等）。这些技术应用便是IT企业探寻与研究的必选题。

2024CSDI峰会将以数智+跃迁为主旨，于9月20-22日深圳召开，携国内众多顶尖优秀企业，面向技术管理者和一线技术带头人。抽丝剥茧：以业务与新兴技术应用为导向的：大数据开放架构、AIGC产品创新、智能化开发、LLM智能终端创新、LLM数据智能、多模态LLM、大模型规模化应用、云架构生态、质量工程效能、组织战略、智能化开发、安全LLM等先进数字技术进行全面解析，帮组企业构建和借鉴适合自身的技术应用与业务实践。

微信图片_20240808153746_compressed

总结

科技浩瀚星海中，数据要素的创新如同璀璨星辰，与科技发展交织成一张推动技术进步的巨网。智能研发与应用创新之舟，正乘着这股浪潮，破浪前行，其航向呈现出多元化的航迹、跨界融合的风帆以及可持续发展的舵盘。在技术与市场这对孪生潮汐的影响下，企业们如同智慧的航海家，将不同领域的技术与知识汇于一炉，锻造出更具竞争力的产品与应用之锚。

AI的洪流、大数据的海洋，云计算的苍穹下，先进数字化技术如星辰般璀璨，AI Agent作为自主决策和任务执行的智能体，在金融，医疗，制造业，展现出卓越的效能。它运用大型语言模型（LLM）作为罗盘，理解复杂的语言指令，生成自然流畅的语言回应，极大地提升了人机交互的航速与平稳。

物联网（IOT）应用则如精细的蓝图，通过捕捉精准的产品数据，为研发的精准优化。

数字员工在AGI应用市场将形成人才汇聚效应，不仅高效完成自动化和智能化任务，更将深度参与企业决策，提供精准数据支持和智能建议，助力企业提升竞争力。