IT极限技术分享汇
中工互联董事长智振，最近经常奔波于前往各地的高铁上，见客户、签订战略合作、推进大模型落地，“比起一个月前更忙了”。
3月中旬，智振曾向数智前线分享自己的工作状态——“一天就睡5小时，光战略合作都忙不过来。今年的目标是面向能源等工业领域，落地至少几百、上千个大模型项目。”
而这种忙碌状态同样存在于数智前线接触的多位行业大模型落地服务商中。业界观察，行业大模型，正在以一种意想不到的速度，加紧落地。
水面之上，或许仍旧平静无波，但水面之下，早已激流暗涌。“现在大家还在水面下，下半年应该都会浮上来一些。”在金融行业做大模型落地的宽客进化CTO王舸说。
一、“每周以10个项目的数量增长”
被业界视作“大模型落地元年”的2024年，刚过去4个月，已经涌现出火热氛围。
“去年，主要是试的人和看的人比较多，愿意付费的人很少。”云问科技联合创始人茆传羽告诉数智前线，但今年，付费人群明显多了起来。
一位行业人士观察，以2024年春节开工后第一天，国资委召开“中央企业人工智能专题推进会”为风向标，大量央国企开始大面积寻找合适的业务场景，市场氛围被迅速带动，大模型服务商们接洽的项目也在快速增长。
“客户现在热情似火。”AI智能化服务企业众数信科创始人兼CEO吴炳坤说，去年，都是他们主动去找客户，但今年元旦过后，已基本变成“被动接洽需求”。2024年一季度尚未结束，这家公司处在PoC、走合同、实施交付等不同环节的需求数已有上百个，远高于去年10余家的量级，且每周在以10个的数量新增，“我们不得不开始筛选”。
宽客进化CTO王舸则透露，去年他们在大模型上几乎没有落地项目，但今年，他们已经签约好几个百万级的合同，涉及金融、电力、运营商等多个行业。其中，一些相对浅层次的需求，如大模型与传统标准作业流程的结合，目前落地相对良好，但一些更深层次的需求，如专家经验与大模型结合，还处于初级阶段，“这块的项目现在正在研发阶段，下半年可能会有一些落地案例出来。”
“围绕市场热点，主动找来的客户也有不少。”王舸进一步说，比如个性化写作场景，又如一些企业提出，是否能将数据要素和大模型这两个今年最为火热的概念结合起来。“比如数据入表，数据分级、分类，数据怎么溯源，以及数据需求方在交易所进行数据交易时，怎么在成千上万的数据产品中自动匹配需要的数据，这些都是大家在构想和探索是否能用上大模型的方向。”
“大模型的加持，对现在大热的‘数据要素×’三年规划来说，是一个巨大的催化剂，能让很多客户很快地感受到数据带来的价值。”浪潮云总经理颜亮说。
一些聚焦在更为垂直领域的大模型落地服务商，也明确感知到了变化。
云蝠智能创始人魏佳星告诉数智前线，他们主攻的基于大模型的智能客服业务线，今年比去年同期增长了30%的订单。而且今年的增长要比去年更加稳定。“去年3月，受大模型热度刺激，我们取得了不错的增速，但很快又在4月回落，但今年4月，不仅维持住了3月的增势，还继续保持了增长。”
高新兴机器人首席技术官刘彪则透露，机器人已成为大模型最快落地的领域之一。今年底左右，他们结合大模型的机器人产品将可能全面商业化。目前，在工业领域，高新兴巡检机器人在解决“跑冒滴漏”的难题，处于试用阶段；在物业等场景的烟火检测已商用落地。
而一些服务商，已经考虑规范化复制的问题。中工互联董事长智振透露，今年开始，他们将过去一年探索出的能做的方向全都产品化了，“一旦产品化，推广复制就会很快”。
吴炳坤也告诉数智前线，由于产品化，他们一些客户的交付落地时间，已经从过去的三个月，缩短到半个月。而今年，这家公司的目标，也不再是要拿下多少个客户，而是锁定两大行业、6个细分子行业，做15个标品化的产品出来。
“今年的大模型应用肯定会爆发，这个速度会比想象的要快得多。”智振说。
不过也有资深人士用“方兴未艾”来形容大模型目前的落地势头。“今年我们看到很多头部企业都动了起来，但大多都还是一些单点的应用或几个场景的组合。”一些人士表示，大家都在等待C端和B端的杀手级应用出现。
浪潮云CEO颜亮认为，从单点到全流程植入才能带来质的变化，可能需要1~2年，其中关键是大模型要经过周期性迭代，才能达到可用。“最多两年时间。竞争会促成大家的互相学习和投入，我们感知到，2024年用户在大模型上的投入，是2023在3~4倍以上。”
二、“在定价上遇到了‘挫折’”
春节过后，百度智能云渠道生态部总经理陈之若他们发现一个现象，一些大模型服务商，在帮客户做完PoC后，在定价上遇到了挫折。
“服务商起初自己也没有概念，打个比方假设以前产品卖两万块钱，加了大模型后定价三万五，服务商觉得是比较合理的，因为我给你降本增效了，但客户反馈‘效果不错但贵’。”于是，大家开始掰扯定价、交付和服务的事情。
这对于服务商来说，既是挑战，也是一个积极信号，因为大模型开始迈出商业化的第一步了。
定价背后，也有关于ROI（投资回报率）的考量。
“客户对于最终的产出物其核心关注的点就是ROI。”曹玺说。但大模型销售的更多的是服务，看不见摸不着，客户不容易算出ROI。
“这就需要服务商去帮客户把ROI明确出来。”软通动力罗晟告诉数智前线。比如，给企业售后场景赋能。原来一个售后人员即使经过好几天的培训，想要精准找到每个产品的售后问题，也要花十几分钟。但现在有了大模型助手，可以秒级辅助他们找到问题。这对于客户来说，就是一个ROI比较高突出的场景。
而曹玺介绍，当下ROI的测算需要拿效果说话，有时甚至是较为直观的计算。比如，工作效率的具体提升，获新客户与客户转化的量化、购买数字人的成本比对。
几位行业人士谈到了大模型替代员工的敏感问题。“我们并不是说，大模型能减掉他们多少人，而是减少员工一些程序性的事物，提高效率，去做更有价值的事。或者可以有更多资源做新业务。”一位大模型服务商观察，他们遇到一家医院科室主任抱怨，自己手下那么多博士，整天在办公室写病历，根本接触不到患者。他们就想解决这个问题。
三、大模型场景落地要“短平快”
场景的选择，同样考验服务商的能力。吴炳坤告诉数智前线，过去一年间，行业内不乏“叫好不叫座”的情况。“大家的场景需求很多，但都是在做PoC，真正要让客户愿意付钱，还有蛮大的门槛要迈过去。”
智振则总结，“一年能回本，客户很容易接受；三五年回本，客户就要考虑考虑；7年回本，肯定得政策强制要求了。”这要求他们必须首先找到投资回报高的点来做。
为此，不少服务商都会选择小点切入的策略，快速形成闭环来看效果。
比如新致软件，最开始实际是以咨询师的身份，切入到膳魔师项目中，并在多轮沟通和探讨中，发现了老板在了解公司运营情况时耗时过长的痛点。通过在工作群中引入数字人，收集对话素材，并进行模型微调后，实现对管理层需求的快速响应。
“原来一个数据报表的诉求，大概需要2~3周，现在可以缩短到一天。”曹玺告诉数智前线，这大大提升了管理层的决策效率。而在内部跑通几个场景后，新致软件又帮膳魔师进一步打通了外部场景，落地了to c的7×24小时的AI助理。
“我们现在所有项目都是按‘短平快’的方式去做实施。我们会帮客户把一个大的需求，切到一个个比较小的点，逐点试错，逐点突破，而不是像以前做软件一样，一个项目做上半年一年，客户才能看到效果。”曹玺告诉数智前线，这样既保证客户能快速看到效果，也能根据客户反馈，更快发现问题，“少走弯路”。
“你要知道客户到底在做一门怎么样的生意，他最想达到的是流量盘活、转化率还是更精准的获客？你要不断的去了解客户业务诉求，同时要不断去做复盘和打磨。”曹玺说。
众数信科也在场景选择上提出了“小切口、大纵深”的策略。而为了避免大模型前期落地效果与客户预期之间因偏差而导致客户中途放弃的情况，有经验的大模型服务商，在锁定某个场景后，还会主动降低客户的心理预期。
中工互联智振也告诉数智前线，大家现在的想法都是优先把一个点打透，然后再基于这些成功的经验，做全链条的整合。“现在已经有客户与我们做了两年的规划，一点一点来做。”智振说。
技术和服务的延续性也被重点强调。“我经常被问到，大模型技术发展那么快，我们之前的选择的大模型会不会过时？为它做的定制、数据标注会不会失效？”百度智能云AI与大数据总经理忻舟说。
吴炳坤也告诉数智前线，大模型迭代太快了，但企业内部又基本没有专门的AI人才。这就要求服务商要形成一种新的思维——大模型时代的项目不再是交钥匙工程，而是需要提供教练式的陪跑服务，“陪着客户不断优化它自有的模型”。
四、大模型落地成本在下降
企业一旦在某个场景验证模型的价值后，第二步关心的就是如何降低成本。
“现在最常见的成本区间，主要有两级。”宽客进化CTO王舸告诉数智前线，一些简单应用，比如个性化写作、在传统BPM流程中串接大模型能力等，一般可以直接调用API，成本较低，二三十万元即可实现落地。另一极则是一些需要与专家经验深度绑定的项目，会有私有化部署要求，成本普遍在百万元起，甚至四五百万。
“二三十万元的市场，今年会非常卷，而跟业务深度绑定的市场，是大家想做，但目前做起来还比较困难的市场。”王舸说，尤其是需要私有化的项目，算力会是一个比较大的困难。
实际上，为了解决算力难和成本过高的问题，业界目前已经探索了一些方法。比如，企业除了使用纯私有化的模式，也可以选择“公有云的私有化”模式，即在公有云上开一个私有化的环境，达到节省成本的目的。
“目前，像银行等有着严格数据不出域要求的金融企业，基本都还是采用前一种私有化，而在零售、酒店和文旅等数据管控没那么严格的行业，则有不少企业倾向于选用后一种模式。”新致软件曹玺告诉数智前线。
算力不足的情况下，通过CPU进行推理，也被不少人视为一个可选方案。“7B以下的模型，一般的推理场景，CPU目前是能够满足的。模型再大一点，30B~70B，速度会明显变慢，但一些不需要实时交互的场景，CPU也是一个比较好的解决方案。”王舸说。
更重要的是，模型轻量化的趋势，以及MoE概念的火热，也降低了企业客户对算力资源的诉求。
可以看到，通用大模型参数虽然已从上千亿走到万亿级，但具体到行业落地上，却不是参数规模越大越好。在海外，Meta发布的Llama系列模型，从70亿、130亿、330亿到700亿不等。在国内，百度、阿里、百川等都发布轻量级大模型。
“很多场景其实并不需要全知全能的能力，而是需要一个行业专家来解决一些专业的问题。”吴炳坤说。根据他的经验，在很多垂类场景中，通过剪枝蒸馏等手段，压缩出一个百亿级的基础模型，最大程度保留行业通识和能力，再结合企业的私有数据，也能实现千亿级的效果，推理成本更低，使用也更简单，是目前企业欢迎的做法。
“在行业中，我们认为7B-70B性价比最佳。”浪潮云CEO颜亮透露。
吴炳坤告诉数智前线，通过模型轻量化，他们已将包含算力、模型、应用等在内的落地成本做到几十万到小一两百万元的成本。这也是不少中腰部企业普遍能接受的价格区间。智振则透露，现在做大模型私有化部署，成本已降到百万元起，一些小的嵌入式产品，比如1.6B参数、能放到一台单机上的模型，甚至可以做到5万元起。
一些企业探索MoE（混合专家系统），以实现用更合适的性价比。MoE的全称是Mixture of Experts，被认为十分符合人类社会的分工概念，它通过“专家+路由”的机制，将不同问题交给对应领域的专家来解决，理论上能在算力成本不增加的前提下，显著提升Transformer模型的性能。
去年年中，GPT-4曾一度被传由8或16个MoE构成，这一概念随之在业内引起关注。几天前，腾讯混元宣布完成架构升级到MoE。
智振告诉数智前线，大模型会和第二次工业革命中兴起的电器一样，“最终并非一个电器通用，而是会涌现出各种各样的电器，从灯泡到电饭煲，它只会取决于不同场景下怎么样的性价比最高，怎么样的功能最强，客户接受度最高。”
李彦宏则在此前的一场演讲中指出，未来大型的AI原生应用基本都是 MoE 架构。
值得关注的是，多位业内人士告诉数智前线，MoE目前仍处于发展早期，还存在不少挑战。一些人士认为，它的技术复杂性太高，投入产出比不太匹配。也有人士表示，MoE需要资源较多，在响应速度和算力占用方面还有较大提升空间。
过去半年，大模型的技术进步速度极快，也推动行业落地的大潮在快速演进。
