LTN-031 随笔 探索 16.5°C

浅谈AI应用和AI开发的工程经验

从大模型赋能传统工具的起起落落,聊到确定性边界、成本账与迟迟未至的 AI Native

置信 中 范围 AI 应用工程 6 分钟阅读

目录 · 4 节

前段时间结束了一段做 AI 应用开发的实习。当时所在的团队目标非常明确:用 AI 去给传统的工具软件做赋能,把原本依赖人工操作的功能改造得更自动、更智能。

在里面完整经历了几个项目的起起落落之后,我回头重新审视了一遍自己平时一直在跟踪的前沿技术和那些火热的概念,发现真正趴在业务一线写代码时的体感,和外面讨论的 AI 完全是两码事。尤其是对“AI Native”这个我曾经一直耿耿于怀的概念,也慢慢少了一些滤镜。

从“万物皆可大模型”到回归传统方案

几乎所有给传统工具加 AI 的项目,立项之初都有一段非常乐观的蜜月期。

很多想法最初源于老板对 AI 的期待,但平心而论,当我们作为开发人员接手需求、开始设计方案时,第一反应往往也是兴奋的。大模型的能力边界看起来太宽了——以前需要写一大堆规则分支、状态机或者做复杂特征工程才能勉强处理的文本和逻辑问题,现在似乎只要调一个接口、写一段 Prompt 就能顺滑解决。在系统里引入 AI,确实能在初期肉眼可见地砍掉大量代码量和系统复杂度。

但这种乐观,通常在产品真正交到用户手里的那一刻就会迎头撞上现实。

实验室里的测试用例永远是规整的,而真实用户的输入是千奇百怪的。由于我们根本不可能提前预判用户的所有使用场景,模型在线上跑起来之后,就会开始频繁冒出各种不可控的意外。

更让人崩溃的是后续的迭代维护。在传统软件工程里,定位到一个 Bug,补上边界条件,修好了就是修好了;但在基于大模型的链路里,迭代往往是一场“按下葫芦浮起瓢”的拉锯战——为了修复当前发现的 Bad Case 去调整提示词或上下文,结果上线后发现旧的问题看似解决了,另一个原本正常的场景却因为这次改动崩掉了。当你试图去技术社区寻找现成的解决方案时,又会发现大家都在讨论怎么把 Demo 做得更炫,几乎没有真正经历过生产环境检验的成熟方案。

折腾几个周期之后,很多功能最终的归宿,都是把大模型从核心链路里“降级”甚至拿掉,退回更传统的确定性方法。

稳定压倒完美:IMV 字幕切分的降级经历

在这方面,最让我印象深刻的是参与开发一款智能剪辑软件(IMV)时的经历。

当时有一个很核心的场景:用户输入一段口播文案,系统自动把文案拼接到视频画面里,并智能切分成一段段尺寸合适的字幕。一开始,我们很自然地把“切分字幕”这件事交给了大模型——毕竟大模型懂语义,理论上最知道一句话该在什么地方断句最自然。

但上线后很快发现,模型时不时就会吐出超长的句子,直接撑爆视频画面的字幕区域。

这个问题棘手的地方在于,你很难用简单的后处理去给模型擦屁股:

  • 如果直接用代码按字数做硬截断,很容易把一个完整的词劈成两半,阅读体验极差;
  • 我们也试过引入结巴(jieba)分词这类词库方案来做辅助切分,但在口播文案这种口语化极强、缺乏标准标点的文本里,单纯基于词库的分词依然会频繁切出让人啼笑皆非的意外断句。

那个时候我才真正意识到:在这个场景里,模型带来的不确定性已经远远大于它懂语义的好处了。

做工程落地去解决用户需求,不一定非要用最“聪明”、最完美的方案,但一定得用最稳定、下限最高的方案。用户不会因为你有 80% 的时候断句极其惊艳而夸你,却一定会因为那 20% 的字幕超长溢出而直接放弃使用这个工具。

所以最后我们做了一个很干脆的决定:把大模型从字幕切分环节彻底换下来,改用 ct-punc 先对口播文案做标点还原,再结合 spaCy 的中文依存句法分析,顺着语法树的结构去最大化合理切分字幕,最后再在渲染层加上动态字幕缩放作为视觉兜底。这套组合拳虽然听起来完全没有“大模型智能断句”那么性感,但它的行为是可解释、可预测、可兜底的。

当然,如果站在纯技术的角度较真,大模型也不是绝对做不到稳定。只要收集足够多的高质量业务数据,专门针对这个任务去做微调(Fine-tuning),完全可以把模型的输出格式和断句习惯训得非常稳。但现实的工程账不是这么算的——对于开发周期紧迫的项目,或者人手本就捉襟见肘的小团队来说,根本没有收集数据、训练和长期维护一个专用微调模型的奢侈空间。

什么地方才真正留得住 AI?

经历了几次“把模型请出去”的折腾,反过来再看那些最终在项目里稳稳留下来的 AI 功能,边界一下子就清晰了。

在我们的系统里,像营销文案生成、字幕的花字提炼与生成、评论区的用户意向识别这些模块,一直都用大模型跑得很好,几乎不需要怎么大改。

为什么同样是调模型,字幕切分活不下来,而花字生成和文案生成却如鱼得水?核心区别就在于:这些场景本身就需要模型去“自由发挥”。

切分字幕是一个高度收敛、容错率极低的任务,多几个字画面就崩了;而写一段口播文案、挑几个关键词做成醒目的花字,本就没有唯一的标准答案,甚至用户本来就期待每次生成都能有点不一样的新鲜感。在容许偏差、鼓励发散的地方放手让模型发挥,在对格式和确定性有死要求的链路里老老实实写算法和规则——这是那段实习给我最实在的一条分界线。

除了稳定性之外,决定 AI 能不能在系统里留存的另一个隐形门槛是成本。

前面提到,引入 AI 确实能省掉很多业务代码和逻辑复杂度,但工程上的复杂度其实是守恒的:你省下来的研发人力,全部变成了线上实时燃烧的 Token 账单,而且这笔钱大多数时候是由企业方直接买单的。如果只是一两个点状功能还好,一旦想搭建一个重度依赖大模型的多步复杂系统,海量的 Token 消耗对于没有庞大资金池支撑的中小企业来说,根本是一个算不过来账的无底洞。

这也是我一边跟进前沿技术、一边做企业落地时感受到的最大割裂:

开源社区和前沿项目往往是前驱型的,大家面对一项新兴技术,追求的是“突破性的成就”——只要证明某件以前做不到的事现在上限能有多高,就算成功;而企业落地恰恰相反,追求的是下限的绝对稳定与成本可控。我们确实可以在项目里去参考社区冒出来的新框架、新方案,但代价往往是:为了把一个只有 70% 稳定度的前沿方案塞进生产环境,团队不得不自己额外写无数层校验、重试和兜底代码,最后背上一身沉重的工程维护债。

对 AI Native 的祛魅,以及唯一的例外

带着这些切身体会再去看市面上五花八门的“AI Native”产品,很多困惑也就解开了。

过去这一两年,我见过太多宣传得天花乱坠的 AI Native 应用,刚发布时演示视频一个比一个惊艳,但往往热闹一两个月就彻底没了声音。剥开那层概念的外衣,绝大多数所谓的 AI Native 依然只是包装和噱头。

至少在目前的技术条件下,我认为在常规的工具软件和生产力应用里,纯粹的 AI Native 并不是一个现实的命题。在传统软件的逻辑里,用户要的是确定性的结果和高效的控制感,AI 最舒服的位置依然是作为一个好用的工具或组件,嵌在传统软件坚固的骨架里,去负责某一个局部的产品优化或系统提效。

如果非要问我,到底什么地方才有可能长出真正的 AI Native,我对日常工具确实想象不到,但对游戏却一直抱有一点期待。

我理解的 AI 游戏,绝不只是像现在很多厂商做的那样,在传统的剧本和任务框架里塞几个接入了大模型的 AI NPC 陪玩家聊天;而是把整个世界的故事线、因果推演全部交给 AI 去动态生成。世界完全根据玩家的每一次选择、每一个动作去实时演化出新的剧情分支,甚至连游戏制作人自己都不知道这个世界最终会走向哪里、会衍生出多少种结局——就像漫画《香格里拉边境》里描绘的那种真正“活着”的庞大的游戏世界观。

为什么这件事在工具里行不通,在那种游戏里却成立?

因为工具的本质是帮人消灭意外,而好游戏的魅力恰恰在于制造意外。在那个能够把大模型的“不可控”彻底转化为核心乐趣的世界真正到来之前,我们做 AI 应用开发的日常,大概还是得继续在理想和现实之间做权衡:在需要灵感的地方把舞台交给模型,然后在需要稳定的地方,老老实实写好每一行兜底的传统代码。

研讨与反例

本文尚处「探索 16.5°C」,欢迎留下反例、边界情况或延伸视角。

    无点赞 · 按时间顺序排列 · Ctrl + Enter 发送
    回到顶部 ↑