金融和国防有自己的 Forward Deployed Engineer,媒体没有。当你的数据以每秒25帧流动、你的故障发生在播出中时,这个岗位是什么样子,本文来讲清楚。
过去十八个月,软件行业增长最快的职位名称,是企业AI圈子之外几乎没人听说过的一个。Forward Deployed Engineer 的招聘信息在2025年1月至9月间增长超过800%,到2026年同比增长超过1000%。OpenAI 围绕这个岗位建起了一整个业务实体,背后有超过四十亿美元的资金。Anthropic 与 Blackstone 和 Goldman Sachs 签下15亿美元的合资,唯一目的就是把这类工程师安置到银行内部。
银行业有他们。国防有他们。医疗有他们。而广播与流媒体,这个在2026年一整年里于 NAB 和 IBC 大量采购智能体AI的行业,基本上没有。

上图是一条真实 HLS 流的一个分片,每帧一根柱子。高高的橙色尖峰是关键帧,它们正好落在标记场景切换的虚线上。这种重合,就是本文全部论点的一张图:编码器早就算出了内容在哪里发生变化,并把答案写进了文件。大多数对准视频的AI流水线忽略了这一点,转而付钱让模型再算一遍。
本文是一次尝试,想为这个缺席的职业下个定义,因为活儿本身早就存在,而做这活儿的人却没有名字可用。
Forward Deployed Engineer 究竟是什么
这套做法源自 Palantir,该公司已实践约二十年。Forward Deployed Engineer 嵌入客户,在客户自己的环境里工作,并端到端地拥有一个系统:界定范围、写生产代码,并在上线之后让它持续运转。
一句话就能把这个岗位和咨询区分开:
顾问交付报告。Forward Deployed Engineer 交付一个正在运行的系统。
这个岗位爆发的原因不是赶时髦。麻省理工的 GenAI Divide 研究在访谈和问卷之外考察了300个公开的AI落地案例,发现95%的企业AI试点没有对损益产生可衡量的影响。这个标题数字招致了合理的方法论质疑,而它也不是有意思的部分。有意思的是失败集中在哪里。不是模型质量,而是集成:把一个有能力的模型接到真实的业务流程、真实的数据,以及周二上午必须使用它的真实的人身上,这种不体面的活儿。
同一项研究发现,专业外部团队的成功率约为67%,内部自建约为33%。不是因为外部的人拿到了更好的模型,而是因为他们做过,知道会在哪里断掉。
为什么媒体需要属于自己的那个版本
每个行业都说自己的数据特殊。多数是错的。媒体是少数例外之一,原因是结构性的,而非文化上的。
一名通用AI工程师的职业生涯花在文本、表格和单张图像上。这三样都很小、可寻址,而且容错。视频一样也不是。它以每秒25、30、50或60帧到来,自带时钟,背着法律约束,常常被加密,而当它出问题时,是在一个已知的时刻、当着观众的面出问题。
下面是通用AI工程师从来不必学的九件事,它们决定一个媒体AI项目是进入生产,还是加入那95%。
1. 视频不是上下文窗口,工程的本质是做减法
一场90分钟的比赛,按每秒25帧算是135,000帧。50fps则是270,000帧。你没法把这些送给模型,而那个天真的办法,每隔N帧取一帧,要么错过真正要紧的瞬间,要么花掉比内容收益还多的钱。
真正的工作是决定模型究竟看到哪些帧,而做这件事最便宜的信号,是你已经付过钱的那个。编码器在压缩文件时,对每一帧都做过判断。I帧的位置标出场景切换。运动矢量描述了什么在动。帧类型告诉你复杂度落在哪里。CodecSight 这样的近期研究把它形式化了:用编解码器的信号去引导视觉模型看哪里,而不是用昂贵的推理重新推导一遍。
我们免费的 Video Quality Analyzer 呈现的正是这些。它直接从码流里读出 I、P、B 帧类型、帧重排序、B帧连续段和宏块决策。那张图上的一切,编码器都已经算过一次,而大多数AI流水线把它扔了。
同一个想法还有更强的形态。id3as 的首席执行官、直播媒体服务器 Norsk 背后的推动者 Adrian Roe 描述过三种做16:9到9:16自动重构图的方式:在本地跑目标检测;把帧送到云端模型;或者两者兼取,在本地检测目标,只把得到的坐标而不是画面送给模型。第三种把词元消耗降低约两个数量级,而且结果往往更好,因为模型不必再对一大堆与问题无关的像素做推理。这里少送不是妥协,少送就是改进。
2. 答案必须落在第4102帧,落在附近不算
时间码是这个行业的主键,也是一片雷区。丢帧与不丢帧。29.97与30。显示时间戳与解码时间戳。墙上时钟与媒体时钟。EXT-X-PROGRAM-DATE-TIME,以及上游是否有人把它设对了。
一个报告「进球大概在42:17前后」的AI系统,对必须按帧下刀的剪辑师毫无用处。通用AI给出的是近似。广播要求的是精确,而理解这两者为何不同,就是这份工作的大部分。如果你从没向数据科学家解释过B帧重排序,并在同一句话里解释第4102帧并不是显示出来的第4102张画面,那你还没做过这份工作。
3. 模型在哪里运行是合同问题,不是偏好问题
把播出前的母版送到第三方接口,可能违反发行协议、打破禁发期,或者违背制片方施加的内容安全条款。TPN、MovieLabs 和 CDSA 的要求不是建议,而「我们用了云端接口」也不是辩解。
同一约束还有更硬的形态:加密的流你解不了码。任何需要真实像素的质量指标,在 DRM 介入的那一刻就全部出局,这在写下第一行代码之前就干掉了相当多的架构。我们的 Stream Analyzer 会检测 DRM,并把每一项基于解码的指标都绑定在这个前提上,因为自信地报出一个你根本不可能测到的数字,比什么都不报更糟。
知道自己不被允许看什么,是设计的一半。
4. 在这里质量有一个数字,而且有人在上面签字
VMAF。PSNR。SSIM。响度用的 EBU R 128 和 ATSC A/85。苹果的 HLS 制作规范。这个行业很久以前就断定「看着没问题」不够,转而造出了测量。
一名工程师如果提出一套聪明的、由AI驱动的编码阶梯,却没有附上 VMAF 曲线,那么无论想法多好,他提出的都是没有任何一家广播机构能批准的东西。数字不是官僚主义,而是一个人把自己的名字写在一项将发往数百万台设备的变更上的方式。

实际情形是这样的。这个分片实测4.03 Mbps,而声明的峰值是3.30 Mbps。一个信任了清单文件的播放器,为此配置不足,而在一条紧张的连接上,重新缓冲正是这样开始的。没人注意到,因为平均值看着还行。平均值正是这类问题的藏身之处,所以这个行业选择测量,而不是观看。
5. 单位经济性就是那个试点
在多数行业,AI的成本单位是一次请求。在媒体,它是一小时内容,而一个片库要以数万小时计。
媒体AI项目真正死掉的地方就在这里:不是死在准确率上,而是死在算术上。演示里看着微不足道的单条素材成本,在你把它对准片库的那一刻变成六位数的账单。像直播字幕这样的实时工作,需要常开GPU上低于五秒的时延。片库的批量分析可以在夜间用便宜的非高峰算力跑。决定业务流程的哪些部分归入哪个桶,是这个项目里最有价值的一个决定,而它发生在任何人写代码之前。
时延属于同一份预算。往返一次云端模型通常要花两到十秒,这对夜里给片库打标签绰绰有余,对任何需要跟上直播的事情则是不及格。由此得出的规则,被媒体工程公司 Qualabs 的首席执行官 JP Saibene 说得很好:把架构设计成让昂贵的那条路径成为例外而不是默认。广播在一个把编码器设成1080p就得到1080p、账单事先可知的世界里过了几十年。按用量计费的推理一次性拿走了这两种确定性,而一个从未挂上配额的演示,正是单个片段最终花掉一百美元的路径。
流媒体在分发这一侧已经做过这道算术的一个版本。在那里真正要紧的数字,从来不是演示中一条流的成本,而是规模化之后的出向流量,而事先把它建模的团队,才是保住了利润率的那些。推理是另一道计算,但习惯是同一个,而决定一个媒体AI项目能否在与片库接触后活下来的,正是这个习惯。我们的 CDN Cost Optimizer 在分发这一侧做的就是这件事。
6. 决定画面里什么才重要
为竖屏分发把16:9改成9:16,听起来像裁切。实际上这是一个显著性问题:哪个主体撑起这个镜头,注意力何时转移,以及当两个人在画面两端说话时会怎样。它由人逐帧判定,而且毫不留情。
这是把真正的AI用在像素上而不是转写稿上,而它之所以是很好的面试话题,恰恰因为所有人都低估它。我们的工具 Vertical Reframe 至今仍标着测试版,而这个标签不是谦虚,是关于这个问题的现状报告。
原因值得挑明,因为它说明了这个领域的状态。这个工具让你选择由哪个视觉模型来完成「看」这件事:Claude、Gemini、GPT、Grok、Llama、Qwen、Pixtral、经由 Ollama 的本地模型,或者你自己的模型(如果你有)。这份菜单不是我们引以为豪加上去的功能。它之所以存在,是因为关于哪个模型擅长这件事,并没有定论。不同内容上胜出的模型不同,而失败方式的差异比任何基准测试所暗示的都大,所以这个选择是被摆出来的,而不是替你做掉的。
请注意这意味着什么,因为它的推广范围远超重构图。当一项能力成熟时,没人会发布一个模型选择器,你发布的是答案。选择器是一种承认:这个领域尚未收敛。任何要在自动重构图之上做规划的人,都应该把这一点算进成本,而不是去相信一段由别人挑好片段的演示视频。它同时告诉你,真正耐久的工程在哪里。不在模型里,模型在这件事解决之前还会被换掉好几次,而在它周围那套装置里:你怎么采样,你怎么评估输出,以及当答案明显错误时会发生什么。
那种失败值得想象一下。Norsk 曾在一场击剑比赛上演示自动重构图,这是一项本质上横向的运动,因而是一次刻意刁难的测试。模型锁定了背景里挂着的一张两名击剑手的大海报,并把画面框在那上面,忽略了真正的选手。它并没有搞错击剑长什么样,而是找到了一个看起来比击剑本身更像击剑的东西。每一套主体跟踪系统内部都藏着这种失败的一个版本,而在观众发现之前先找到你自己的那一个,就是这份工作。
7. 播出链路里的AI系统是带SLA的组件,不是演示
聊天机器人里一个幻觉答案是个麻烦。直播电视上一条幻觉字幕,是一个后面跟着监管机构的无障碍缺陷。当下的语音识别在干净的播出对白上达到低于5%的词错率,这确实可与人工速录相比,但仍然不等于可以无人值守地安全播出。
行之有效的模式是置信阈值、在风险足以证明其必要时让人介入,以及在模型不可用或不确定时的确定性回退路径。知道业务流程的哪些部分根本经得起概率性输出,是一项设计能力,而不是一个政策问题。
它还必须能事后追查,而当组件是概率性的时候,这比听上去更难。Norsk 就自动插播广告描述的做法,形状是对的:记录送给模型的每一帧,连同该帧之前和之后模型的状态一并记录。当某样东西在错误的时刻播了出去,你可以重建系统当时相信什么,以及是什么让它改变了判断。对链路上任何其他组件,广播一直都能回答「这件事为什么会发生」。AI组件不会因为答案更难拿出来,就被豁免于这个问题。
我们的 AI Ad Generator 是关于这要花多少代价的一个诚实例证。模型是其中最小的一部分。其余是渲染农场、任务队列、取消处理、清理卡住任务的清道夫、在标签页关闭时通知用户的网页推送、支付,以及一个归档。这个比例,就是把AI交付给真实用户的样子。
8. 媒体系统比项目活得久
一条7×24小时的频道不是交付出去的,而是交接出去的。总得有人在凌晨三点让它转起来,而那个人并不在敲定架构的那场讨论会上。
举一个只有运维才能得到的知识的具体例子。在我们的整个平台上,H.264 的编码级别在三条独立的代码路径中都被锁定且保持一致。改掉其中一条,回放就会在不连续点处断裂,因为有些解码器在流中途级别变化时会复位。这不是从论文里学得到的。这是从一条频道在某个素材交棒给下一个素材的那一刻卡顿,以及从花掉一周才查清原因,学来的。
这就是「forward deployed」这两个词所承担的工作。交付物不是在你演示那天能跑的系统,而是在你不在场的某个夜晚、别人能把它跑起来的系统。
9. 下一件要做对的事是智能体接触面
智能体现在已经可以直接操作媒体系统。我们写过通过 MCP 用AI智能体运行一条7×24小时电视频道,而有意思的问题最后并不是智能体能不能给频道排播。它能。问题是你开放哪十九个工具,在运行中的播出系统里允许智能体碰什么,以及当它在凌晨两点自信地弄错时会发生什么。
总得有人设计那个接触面。那个人需要同时理解两半。
当从业者把这些话说出口时是什么样
以上没有一条是理论,而主张这些的也不止我一个。一场名为 When AI Runs The Stream 的网络研讨会,把两位以此为生的人放在同一个小时里,而他们从一个完全不同的方向,抵达了上面九点中的大部分。
Adrian Roe 是 id3as 的联合创始人兼首席执行官,这家公司做的是 Norsk,一套用于以代码搭建流媒体工作流的直播媒体服务器与开发工具包。人称 JP 的 Juan Pablo Saibene 是 Qualabs 的联合创始人兼首席执行官,这是一家位于蒙得维的亚的工程公司,其团队嵌入美国和欧洲的视频技术公司与媒体公司的工程组织内部。本场由 Eric Schumacher-Rasmussen 主持。
请把第二段描述再读一遍,因为那正是本文全部论点,只不过以公司简介的形式写了出来。把工程师嵌入媒体客户自己的组织内部,把东西做出来并让它运转,这就是 forward deployed engineering。它在我们这个行业里已经在发生了,只是还没有名字。
这一个小时值得你花时间,是因为两人都没有兜售那个容易的版本。他们反复回到的问题,不是AI能不能对一条直播流做点什么,而是你能不能跑上一千次、每一次都信任它的输出,在真实的观众面前、用真实的预算,并且不弄坏已经在运转的东西。
从中得到的三种做法值得原样拿走,因为每一种都是设计决定,而不是模型选择。
把设计做成让错误代价低廉
Adrian Roe 判断一件事是否适合交给AI,归结为三个问题。你能不能把问题划得足够窄,从而发挥模型的长处?时间上有没有余量?以及当它弄错时,这个错误便宜吗?
那些例子之所以有教益,正因为它们毫不炫目。如果你在网球比赛交换场地时自动插入广告,用L形条或压缩画面,而不是全屏切走,因为一条时机偏差的L形条只是略微碍眼,而一次时机偏差的全屏切走会毁掉那个瞬间。如果你依据质量分在两路冗余信号之间切换,两路都健康时切换是无瑕的,那么一次不必要的切换对观众没有任何代价。把设计做对,模型就被允许偶尔出错,而这是你能把它投入生产的唯一条件。
把模型的答案变成确定性的答案
团队常驻客户工程组织内部的 Saibene,描述了一套按漏斗搭建的体验质量诊断系统。第一层是滑动窗口上的一个朴素阈值,完全没有AI,只回答是否出了问题。第二层把异常与已经见过的原因做比对,同样是确定性的。只有第三层,在前两层找不到熟悉的东西时才会到达,把这个开放式问题交给模型。
重要的是接下来发生的事。当模型为一个真正新的故障提出解释时,并不会就此照办。它会呈交给一位有经验的工程师,如果对方认可,这个故障就进入确定性的那一层,从此再不经过模型就能被诊断出来。用 Saibene 的说法,人在那里「不是作为安全毯,而是作为一种机制」。系统跑得越久,就越确定,运行也越便宜。这与大多数AI落地的老化方式恰好相反。
瓶颈会挪位,不会消失
Saibene 的第二个例子,是多数团队没有预料到的。生成式工具能产出数千个片段,而每一个在发出去之前仍然要有人核验。生成变便宜时,约束并没有消失,它只是从制作挪到了校验,而校验是没人自动化的那一段。
所以有意思的产品不是再来一个集锦生成器,而是校验器:给它一个片段和一份规格,返回可发布或不可发布的判定。其中一些检查是纯算术,比如确认裁切确实是9:16。另一些真的需要判断,比如赞助商是否真的可见,或者解说是否与画面上的动作对得上。知道哪个是哪个,就是全部的设计。
同一个小时里还有两处更小的细节值得随身带走。在一块显示大约八十个数字的直播监看面板上,Roe 指出其中只有两个来自AI,而这个比例是恰当的,不是不足。至于成本,Roe 对整个问题的浓缩很难再改进:上下文为王,上下文即成本,而上下文过多则质量低劣。
Forward Deployed Engineer、顾问,还是系统集成商
这个行业已经有很好的顾问,也有很好的系统集成商。这个区分值得说清楚,因为这些词被混着用,而它们本不该如此。
| 角色 | 你拿到什么 | 之后归谁所有 |
|---|---|---|
| 顾问 | 一份评估、一条建议、一套架构 | 你自己,从零开始 |
| 系统集成商 | 某供应商的产品,已安装并配置 | 你和该供应商 |
| 供应商的 Forward Deployed Engineer | 该供应商的产品,被调得适配你的技术栈 | 供应商,只要你还是客户 |
| 独立的媒体 FDE | 在你的环境里运行的代码 | 你自己,做法已移交给你的团队 |
在供应商内部,这个角色已经真实存在。Bitmovin 和 CAMB.AI 目前都在发布标题为 forward deployed broadcast 或 streaming engineer 的职位,位置介于它们的工程团队与最重要的媒体客户之间。这是一个强信号:离问题最近的公司,早在行业其余部分给这个职业起名之前,就想明白了自己需要这个人。
与独立者的区别很简单,而且这不是在批评供应商。供应商的 Forward Deployed Engineer 拿的是让一个产品装得进去的报酬。独立者拿的是让你的技术栈跑起来的报酬,包括那些你宁愿换掉的部分。
这件事还有一个战略版本,值得在签任何东西之前想一想。随着智能体开始编排媒体工作流,有价值的那一层不是模型,模型在这个十年里还会被换掉好几次。有价值的是编排层,以及它下面的上下文:你的素材、你的规则、你的运维知识。Qualabs 的 JP Saibene 在提及 Andy Beach 在这方面的工作时,把风险说得很直白:让供应商拥有那一层,而你并不拥有下面的上下文,最后你会从自己的供应商那里把自己的工作流租回来。替你搭那一层的人,应该把它搭成你能一直拥有的样子。
五个问题,看得出一个人是不是真的
如果你在为这个岗位招人,简历帮不上忙。如今每份简历上都写着AI。这五个问题能把交付过视频的人,和只往接口发过文本的人分开。
1.「我们想给一个4万小时的片库自动打标签。请讲讲成本模型。」
你希望他们从单位入手,而不是从模型入手。内容小时数、每小时成本、批处理还是实时,以及什么放到非高峰时段跑。如果他们开口就说会选哪个模型,那这个项目从没被财务负责人砍掉过。
2.「我们的母版有 DRM 保护。这会怎样改变你的做法?」
正确的回答是,这排除了一切需要解码的方案,并把你推向容器层的元数据、伴随文件,或者加密之前的某个分析点。错误的回答是热情。
3.「模型说精彩片段在42:17。我拿这个能干什么?」
你要听的是帧级精度、时间码格式,以及这个输出能否驱动一份 EDL、一个 SCTE-35 标记,或一条 MAM 记录。「它给你一个时间戳」不是回答,那是把问题重说了一遍。
4.「一段两小时的素材,你怎么采样帧?」
每隔N帧是薄弱的回答。镜头边界检测是不错的回答。使用编码器本来就已经产出的I帧位置和运动矢量,才是一个真的为规模化推理付过钱的人的回答。
5.「直播过程中模型不可用时会发生什么?」
必须有确定性的回退路径和明确定义的降级模式。如果回答只有重试,那这个系统从没上过播出。
它的成本,以及它应该带来什么
关于流传的数字要提个醒。人们引用 Forward Deployed Engineer 30万到120万美元的总薪酬,这确实存在,但它描述的是美国前沿AI实验室的正式雇员待遇,且大幅偏向股权。这不是媒体支付的水平,也不是欧洲的独立专家收取的水平。把这些数字当作市场正在为这个岗位重新定价的证据来读,而不要当作价目表。
值得衡量的是另一面。那95%的代价,是一个吞掉团队一整年注意力却什么也没交付的试点。相比之下,真正相关的问题不是日费,而是有人能多快告诉你:按现在这个范围,到片库规模会花掉预算的四倍;或者 DRM 让所提方案根本不可能。以及他随后能不能把那个行得通的版本做出来。
这场对话应该发生在第一周,而不是第三季度。
常见问题
什么是 Media Forward Deployed Engineer?
一名嵌入广播机构、流媒体服务或媒体公司的工程师,在对方的环境内部端到端地拥有一个AI系统:界定范围、写生产代码,并让它持续运转。与通用 Forward Deployed Engineer 的区别在于视频和音频的领域深度,也就是编解码器、时间码、流媒体协议、内容安全,以及以片库规模处理内容的经济性。
Forward Deployed Engineer 与顾问有何不同?
顾问交付一份报告或一套架构,把搭建留给你。Forward Deployed Engineer 在你的环境内部编写并交付生产代码,随后把做法移交给你的团队。交付物是一个正在运行的系统,不是一份文档。
为什么这么多媒体AI项目失败?
麻省理工的研究发现,95%的企业AI试点没有产生可衡量的财务效果,而失败集中在集成而非模型质量上。在媒体领域还有第二个常见原因:单位经济性。按单条素材看似可以忽略的成本,摊到数万小时的片库上就变得无法承受,而这道算术常常是在试点之后而不是之前才做。
通用AI工程师能做这份工作吗?
部分可以,而陷阱恰在于此。他能很快做出一个有说服力的原型。通常缺的是帧级精度的时间码处理、对加密内容无法解码的认识、产出播出链路真正能接收的输出(比如 SCTE-35 标记或 TTML 字幕)的能力,以及规模化之后现实的成本模型。这些缺口通常在试点获批之后才显现。
我需要全职雇一个吗?
起初通常不需要。这个角色在不确定性最高的节点最有价值:界定范围、决定做什么,以及把第一个系统送进生产。许多媒体公司为这个阶段请一位专家,之后用自己的团队来运行成果,而这正是预期的结局,因为把做法移交出去本就是工作的一部分。
我该问候选人什么?
上面五个问题覆盖了成本建模、内容安全、帧级精度、采样策略,以及播出中出故障时的行为。没有交付过媒体AI系统的人很难答得有说服力,而做过的人答起来很容易。
去哪里找到一个
本文各处链接的工具都可以免费试用。它们不是重点,但它们是重点的证据:每一个都始于生产中冒出来的一个问题,而那个问题必须被认真解决,而不是在幻灯片上描述一番。其中一个至今仍是测试版,原因文中已经解释过。
如果你正试图把AI放进一条广播或流媒体工作流,并且需要一个已经知道它会在哪里断掉的人,那就把这个岗位描述出来,我们会和你一起界定范围,并在任何人拿起电话之前给出一个诚实的日费。
而如果你读完上面九点,认出了自己的工作,那么这个名号正在此刻被贴到这份活儿上。当那种事发生时,通才们会出现并把它认领走。真正一直在做这份工作的人,理应先以这个名字被找到:加入人才网络。