別讓 AI 模型吃光 IT 預算!拆解 AT&T 降本 90%、每日處理 270 億 Token 的秘訣

當企業真正將生成式 AI 推向大規模營運時,成本問題開始浮上檯面。根據《VentureBeat》報導,美國最大電信商 AT&T 每天需要處理高達 80 億 個 token 的 AI 任務規模,而 AT&T 資料長 Andy Markus 與他的團隊意識到,將所有資料都透過大型推理模型處理既不現實也不經濟。
這個壓力促使 AT&T 在打造內部生成式 AI 助理 Ask AT&T 時,徹底重寫整個 Orchestration(協作編排)架構,從依賴單一大型模型,轉向多代理與多模型協作系統。
這麼做的成效是顯著的。Markus 向《VentureBeat》表示,新架構讓 AI 成本最多降低 90%,同時處理能力反而大幅提升,目前每天可處理多達 270 億個 token,是短短數月前的三倍以上。AT&T 是怎麼辦到的?
從單一大模型,轉向多代理「指揮官+執行者」架構
AT&T 的核心轉變,是建立一套多代理 AI 系統。這個系統採用 LangChain 框架,讓大型語言模型扮演「超級代理(super agent)」,負責決策與指揮,而實際執行任務的,則是多個較小型、專門化的「執行者代理(worker agents)」。這些較小的語言模型專注於特定任務,例如文件處理、資料庫查詢或影像分析。
Markus 表示,「我相信 AI 代理的未來,是非常多的小型語言模型(SLM),」他說,在特定領域任務中,小模型的準確度「幾乎與大型模型一樣,甚至更高」,但成本和速度卻明顯更具優勢。
《PYMNTS》也指出,小型語言模型參數較少,但速度更快、成本更低,且在特定產業場景中,表現甚至能超越大型語言模型(LLM)。此外,NVIDIA 研究也發現,小模型在企業環境中更具實用性與獲利能力,因為它們能在不需要昂貴基礎設施的情況下大規模部署。
不過度建設,使用可互換、可選擇的模型
根據《VentureBeat》,AT&T 並不採取「所有東西都從零開始打造」的策略,Markus 表示,他們更傾向使用可互換(interchangeable)、可選擇(selectable)的模型,並且「不會重新發明已經商品化的技術」。隨著產業研發的 AI 功能逐漸成熟,他解釋,公司也會淘汰自研工具,改用現成的商用解決方案。
在自研代理式 AI 工具方面,Markus 團隊使用 LangChain 作為核心框架,並透過標準的檢索增強生成(RAG)與其他內部演算法對模型進行微調,同時與微軟密切合作,採用這家科技巨頭的搜尋功能作為向量資料庫。
不過 Markus 強調,重要的不是為了使用代理式 AI 或其他先進技術而將其套用到所有場景。「有時候我們會把事情搞得太複雜,甚至過度設計解決方案。」相反地,開發者應該先思考某個工具是否真的需要代理式架構,例如,如果使用更簡單的單輪生成式 AI,能達到什麼樣的準確率?是否可以將任務拆分成更小的部分,讓每個部分都能更精準完成?
他指出,準確率、成本與工具回應速度應是核心原則,「即使解決方案變得更複雜,這三個基本原則仍然為我們提供了重要的方向。」
這套架構也被用來建立 Ask AT&T Workflows,讓超過 10 萬名員工能建立自己的 AI 代理,自動化日常工作。Markus 指出,超過一半員工每天使用這套系統,部分使用者生產力提升高達 90%。例如,網路工程師可以讓 AI 代理自動診斷網路問題、開立維修單、撰寫修復程式,甚至生成後續報告,而人類只需負責監督整體流程。他也強調,即使 AI 可以自主執行,人類仍會提供必要的監督與控制。
用「AI 驅動程式設計」取代 Vibe Coding
Markus 表示,這種將工作拆解為更小、專用模組的工程方法,如今也正在透過他所稱的「AI-驅動程式設計(AI-fueled coding)」改變 AT&T 自身的程式開發方式。
他將這個過程比喻為 RAG:開發人員在整合開發環境中採用敏捷開發方法,並搭配「特定功能導向」的建構範本,這些範本會定義程式碼應該如何互動。如此一來,最終產生的程式碼不是鬆散、尚未完成的狀態,而是接近正式上線等級。Markus 指出,AI 驅動程式設計消除了 Vibe Coding 中常見的大量來回修改與迭代,這種方式正在重新定義軟體開發週期,甚至非技術團隊也能參與。
企業 AI 真正的競爭核心,轉向編排能力
AT&T 的經驗,反映出企業導入生成式 AI 正在經歷一個關鍵轉變。過去兩年,產業競爭的焦點集中在模型本身,企業與科技公司不斷追逐更大的模型規模、更強的推理能力,以及更亮眼的測試表現。然而,當生成式 AI 真正進入企業日常營運後,新的瓶頸逐漸浮現:成本、效率,以及系統如何穩定運作,開始比模型本身的能力更加關鍵。
OpenAI 近期推出專門管理企業 AI 代理的平台 Frontier,也顯示企業正在面臨相同挑戰。隨著企業內部 AI 任務數量快速增加,如何統一管理這些 AI 代理、控制成本並確保穩定運作,正成為企業導入生成式 AI 能否成功的關鍵。
探索主動功能模型如何降低 R&D 工程師除錯成本!立即報名 3/10-12【ADI 次世代訊號鏈設計量測工作坊】

*本文開放合作夥伴轉載,資料來源:《VentureBeat》、《PYMNT》、《AXIOS》,首圖來源:Unsplash