2月28日,由《經濟觀察報》、經觀傳媒共同舉辦的“周期新變量 科技新格局”2024數字創(chuàng)新峰會于北京舉行。中電信人工智能科技有限公司平臺業(yè)務部首席架構師畢然發(fā)表了《中國電信星辰智能體平臺賦能大模型產業(yè)落地實踐》主旨演講。
畢然認為,對于傳統(tǒng)企業(yè)來說,人才是企業(yè)發(fā)展的第一要務;而對于下一代新型企業(yè),企業(yè)中有效智能體的數量將成為發(fā)展的關鍵。
以下為演講實錄:
隨著近期DeepSeek技術的不斷發(fā)展,大模型技術及其產業(yè)落地受到了越來越多的關注。我們先來看一下,大模型技術在當前的技術和市場上呈現出哪些新的趨勢。
首先,全國產化的趨勢越發(fā)明顯。除了模型的構建和應用軟件的開發(fā)之外,硬件推理和計算也在不斷實現國產化。端到端的國產化已成為當前技術發(fā)展的重要方向。其次,強化學習模式逐漸成為大模型訓練的關鍵。與傳統(tǒng)的指令學習(SFT)相比,強化學習能夠顯著提升大模型的思維鏈能力,這也是DeepSeek等大模型不斷突破的重要動力。第三,多模態(tài)大模型正逐漸成為業(yè)界應用的主流。多模態(tài)大模型綜合了語言、語音、視覺等多種模態(tài)的理解和生成能力。一方面,視覺信息可以幫助語言模型更好地理解空間位置和邏輯關系;另一方面,語言的語義表示也能增強視覺信息的深度語義理解,而不僅僅是圖像中的物體標簽。最后,大模型技術與具身智能的結合日益緊密。隨著機器人、機器狗、無人機等智能硬件的發(fā)展,大模型在真實世界中的應用邊界不斷擴展。那最后我們會看到目前整個大模型的一個技術的演進,會跟我們的具身智能有很好的一個結合。
除了技術演進,市場上也有三個顯著特點。首先,大模型通過蒸餾技術轉化為小參數化模型,以加速其在服務器端或端側設備上的應用。在端側設備上部署小尺寸模型,可以顯著提升大模型的響應速度和用戶體驗。其次,大模型單獨落地產業(yè)應用的難度較大,而將其包裝成智能體——一種新型的AI原生軟件形式——并應用于產業(yè)場景,已成為當前的發(fā)展趨勢。大模型與智能體的結合正在推動各行業(yè)的變革,呈現出普遍開發(fā)的狀態(tài)。中國電信也推出了自己的星辰大模型,這是在李學龍老師帶領下,由中國電信AI研究院推出的語音、語義、多模態(tài)、多層次的星辰大模型系列。星辰大模型具有國家隊做模型的幾個特點:首先是安全自主可控,能夠更好地控制大模型的輸出安全性;其次,星辰大模型扎根于眾多行業(yè)縱深應用。中國電信多年來服務于政務、工業(yè)、應急等國計民生行業(yè),為大模型的訓練和應用提供了豐富的場景和數據;同時,星辰大模型也在踐行央企使命,應用于諸如校園防霸凌等公益場景。
接下來,我想重點談談大模型技術的產業(yè)落地問題。盡管大模型技術不斷突破,但業(yè)內普遍關注的問題是:大模型到底如何賦能應用?我們希望看到大模型在千行百業(yè)中為經濟生產和日常生活帶來巨大的改善和提升。然而,即使像DeepSeek這樣強大的模型,直接應用于具體場景時,其作用也相對有限。原因何在?
通用大模型相當于一個高中生,如果直接將其派到職場,效果并不理想。我們需要讓這個“高中生”上大學,學習專業(yè)知識,將其轉化為行業(yè)大模型。畢業(yè)后,為了更好地完成具體工作,還需要對其進行職場培訓,包括提供企業(yè)私有知識庫、文檔庫以及相關工具。例如,對于財務人員,提供財務精算軟件以輔助其完成報表。經過這樣的培訓后,“大學生”就變成了職場人,對應到大模型,經過提示詞、知識庫和工具的賦能,它就變成了一個智能體應用。對于傳統(tǒng)企業(yè)來說,人才是企業(yè)發(fā)展的第一要務;而對于下一代新型企業(yè),企業(yè)中有效智能體的數量將成為發(fā)展的關鍵。
接下來,我將重點介紹中國電信星辰智能體平臺的應用展示。首先是會展助手。在大型會議中,參會者常常會詢問會議地點、周邊餐飲、會議主題、演講嘉賓等問題。這些問題可以通過星辰智能體平臺在1分鐘內基于大模型搭建出應用,代替人工回答這些問題。基于星辰智能體平臺的自主規(guī)劃構建模式,可在1分鐘內快速構建會展助手智能體。該智能體能夠為會議舉辦方及參會者提供會議信息查詢、行程規(guī)劃、邀請函發(fā)送等功能。開發(fā)者可以自定義會展助手的角色指令,包括角色定位、工具調用要求及限制條件。智能體還可以靈活選用二維碼工具快速分享會議網址,通過實時時間工具進行日程提醒,生成海報助力宣傳,制定出差行程和聚餐安排,提供多語種會議邀請等。此外,智能體可自主配置會展議程等相關知識庫,自動解析并作為回答來源,確保回答的準確性。最后,預設開場白及常見問題解答,提升問詢效率。配置完成后,可以實時預覽及調試,確保滿足預期。完成發(fā)布流程后,即可獲得專屬的會展助手。
當用戶查詢距離會議的天數時,會展助手可以根據當前時間迅速計算;當用戶查詢會議議程時,智能體會自動檢索知識庫并提供精確回答;當用戶提出關于展品的海報需求時,會展助手可以一鍵生成精美海報;當需要向國際客戶發(fā)送邀請時,助手可以快速撰寫并發(fā)送多語種邀請函;當用戶需要分享會議信息時,會展助手可以自動生成會議官網二維碼;當需要安排出差行程時,會展助手可以自動生成詳細的日程計劃;當用戶有會議后的聚餐需求時,會展助手可以提供會場附近的聚餐地點信息。這樣一個強大的會展助手,依托星辰智能體平臺,僅需1分鐘即可快速搭建,為更多行業(yè)的智能化發(fā)展提供有力支持。
接下來,我為大家展示第二個案例——商品評論處理。在電商平臺上,客服每天需要處理大量商品評論,例如將好評置頂、將差評反饋給質量部等。這是一個相對復雜的業(yè)務邏輯場景。基于星辰智能體平臺的工作流模式,可在30分鐘內快速構建商品評論助手。該智能體能夠有效應對海量評論中的敏感信息、圖文不符等問題,節(jié)省平臺客服的大量精力。當用戶評論中包含違禁圖片時,智能體會迅速識別并處理;對于不當評論,智能體會快速介入并提醒用戶;當用戶上傳圖文不符的評論時,智能體會自動處理并提示用戶。此外,智能體還可以快速區(qū)分好評與差評,好評內容基于設定流程高效處理,差評內容則自動推送至推送至售后部門處理。開發(fā)者可以依托對業(yè)務流程的理解進行節(jié)點設計,第一步是判斷用戶上傳內容的類型及其合規(guī)性,可以添加并配置一個星辰多模態(tài)大模型節(jié)點,明確商品評論員角色,并設定圖片內容識別及圖文相關性技能要求。然后,智能體還可以對合規(guī)評論進行自定義分類,包括正面評論、質量問題等,并據此設定相應處理流程,靈活應對復雜業(yè)務需求。
通過以上兩個案例,可以看到自主規(guī)劃智能體的本質是讓大模型訪問知識庫并使用工具,在特定提示詞的指揮下完成具體任務;而工作流智能體則更接近傳統(tǒng)的低代碼平臺,但其執(zhí)行流程由大模型進行控制和調度。大家可能會問,為什么不直接讓大模型完全自動化控制整個軟件執(zhí)行流程,而是將傳統(tǒng)低代碼平臺與大模型控制相結合呢?這是因為當前大模型技術還不夠穩(wěn)定,在很多復雜場景下,大模型的準確率無法達到99%以上。因此,我們常常看到大模型應用在20%的場景下表現良好,但在80%的場景下可能出錯。為了解決這一問題,星辰智能體平臺提供了漸進式智能方案。在大模型表現良好的環(huán)節(jié),我們使用大模型進行中控;在對準確率要求極高且大模型穩(wěn)定性不足的環(huán)節(jié),輔以傳統(tǒng)代碼編寫方式。這樣,我們能夠漸進式地將大模型應用于新型智能化軟件中。
星辰智能體平臺的產品特性和架構如下:首先,平臺非常靈活易用,支持1分鐘內創(chuàng)建自主規(guī)劃智能體,也支持更復雜的工作流智能體。其次,我們的大模型在智能體環(huán)境下經過專項優(yōu)化,例如星辰大模型、千問大模型以及DeepSeek等,以確保在智能體場景下表現更優(yōu)。第三,中國電信在多個產業(yè)領域擁有豐富的應用經驗,我們也將這些特性融入星辰智能體平臺,提供15個以上行業(yè)的應用和產業(yè)工具庫。與其他智能體平臺相比,我們的平臺能夠快速構建深入產業(yè)業(yè)務邏輯的智能體應用。最后,我們聯合北京大學、浙江大學等高校推出系統(tǒng)化培訓課程,并頒發(fā)工信部認證的職業(yè)證書。
在平臺架構方面,我們通過架構圖展示了智能體的基本特性。首先,平臺包含控制系統(tǒng)和規(guī)劃與進化系統(tǒng)。規(guī)劃進化系統(tǒng)由大模型主導,追求業(yè)務執(zhí)行的靈活性;而控制系統(tǒng)則追求執(zhí)行過程的穩(wěn)定性,動態(tài)選擇在大模型效果較好時使用其智能表現,效果不穩(wěn)定時切換至穩(wěn)定程序邏輯。知識中心、產業(yè)工具庫和代碼解釋器是平臺的核心組件。知識中心負責知識庫和信息檢索利用;產業(yè)工具庫提供工具調用技術;代碼解釋器則與AI公司軟件工廠產品結合,當大模型遇到難題時,自動編寫代碼生成動態(tài)工具完成任務。平臺運行過程中產生的大量日志通過低門檻開發(fā)平臺反饋至數據系統(tǒng),更新模型內容,提升智能體表現。此外,智能體支持豐富的交互方式,包括語音交互、動態(tài)生成GUI前端組件等,避免智能體僅限于對話聊天形式,可與傳統(tǒng)通訊軟件媲美,支持具身智能應用。應用部署支持通過API或Web SDK生成可執(zhí)行文件,部署至端側應用場景。
我還想分享一下星辰智能體平臺的最新進展。平臺已全面接入并融合DeepSeek,可以接入公有云或本地化部署的Deepseek服務。無論是自主規(guī)劃智能體還是工作流智能體,均全面適配DeepSeek,全流程使用DeepSeek模型提升效果。平臺應用廣場提供大量基于DeepSeek的智能體應用供用戶使用和參考。
接下來,我為大家展示中國電信基于星辰智能體平臺的產業(yè)應用。首先是中國電信通話助手。在漏接電話時,通話助手可以與來電用戶在線語音溝通,了解其需求并發(fā)送短信通知用戶,避免錯過重要信息。通話助手智能體基于智能體平臺的語音和大模型能力升級,可靈活處理來電需求,適用于個人生活助理、個人健康管理、來電漏聽管理等多個場景。當有產品銷售電話接入時,電話代理會迅速響應并追問關鍵信息,總結產品詳情反饋用戶;當好友來電邀請活動時,電話代理會記錄邀請信息并發(fā)送給用戶。這樣一個強大便捷的智能體,依托星辰智能體平臺,基于大語言及多模態(tài)大模型快速搭建。
在電話代理智能體的業(yè)務場景中,由于涉及多環(huán)節(jié)和復雜業(yè)務邏輯,工作流編排模式可以高效整合這些環(huán)節(jié),提供靈活的自定義能力。工作流編排支持用戶根據業(yè)務實際情況自定義節(jié)點選擇與應用,確保完全貼合業(yè)務場景需求。對每一個節(jié)點的參數支持個性化調整,提升節(jié)點決策的準確性與效率。還可以根據業(yè)務規(guī)則靈活進行節(jié)點串聯和流程定義,應對更為復雜和多變的業(yè)務處理需求。流程搭建完成后,用戶可以實時對智能體進行預覽及調試,每一步操作的可追溯性與安全性,增強了系統(tǒng)的透明度。星辰智能體平臺的魅力在于它的快速搭建與無限拓展,從電話代理智能體到更多業(yè)務領域,星辰智能體平臺都能以強大的靈活性與可擴展性為我們帶來全新的智能化解決方案。
除了中國電信自身的應用,我們還聯合多家央企實踐智能體在千行百業(yè)的落地。共同參與了基于星辰智能體平臺的培訓和實戰(zhàn),技術人員將企業(yè)應用場景和數據帶入平臺,完成智能體方案和實踐作業(yè)。通過統(tǒng)計發(fā)現,央企在各個領域都提出了大量基于大模型智能體的應用方案。
例如,在營銷領域,智能體可以制定營銷方案,結合行業(yè)知識和市場情況,滿足多樣化營銷需求;在人力資源領域,智能體可以提供就業(yè)助手,查詢就業(yè)活動,根據市場需求修改簡歷,提供最新崗位和招聘信息;在工業(yè)和制造業(yè),智能體可以協助安全生產,結合設備信息,保障生產有序執(zhí)行。通過多家央企的聯合實踐,我們發(fā)現智能體在千行百業(yè)中具有廣泛的應用前景,平臺的成熟度和穩(wěn)定性也得到了驗證。
最后,如果大家對DeepSeek大模型浪潮特別關注,希望結合企業(yè)應用探索大模型落地,歡迎聯系星辰智能體平臺。我們聯合北京大學、浙江大學等高校創(chuàng)建了理論加實踐的大模型加智能體產業(yè)賦能課程。課程不僅教授理論知識,還提供大量行業(yè)應用案例和實踐操作,幫助學員掌握大模型技術在產業(yè)落地中的應用。培訓結束后,學員將獲得工信部認證的“AI智能體開發(fā)工程師”證書和相應大學的課程結業(yè)證書,全面提升企業(yè)人員運用大模型技術的能力。
未來已來,時不我待。中國電信星辰智能體平臺愿與各界產業(yè)伙伴攜手迎接“行業(yè)+智能體”的新時代。
高露/文