中國冶金報 中國鋼鐵新聞網
記者 樊三彩 報道
繼ChatGPT大模型后,國內智譜AI的ChatGLM、百度的文心一言、科大訊飛的星火等國產大模型如雨后春筍般涌現,被稱為“百模大戰”。在它背后,不僅是各家技術實力的比拼,也是應用場景落地能力的較量。令市場狂熱的大模型究竟有何魔力?當鋼鐵行業遇見大模型,又會碰撞出怎樣的火花?近日,《中國冶金報》記者專訪了智譜AI CEO張鵬,圍繞當前的“大模型熱”進行了對話。
智譜AI于2019年由清華大學計算機系技術成果轉化而成立,于次年便開始了GLM預訓練架構的研發,是國內最早從事大模型相關研究的機構之一?!懊鎸Α竽P蜔帷绻靡粋€詞來形容我的想法,那就是篤信?!睆堸i指出,“信”當然就是相信這件事情,大模型一定是通往AGI(通用人工智能)的必經之路,能創造更大的價值;“篤”是一種踏實、審慎的態度,相信是基于對這件事情的理解和鉆研,而不是狂熱、沒有根基的。
從紙上談兵到實踐躬行,大模型為什么這么“熱”?
大模型的起源可以追溯到2017年,Transformer算法架構的誕生,開啟了大模型演化的歷史進程。雖然在接下來的幾年內,BERT、GPT-1、GPT-2也先后出現,甚至BERT在十多個自然語言理解任務上大大超過傳統算法的精度,但依舊沒有在業界引起太多的火花,直至2020年的到來?!斑@一年是大模型元年。”張鵬表示。
GPT-3的問世大大提高了模型的內容生成和邏輯推理能力,它在上下文學習和知識(常識)理解等方面展現出驚人能力。隨后在全球范圍內掀起了一股基礎模型研究的熱潮,國外如 Meta、微軟、谷歌等,國內如清華大學、北京智源人工智能研究院、百度、華為、阿里巴巴、智譜AI等,都競相追趕,提出包括Gopher、Chinchilla、PaLM、GLM-130B等在內的多個千億元級模型。
然而,復雜的研發技術以及高昂的訓練成本,也讓不少人望而卻步。在當時,并不是所有人都能夠看清技術發展脈絡,而大模型對資金投入的要求很高,貿然投入風險頗大。“當時,我們邀請了一些學界的教授對未來技術的演進方向進行研討,大家都認為這是大模型到達了一個臨界點的信號,AI開始真正進入了可用階段。但是我們在尋找算力、模型工程問題等方面遇到了很多困難,最后猶豫了很久才決定all in(全部投入)大模型,開始自研算法框架?!睆堸i表示。
直至2022年底,ChatGPT發布才真的激起了“百模大戰”的開始,與過往的機器學習技術不同,ChatGPT不再是枯燥的技術理論,它能夠在各領域的應用場景反復驗證,人們才真正感受到大模型“智能涌現”的魅力。ChatGPT實現全球用戶破億僅用了短短兩個月,而電話用戶破億用了75年,手機用了16年,網站用了7年,此前用戶增長最快的應用TikTok也用了9個月。
百家爭鳴、百花齊放,對“大模型熱”要注意什么?
ChatGPT的發布激發了更多機構和公司的研發斗志和熱情,眾多資本紛紛投入到大模型研發的藍海之中,相關部門也關注到了這一重要的技術創新,給予了非常多的政策支持,進一步促進了大模型的研發和優化升級,形成了“百家爭鳴、百花齊放”的科技發展新態勢。這也讓已經積累了兩年技術實力的智譜AI從幕后走到了臺前。
但面對“大模型熱”絕不能盲目。大模型的開發和應用雖然會助推產業和經濟發展,但如果不加以合理管控,也會給產業安全帶來風險。一方面是芯片的“卡脖子”問題。算力是大模型的基礎之一,如何保證算力的持續穩定供應是產業安全必須關注的問題。另一方面,產業所使用的基座模型是否安全可控也是一個重要的問題。模型的訓練數據是否安全合規,模型是否自主可控,會不會像“芯片進口”一樣遇到各種限制?這些都是影響產業長遠發展的重要問題。
面對風險挑戰,張鵬指出,作為一家創業公司,做大語言模型要有很大的決心,除了研究層面上的挑戰,還有模型訓練工程層面上涉及到的資源投入、團隊、訓練數據等一系列的事情。在芯片問題上,智譜AI在研發之初便制訂了國產硬件適配計劃,目前已經與十余家國產芯片廠商合作,希望可以在全方位適配的同時,提升模型在國產硬件上的訓練推理效率。此外,智譜AI也選擇了從底層算法開始自研,以實現基座模型安全可控的目標。
“國產大模型與國外大模型之間的差距依然存在,但我們有信心去追趕這個差距,我們一直在不斷創新的路上?!睆堸i表示。
傳統產業+大模型,如何放大應用價值?
當前,隨著人工智能的快速發展,大模型的應用已經逐漸從研究領域擴展到工業實踐中,形成工業大模型。從“通用”到“應用”,大模型正在叩響工業制造的大門。
從研發難度來看,無論是通用大模型,還是工業大模型,研發投入、核心人才和應用場景都是不可或缺的,也構成了市場的核心壁壘。而工業大模型對算法模型的有效性、高質量的數據、算力的支撐能力有極高要求,模型的優化迭代亦有賴于資金和人才的持續投入。因此,大模型的實際落地和行業應用能力成為了市場檢驗的重要標準。
“工業大模型的普適性商業應用尚需探索。”張鵬認為,一是工業大模型需與其他數字化產品進一步整合,滿足工業企業對網絡、算力以及數據管理的一體化要求,實現即買即用。二是工業企業使用門檻仍然較高,比如需要基于提示詞進行應用開發,把問題解決的長線邏輯和相關案例融入進去,使大模型能按照預設步驟、思考鏈路和回答格式來產生答案。三是工業各領域已存在大量工業軟件、工業互聯網平臺,如何利用大模型形成協同生態將深刻影響用戶感知及產品生命力,允許并鼓勵第三方開發者基于工業大模型開發插件是重要路徑,如OpenAI正基于ChatGPT+插件加快構建自己的生態圈。
大語言模型會重塑千行百業的業態,但需要在具體的行業落地方面投入更多資源。任何一項技術發展到一定程度之后,都必然會產生更多實際價值。如何實現價值,常見的一種說法是并不需要通用的基座大模型,只需要小的、中量級的、合適的行業模型。但大語言模型能力突破的根本原因在于,它對世界知識的學習和建模,使得它具備了接近人的理解推理和更進階的認知能力。張鵬表示,最理想的狀態是,行業模型并不是完全獨立于基座模型和通用模型,而是生長在基座模型之上,基于它進行進一步的訓練和微調。
當前,我國傳統產業正面臨智能化轉型,加入行業特色數據與知識、精準匹配真實應用場景的行業大模型,能夠極大地提升業務流程效率和水平,驅動產業轉型升級。鋼鐵工業具有生產流程連續、工藝體系復雜、產品中間態多樣化、大型高溫高壓設備集中、人員安全要求高等特征,屬于典型的流程型制造業,面臨著嚴峻的資源、市場、環保、競爭等挑戰。“鋼鐵工業亟需通過大模型等先進技術及場景化創新應用,提升行業的綠色環保、安全保障水平和生產效率?!睆堸i說。
對于大模型如何在鋼鐵行業應用,張鵬表示,可以打造鋼鐵工業人工智能解決方案,以具備通用基礎能力的AI大模型作為智能底座,結合行業知識和場景數據進行訓練和微調,從而有效應對碎片化和多樣化需求,并大幅縮減研發、定制、部署、調優等工程化過程中的人力、時間、費用等成本投入,也能解決好數據安全問題,促進人工智能在鋼鐵行業大規模應用,促進鋼鐵行業智能化升級。