前言
近期諾貝爾物理學獎頒發(fā)給AI科學家John J. Hopfield、Geoffrey E. Hinton，讓許多人感到詫異。當獲獎電話打到加州時，Hinton教授正像往常那些平凡的下午一樣，準備去一個廉價酒店做核磁共振，或許平凡中就蘊藏著杰出，正如人工智能以潤物細無聲的方式進入千行百業(yè)和人類生活。
人工智能從1956年概念提出開始，經(jīng)過了幾起幾落；而今大模型似乎摸到了AGI門口，各界摩拳擦掌都在嘗試用這項新技術推動行業(yè)變革，顛覆地提升生產(chǎn)力。本文嘗試從生產(chǎn)力要素的視角，思考大模型技術如何幫助電力行業(yè)進行生產(chǎn)力提升。
一、大模型發(fā)展和理解：從深度學習到大模型，從點到面的能力突破
1、深度學習：GPT的試金石？
回顧Hinton2007年在《科學》上發(fā)表題為"Reducing thedimensionality of data with neuralnetworks"的論文，該篇論文是公認的深度學習里程碑，但在2007-2010年期間每年引用次數(shù)僅為100次左右，無人無津；同時期，2007年李飛飛啟動ImageNet項目， 2011第二屆圖像識別競賽提交13份，而上一屆是35份；彼時Nvidia的GPU已經(jīng)通過CUDA改造初獲成功。算力+算法+數(shù)據(jù)三駕馬車的加持下，2012年Hinton帶隊開發(fā)AlexNet參加ImageNet第三屆，一舉將錯誤率從上一屆的25%降低了11%，高出第二名41%，深度學習技術路線至此獲得各界認可，得以蓬勃發(fā)展。從這里我們可以總結：AI就是關于三駕馬車的事。
2、GPT的成功：OpenAI做對了什么？
過去十年， GPU算力持續(xù)發(fā)展下，但人工智能算法變成了瓶頸，深度學習例如RNN在面向文本等任務時無法并行訓練等問題，模型參數(shù)規(guī)模和訓練數(shù)據(jù)規(guī)模遇到瓶頸。
從下圖可見，從2013年開始解決這些問題的基礎技術已經(jīng)陸續(xù)具備，大模型誕生水到渠成。而為什么是OpenAI？OpenAI的GPT成功做對了什么？簡單說就是在前人（主要是Google做了嫁衣）的基礎上做了集成創(chuàng)新，選對了方向：利用模型來做序列化概率預測任務（即預測下一個Token），實現(xiàn)AI能力遷移學習能力和多任務的泛化性。
圖：OpenAI的成功：選擇比努力重要
3、重塑生產(chǎn)力：大模型如何改變世界？
在思考大模型給行業(yè)和人類生活帶來改變之前，我們應該思考的是大模型本身技術能力是什么。籠統(tǒng)來說，大模型能力包括：語言理解和表達能力、知識壓縮能力以及邏輯推理能力。類比人類，前兩者讓大模型可以實現(xiàn)記得住、看得懂，已經(jīng)比較成熟；推理能力是會思考，是最重要的能力（通往AGI的鑰匙），不過目前還有較大短板，OpenAI 最新發(fā)布的o1就是為了提升這個能力。
人類最大的技能是會使用工具。回顧幾次工業(yè)革命發(fā)展，都是圍繞使用新技術開發(fā)出更好的工具來賦能人類的能力，例如望遠鏡賦能眼、汽車飛機賦能腳、紡織機賦能手、計算機賦能腦等等，這些工具本質上來講是人類將目標任務的工作規(guī)則，通過硬件或軟件的方式讓工具實現(xiàn)自動化或半自動化，實現(xiàn)生產(chǎn)力躍遷（對應下圖中的模式二）。
圖：當前生產(chǎn)力的三種勞動模式
而那些未能進行這些改造升級的勞動項目分為直接勞動型（對應模式一）和間接勞動型（對應模式二）。這兩種生產(chǎn)模式依然需要人來完成，本質上都是在現(xiàn)有技術條件下還未能實現(xiàn)自動化的工作，需要靠人與環(huán)境、與其他人進行信息交換，這個過程通常包含信息檢索獲取、信息分析加工和信息決策，最后在物理執(zhí)行階段依靠人根據(jù)作業(yè)過程的反饋來持續(xù)作業(yè)，無法被機器替代。
這類環(huán)節(jié)正是制約生產(chǎn)力的關鍵因素，總結起來有三類制約：
（1）某些領域的專業(yè)知識還停留在大腦里，不能為計算機所學習和理解；
（2）計算機接收后無法理解、分析和判斷生產(chǎn)條件下的大量外部信息；
（3）物理世界未提供自動執(zhí)行的“API”接口或者未具備與環(huán)境協(xié)同作業(yè)裝置。
第（3）點可以理解為何當下各種機器人產(chǎn)業(yè)如火如荼，除了當前已經(jīng)出現(xiàn)的掃地機器人、AGV和工廠機械臂的初級版，未來具身智能保姆機器人、自動駕駛虛擬司機、搬運機器人，以及更多不需要具身的其他換進感知智能機器，這些工作都是為了模式一和模式三提供物理執(zhí)行階段的裝置，可以說解決模式一的問題就是造更智能的機器。
在講（1）（2）制約之前，我們詳細展開模式三分析一下，對腦力勞動者的工作進行拆解，看看其中的勞動性質。除了臨時交辦事項，核心的工作可以分為四類工作：資料收集、信息分析、決策制定，任務督辦。這個過程中會有大量的人與外界系統(tǒng)（計算機系統(tǒng)、物理世界和人等）進行的信息交換、群體的大量討論分析并迭代、任務過程的信息收集跟催和任務迭代等等，這些工作之所以還無法自動化，核心的原因就如上所述存在的（1）（2）的問題。而（1）（2）恰好屬于大模型擅長解決的領域，能夠為腦力勞動者提供更多的腦力智能來提升、甚至替代，從而提高勞動的效率和效果。
至此，我們可以看出今天人工智能產(chǎn)業(yè)技術研究方向的底層邏輯。
二、電力行業(yè)的生產(chǎn)力需求：圍繞人與電力系統(tǒng)，提升效率和能力的問題
電網(wǎng)行業(yè)是電力系統(tǒng)的骨干，承擔著將電能從發(fā)電站輸送到千家萬戶的重要任務，包括輸電、變電、配電和用電等關鍵環(huán)節(jié)。為了高效地開展這些業(yè)務，企業(yè)內(nèi)部通常會設立發(fā)展、基建、調(diào)度、運檢、營銷、配電、物資等多個部門，以確保電力系統(tǒng)的穩(wěn)定運行和服務質量。
從生產(chǎn)力的角度來看，電網(wǎng)行業(yè)的行業(yè)特點和痛點，可以籠統(tǒng)歸納為兩個方面：
1. 業(yè)務龐大：地域廣、客戶多、設備多、從業(yè)人員多
• 地域廣：從農(nóng)村、郊區(qū)到城市，線纜和架空線路遍布全國各地；
• 客戶多：從家庭到企業(yè)，事業(yè)單位等，幾乎都是電網(wǎng)的直接客戶；
• 設備多：大量的中樞變電站、輸電線和開關柜等設施；
• 從業(yè)人員多:需要大量的營銷、運檢等人員進行生產(chǎn)作業(yè)；
2. 機理復雜：大電網(wǎng)、電氣化特性等使得電網(wǎng)是一個復雜機理系統(tǒng)
• 復雜性的現(xiàn)狀：電網(wǎng)是一個高度復雜的人造物理系統(tǒng)，涉及到電氣、機械、自動化等多個領域的專業(yè)知識，人類目前主要從電網(wǎng)系統(tǒng)運行表征出來的信息來與電網(wǎng)進行交互，包括調(diào)度方式計劃、設備檢修和用電計劃，而表征系統(tǒng)除了設備的物理外觀，還需要多個電氣方程進行計算或估算，例如潮流計算、短路計算和穩(wěn)定計算等，通過分別的計算，最后面向特定任務進行專業(yè)決策，中間還需要電力專家的經(jīng)驗進行過程干預以提升計算效率和效果，所以，這個過程對人和專業(yè)性有巨大的依賴。
• 復雜性的挑戰(zhàn)：如果電力系統(tǒng)保持不變，也許可以繼續(xù)沿用過去的技術模式；但是隨著“源隨荷動”到“源網(wǎng)荷儲互動”的新型電力系統(tǒng)升級，地上一輛電動車，天上一朵云就可能會導致電網(wǎng)的電氣特性發(fā)生變化例如線路負載越限，以及設備損壞例如變壓器高負載導致繞阻溫度發(fā)生過高，需要秒級對事件進行感知、分析和決策，這是當前的電網(wǎng)技術體系下的工作模式無法應對的。
所以，站在生產(chǎn)力的角度看：
-電網(wǎng)業(yè)務龐大需要大量的從業(yè)人員參與勞動過程，是效率提升的問題；
-電網(wǎng)機理復雜需要專業(yè)人員參與且仍有提升需求，是能力提升的問題。
三、大模型+電力行業(yè)：從易到難、從外而內(nèi)提升電力行業(yè)生產(chǎn)力
針對以上提到的電網(wǎng)業(yè)務現(xiàn)狀和提升需求，以第一章所述大模型如何提升生產(chǎn)力為方向，同時結合各類大模型技術的成熟度和能力特性，思考應用大模型提升電網(wǎng)生產(chǎn)力的思路，主要包括兩個方面：
1、作業(yè)效率提升方面。
如前所述，業(yè)務域大是制約生產(chǎn)力的效率因素，需要人進行相對模式重復性工作，可以從大模型能力角度分為兩個方面：
（1）結合大語言模型解決信息處理任務
當前最成熟的大語言模型（Large Language Model）具備較成熟的語言理解和表達能力、知識壓縮能力，以及初級邏輯推理能力，可以幫助調(diào)度、運檢班組長、設備主人、電網(wǎng)規(guī)劃專家、物資采購、辦公人員等崗位人員完成信息收集、信息分析、決策制定和流程督辦，需要將大模型的能力（RAG、Agent、Prompt以及必要的預訓練微調(diào)等）和業(yè)務場景深度融合，把業(yè)務專家的工作技能遷移到大模型上。從技術的角度上，今天大模型的能力初步具備，重點是大模型與場景結合的AI工程化。
（2）應用多模態(tài)大模型解決環(huán)境感知分析任務
電網(wǎng)有大量的設備需要運維、檢修和檢測試驗，這些場景需要與物理環(huán)境進行信息交換，包括體力勞動和腦力勞動。體力勞動主要是現(xiàn)場數(shù)據(jù)采集獲取，但自動化采集技術已經(jīng)比較完善，例如運維巡視的視頻圖片的采集、現(xiàn)場作業(yè)面的視頻采集、設備聲紋錄波、五遙信息等都能夠采集。
關鍵的瓶頸在于沒有直接的技術手段對這些數(shù)據(jù)進行解析（特別是現(xiàn)場即刻處理），以及解析后的相關聯(lián)動分析和處置決策，所以這些作業(yè)除了巡視缺陷識別目前應用視覺識別模型外，其他大多無法離開對應的專業(yè)人員進行現(xiàn)場或電腦前的參與。而多模態(tài)大模型（Large Multimodal Model）利用萬物皆可Transformer的思想，實現(xiàn)了對多模態(tài)數(shù)據(jù)與大語言模型的融合，端到端解決了從感知采集感知理解到信息認知分析的問題。可以展望，在多模態(tài)大模型與變電站巡視等領域知識結合后，今天的變電站智巡攝像頭、無人機的單模態(tài)為主的執(zhí)行巡視，將會在未來變成以自動化機器人為主的形式，實現(xiàn)變電站無人化的“望聞問切”全天候巡視。
不過，由于當前多模態(tài)大模型采用CLIP思想的對比學習方法，需要的半合成樣本數(shù)量是圖像識別模型的百倍千倍，這些樣本數(shù)據(jù)不像LLM預訓練時可以完全無標注的自監(jiān)督訓練，而是需要根據(jù)使用場景對圖像/視頻等模態(tài)樣本進行自動/半自動標注，并且需要輔以一定的審核工作，所以樣本的數(shù)量和質量是瓶頸，算力和算法沒問題。如何突破，從技術還是數(shù)據(jù)角度，還是兩者結合，尚有待觀察。
2、電網(wǎng)專業(yè)能力提升方面
隨同諾貝爾物理獎一同頒發(fā)的其他獎項，諾貝爾化學獎頒發(fā)給了DeepMind的Demis Hassabis 和John Michael Jumper，以表彰其利用在AlphaFold在蛋白質結構預測方面的貢獻，AlphaFold2完成了98.5%的人類蛋白質的預測，而過去數(shù)十年人類只預測了人類蛋白質的17%。AlphaFold工作原理粗淺的說是把蛋白質折疊紋路序列化Embedding到Transformer中，結合StableDiffusion進行的蛋白質折疊的序列預測，具體可以見原理介紹[2]。可見大模型技術除了解決文字信息和感知信息的處理理解外，還可以結合專業(yè)領域定制專用大模型，來顛覆性解決行業(yè)大難題。所以，可以預見AI4S（AI For Science）未來將成為AI領域的重要賽道，成為科研第四范式時代、科學發(fā)現(xiàn)的奇點，以后科學成果的涌現(xiàn)將呈現(xiàn)指數(shù)級增長。
回顧第2章所述，電網(wǎng)的機理復雜性，幾乎不可能靠大語言模型和多模態(tài)大模型來完成，在電網(wǎng)領域，通過構建一個基于Transformer架構的行業(yè)大模型，可以重構電網(wǎng)分析方法，實現(xiàn)更高效、更準確的電網(wǎng)管理和優(yōu)化。
以電網(wǎng)的動態(tài)電氣量指標的分析為例，它是電網(wǎng)運行狀態(tài)評估的關鍵，傳統(tǒng)分析方法面臨復雜性增加、仿真計算量大耗時過長、穩(wěn)定性定義局限性、設備動態(tài)特性難以準確刻畫、不確定性考量缺失、實時量測限制和非線性約束考慮不足等問題，一定程度上困擾著電網(wǎng)的安全經(jīng)濟穩(wěn)定運行目標。并且，整個分析過程是多個算法分布計算，最后如何把結果進行決策和組合計算，還要考慮電力分析的多次迭代，這個過程的復雜度和效率可想而知。這個過程也非常類似與過去NLP幾十年無法突破的問題：傳統(tǒng)NLP思想是把實體識別、詞性標注、情感分析等十幾個不同的任務，在最后面向具體應用的時候進行組裝，這種架構下，從訓練到推理的迭代過程中的優(yōu)化就是一場災難，而大模型的特點是多任務合一，端到端解決問題，值得借鑒。
以訓練電網(wǎng)分析行業(yè)大模型為目標，我們可以將電網(wǎng)中的電壓、電流、負荷等基礎數(shù)據(jù)，以及有功功率、無功功率等功率類數(shù)據(jù)，通過特定特征提取方法構造序列化數(shù)據(jù)，輸入到Transformer架構中，面向預測電網(wǎng)的短期態(tài)勢感知和長期運行趨勢分析等任務，例如，通過分析電網(wǎng)的功率因素識別出無功消耗較大的區(qū)域，并提出相應的優(yōu)化措施，通過編解碼架構的“預測”能力，輸出預期的分析結果。通過這樣的方式，可以用一個算法架構實現(xiàn)對大電網(wǎng)海量數(shù)據(jù)的訓練吞吐能力、大量電氣特征的表達能力，以及基于多頭注意力機制對用戶預期任務目標的精準“理解” 。
其他的例如電網(wǎng)穩(wěn)定運行、電力系統(tǒng)建模與分析、調(diào)度與暫態(tài)分析、保護與控制等方面，亦可以參考類似的算法思想進行創(chuàng)新研發(fā)。當然，這個過程將會非常復雜艱辛，未來如何落地，還需要業(yè)業(yè)內(nèi)各界共同探索和實踐。
另外，還有相對成熟的時序大模型，可以開展一些預測任務，例如天氣預測、負荷預測等場景，目前也正在技術結合場景落地中，預期會有一些成效。
四、實踐心得：大模型應用如何少走彎路
社會各行各業(yè)如火如荼嘗試應用大模型技術，浙達能源以能源+AI為目標，也投身其中。行業(yè)+大模型應用剛剛起步，如何避免失敗是重中之重，經(jīng)過大量項目的實踐，我們總結產(chǎn)業(yè)+大模型的過程中的部分思考和心得，供大家參考。
-
- 場景驗證迭代方法，先驗證再投資。除了知識問答和客服這些以內(nèi)容交互為主的C端能力是沿用遷移過來的，大模型的技術在B端還沒有出現(xiàn)成熟的行業(yè)化應用場景，更多都是在PMF產(chǎn)品市場需求驗證階段，而大模型投資大，特別是算力硬件，所以選擇場景最重要。如何選擇場景，除了做推演評估，一個比較好的方案是用能場景驗證迭代方法，用當前最新主流大模型進行場景迭代驗證，把一個業(yè)務過程分段驗證，一旦驗證通過后，即便無法達到90分，但在基模型+提示詞下也可以拿到基本可用的70分以上，足以讓用戶產(chǎn)生信心進行投資，再進行平臺、算力和專屬模型購置，預訓練和微調(diào)等后續(xù)完善性工作，通過這些完善工作可以讓系統(tǒng)最大接近用戶的期望值。
- 業(yè)務還原剖解方法，用戶也是產(chǎn)品經(jīng)理。綜上所述，大模型不是打補丁，如果能夠應用成功，可以在生產(chǎn)力層面進行顛覆性提升，本質上是把團隊中最專業(yè)專家的能力教給大模型。用戶不再只是項目需求和指揮者，而是項目產(chǎn)品經(jīng)理，需要業(yè)務專家把專業(yè)能力剖解出來，通過大模型工程化（RAG、Agent、Prmopt和微調(diào)等手段）掌握這些技能。未來大模型技術趨勢是：不需要去干預模型的內(nèi)置參數(shù)，而是通過任務提示（Prompt工程）來正確引導大模型完成任務，用戶將會更直接參與到大模型系統(tǒng)開發(fā)中。
- 數(shù)據(jù)能力是關鍵，數(shù)據(jù)是大模型的短板。可以說在目前行業(yè)場景下，算力和算法都沒有問題，缺的是行業(yè)數(shù)據(jù)（數(shù)量和質量），隨著用戶期望的逐步提升，提升大模型的關鍵是收集、沉淀、創(chuàng)造更多的數(shù)據(jù)。這個過程中，如何將傳統(tǒng)企業(yè)內(nèi)部積累的海量結構化和非結構數(shù)據(jù)進行治理、加工和挖掘價值，令其成為投喂大模型的“養(yǎng)料”，成為用戶未來最關心的問題之一。
寫在最后
以GPT為代表的大模型技術從2018年推出，2022年底爆火，到今天2024年行業(yè)普遍入局試水，已經(jīng)過去6個年頭。任何一項新技術提出，都需要時間，時間讓技術迭代完善，讓先行者進行業(yè)務創(chuàng)新磨合，讓普羅大眾逐步了解、接受和使用。大模型技術由于幻覺不可避免性、工業(yè)容錯率低等等問題，時至今日不乏質疑、顧慮和觀望，但路已在，也許今天大模型技術亦如Hinton教授2007提出的深度學習框架一樣，從平凡而生。
[1] Hinton, G. E. and Salakhutdinov, R. R.Reducing the dimensionality of data withneural networks. Science, Vol. 313. no.5786, pp.504-507, 28 July 2006.
[2] 深入剖析AlphaFold算法，知乎，https://zhuanlan.zhihu.com/p/39369976
浙達能源
雙碳科技