引調(diào)水工程安全智慧監(jiān)管多模態(tài)大模型構(gòu)建技術(shù)研究

Multimodal large model construction technology for intelligent safety supervision of water diversion projects

王立虎，劉雪梅，李海瑞，陳曉楠

.華北水利水電大學管理與經(jīng)濟學院，450046，鄭州；.華北水利水電大學數(shù)字孿生水利高等研究院，450046，鄭州；3.中國南水北調(diào)集團中線有限公司，100038，北京）

摘要：隨著“天空地水工”一體化感知體系全面建設(shè)，引調(diào)水工程安全感知數(shù)據(jù)呈現(xiàn)出多源異構(gòu)、規(guī)模龐大、動態(tài)變化等復雜特征，傳統(tǒng)的基于單模態(tài)數(shù)據(jù)分析、挖掘方法在工程安全智慧監(jiān)管場景下面臨明顯的局限性。融合多模態(tài)大模型與知識圖譜技術(shù)，提出一種“感知—認知—決策”的智慧監(jiān)管模式?；跇藴室?guī)范、風險應急管理資料、巡檢文本及圖像、多光譜遙感影像，微調(diào)多模態(tài)大模型并結(jié)合動態(tài)提示策略，構(gòu)建面向工程安全的多模態(tài)知識圖譜；利用檢索增強生成技術(shù)及知識圖譜的結(jié)構(gòu)化知識，提升大模型在專業(yè)領(lǐng)域的可靠性及推理能力；提出多智能體協(xié)同的決策鏈構(gòu)建方法，通過動態(tài)任務(wù)編排實現(xiàn)模型能力耦合，賦能工程安全管理中的風險識別、評估及預案生成業(yè)務(wù)。實驗結(jié)果表明，本研究方法的多模態(tài)知識提取準確性高，可支撐引調(diào)水工程安全智慧監(jiān)管。

關(guān)鍵詞：多模態(tài)大模型；多模態(tài)知識圖譜；安全智慧監(jiān)管；引調(diào)水工程

作者簡介王立虎，博士研究生，主要從事水利大模型研究。

通信作者：劉雪梅，教授，主要從事數(shù)字孿生水利研究。E-mail：liuxuemei@ncwu.edu.cn

基金項目：國家重點研發(fā)計劃（2024YFC3210802）；國家自然科學基金項目（72271091）；2022年度水利部重大科技項目（SKS-2022029）；河南省科學院科技開放合作項目（220901008）；河南省高等教育重點研發(fā)項目（24A520021）。

DOI：10.3969/j.issn.1000-1123.2025.11.002

研究背景

引調(diào)水工程是國家水網(wǎng)的重要通道，是保障國家水安全的重要基礎(chǔ)設(shè)施。隨著“天空地水工”一體化感知體系建設(shè)全面推進，引調(diào)水工程安全感知數(shù)據(jù)呈現(xiàn)出多源異構(gòu)、規(guī)模龐大、動態(tài)變化等復雜特征。傳統(tǒng)的基于單模態(tài)數(shù)據(jù)分析、挖掘技術(shù)無法有效整合“天空地水工”多源異構(gòu)數(shù)據(jù)的互補優(yōu)勢，難以滿足工程安全智慧監(jiān)管需求。以大模型為代表的新一代人工智能技術(shù)是發(fā)展水利新質(zhì)生產(chǎn)力、推進水利業(yè)務(wù)智能化的突破口和落腳點。2025年全國水利工作會議強調(diào)實施“人工智能+水利”行動，構(gòu)建水利大模型建設(shè)應用框架，加強與“2+N”業(yè)務(wù)應用體系深度集成。

DeepSeek、GPT、GLM等通用大模型具有突出的泛化性、知識涌現(xiàn)性，已成為學術(shù)界、產(chǎn)業(yè)界關(guān)注熱點。水利部信息中心組織研發(fā)的“上善”水利大模型具備“擅學習、能交互、會計算、可展現(xiàn)”特點；中國長江三峽集團有限公司研發(fā)的“大禹”大模型，實現(xiàn)了水電領(lǐng)域?qū)I(yè)知識的復雜查詢、精準響應，并應用于生產(chǎn)運行、運維檢修、項目管理及安全規(guī)程等方面；浪潮智慧科技有限公司發(fā)布的浪潮安瀾大模型，通過整合水利行業(yè)相關(guān)法律法規(guī)、政策文件、灌區(qū)地理數(shù)據(jù)等，構(gòu)建了都江堰灌區(qū)水利綜合知識庫，憑借DeepSeek實現(xiàn)了灌區(qū)知識智能檢索與多輪問答；長江設(shè)計集團有限公司聯(lián)合華中科技大學發(fā)布的“千手”大模型，實現(xiàn)了水庫、大壩監(jiān)測數(shù)據(jù)的高效處理與智能預警。

目前，大模型支撐引調(diào)水工程安全相關(guān)業(yè)務(wù)主要存在以下瓶頸：①引調(diào)水工程安全運行數(shù)據(jù)涉及圖像、文本等多種類型，現(xiàn)有大模型尚未具備充分整合多模態(tài)數(shù)據(jù)互補優(yōu)勢的能力；②大模型存在幻覺、黑箱及推理能力弱等問題，導致其在實際工程應用中存在局限性；③引調(diào)水工程風險場景復雜，大模型在面對復雜風險場景時的決策能力有限。

本研究融合多模態(tài)大模型與知識圖譜技術(shù)，提出一種“感知—認知—決策”的智慧監(jiān)管模式，主要目標如下。

①基于標準規(guī)范、風險應急管理資料，巡檢文本及圖像、多光譜遙感影像，微調(diào)多模態(tài)大模型，并結(jié)合動態(tài)提示策略，構(gòu)建面向工程安全的多模態(tài)知識圖譜。

②利用檢索增強生成技術(shù)（Retrieval Augmented Generation，RAG）及知識圖譜的高質(zhì)量結(jié)構(gòu)化知識，提升大模型在專業(yè)領(lǐng)域的可靠性及推理能力。

③提出多智能體協(xié)同的決策鏈構(gòu)建方法，通過動態(tài)任務(wù)編排實現(xiàn)模型能力的耦合，以及工程安全管理中的風險識別、評估和預案生成業(yè)務(wù)。

工程安全多模態(tài)大模型構(gòu)建

基于標準規(guī)范、風險應急管理資料、巡檢文本及圖像、多光譜遙感影像等數(shù)據(jù)，構(gòu)建引調(diào)水工程安全領(lǐng)域的多模態(tài)大模型，支撐工程安全風險的識別、評估、預案生成任務(wù)。引調(diào)水工程安全智慧監(jiān)管多模態(tài)大模型技術(shù)架構(gòu)主要包括多模態(tài)數(shù)據(jù)、多模態(tài)大模型平臺、業(yè)務(wù)應用三部分。

引調(diào)水工程安全智慧監(jiān)管多模態(tài)大模型技術(shù)架構(gòu)

1.多模態(tài)數(shù)據(jù)

（1）多模態(tài)數(shù)據(jù)收集

多模態(tài)數(shù)據(jù)包括標準規(guī)范、風險應急管理資料、巡檢文本及圖像、多光譜遙感影像等。

標準規(guī)范數(shù)據(jù)涵蓋水利工程安全相關(guān)的國家和行業(yè)標準規(guī)范，例如《水利部關(guān)于開展水利安全風險分級管控的指導意見》《水利水電工程（調(diào)水工程）運行危險源辨識與風險評價導則（試行）》等。

風險應急管理資料包括風險防控手冊、專項應急預案等，詳細描述工程安全管理中的風險類型及相應的應急處置措施。

巡檢文本及圖像來源于每日工程巡檢記錄、風險巡檢周報，數(shù)據(jù)模態(tài)涉及圖像和文本兩種，記錄工程安全管理過程中的各類風險。

多光譜遙感影像的時間尺度為5天，數(shù)據(jù)包含13個波段（如藍光波段B1、綠光波段B2等），覆蓋從可見光到近紅外的頻譜范圍?；诓煌ǘ蔚挠嬎悖色@取建筑物沉降、位移等風險信息，并結(jié)合經(jīng)緯度及遙感測量時間，精準定位風險發(fā)生的地點和時間。

（2）多模態(tài)數(shù)據(jù)預處理

多模態(tài)數(shù)據(jù)預處理旨在為工程安全智慧監(jiān)管任務(wù)提供統(tǒng)一、規(guī)范的輸入數(shù)據(jù)。由于不同模態(tài)數(shù)據(jù)的采集方式、數(shù)據(jù)結(jié)構(gòu)、時間尺度和語義粒度存在差異，對不同模態(tài)數(shù)據(jù)采取不同的數(shù)據(jù)預處理策略。對于多光譜遙感影像，首先利用插值法進行影像數(shù)據(jù)重采樣，然后通過線性變換對影像數(shù)據(jù)進行波段合成，最后進行影像數(shù)據(jù)的裁剪和地物標注；對于風險應急管理資料、標準規(guī)范及風險巡檢文本，預處理過程包括分詞、去噪、編碼轉(zhuǎn)換等；對于風險巡檢圖像，預處理過程包括圖像增強、尺寸調(diào)整、空間轉(zhuǎn)換操作等。此外，不同模態(tài)數(shù)據(jù)的樣本數(shù)量不均衡、樣本分布差異明顯，影響模型推理效果。為此，引入時空對齊與語義匹配機制，以提升跨模態(tài)數(shù)據(jù)語義空間的一致性。同時，引入模態(tài)補齊策略，通過相似度計算的方式補齊缺失數(shù)據(jù)，緩解數(shù)據(jù)缺失帶來的模型性能問題。

（3）微調(diào)數(shù)據(jù)集構(gòu)建

利用多模態(tài)數(shù)據(jù)微調(diào)大模型，提升大模型在引調(diào)水工程安全領(lǐng)域的適用性。在構(gòu)建微調(diào)數(shù)據(jù)集時，通常將數(shù)據(jù)組織為多輪對話列表的形式，每輪對話包含指令、輸入和輸出三部分。其中，指令表示用戶對模型的請求或任務(wù)描述，輸入是指模型接收到的文本或圖像，輸出表示模型對用戶的響應或解答。構(gòu)建微調(diào)訓練數(shù)據(jù)集首先需要對多模態(tài)數(shù)據(jù)進行標簽標注，本研究采用正則化匹配的方法對多模態(tài)數(shù)據(jù)中的相關(guān)知識進行標注。然后，通過格式轉(zhuǎn)換將其轉(zhuǎn)換為多輪對話列表，作為大模型的輸入。以多模態(tài)巡檢文本及圖像為例，標簽標注與格式轉(zhuǎn)換的過程如下圖所示。

巡檢文本及圖像的標簽標注與格式轉(zhuǎn)換過程示意

2.基礎(chǔ)大模型選取與微調(diào)

（1）基礎(chǔ)大模型選取

引調(diào)水工程安全智慧監(jiān)管涉及風險的識別、評估、預案生成等任務(wù)，要求大模型具備較強的問題推理、多模態(tài)數(shù)據(jù)解析、數(shù)學計算、內(nèi)容生成能力。根據(jù)公開評測結(jié)果，DeepSeek-R1、ChatGLM4、Qwen3、QWQ、QVQ等國產(chǎn)大模型在上述方面能力較強。因此，本研究主要采用上述模型作為基礎(chǔ)大模型，各模型的參數(shù)規(guī)模、支持的數(shù)據(jù)模態(tài)如下表所示。

本研究選用的國產(chǎn)基礎(chǔ)大模型

（2）基礎(chǔ)大模型微調(diào)

LoRA（Low-Rank Adaptation）是一種高效的參數(shù)調(diào)優(yōu)技術(shù)，該技術(shù)能夠保持模型大部分參數(shù)不變的情況下，僅對兩個低秩矩陣進行優(yōu)化，大幅降低模型微調(diào)的計算復雜度。為提升大模型在引調(diào)水工程安全領(lǐng)域的適用性，利用多輪對話列表微調(diào)基礎(chǔ)大模型，本研究基于LoRA技術(shù)進行大模型微調(diào)。對于語言大模型DeepSeek-R1、QWQ采用自回歸語言建模、多任務(wù)混合學習等微調(diào)策略；對于多模態(tài)大模型ChatGLM4、Qwen3、QVQ，采用圖文對比學習的微調(diào)策略。

3.多模態(tài)工程安全知識圖譜構(gòu)建

大模型經(jīng)過微調(diào)后，雖具備一定的領(lǐng)域應用能力，但在數(shù)據(jù)時效性、推理的可解釋性、可追溯性方面仍存在不足。為提升大模型可靠性和推理能力，需構(gòu)建多模態(tài)工程安全知識圖譜，作為大模型的外部知識庫。知識圖譜是一種結(jié)構(gòu)化的語義網(wǎng)絡(luò)，將不同維度的工程安全知識抽象為實體和關(guān)系，實現(xiàn)工程安全知識的結(jié)構(gòu)化表征。進一步，通過RAG技術(shù)從知識圖譜中檢索動態(tài)知識，可有效提升大模型響應的可靠性與推理能力。多模態(tài)工程安全知識圖譜的構(gòu)建過程包括本體構(gòu)建、實體和關(guān)系抽取、知識圖譜三元組存儲三個階段。

多模態(tài)工程安全知識圖譜構(gòu)建過程

（1）本體構(gòu)建

構(gòu)建知識圖譜本體模型，可為知識圖譜提供一種標準化、一致化的知識表示形式。從風險防控的目標出發(fā)，各類風險信息是識別、評估和處置風險的關(guān)鍵；風險的綜合量值與等級可用于優(yōu)化資源分配、提升決策效率；適用的風險預防和處置措施可以減少事故發(fā)生。因此，多模態(tài)工程安全知識圖譜本體模型主要包含3類概念，即工程安全運行中的各類風險信息、衡量風險綜合量值與等級的風險特征、風險的預防及控制措施。多模態(tài)工程安全知識圖譜中實體和關(guān)系的基本定義、本體模型的邏輯關(guān)系如下圖所示。

實體和關(guān)系的基本定義

多模態(tài)工程安全知識圖譜本體模型的邏輯關(guān)系

（2）實體和關(guān)系抽取

根據(jù)本體定義的概念及關(guān)系，利用微調(diào)后的大模型與動態(tài)提示策略提取多模態(tài)數(shù)據(jù)中的實體和關(guān)系。大模型對于復雜的推理任務(wù)通常存在可靠性差、準確性不足等問題。動態(tài)提示策略旨在大模型推理過程中實時調(diào)整輸入指令或上下文信息，有效提升模型在復雜場景下的適應能力。融合大模型與動態(tài)提取策略的實體和關(guān)系抽取方法如下。

①動態(tài)提示模板構(gòu)建。多模態(tài)工程安全知識圖譜構(gòu)建的動態(tài)提示模板主要包含角色、上下文、約束、輸出格式4個部分。其中，角色是為了明確大模型的任務(wù)身份，增強指令的遵循性；上下文是指與任務(wù)相關(guān)的背景或細節(jié)描述；約束是給出推理任務(wù)的硬性要求，以保證大模型輸出的規(guī)范性、可用性；輸出格式明確了輸出規(guī)范，便于后續(xù)的自動處理或解析。

多模態(tài)工程安全知識圖譜構(gòu)建的動態(tài)提示模板

②實體和關(guān)系抽取。根據(jù)本體定義的概念及關(guān)系，抽取多模態(tài)數(shù)據(jù)中的16種實體、13種關(guān)系。本研究融合大模型與動態(tài)提示策略，將實體和關(guān)系抽取任務(wù)拆分為通用提取、實體提取、關(guān)系提取共3個模塊。通用提取模塊是根據(jù)輸入數(shù)據(jù)的來源，將該數(shù)據(jù)中可能出現(xiàn)的實體類型作為上下文，使用[CLS]與[SEP]分隔符將提示與問題合成指令輸入大模型，獲取輸入數(shù)據(jù)中的實體類型；實體提取模塊是根據(jù)要提取的實體類型，將可能的實例作為大模型的上下文，獲取輸入數(shù)據(jù)中的各類實體；關(guān)系提取模塊是根據(jù)獲取到的各類實體，將實體間的潛在關(guān)系作為上下文，進而獲取輸入數(shù)據(jù)中的實體關(guān)系三元組。融合大模型與動態(tài)提示策略的風險實體及關(guān)系提取過程如下圖所示。

融合大模型與動態(tài)提示策略提取巡檢數(shù)據(jù)中的風險實體及關(guān)系

（3）知識圖譜三元組存儲

本研究采用Neo4j圖數(shù)據(jù)庫存儲知識圖譜三元組。對于知識圖譜中的風險實體e，構(gòu)造一個圖節(jié)點ne，以實體名作為ne的標簽，每個圖節(jié)點由唯一的標識符（如ID或URI）來標識。對于兩個實體之間的關(guān)系r，構(gòu)造一個有向邊nr，以兩實體間的關(guān)系類型作為nr邊標簽，以關(guān)系權(quán)重作為nr的屬性。所有的知識圖譜三元組都可以表示為＜實體，關(guān)系，實體/屬性值>。

4.基于多模態(tài)知識圖譜的檢索增強生成

利用RAG技術(shù)從多模態(tài)知識圖譜檢索結(jié)構(gòu)化動態(tài)知識，可以提升大模型的可靠性及推理能力。下圖給出了基于多模態(tài)知識圖譜的檢索增強生成過程，主要包含知識庫構(gòu)建、知識檢索與生成兩個部分。

基于多模態(tài)知識圖譜的檢索增強生成

（1）知識庫構(gòu)建

將多模態(tài)知識圖譜三元組向量化，構(gòu)建為大模型的外部知識庫。本研究采用“實體-子圖”的雙層嵌入策略，實現(xiàn)知識圖譜的向量化。雙層嵌入策略是結(jié)合實體和子圖兩個層面，在子圖層面保持較大的知識單元，提供豐富的上下文信息，在實體層面確保精準的語義匹配，旨在平衡精準匹配與全面的上下文信息。

（2）知識檢索與生成

檢索外部知識庫并將檢索結(jié)果作為大模型的上下文，提升大模型推理的可靠性。給定用戶問題，首先通過“實體-子圖”的雙層分片結(jié)構(gòu)，進行實體層面的語義相似性計算，并根據(jù)計算結(jié)果獲取對應的上下文信息；然后，將檢索的前5項結(jié)果作為提示信息，與用戶問題結(jié)合共同作為大模型的輸入；最后，大模型根據(jù)輸入數(shù)據(jù)進行推理，實現(xiàn)問題響應與內(nèi)容生成。

5.多智能體協(xié)同的智能決策鏈構(gòu)建

為提升大模型對復雜業(yè)務(wù)的處理能力，需構(gòu)建多智能體協(xié)同的智能決策鏈。多智能體協(xié)同是指通過多個具備感知、決策、執(zhí)行能力智能體的動態(tài)交互與組耦合以完成各項復雜任務(wù)。當面對引調(diào)水工程安全監(jiān)管中復雜、多階段的應急決策場景時，大模型需要靈活接入各類外部服務(wù)。本研究提出面向引調(diào)水工程安全的智能決策鏈構(gòu)建技術(shù)，通過目標規(guī)劃、任務(wù)拆解、模型編排、流程迭代等關(guān)鍵步驟，有效提升大模型的應急決策能力。

多智能體協(xié)同的智能決策鏈構(gòu)建過程

（1）智能體構(gòu)建

構(gòu)建面向引調(diào)水工程安全的智能體，首先需要明確智能體的角色類型。本研究所構(gòu)建的智能體包含場景判定、資源調(diào)度、人機交互、反饋優(yōu)化4種通用角色，以及風險識別、風險評估、預案生成3種特定角色。其次，需明確各智能體之間的通信及調(diào)度機制，保障智能體的高效協(xié)作能力。本研究采用提示工程與共享空間相結(jié)合的方式，實現(xiàn)智能體的通信與調(diào)度。其中，提示工程通過設(shè)計規(guī)范化的提示模板，使上游智能體以自然語言/結(jié)構(gòu)化方式生成調(diào)用請求，傳遞給下游智能體；共享空間通過建立外部獨立、內(nèi)部共享的讀寫空間，使所有內(nèi)部智能體均可讀取歷史任務(wù)狀態(tài)、指令、上下游輸入輸出等。

（2）決策鏈設(shè)計

設(shè)計多智能體協(xié)同的智能決策鏈需要明確業(yè)務(wù)目標、流程、數(shù)據(jù)資源等。本研究利用風險應急決策方案、標準規(guī)范、工程巡檢數(shù)據(jù)，按照風險識別、風險評估、預案生成等步驟，實現(xiàn)工程安全智慧監(jiān)管。進一步，通過建立反饋機制實時評估各智能體的決策過程，優(yōu)化決策鏈的正反算邏輯，本研究采用人工與自動化相結(jié)合的實現(xiàn)方式。一方面，設(shè)定模型的預期輸出結(jié)果，將實際輸出與預期結(jié)果作比較，給出評價反饋，用于反向調(diào)優(yōu)決策鏈；另一方面，在應急方案生成等關(guān)鍵決策環(huán)節(jié)，采用專家打分、排序等方式進行人工審閱和確認。

6.支撐業(yè)務(wù)應用

為實現(xiàn)大模型驅(qū)動的工程安全智慧監(jiān)管，本研究構(gòu)建風險識別、風險評估、預案生成的智能決策鏈。風險識別決策鏈分析多模態(tài)工程安全數(shù)據(jù)，識別其中的各類風險，并結(jié)合多模態(tài)知識圖譜分析當前風險引發(fā)的潛在風險；風險評估決策鏈分析不同風險的概率性、嚴重性，并根據(jù)行業(yè)標準確定風險的綜合量值與等級；預案生成決策鏈分析不同風險的應急處置措施，并生成應急預案。風險識別、風險評估和預案生成的模型編排與流程設(shè)計邏輯見下圖。

模型編排與流程設(shè)計邏輯

（1）風險識別

記錄工程安全風險的多模態(tài)數(shù)據(jù)主要包括圖像、文本。對于圖像數(shù)據(jù)，智能決策鏈首先調(diào)用圖像分析模型，獲取與當前圖像相似度較高的歷史圖像，并提取其風險描述信息；然后，基于提示工程將描述信息作為視覺大模型的上下文，辨識圖像中的風險信息。對于文本數(shù)據(jù)，結(jié)合思維鏈策略與文本大模型，逐步識別文本中的風險信息。在此基礎(chǔ)上，對多模態(tài)知識圖譜進行檢索，獲取圖譜中風險因子、風險事件、風險后果間的關(guān)聯(lián)關(guān)系，分析當前風險的潛在驅(qū)動因素或可能引發(fā)的相關(guān)風險。

（2）風險評估

基于引調(diào)水工程安全行業(yè)標準，設(shè)計面向工程安全風險評估的智能決策鏈。首先，智能決策鏈執(zhí)行知識檢索，獲取存儲在多模態(tài)知識圖譜中的風險嚴重度；其次，調(diào)用概率統(tǒng)計模型，通過計算不同風險的發(fā)生次數(shù)與樣本總數(shù)比值，確定不同風險的發(fā)生概率；最后，調(diào)用風險矩陣模型，計算風險嚴重度與發(fā)生概率的乘積，獲取風險的綜合量值，并根據(jù)多模態(tài)知識圖譜中風險量值區(qū)間與風險等級的對應關(guān)系，確定風險等級。

（3）預案生成

對于預案生成，智能決策鏈需針對不同風險，生成不同的應急預案。首先，根據(jù)不同的風險事件，檢索與該風險相關(guān)的歷史案例以及風險處置的行業(yè)標準、業(yè)務(wù)規(guī)則，形成大模型的上下文信息；然后，文本大模型結(jié)合問題信息與上下文信息，生成符合當前場景的應急響應方案；最后，結(jié)合風險響應方案與應急預案模板，通過預案生成模型完成應急預案的構(gòu)建與生成。

模型驗證與分析

1.評估指標

本研究利用精確率（）、召回率（）和作為評估指標，對本文模型進行有效性評估。其中，精確率衡量模型的分析結(jié)果中有多少是正確的，召回率衡量模型正確分析結(jié)果的樣本覆蓋度，值為精確率、召回率的調(diào)和平均值，用于評估模型的綜合性能。精確率、召回率和的值越大，表示模型性能越好。精確率、召回率和分別定義如下：

式中，表示分析結(jié)果正確的正樣本數(shù)量，表示分析結(jié)果錯誤的正樣本數(shù)量，表示分析結(jié)果錯誤的負樣本數(shù)量。

2.結(jié)果與討論

（1）知識抽取結(jié)果分析

知識抽取是一種檢驗大模型掌握和運用領(lǐng)域知識能力的方式。本研究構(gòu)建的多模態(tài)大模型不僅能夠利用圖像、文本等工程安全管理數(shù)據(jù)抽取實體和關(guān)系，還通過“微調(diào)+動態(tài)提示”的方式進一步提升知識抽取準確率和計算效率，下表給出了不同模型在多模態(tài)數(shù)據(jù)上進行知識抽取的結(jié)果。在模型準確性方面，可以發(fā)現(xiàn)DeepSeek-R1結(jié)合微調(diào)與動態(tài)提示策略，識別精確率、召回率、均值分別達到0.832、0.826、0.827，識別準確性最優(yōu)。實驗結(jié)果說明，利用領(lǐng)域數(shù)據(jù)微調(diào)后的DeepSeek-R1更加理解工程安全風險的相關(guān)概念和邏輯，在微調(diào)的基礎(chǔ)上結(jié)合動態(tài)提示策略，通過實時調(diào)整輸入指令或上下文信息，進一步提升了模型在復雜場景下的適應能力。在模型效率方面，可以發(fā)現(xiàn)推理模型DeepSeek-R1、QWQ、Qwen3的總體效率低于ChatGLM4模型。這是由于推理模型采用了混合專家、長鏈思維等策略，使推理過程更加復雜，模型的計算效率更低。本研究基于微調(diào)與動態(tài)提示策略，通過輸入上下文信息引導模型快速聚焦當前任務(wù)的語義空間，使其能夠在保持復雜推理能力的同時，實現(xiàn)更具針對性的快速響應。

不同模型在風險識別任務(wù)上的實驗結(jié)果

（2）知識圖譜構(gòu)建結(jié)果分析

本研究利用多模態(tài)數(shù)據(jù)構(gòu)建了引調(diào)水工程安全知識圖譜。工程安全知識圖譜主要包含風險事件、風險類型、風險點、控制措施、處置措施等實體。其中，某風險點（見下圖）輸水渠道面臨襯砌板隆起、渠道滲漏、渠坡失穩(wěn)等風險事件，襯砌板隆起可誘發(fā)渠道滲漏，而渠道滲漏可能導致渠坡失穩(wěn)，呈現(xiàn)出明顯的鏈式傳播關(guān)系。此外，針對渠坡失穩(wěn)的控制措施包括：采用塊石、編織袋等對渠堤外坡進行防護，配合調(diào)度運行降低上游渠道的運行水位，在一級馬道外側(cè)植入鋼管樁，以及采用防水膜覆蓋變形體外露區(qū)域等。在工程安全監(jiān)管過程中，上述知識可用于辨識潛在隱患，評估風險的綜合量值水平，生成不同風險的應急處置措施。

引調(diào)水工程安全知識圖譜某風險點分析

（3）風險識別結(jié)果分析

對工程安全運行過程中的各類風險進行識別，并結(jié)合知識圖譜的拓撲結(jié)構(gòu)辨識潛在風險，4類風險的識別精確率、召回率和值如下表所示?？梢钥吹?，4類風險的識別精確率、召回率和的平均值分別為0.893、0.724和0.838。其中，人為風險的識別效果最差，管理風險的識別效果最優(yōu)。不同風險的關(guān)聯(lián)關(guān)系如下圖所示，圖中節(jié)點的大小表示節(jié)點度，即與該節(jié)點相連的邊數(shù)量，兩節(jié)點間的邊寬度表示關(guān)系權(quán)重?？梢钥吹?，風險節(jié)點“襯砌板裂縫”“襯砌板下滑、隆起”“一級馬道產(chǎn)生縱向裂縫”的節(jié)點度較高，表明與這些風險節(jié)點相連的節(jié)點較多，即由該風險引發(fā)的其他風險或?qū)υ擄L險產(chǎn)生影響的風險較多。通過對比可以發(fā)現(xiàn)，“襯砌板裂縫”與“襯砌板下滑、隆起”之間的關(guān)系權(quán)重高于“襯砌板裂縫”與“一級馬道產(chǎn)生縱向裂縫”之間的關(guān)系權(quán)重，這表明當“襯砌板裂縫”事件發(fā)生時，“襯砌板下滑、隆起”的事件發(fā)生概率要高于“一級馬道產(chǎn)生縱向裂縫”。在工程安全監(jiān)管過程中，應加強關(guān)注節(jié)點度較大的風險事件，以減少潛在隱患?？紤]到不同風險之間的關(guān)聯(lián)強度不同，應建立差異化管理機制，提升管理效率與能力。

四類風險事件實體知識融合的準確率水平

知識圖譜中風險事件的關(guān)聯(lián)關(guān)系

（4）應急預案生成結(jié)果分析

多模態(tài)工程安全大模型根據(jù)風險識別和分析結(jié)果，針對可能發(fā)生的事故生成專門的應急預案?？紤]到風險情景的不確定性，用戶可以要求大模型推薦多個方案供參考，并根據(jù)方案的適用性進行排序，生成應急預案集合。使用歷史風險處置案例進行測試，觀察在不同集合大小的設(shè)定下，應急預案集合是否包含正確的處置方案，對大模型的預案生成能力進行定量評價。下表給出了推薦集合的前1、3、5個方案命中正確方案的精確率、召回率和值?？芍?，本研究方法生成風險應急預案的精確率、召回率和總體高于0.7。其中，正確方案位于推薦方案集合首位的準確率為0.723，位于前3的準確率為0.743，位于前5的準確率為0.754。在工程安全監(jiān)管過程中，可根據(jù)現(xiàn)場資源與響應需求動態(tài)設(shè)定“僅采納首選方案”或“多方案并行”策略，實現(xiàn)“快速預案+人工審定”的人機混合決策流程，既可以保證推理效率，又兼顧安全與合規(guī)。

推薦集的前個方案為正確方案的評估指標值

（5）面向工程安全的多模態(tài)大模型平臺

本研究利用Ollama平臺發(fā)布引調(diào)水工程安全智慧監(jiān)管大模型，并基于Dify平臺將多模態(tài)大模型集成至業(yè)務(wù)工作流。以風險事件“邊坡開裂、垮塌”為例進行多輪問答，大模型響應結(jié)果如下圖所示?？梢钥吹?，本文所構(gòu)建的多模態(tài)大模型可以準確識別巡檢文本中的風險地點“截流溝”和風險事件“邊坡開裂、垮塌”。同時，也識別到了巡檢圖像描繪的風險信息，提取了風險事件。在此基礎(chǔ)上，評估了該風險影響的多個渠段，以及對應的風險等級。最后，多模態(tài)大模型根據(jù)檢索到的知識庫內(nèi)容，生成了“邊坡開裂、垮塌”的風險基本特征、風險量值、風險控制措施等。

風險識別、風險評估、預案生成的模型響應結(jié)果

結(jié)論

本研究融合多模態(tài)大模型與知識圖譜技術(shù)，提出一種“感知—認知—決策”的工程安全智慧監(jiān)管模式。案例研究結(jié)果表明，本研究方法可以有效支撐引調(diào)水工程安全智慧監(jiān)管，主要結(jié)論如下。

①利用標準規(guī)范、風險應急管理資料、巡檢文本及圖像、多光譜遙感影像對多模態(tài)大模型進行微調(diào)，提高了模型在工程安全領(lǐng)域的適用性。融合多模態(tài)大模型與動態(tài)提示策略，實現(xiàn)了實體和關(guān)系的聯(lián)合提取，構(gòu)建了面向引調(diào)水工程安全的多模態(tài)知識圖譜。

②利用多模態(tài)知識圖譜為大模型提供結(jié)構(gòu)化知識，解決了大模型在問題響應過程中的數(shù)據(jù)時效性、推理可解釋性、可追溯性問題，提升了大模型的可靠性及推理能力。

③構(gòu)建了多智能體協(xié)同的智能決策鏈，提升了大模型對復雜業(yè)務(wù)的處理能力，有效支撐了工程安全監(jiān)管中的風險識別、風險評估、預案生成業(yè)務(wù)。

受案例數(shù)量和知識覆蓋度的限制，大模型采用了基于風險矩陣的風險評估方式，通過風險事件的概率性和嚴重性確定風險等級，因而風險評估的精細化水平有待提高。未來研究將考慮引入結(jié)構(gòu)穩(wěn)定性計算智能體，通過調(diào)用有限元計算進行結(jié)構(gòu)穩(wěn)定性分析，提高風險評估的精細化水平。

Abstract: With the comprehensive development of the “sky-space-earth-water-project” integrated monitoring system, safety management data of water diversion projects exhibit characteristics of multi-source heterogeneity, large volume, and dynamic complexity. Traditional analysis and mining methods based on single-modality data face significant limitations in the context of intelligent safety supervision. By integrating multimodal large models with knowledge graph technology, an intelligent supervision paradigm of “perception–cognition–decision” is proposed. Based on standards and specifications, risk and emergency management materials, inspection texts and images, and multispectral remote sensing imagery, a multimodal large model is fine-tuned and combined with a dynamic prompting strategy to construct a multimodal knowledge graph for engineering safety. Retrieval augmented generation (RAG) and the structured knowledge within the knowledge graph are employed to enhance the model’s reliability and reasoning capability in specialized domains. A collaborative multi-agent decision chain construction method is introduced, enabling the coupling of model capabilities through dynamic task orchestration to support risk identification, assessment, and contingency planning in safety management. Experimental results show that the proposed method achieves high accuracy in multimodal knowledge extraction, providing effective support for intelligent safety supervision of water diversion projects.

Keywords: multimodal large model; multimodal knowledge graph; intelligent safety supervision; water diversion projects

本文引用格式：

王立虎劉雪梅李海瑞等.引調(diào)水工程安全智慧監(jiān)管多模態(tài)大模型構(gòu)建技術(shù)研究[J].中國水利，2025（11：8-19.

責編呂彩霞

校對｜劉磊寧

審核王慧

監(jiān)制軒瑋

---

聲明：本文系轉(zhuǎn)載自互聯(lián)網(wǎng)，請讀者僅作參考，并自行核實相關(guān)內(nèi)容。若對該稿件內(nèi)容有任何疑問或質(zhì)疑，請立即與鐵甲網(wǎng)聯(lián)系，本網(wǎng)將迅速給您回應并做處理，再次感謝您的閱讀與關(guān)注。