【作者】
夏俊豪、佟瑤、龍瀛
清華大學(xué)恒隆房地產(chǎn)研究中心
【原文信息】
Xia, J., Tong, Y., & Long, Y. (2025). Advancements in the application of large language models in urban studies: A systematic review. Cities, 165, 106142.
【論文鏈接】
https://www.sciencedirect.com/science/article/pii/S0264275125004433
內(nèi)容導(dǎo)讀
龍瀛教授團(tuán)隊(duì)的研究論文“Advancements in the application of large language models in urban studies: A systematic review”(《大語言模型在城市研究中的應(yīng)用進(jìn)展:系統(tǒng)性綜述》),在SCI期刊Cities在線發(fā)表。Cities目前為JCR Q1期刊。
大語言模型(LLM)在解決復(fù)雜問題上擁有強(qiáng)大的綜合能力,并已越來越多地被應(yīng)用于更好地闡釋城市現(xiàn)象。在大語言模型浪潮中,城市研究領(lǐng)域的學(xué)者迫切需要了解以往的研究工作是如何在各個(gè)學(xué)科中融合大語言模型的。本文中,我們對233篇關(guān)注大語言模型在城市研究中應(yīng)用的論文進(jìn)行了系統(tǒng)性綜述。我們借助一個(gè)定制的生成式預(yù)訓(xùn)練變換器(GPT)助手從這些論文中提取信息,以分析其發(fā)展趨勢,并對不同子領(lǐng)域進(jìn)行了深入評述。研究結(jié)果顯示,相關(guān)研究在過去六年中呈指數(shù)級增長,大語言模型已被應(yīng)用于文本分析與生成、領(lǐng)域知識問答以及行業(yè)相關(guān)任務(wù)等多種場景。此外,基于GPT和基于BERT(來自Transformers的雙向編碼器表示)的模型已成為最常用的兩種模型,而嵌入(embedding)和微調(diào)(fine-tuning)是數(shù)據(jù)處理與模型適配的主流方法。論文還探討了關(guān)于大語言模型的常見問題,并指出了其未來在城市研究中的機(jī)遇。本項(xiàng)綜合性分析旨在為正在探索大語言模型在城市研究中應(yīng)用的研究者,以及那些尚未開始在研究中使用這些模型的學(xué)者提供寶貴的見解。
圖1:研究框架示意圖
研究方法
1.文獻(xiàn)篩選與數(shù)據(jù)來源:研究以Web of Science (WoS) 為文獻(xiàn)來源數(shù)據(jù)庫,并將檢索時(shí)間范圍限定為2015年1月至2025年4月。在關(guān)鍵詞策略上,檢索詞由“城市研究”與“大型語言模型”相關(guān)的詞構(gòu)成,通過數(shù)據(jù)庫檢索和多輪人工篩選,結(jié)合引文追溯法補(bǔ)充文獻(xiàn),最終篩選出233篇符合條件的文獻(xiàn)進(jìn)行分析。
2.文獻(xiàn)標(biāo)記與統(tǒng)計(jì)方法:在文獻(xiàn)信息提取與標(biāo)注上,研究構(gòu)建了包含研究領(lǐng)域、應(yīng)用場景、數(shù)據(jù)處理方法、模型提升方法和所用預(yù)訓(xùn)練模型五個(gè)維度的分析框架,為高效處理篩選的233篇文獻(xiàn),研究利用GPT-4o構(gòu)建定制化AI助手,根據(jù)預(yù)設(shè)框架對每篇文獻(xiàn)進(jìn)行結(jié)構(gòu)化的信息提取,對AI助手提取的結(jié)果進(jìn)行隨機(jī)抽樣與人工核驗(yàn),準(zhǔn)確率達(dá)89%,針對AI提取的全部文獻(xiàn)結(jié)果人工修訂并按照五個(gè)維度進(jìn)行分析總結(jié)。
研究發(fā)現(xiàn)
1.描述性分析:研究發(fā)現(xiàn),大語言模型在城市研究中的應(yīng)用自2020年以來呈指數(shù)級增長,在研究領(lǐng)域上,早期研究以城市社會學(xué)、城市環(huán)境與能源等領(lǐng)域?yàn)橹?,逐步擴(kuò)展至城市交通、城市管理和城市規(guī)劃設(shè)計(jì)等更復(fù)雜的領(lǐng)域,其中城市交通方向的成果最為豐富。在應(yīng)用場景上,除了情感分析、文本分類和命名實(shí)體識別等通用的文本處理任務(wù)外,還涌現(xiàn)出大量與領(lǐng)域深度結(jié)合的特定應(yīng)用場景,例如人類移動(dòng)分析、交通流預(yù)測、街道空間感知和地理編碼等等,同時(shí)通過問答測試模型在特定領(lǐng)域中的能力也是較為常見的應(yīng)用場景。在數(shù)據(jù)處理與模型提升方法上,研究者廣泛采用嵌入構(gòu)建來表征文本,以及利用多模態(tài)對齊來融合異構(gòu)數(shù)據(jù),超過半數(shù)的研究采用了成本相對高昂的微調(diào)策略來提升模型表現(xiàn),同時(shí)大模型也常與其他模型集成使用。最后,在所用的預(yù)訓(xùn)練模型上,研究多用GPT系列的模型,BERT因其高效的文本編碼能力也廣受歡迎,此外還有例如LLaMA、Qwen等的開源模型。
2.研究者對大模型的態(tài)度:盡管大模型在城市文本分析、事件模擬、特定場景響應(yīng)等任務(wù)上表現(xiàn)出強(qiáng)大的能力,但研究者仍在幾個(gè)層面存在擔(dān)憂,首先模型存在生成不實(shí)信息的“幻覺”問題,可能包含扭曲現(xiàn)實(shí)的地理或文化偏見,因依賴靜態(tài)訓(xùn)練數(shù)據(jù)而難以泛化到動(dòng)態(tài)多變的真實(shí)城市場景中,其次高昂的計(jì)算與環(huán)境成本對研究團(tuán)隊(duì)的經(jīng)濟(jì)負(fù)擔(dān)與總體能源消耗提出挑戰(zhàn),然后是相比傳統(tǒng)的深度學(xué)習(xí)方法,大模型在特定場景下的表現(xiàn)未必能夠超過前者的表現(xiàn),最后在倫理與邏輯層面,數(shù)據(jù)隱私泄露、決策過程不透明等也是需要解決的問題。
3.未來方向:大模型在城市研究中存在較大的應(yīng)用潛力,首先應(yīng)用領(lǐng)域?qū)⒊掷m(xù)拓寬,例如延伸至城市經(jīng)濟(jì)學(xué)和城市發(fā)展演化等更宏觀的議題,其次大模型應(yīng)用可能出現(xiàn)分化,即由輕量化的模型處理簡單場景,而參數(shù)龐大的模型則專注于解決復(fù)雜難題,然后是通過精心的提示工程設(shè)計(jì)或結(jié)合檢索增強(qiáng)生成的技術(shù),大語言模型作為“領(lǐng)域?qū)<摇钡臐摿τ写M(jìn)一步發(fā)掘,最后從智能體的角度看,大模型可以通過與海量城市知識庫的交互來揭示隱藏的城市動(dòng)態(tài)與規(guī)律,從而催生新的研究假說為研究者提供啟發(fā)。
圖2:不同研究領(lǐng)域文獻(xiàn)發(fā)表年份和文獻(xiàn)數(shù)量
圖3:研究領(lǐng)域和應(yīng)用場景關(guān)聯(lián)
聲明:本文系轉(zhuǎn)載自互聯(lián)網(wǎng),請讀者僅作參考,并自行核實(shí)相關(guān)內(nèi)容。若對該稿件內(nèi)容有任何疑問或質(zhì)疑,請立即與鐵甲網(wǎng)聯(lián)系,本網(wǎng)將迅速給您回應(yīng)并做處理,再次感謝您的閱讀與關(guān)注。
不想錯(cuò)過新鮮資訊?
微信"掃一掃"