你大概沒想到，AI居然能識別失傳的古文字

科技 09-11

曾記得有一次聊天，有個朋友描述他對人工智慧的印象，總結成三個詞：西方的、商業的、未來的。

我當即表示你說的很好，唯一的問題是一條都沒說對。

按下我們倆怎麼展開鬥毆暫且不提，這裡希望破除的是大家對人工智慧的某種固有印象。事實上，人工智慧作為一種很早就發展起來的通用技術，絕不是西方的專利，也絕不僅僅是夠創造商業價值。

甚至在某些機緣巧合下，人工智慧能夠成為我們用認識歷史、認識自身民族、認識祖先與過去的利器。

梁啟超說「學術乃天下之公器」，不僅是說學術天下人共有，同時也是說學術天下共致。作為一種基礎工具的人工智慧，往往能夠在意想不到地方發生效用。比如說今天為大家介紹的藉助人工智慧技術，自動識別西夏文——一個純粹中國的人文社科領域。

美感奇特的西夏文

雖然這項技術大多數人永遠不會涉足，但這個案例的價值在於可以打破我們對AI的某些偏見。AI不只是集中在那幾個領域，也不是歐美寡頭的玩具，它甚至可能無處不在。

為什麼要識別西夏文？其中隱含著哪些困難？

我們知道，西夏是與北宋、遼、金先後對峙的党項族國家，曾經統治河西地區超過二百年。與大眾認知中不同，西夏不是個茹毛飲血的野蠻文明。他們曾經創立過驚人的文化、藝術與宗教文明，但隨著1227年蒙古滅西夏，蒙元不為西夏立史，關於這個政權的記錄快速消亡，李元昊立國時創立的西夏文也隨之湮滅。

西夏文又名河西字、番文、唐古特文，曾在西夏王朝統轄的今寧夏、甘肅、陝西北部、內蒙古南部地區盛行了約兩個世紀。但在西夏滅國後，這種參考漢字創立的奇特文字逐漸失傳，最終成為了一種死文字。

直到1804年，武威大雲寺發現了著名的《重修涼州護國寺感通塔碑》，西夏文才在埋藏了數百年後重現人世。從此識讀西夏文開始成為了學界的重要工作。

《重修涼州護國寺感通塔碑》局部

二百年以來，出土的西夏文文獻不斷增多，其中大部分都被英、俄探險家帶到了境外。但各國學者努力下，西夏文的基礎文字識別已經完成，現階段的工作重點是依據文字列表，去識讀大量西夏文文獻的具體內容，揭開西夏以及當時中原、西域各國的歷史迷霧。

但在這個過程里，研究人員認讀西夏文必須通過手工翻閱查找，耗費時間異常辛苦不說，由於西夏文是一種相似度極高的文字，人工識別還可能存在很大的錯誤率。

所以就有學者提出，利用計算機來自動識別西夏文。這種設想很好，但在具體操作中還是有巨大問題。比如西夏文結構複雜、組成字元各部分要素高度相似，並且平均筆畫達到25畫，計算機識別難以入手。

此外，西夏時期雖然已有印刷術，但出土文獻還是以手抄本和刻版文字為主，同一個字的在不同文獻上的位置不固定、整體布局會發生偏移，都給機器識別帶來巨大困難。

於是有意思的事出現了，寧夏大學相關研究機構為代表的學術力量，選擇了以人工智慧技術解決西夏文的自動識別。

並且這個工作很早就已經開始，不斷有成果湧現。從時間上看，絕不是趕這波AI熱潮的產物。

人工智慧完成西夏文自動識別

早在1996年，日本國立亞非語言文化研究所就製作了西夏文字型檔和排版系統。1997 年中國學者李範文和日本學者中島干起利用該排版系統合作出版了《電腦處理西夏文〈雜字〉研究》。俄羅斯應該也都有西夏文數據化和計算機處理的項目與研究成果。

而使用彈性網路、神經網路、AI演算法以及深度學習來識別西夏文，則是中國領先完成的一個創舉。

用AI識別西夏文，主要依託的是計算機字元識別( optical character recognition，OCR) 技術，這種技術上世紀60年代就成為了人工智慧研究的主要領域之一。它的核心技術主張是基於人工智慧運算來識別文字元號的數字影像，並將其轉換為對應的數字文本，達到可識別、可編輯、可轉化的目的。

OCR技術目前在很多領域已經相當成熟，比如我們經常用到的印刷文件文字提取。在OCR識別領域，更多的應用是手寫體內容的精準識別，而利用OCR識別考古文獻中的非廣泛使用文字卻基本處於空白。

這裡可以結合論文簡單介紹兩種AI識別西夏文的案例。

比如在《基於彈性網路的西夏文識別》當中，研究人員利用彈性網路技術，將西夏文中的筆畫特徵進行網格化提取。再統計像素點在每個網格內的概率分布，形成一種可讀取的特徵模型。最後使用文檔主題模型方法對提取的特徵降維處理，結合資料庫對文獻進行識別。

根據論文，這種方法平均識別率可達87.99 %。

再比如《基於Mean Shift演算法的西夏文字筆形識別》，Mean Shift演算法，即偏移均值向量，是機器學習領域的一種基本演算法。其基礎理論是利用信息密度來完成聚類、圖像分割、跟蹤任務，可應對相似但界限模糊的圖像處理應用。利用這種演算法，研究人員將原始資料生成概率統計直方圖，通過相似度來判斷歸類具體的西夏文筆形。