菲爾茲獎青睞的領域:最優傳輸和蒙日-安培方程
巴西里約時間2018年8月1日上午10點,被譽為數學界的奧林匹克盛會-第28屆國際數學家大會(International Congress of Mathematicians)在巴西里約熱內盧正式開幕。國際數學聯盟主席菲爾茲獎得主日本數學家森重文(Shigefumi MORI)教授頒發2018年菲爾茲獎。其中來自蘇黎世聯邦理工學院的阿雷西奧-費加里(Alessio Figalli,義大利,34歲)與其他三位數學家分享這一殊榮。Alessio Figalli是菲爾茲獎得主Cedric Villani的得意門生,繼承了Villani最優傳輸理論的衣缽。Alessio Figalli的主要研究興趣為變分法、最優傳輸理論及其與蒙日-安培方程的聯繫,為最優傳輸理論及該理論在偏微分方程、度量幾何和概率方面的應用做出了重要貢獻。
其實早在1982年,丘成桐先生由於其在微分方程、代數幾何中的卡拉比猜想、廣義相對論中的正質量猜想以及實和復的蒙日-安培方程等領域裡所在的傑出貢獻,榮獲菲爾茲獎。由此可見,蒙日-安培方程在數學中的重要性。
實際上,最優傳輸理論和蒙日-安培方程在工程和醫療方面已經被推廣應用,近幾年來愈發廣泛。最優傳輸和蒙日-安培方程理論同時緊密連接著偏微分方程、微分幾何和概率,其內在解法具有非常鮮明的幾何意味。同時,這一理論在計算機圖形學、計算機視覺、醫學圖像,特別是深度學習方面具有不可替代的應用。
圖1. 法國數學家,最優傳輸理論的奠基人:蒙日(Gaspard Monge)。
最優傳輸問題
最優傳輸理論起源於法國數學家蒙日(Monge)於1781年提出的著名的最優傳輸問題,這一問題可以簡單解釋如下。我們考慮美國的馬鈴薯生產和消費情況:首先,假設整個國家自給自足,每年總產量等於總消耗量。其次,我們考慮定義在美國領土上面的兩個密度函數:馬鈴薯的每年畝產量和每年每畝消耗量。比如, 紐約市區的消耗率很高,畝產率幾乎為零;愛達荷州的畝產率很高,但是消耗率很低。政府需要設計一個傳輸方案,將馬鈴薯由生產地運往銷售地,滿足兩個條件:首先是產銷平衡,任何一個產地,運出的馬鈴薯總量等於生產總量,任何一個地區,消耗的馬鈴薯總量等於運進的總量;其次是傳輸代價最小。滿足產銷平衡的傳輸方案有無窮多種,如何從中挑選一個方案,使得總的汽油費用最少。
通常,最優傳輸方案將同一個產地的馬鈴薯運往不同的銷售地點;但是在特殊情況下,同一個產地的馬鈴薯運往同一個銷售地點,這時傳輸方案退化成最優傳輸映射。最優傳輸方案退化成最優傳輸映射依賴於傳輸代價函數。
最優傳輸理論主要關心的是傳輸映射的存在性、唯一性和光滑性問題。計算最優傳輸理論最為關心的最優傳輸映射的計算複雜度、穩定性和收斂性。最優傳輸理論用凸幾何、非線性偏微分方程解決概率統計的問題,最近在深度學習領域引發了研究熱潮。
概率論側面
給定歐氏空間中的兩個區域和定義其上的概率測度和,總測度相等。假設是一個區域間的映射,如果對於任意的可測集合,都有
,
那麼我們說此映射保持測度,記成。對於任意,,它們之間的距離為,那麼映射的傳輸代價定義為:
.
最優傳輸問題就是尋找保持測度的傳輸映射,使得傳輸代價最小,。這個映射被稱為是最優傳輸映射,最優傳輸映射的傳輸代價被稱為是兩個概率測度之間的Wasserstein距離,記為。Wasserstein距離經常用於測量兩個概率測度之間的距離,定量描述概率測度間的異同。
1970年代,俄國數學家Kantorovich將傳輸映射(transportation map)減弱為傳輸規劃(transportation scheme),用聯合概率分布來表示傳輸規劃,其邊際概率分布等於和。Kantarovich發明了線性規劃來求解這一問題,由此得到1975年的諾貝爾經濟獎。
圖2. 最優傳輸映射對概率分布的控制【1,3】。
圖2顯示了應用最優傳輸理論來控制曲面上的概率分布。我們用微分同胚將曲面映射到平面圓盤,這一映射將平面圓盤上的均勻分布拉回到曲面上面。上面一行的拉回概率分布不是均勻分布,下面一行的拉回概率分布在曲面上是均勻的。兩個圓盤之間的映射實質上是一個最優傳輸映射。
偏微分方程側面
二十世紀八十年代,法國數學家Brenier進一步發展了Kantarovich的理論。如果採用距離函數,,那麼存在一個凸函數,其梯度映射給出了最優傳輸映射,。我們稱這個凸函數為Brenier勢能函數。
圖3. Hermann Minkowski。
最優傳輸映射保持測度,因此映射滿足雅克比方程:
,
這裡是映射的雅克比矩陣。因為,我們得到Brenier勢能函數滿足蒙日-安培方程(Monge-Ampere Equation),
。
這種蒙日-安培方程是高度非線性的橢圓型方程,其解的存在性,唯一性,光滑性在偏微分方程領域一直是重要的問題。
凸幾何側面
最優傳輸的理論等價於特殊的蒙日-安培方程,蒙日-安培方程最早出現於凸幾何的閔可夫斯基-亞歷山大夫理論。
圖4. 閔可夫斯基定理。
如圖4所示,給定一個凸多面體,每個面的法向量已知,面積已知,所有面的面積和法向量的乘積之和等於0,閔可夫斯基(Minkowski)定理證明這樣的凸多面體存在,並且彼此相差一個平移。
圖5. Aleksandr Danilovich Alexandrov.
圖6 亞歷山大定理。
Boris Delaunay的學生亞歷山大(Alexandroff)將閔可夫斯基的結果推廣到開的凸多面體,如圖6所示。給定凸多面體每個面的法向量,和每個面向平面圓盤的投影面積,總投影面積等於平面圓盤面積,那麼這樣的凸多面體存在,並且彼此相差一個垂直平移。
閔可夫斯基定理和亞歷山大夫定理可以可以直接推廣到光滑凸曲面情形,其滿足的偏微分方程就是蒙日-安培方程。由此,求解蒙日-安培方程就等價於構造凸多面體。丘成桐團隊給出了基於變分法的證明【2】,從而將求解蒙日-安培方程轉化成凸優化問題,從而證明了解的存在性和唯一性。同時給出了蒙日-安培方程的數值解法。
計算機圖形學:曲面參數化
圖7. 曲面參數化【7】。
在動漫動畫領域,三維曲面經常被映射到平面區域上,這種映射被稱為曲面參數化。曲面參數化將彎曲的三維曲面變成平坦的二維平面區域,不可避免地會帶來一些幾何畸變。各種參數化演算法都試圖盡量減少這些畸變。共形參數化保持角度不變,保面積參數化保持面積元不變。如圖7所示,左側共形參數化將曲面上相交的曲線映成平面上相交的曲線,並且保持交角不變;右側保面積參數化將曲面上的任意區域映射到平面上的一個區域,並且曲面區域面積等於參數平面區域面積。共形參數化映射和保面積參數化映射之間相差一個最優傳輸映射。
圖8. 保體積參數化【6】。
基於求解蒙日-安培方程的最優傳輸映射可以推廣到任意維空間,如圖8所示,這種方法可以計算保體積的三維流形參數化。
計算機視覺:曲面配准
圖9. 曲面配准【8】。
曲面配准(Surface Registration)是計算機視覺的一個基本問題。對於幾何複雜的曲面,直接在三維空間中計算配准映射較為困難。一個切實可行的方法是將三維曲面映射到平面上的二維區域,然後計算平面像之間的配准映射。這樣就減小了搜索空間,提高計算精度和速度。
圖9中顯示了兩個姿態不同的Armadillo曲面間的配准。正確配准Armadillo的手指非常具有挑戰性。應用最優傳輸映射,我們將曲面保面積映射到平面區域,使得每根手指都在平面上佔據的區域和三維空間中手指皮膚的區域具有相同的面積。這樣,平面像之間的映射會將相應的手指匹配,從而保證配準的精度。
大數據:幾何聚類
圖10.幾何聚類【8】。
最優傳輸理論可以用於幾何大數據中的聚類(clustering)。例如,如圖10所示,給定帶有不同表情的三維人臉曲面,我們希望根據表情將其聚類。
圖11. 幾何-概率測度轉換。
首先,我們需要將幾何數據轉換成概率分布。如圖11所示,我們首先用黎曼映照(Riemann Mapping)將人臉曲面共形地映射到平面圓盤上面,再用莫比烏斯變換將映射歸一化,使得鼻尖映射到原點,經過兩個瞳孔的直線水平。共形映射將曲面上的面積元推前到平面圓盤上面,形成平面圓盤上的一個測度。這樣,我們將人臉曲面的幾何信息(黎曼度量信息),轉換成平面圓盤上的一個測度。不同的人臉曲面,對應著圓盤上不同的測度。
圓盤上的任意一對測度之間存在Wasserstein距離。我們將Wasserstein距離視為人臉曲面之間的距離,將每一張人臉曲面視作一個點。我們將這些點等距地嵌入到歐氏空間之中,使得歐氏距離約等於Wasserstein距離,然後我們在歐氏空間中施行聚類,將鄰近的點歸為一類,如此,實現了三維人臉表情分類。
計算機、社交網路:網路特徵提取
給定一個黎曼流形,流形上所有的概率分布構成Wasserstein空間,流形上的最優傳輸映射給出了概率分布間的Wasserstein距離。每一個概率分布定義了信息熵。Wasserstein距離定義了Wasserstein空間中的測地線。沿著一條測地線,每一點代表一個概率分布,有著對於的熵,如此在測地線上定義了一個函數。流形的Ricci曲率為負,則沿著測地線的熵函數為凸函數。由此,我們看到最優傳輸和流形曲率之間的深刻關係。
圖12. 圖上的Ricci曲率【5】。
通常意義下,曲率是定義在光滑流形上面的,在離散組合結構上無法直接定義曲率。但是,最優傳輸是可以定義在組合結構上面的。因此,我們可以將曲率的概率推廣到離散結構上面。如圖12所示,我們計算了Internet上各個節點(或者鏈接)的Ricci曲率,骨幹網上節點(鏈接)曲率為負,網路邊緣節點(鏈接)曲率為正。應用圖上的曲率,我們可以進行更為深入和靈活的網路分析。
深度學習:對抗生成網路(GAN)
圖13. VAE和基於最優傳輸理論的生成模型比較【4】。
對抗生成網路(Generative Adversral Network,GAN)是深度學習領域中非常強有力的模型。GAN模型由生成器和判別器兩個深度網路構成,生成器生成偽造數據來欺騙判別器;判別器同時接收真實數據和生成數據,力圖判別真偽。兩個神經網路彼此對抗競爭,共同提升,最後達到納什均衡。在平衡態,生成器生成的數據能夠瞞天過海,以假亂真。
從最優傳輸理論來解釋,判別器核心是在計算真實數據分布和生成數據分布之間的Wassersein距離;生成器本質是在計算最優傳輸映射。兩個網路都是在用深度神經網來求解最優傳輸問題。由於問題規模龐大,和深度神經網路的黑箱性質,傳統GAN模型的優化過程難以理論分析。如果我們採用的傳輸代價,那麼生成器和判別器都在解同一個蒙日-安培方程【1,3】,很多中間計算結果可以直接分享,網路體系結構可以簡化。那麼,我們自然可以將GAN模型的一部分用透明的最優傳輸理論模型來取代。圖13左幀是用變分自動編碼器生成的人臉圖片,右幀是用基於最優傳輸理論設計的模型生成的人臉圖片【4】。
小結
最優傳輸理論具有悠久的歷史,不停地煥發新春,從而得到菲爾茲獎的青睞。這一理論非常深刻而優美,橫跨概率論、偏微分方程和凸幾何領域,連接離散和連續範疇,給出強烈而簡單的幾何直觀,相對容易理解。但是,蒙日-安培方程本身具有強烈的非線性,其計算歸結為複雜的凸優化。由於最優傳輸理論既可以用於解決幾何問題,也可以用於解決概率統計問題,它具有非常寶貴的實用價值。
最優傳輸理論目前在工程和醫療領域得到廣泛應用,例如圖形學中的參數化、視覺中的曲面註冊、大數據中的幾何分類、網路中的特徵提取,特別是最優傳輸理論為深度學習的生成模型奠定了堅實的理論基礎。
最優傳輸理論是數學歷史上美學價值和實用價值相結合的一個典範!
References
Na Lei, ZhongxuanLuo, Shing-Tung Yau and David Xianfeng Gu. "Geometric Understanding of Deep Learning".arXiv:1805.10451?.
https://arxiv.org/abs/1805.10451
Xianfeng Gu, Feng Luo, Jian Sun, and Shing-Tung Yau. "Variational principles for minkowski type problems, discrete optimal transport", and discrete monge-ampere equations. Asian Journal of Mathematics (AJM), 20(2):383-398, 2016.
Na Lei,Kehua Su,Li Cui,Shing-Tung Yau,David Xianfeng Gu, "A Geometric View of Optimal Transportation and Generative Model", arXiv:1710.05488. https://arxiv.org/abs/1710.05488
Huidong L,Xianfeng Gu, Dimitris Samaras, "A Two-Step Computation of the Exact GAN Wasserstein Distance", ICML 2018.
Chien-Chun Ni, Yu-Yao Lin, Jie Gao, Xianfeng Gu and Emil Saucan, "Ricci curvature of the Internet topology", Infocom 2015.
Kehua Su, Wei Chen, Na Lei, Junwei Zhang, Kun Qian, Xianfeng Gu, "Volume preserving mesh parameterization based on optimal mass transportation", Computer-Aided Design 82:42-56 (2017).
Kehua Su, Li Cui, Kun Qian, Na Lei, Junwei Zhang, Min Zhang, Xianfeng Gu, "Area-preserving mesh parameterization for poly-annulus surfaces based on optimal mass transportation". Computer Aided Geometric Design 46:76-91 (2016)。
Zhengyu Su, Yalin Wang, Rui Shi, Wei Zeng, Jian Sun, Feng Luo, Xianfeng Gu:「Optimal Mass Transport for Shape Matching and Comparision」.IEEE Trans. Pattern Anal. Mach. Intell.37(11):2246-2259 (2015).
【老顧談幾何】邀請國內國際著名純粹數學家,應用數學家,理論物理學家和計算機科學家,講授現代拓撲和幾何的理論,演算法和應用。
回復「目錄」,可以瀏覽往期精華;回復「智商」,可以閱讀「如何從大腦形狀判斷一個人的智商」;回復「象牙塔」,可以閱讀「純粹數學走出象牙塔」;回復「概覽」,可以閱讀「計算共形幾何概覽」。
TAG:老顧談幾何 |