當前位置:
首頁 > 新聞 > 清華教授:國產電商反刷單系統 比AlphaGo提高25%

清華教授:國產電商反刷單系統 比AlphaGo提高25%

7月20日下午,由杉數科技和鈦媒體聯合主辦的「AI大師圓桌系列會議」在上海財大豪生大酒店召開。在會議中,清華大學交叉信息研究院青年千人助理教授、博士生導師、計算經濟學研究室主任唐平中博士首先進行了主題演說。

唐老師著眼於人工智慧(AI)與經濟學的結合,演講主要圍繞經濟學與人工智慧的交互展開,詳細探討了AI提升社會福利和商業效率的應用,具體例子包括:百度廣告拍賣、淘寶刷單、滴滴拼車和甘肅水權交易。

在有關水權交易方面,唐博士說,水權交易的目標是最大化社會福利,讓乾旱地區水資源相對充足的村莊,願意和資源不足的村子進行交易,最大化雙方的收入。

同時,目前他們也正在幫淘寶減少刷單,新系統的表現比AlphaGo高出了大約25%。另外,唐博士也在幫助百度設計新的廣告模型,他說,百度在演算法上和谷歌沒有任何差別,但是百度需要在廣告主質量挑選上進行優化。

唐平中博士發表演說

以下為演講全文:

大家下午好,今天我給大家分享的內容是關於AI在經濟學當中的應用,大家可能在國內主流的媒體上經常看到一些計算機視覺上的應用,但是經濟學上的應用也很重要,我會介紹三個重要的應用場景。這三個場景是水權市場、電商刷單和廣告拍賣,第一個從政府的角度或者說從學術界的角度來介紹,是一個對社會有益的事情,第二、第三是商業應用場景。

首先我說一下什麼叫AI+經濟學,顧名思義就是AI和經濟學的交叉學科,在學術界已經有很多年的歷史了,也是我國最近的一個國策。李克強總理在政府工作報告中提出了互聯網+,最近還有一個AI+,是科技部提出的發展策略,也是我們國家五年計劃的一部分。AI和互聯網+在我們國家的戰略發展地位都是非常重要的。這裡面的研究也好,應用也好,主要有兩個方面,第一個是應用AI的一些技巧,把一些經濟學的模型或者經濟學的理論運用到實際場景中。第二個就是把經濟學用在AI,用經濟學幫助演算法設計。

今天的演講主要圍繞著大規模機制設計(large scale applied mechanism design),大家不知道沒有關係,就把它理解成大規模的資源分配和定價就好。這是AI和經濟學交叉學科上一個非常重要的研究課題,也是一個應用場景。有三個應用,可以分為兩個部分,第一個是水權市場,主要用到的理論工具叫做合作博弈,這一部分的目標是為了最大化社會福利,讓整個社會變得更好。第二部分包括後兩個應用,也就是淘寶的流量分配和百度的廣告定價,這些當然是從公司的角度去優化,裡面用到的是非合作博弈,目標就是為了優化公司的收益。

結合人工智慧和博弈論——水權市場的設計

水權市場的設計相對學術一些,是我們參與的一個甘肅省水權市場的設計。

首先我需要介紹兩個背景,第一個叫做演算法機制設計,這個演算法機制設計是什麼呢?要設計一個演算法,滿足經濟學的一些限制。這在學術界有一系列的工作,一個叫VCG機制(VCG mechanism),一個是分配遊戲(assignment game),這是一個經濟學裡面的模型。先舉個例子,比如說我跟你進行房屋的買賣,我們兩個人的收益都得到提升,我們的收益提升要作為整體共同考慮。當目標是最大化整體收益,就是需要找一個交易來最大化整個社會的福利之和。可能這看起來就是一個非常典型的演算法設計問題,大家上大一的計算機演算法課程就學這個,這個為什麼與經濟學有關?

在設計市場的時候,有個非常重要的經濟學限制,叫做Core。作為一個市場設計者,如果發現一部分的買家和賣家從設計的市場中脫離進行私下交易可以獲得更大的收益,那麼就可以判斷,他們肯定會離開這個市場。現在大家經常看到有些公司,有一些副總帶著一堆技術骨幹從公司跑出來,因為他們覺得,從裡面出來會讓他們的收益更高。Core是市場設計上一個非常重要的經濟學限制,它保證在你設計的市場沒有一個交易方願意離開,它有多重要?經濟學家Shapley憑藉它獲得了2012年的諾貝爾經濟學獎。

中國水權市場已經有了非常正規的交易機構了

這個房屋市場有一個非常好的性質:不需要經濟學,只需要知道演算法設計,找一個最大化匹配(Maxmium Matching)就可以實現目標了:任何一個最大匹配都對應於一組交易價格,使得全體交易方都滿足core的性質,即不願意從指定的匹配中離開進行私下交易。換句話說,不知道經濟學沒關係,所以只需要知道最大匹配演算法就夠了。這個經濟學性質也應用到很多其他的互聯網場景中,比如說廣告拍賣。我們現在來說一下這個性質對水權市場的設計有什麼作用。

什麼叫水權市場?水權市場是我們國家西部一個非常常用的解決乾旱的辦法。每年年初,政府會給各個村派一些水,一段時間過去,有的村需要更多水,有的村不需要那麼多,他們會用水進行交易,這就是所謂的水權市場。

從理論上看,這和剛才我說的那個房屋買賣的雙邊市場是相通的。不同的是,這裡有一堆賣家買家,而且這裡面有一個非常核心的限制,從演算法上是非常難解決的——交易的數量,要麼是零,要麼要大於一定的噸數,比如說我現在兩個村進行交易,我們不能只交易兩噸,我們要麼不交易,要麼大於50噸,因為一個交易有非常高的管理成本和運輸成本。

所以有了這個限制之後,之前的那一套經濟學的理論都不起作用了,所以我們需要重新算一個最大化匹配,這個在演算法上都是比較難解決的。我們一系列的工作也是圍繞這個新問題展開,徹底解決了演算法上和經濟學性質的問題。

現在我們演算法的簡單版本在甘肅省西營灌區使用。據當地初步調查顯示,交易量、成交量都有顯著上升,最大一個特徵是村民更加願意去做這個水權交易,因為價格設置得更加合理。這就是AI+經濟學在民生中的一個應用。現在這個項目我們是跟清華水利系一起做的。最近也有一個草案,力爭推動實現全國範圍的水權交易。

這是第一個工作,相對學術,並且是服務於社會的,接下來說兩個資本驅動的。

高頻交易優化淘寶演算法限制刷單,系統表現比Alphago高出25%

高頻機制(High-frequency mechanism)針對高頻場景。有哪些高頻的場景?比如說淘寶,每秒鐘有成千上萬的用戶在打開淘寶搜各種商品,這個顯然是一個高頻,百度的廣告拍賣是另一個高頻的場景。

在淘寶上設計買家流量分配演算法,主要是做什麼的呢?比如說淘寶有一個買家,想要買某種物品,在淘寶上搜索,出現了很多賣家,你可能會想,這個不是買家自己願意點誰就點誰嗎?

不是,淘寶提供一個商家排名,這是淘寶控制的,我願意把這個賣家排在第一,把那個排在第二。排在第一和第二,就在非常大的程度上決定了買家會點誰,他不可能會點第10頁的賣家。可能每秒有一萬人次的買家訪問,在做這個排名的同時,也就完成了買家流量的分配,把多少買家分配給這個賣家。

在這個場景當中,現在學術界工業界沒有一個好的演算法去分配流量,現在用的都是一些傳統的——純經濟學、或者一些純AI的演算法,純AI的演算法包括推薦演算法。這些演算法使用之後都不是最優的。大公司像淘寶、百度、臉書,谷歌,每個公司都要大概幾百人的團隊來優化這些演算法參數,每天都在調,調了以後,有時它的收入一下子會上去,不調就會下去,所以必須做這件事情。調參數的價格很貴,人力成本很高,而且不一定有效果,所以需要用人工智慧的辦法來解決,目前沒有智能的辦法調參。

我最近提出的強化機制設計(Reinforcement mechanism design),關注怎麼樣把機器學習、強化學慣用在機制設計當中。第一個場景就是電商流量分配,每秒鐘有幾萬個買家來訪問淘寶,我怎麼樣把這些買家分配給這些賣家。現在工業界的做法是,賣家定一個價,根據這些價格設計一個機制和演算法,算出來一個排名。這個排名出來以後,賣家在今天結束的時候會看我今天賺了多少錢,然後優化這個定價,這些賣家也會調商品展示,排名第一的可能不會調,排在第二個的賣家可能會降個價,讓它的產品有新的排位。

這裡有個什麼問題呢?傳統的演算法,淘寶用的演算法,叫做推薦演算法,沒有用到任何經濟學的東西,帶來了一個非常大的問題叫刷單,刷單分為好幾種,其中一種就是賣家反覆調它的價,讓它的成交量得到提升,有高的成交量之後,會在將來排在最前面。比如這兒有一種龍井茶,一斤才35塊錢,這是為了讓它的成交量迅速得到提升,當你下個月搜的時候會排在淘寶第一,但是價格已經變了,商家可以賺很多錢。推薦演算法是無法意識到這些的,它是通過成交量高進行排名,並沒有想到賣家並沒有誠實地公布成交量的信息,這是刷單刷出來的。所以這裡面有對經濟學的剛需,怎麼樣設置流量分配演算法,讓這些賣家不要刷單。

媒體曝光淘寶商家刷單(圖:視頻截圖)

之前做了一個純經濟學的演算法,淘寶發現非常難用,我們最近和淘寶合作的工作就是AI+經濟學的演算法。它做的事情就是讓淘寶擁有決定權(decision maker),每輪輸出一個排名,這些賣家看到這些排名之後,向淘寶反饋一個價格,隨後系統則統計雙方所獲得的利潤。隨後進入下一輪循環。

這裡用了一些非常新的人工智慧模型來模擬這些賣家腦子裡在想什麼。有了這個之後,我們通過了一系列的機制,在淘寶這樣的平台上完成自動優化排名系統,這是我們的神經網路的設計。我們的演算法效率大概比AlphaGo團隊deepmind的演算法高了大約25%。

百度的廣告定價

接下來就花點時間說一下我們的第三個應用:怎麼樣在百度上給廣告拍賣進行定價。百度很大一部分收入是從廣告來的,像臉書也是,谷歌也和百度差不多。所以優化廣告收入,對他們來說是最重要的事情。

這也是一個高頻機制,比如每秒都有大量的用戶搜索「電腦」,百度會在前三位顯示三個關於電腦的廣告。 首先百度設計一堆廣告的機制,然後有了這堆廣告的機制和參數之後,這些廣告主會看到一些KPI,比如說我今天的廣告展現了多少次,有多少次的點擊,有多少轉化,看到之後會調整廣告出價。讓它進入第二輪,這跟剛才差不多。這個問題當中,決策人(decision maker)當然就是百度,它需要調的參數是什麼?它需要調的參數是所有拍賣的定價,就是所謂的一個保留價,目標是長期利潤。

這是我們的一個強化機制設計的一個模型,把機制設計和強化學習結合起來,就是我剛才描述的這一整套過程,當然也用了一堆最新的人工智慧的演算法,然後去尋找最優的保留價。在學習廣告主模型的時候,我們用的是比較經典的RNN模型。

我們對廣告主的建模還是學得非常的準確的,直接來看模擬效果,新設計的技術給收益帶來一個40%左右的提升。當然這裡面有一些水分,我們用的是模擬,廣告主的建模是基於我們自己深度學習學出來的模型,線上的時候,會有一些新問題,那個也是我們最近在解決的問題,但是可以說,收益的提升還是很明顯的。

鄭州市一展會上的百度推廣大幅廣告牌@視覺中國

滴滴拼車定價

最後,我們現在做的工作是和杉數科技一起給滴滴做的拼車定價,這是非常有意思的工作,我對這個工作特別感興趣。

大家不知道有沒用過拼車,就是打開快車的界面,左邊有個叫拼車,非常奇怪,定價是一口價,不管拼沒拼成,都是這麼多錢,按理說我拼成了我應該付少一點,我沒拼成就付多一點,現在是拼沒拼成都是18塊錢。這就有個問題,滴滴希望乘客拼成,因為能收兩倍的錢,如果拼不成滴滴會虧非常多的錢,因為拼車的價格比快車的價錢便宜很多。但是乘客不希望拼車,因為自己坐一輛車多舒服,所以有一個這樣的利益衝突。

我們跟杉數合作,提出了一套比較好的演算法,就是所謂的「兩口價」演算法。拼上是一口價,拼不上是另外一個價,這樣雙方的利益就統一起來,而不是之前的對抗。這個策略制定之後,當然後續會有很多相應的演算法去計算最終的價格。所以說利用一些人工智慧和經濟學一些技術,我們在這兩個方面幫助滴滴做了一個非常好的優化,既改善了民生,也提升了一個公司的收益。

今天我要說的就是這麼多,謝謝大家。

拼車訂單量和佔比的時間分布(圖:央廣網)

在演講結束之後,觀察者網還獲得了一個向唐博士提問的機會。

觀察者網:非常感謝唐博士接受我們的提問。您在演講中說到了電商刷單的問題。我在網購的時候也發現了很多很離譜的銷量表現。比如一台售價上萬元的自行車,銷量超過一萬,評論數百條。對此,淘寶京東等電商有沒有什麼應對措施?

唐博士:總共有兩種刷單,一種我剛剛說過了,就是讓產品在這個月定一個超低價,獲得足夠人氣,下個月把價格調回來,同時還在搜索頁上排名第一,進而獲得大量利潤。第二種是在網上僱人,然後假交易,給假客戶郵寄一個空的包裹,寫一段評價。實際上交易根本沒有發生。傳統的防刷單用只是監視售後評價,機器演算法監視可疑的交易,然後詳細調查,跟進調查主要基於人工,花費非常高,準確率也非常低。無法從本質上解決問題。

我們的目標是在動機上解決刷單,讓刷單的收益少於刷單的成本。上述的兩種刷單都是有成本的。基於我們的演算法,商品不會一下子排到第一名,而是慢慢上漲。這樣刷單的成本變相上升。

觀察者網:那麼會不會有這種情況,比如一個商戶推出新產品,或者營銷手段了得。所以商品排名能夠真實上升很多。如果新的機制讓商品排名無法真實反映熱銷程度,這樣會不會傷害電商和賣家。

唐博士:電商稱這個是「商鋪翻新」,或者上新的能力。這也是演算法需要優先考慮的一部分。上新能力越強排名越高。

在圓桌論壇和問答的環節中,唐博士和其他嘉賓也回答了有關人工智慧的問題。

杉數科技首席科學家葛冬冬博士補充了唐博士有關於滴滴的系統問題,他說:滴滴的分單,在2015年初的時候,當時我們公司還很小,就和滴滴討論過問題,比方說顧客和司機是不是匹配,他們用機器演算法已經算得很好了,接下來一個事情就是怎麼分配,不光是最近的乘客分給最近的司機,或者兩個合眼的分到一起去。上海市一秒鐘有幾萬個訴求的高峰期,怎麼進行分配,來實現一個全局優化,達到協調運力,緩解局部運力進展,最大化社會效益。這個問題,最後寫出來又是幾萬,或者幾十萬變數,也是1秒鐘之內解決,而且每一秒完了下一秒又出來了,當時滴滴要求0.1秒就能做到。設計一個比較好的匹配,整體裡面有大量優化技巧在不停地實現,背後都是AI的技巧,各方面的,運籌學,經濟學或者博弈論,方方面面的知識運用都很需要。

還有人提問,百度的廣告系統飽受非議,相對於來說,谷歌的系統比較好一些,請問在演算法上,雙方有什麼區別?

唐博士:首先百度去年做了一次調整,把整頁的廣告的數量縮減到4個廣告,所以現在頁面美觀非常多,就演算法而言,他們在技術細節上沒有區別,區別主要在於中美廣告主的質量和平台對廣告主的甄選上。

在百度搜索醫院,前幾條的搜索結果

提問:AI未來的發展是在哪個方面?

唐博士:我們利用一些優化的技巧,能夠幫一些企業做一些非常好的決策。在很多的場景裡面,可能一開始只是一個公司領導拍腦袋想了一個決策,這個沒關係,我們現在能做一件什麼事情——可以檢查這個決定所產生的後果。比如說我做了一個資源分配,給員工獎金,或者給淘寶流量分配。現在能夠得到的一些結果,收集很多數據。利用這些數據來改進我們之前所做的決定的表現。我覺得這在接下來的很多領域會持續地用到,所以這是我比較看好的一個領域。


喜歡這篇文章嗎?立刻分享出去讓更多人知道吧!

本站內容充實豐富,博大精深,小編精選每日熱門資訊,隨時更新,點擊「搶先收到最新資訊」瀏覽吧!


請您繼續閱讀更多來自 觀察者網 的精彩文章:

崔永元又給自己加戲,能不能理性討論下轉基因?
定了!9月起複興號提速至350公里 北京到上海只需4.5小時
中國為了連上互聯網都付出了哪些代價?
《我的前半生》羅子君這麼容易就成功,對得起職業女性嗎?

TAG:觀察者網 |

您可能感興趣

全球最大奢侈品電商Yoox Net-A-Porter被Richemont集團100%收購
Off-White 和男裝電商 Mr. Porter 推聯名系列,多達 44 款
盤點2019年巴西十大電商平台:Mercado Livre和Americanas.com完勝亞馬遜
韓國cafe24是什麼?Cafe24電商平台優勢及介紹
Zara 母集團去年投資 18 億歐元拓展電商,以及,Pharrell Williams 發新書|浮華日報
電商Shopify宣布增加ARKit 2的AR Quick Look支持
拉美電商巨頭MercadoLibre獲PayPal和Dragoneer 8.5億美元投資
NexTech的WebAR電商解決方案登陸Shopify、WordPress平台
爆料:eBay或將以2億美金投資印度電商平台Paytm Mall
印尼電商Tokopedia齋月創下新紀錄:13億美元的商品總成交額
中東眼鏡電商Eyewa宣布獲得750萬美元A輪融資,表態無懼Souq、Noon
阿聯酋支付公司Network International推出新電商平台Go-Online
電商門戶網站商品品類多級聯動SpringBoot+Thymeleaf實現
Facebook X Shopify 跨境電商白皮書
10大電商平台主宰印尼市場,Lazada和Shopee都被它打敗了
Walmart 拿下印度電商 Flipkart 75% 股權,Amazon 可能再度兵敗亞洲
蘋果已重新開始生產iPhone X,中國電商集體封殺D&G
Office Depot發布Q1財報:B2B銷售額佔比57.3%,還將繼續加大投資電商業務
阿里巴巴與全球最大奢侈品電商平台 Yoox Net-A-Porter 達成合作
《Facebook X Shopify跨境電商白皮書》早知道