平方公里陣列射電望遠鏡數據處理能力研究獲進展

近年來，全球最大的天文學國際合作項目「平方公里陣列射電望遠鏡（Square Kilometre Array，簡稱SKA）」已被列為我國重點發展的大科學工程。SKA取得預期科學成果的關鍵在於科學數據處理能力。SKA超大規模的數據運算遭遇到I/O吞吐和數據實時存儲的限制等重大瓶頸問題，常規的數據運算解決方案是採用I/O並行化來提高數據讀取速度，但對於SKA產生的海量數據來說，大規模並行存儲底層I/O技術成為SKA科學數據國際工作組亟待攻克的重大技術難題之一。

在中國科學院院士武向平指導下，中國科學院上海天文台研究員安濤帶領的SKA科學數據處理團隊和澳大利亞國際射電天文研究所（ICRAR）教授Andreas Wicenec領導的團隊合作開發基於ADIOS的並行Casacore Table Data System (CTDS)。合作團隊開發了Adios Storage Manager (AdiosStMan)數據存儲管理系統以作為中間件來實現天文數據處理軟體與並行化I/O的連接，相對於已有的主流射電天文數據處理系統，AdiosStMan在數據底層採用了全新的I/O並行機制以實現高吞吐量的海量數據存取，從而有效地降低了在開發SKA科學數據處理器原型中所遇到的I/O瓶頸，並解除了當前射電天文數據處理系統在SKA數據處理管線系統中進行二次開發存在的限制，為SKA大規模並行存儲底層I/O技術的開發提供了必要的經驗。

在該項合作研究中，上海天文台承擔了AdiosStMan後期的升級任務，本次升級最大的改進是將最大可寫入Casa數據表的尺寸提高到TB量級。目前已經完成了改進版本並在澳大利亞Pawsey高性能計算中心的Magnus超級計算機上完成了性能測試，本次測試中可寫入Casa數據表的尺寸已達到324GB（其中單節點的內存為128GB），在目前硬體平台上實現了100Gb/s量級的數據寫入。該升級版本使用了多次打開ADIOS文件列的方法，從而有效地解決了原有版本對物理內存空間依賴的問題，突破了長期以來困擾的大規模數據並行讀寫的難題，使得AdiosStMan從概念驗證階段上升至實用樣機階段，該技術已達到國際領先水平。合作團隊中的青年技術骨幹勞保強和王若楠已將該改進版本發布至GitHub的SKA科學數據處理共享平台，得到了國際同行的重點關注。

本文轉載僅僅是出於傳播信息的需要，並不意味著代表本網站觀點或證實其內容的真實性；如其他媒體、網站或個人從本網站轉載使用，須保留本網站註明的「來源」，並自負版權等法律責任；作者如果不希望被轉載或者聯繫轉載稿費等事宜，請與我們接洽。

請您繼續閱讀更多來自 今日科學 的精彩文章:

※揮發性有機廢氣生物處理技術研究進展
※我國反滲透複合膜技術獲突破 提升水處理技術
※AR智能眼鏡加速機場地面處理
※技術分享‖熱處理爐溫度測量與管理
※燃煤電廠脫硫廢水處理技術研究與應用進展
※針對監測技術思考現行土壤環境質量標準及前處理方法
※垃圾滲濾液處理技術特點及發展趨勢
※智能手機進水 教你正確處理小竅門
※畫冊設計中的細節處理方法
※內生性處理方法與進展，可以用叱吒風雲來讚歎
※淺談有機廢水處理方法與技術
※牆面處理詳細步驟 牆面處理四大方式！
※能以光速進行深度學習的納米光子處理器
※兩部門：推進環境監測、垃圾處理等設施向公眾開放
※函數與預處理
※這款太陽眼鏡擁有為集成微處理器提供電力的太陽能電池
※打開正確處理鼻血的方法
※會引發凶兆的辦公室風水布局與處理方法
※技術突破！高通正在研發一款性能超強的處理器