實施計劃:我們是怎麼做采雲間DPC遷移方案的?
遷移計劃概述:
第一階段:前期溝通&準備
1、請先熟悉Dataworks的相關操作,比如節點的新增、執行、調度運維等相關操作;
2、本次遷移只把用戶在采雲間裡面的任務遷移到DataWorks裡面,需要用戶提前確認采雲間用到的odps項目在DataWorks中是否已經創建且可用;如果用戶在采雲間有多個odps項目,且用這在odps項目上運行的節點存在依賴關係,需要確保這些odps項目是在一個租戶空間中
3、第二個DataWorks項目裡面已經存在節點,需要把所有的節點備份一次(這個操作我們會幫忙處理);
4、確定具體的操作時間,這個操作時間內用戶不能有任何的增、刪、改動作,操作完成之後的所有增、刪、改需要自己去DataWorks同步,不會再有增量的遷移;
第二階段:遷移方案
遷移時間計劃:
【遷移前確定遷移時間】采雲間遷移,遷移完成後會把根節點設置成暫停
【遷移完後提供一個星期的時間讓用戶驗證】用戶確認遷移效果,驗證數據(建議用戶在Base上通過補數據比對幾天之前的數據來確認是否一致,然後隨機採樣的方式來驗證)
效果確認完成之後通知到我們,我們這邊會把所有采雲間上的根節點暫停(遷移完成後預留1個月之後下線、刪除)
DataWorks上面根節點需要用戶設置成啟動調度,提交到調度;
遷移內容:
IDE遷移
–資源、函數會遷移到IDE中
–采雲間IDE中的file遷移至DataWorks的IDE腳本文件
–已發布節點遷移至DataWorks的工作流節點
–不劃分工作流Flow,按照節點關係一對一遷移,會根據設置的project把節點遷移到對應的project中;
調度遷移
- 任務類型:Virtual、ODPS SQL、CDP同步
數據源遷移
- 根據同步任務設置的鏈接方式生成數據源
驗證注意事項:
–鑒於同步任務比較多,數據導入和迴流任務的驗證要注意不能影響生產庫。
–生產驗證時間為一周,拖的越久影響越大,最好在一周內完成系統割接。
第三階段:驗證
遷移後的驗證分為2步:
? 遷移團隊進行遷移後的告知客戶;
? 客戶介入驗收工作,驗收周期1周,請客戶務必在1周內內完成驗收工作(否則新增數據可能會導致問題);
※分布式服務Dubbo從入門到「精通」之Schema實現
※阿里人工智慧實驗室王剛:找到合適的應用場景是實現人工智慧商業化的關鍵點
※淺談Greenplum的Boolean類型與Text類型之間的轉換
※簡易數據恢復方案實戰:流程和工具
※高清大圖!淘寶造物節,「奇市江湖」里那些腦洞大開的創意產品
TAG:雲棲社區 |
※曹操只說一句話,就定了呂布與趙雲間的排名,你是這樣認為的嗎?
※我在雲間給你寫信——鼬to佐助
※飛機餐製作過程竟然如此嚴苛:雲間美味是這樣煉成的!
※一場半馬測試過後,他說這雙鞋帶著他浮在了雲間
※關於古詩詞的借代 雲間趙盾不是人,青州從事什麼鬼?
※火影忍者:我在雲間給你寫信——鼬to佐助
※直擊老版西遊記拍攝地,原來仙氣不是特效還這麼美,猶如天上雲間
※針對C端選擇難,雲間深造打造零門檻操作的VR家裝以提升硬裝實體門店銷售效率
※羅馬嫁日婚慶:水雲間,婚禮就是這樣浪漫
※住在這個「輕侘寂」風的美學空間里,讓人猶如生活在雲間
※歸隱桃花源,你是水雲間
※雲間煮水,松下論茶,如何活得像古人一樣悠然清雅?
※心中若有桃花源,何處不是水雲間。
※官家肉食謀雖遠,可識雲間杜拾遺?
※逆亂白衣:當初多少夢,零落水雲間
※卒遇迴風起,吹我入雲間
※詩詞丨心中若有桃花源,何處不是水雲間
※超獸武裝:夜凌雲間接讓鬼王變強,自己又是最強之盾!
※早讀丨心中若有桃花源,何處不是水雲間
※瓊瑤劇《梅花烙》《水雲間》《婉君》之愛,為何我看不懂?