php 工程師執行 redis keys×導致資料庫宕機,造成損失 400 萬元
科技
09-20
某公司技術部發生2起本年度PO級特大事故,造成公司資金損失400萬,原因如下:
由於php工程師直接操作上線redis,執行keys * wxdb(此處省略)cf8*這樣的命令,導致redis鎖住,導致CPU飆升,引起所有支付鏈路卡住,等十幾秒結束後,所有的請求流量全部擠壓到了rds資料庫中,使資料庫產生了雪崩效應,發生了資料庫宕機事件。
該公司表示,如再犯類似事故,將直接開除,並表示之後會逐步收回運維部各項許可權。
※又一個 AI 預測世界盃冠軍是「德國」
※何曉陽辭去 OneAPM 工作,創立區塊鏈項目 Lambda,已獲兩輪融資
TAG:雲頭條 |