當演算法認為你想死，這時怎麼辦？

令人不安的是，英國少年Molly Russell 在2017年自殺之前在網上尋找自殺和自我傷害的圖像。但後來發現這些圖像也被送到她那裡，由她最喜歡的社交媒體平台推薦。她的Instagram Feed充滿了他們。即使在她去世後的幾個月內，Pinterest繼續發送她的自動電子郵件，其演算法自動推薦自我傷害的圖形圖像，包括大腿的斜線和掛著的年輕女孩的卡通。她的父親指責Instagram和Pinterest 通過在他們的平台上允許這些圖形圖像並將它們推入Molly的飼料中來幫助殺死他14歲的女兒。

莫莉的父親令人沮喪的發現推動了像Instagram和Pinterest等社交媒體公司正在加劇年輕人「 精神健康危機 」 的論點。社交媒體可能是「 自殺一代 」 崛起的一個因素：英國青少年的自殺率是八年前的兩倍。在Molly Russell去世之後，人們一直呼籲改變。例如，英國衛生部長馬特漢考克表示，社交媒體公司需要「 一勞永逸地清除這些內容 」，並威脅要起訴未能這樣做的公司。面對這種激烈的批評，Instagram已經禁止 「圖形自我傷害圖像」，超越了他們之前的規則 只是反對「美化」自傷和自殺。

但簡單的禁令本身並不能解決一個更有害的問題：社交媒體平台不僅會託管這些令人不安的內容，而且最終會向最易受攻擊的人推薦。推薦是一種不同於動物的動物。越來越多的學術文獻證明了這一點：無論是自我傷害，錯誤信息，恐怖分子招募還是陰謀，平台所做的不僅僅是讓這些內容容易找到 - 在重要方面它們有助於擴大它。

我們的研究探索了如何向Instagram，Pinterest和Tumblr用戶推薦促進飲食失調的內容。儘管針對任何促進自我傷害的內容有明確的規則，並且儘管阻止了特定的主題標籤以使該內容更難找到，但社交媒體平台仍在繼續以演算法方式提供此內容。社交媒體用戶會收到建議 - 或者，正如Pinterest親切地稱之為「你可能喜歡的東西」 - 旨在為他們提供個性化的，據稱更愉快的體驗。搜索家庭靈感，很快平台將使用油漆樣本的圖片填充您的飼料，並推薦業餘室內設計師為您服務。這也意味著，用戶越多地尋找促進飲食失調或張貼自殘圖像的帳戶，

建議會向您展示您不一定希望看到的內容 - 以及越來越多的內容。

正如莫莉的父親所發現的，這些推薦系統沒有區別對待。社交媒體向您展示您「可能喜歡」的內容，無論您喜歡與否，即使它違反了平台自己的社區準則。如果你是一個尋找自我傷害圖形圖像的人，或者即使你只是跟隨那些坦率地談論他們抑鬱症的用戶，這些推薦系統將為你的飼料填寫建議，重塑你如何體驗自己的心理健康。建議會向您展示您不一定想看到的內容，以及越來越多的內容; 他們可以使用你的Instagram探索頁面，你的Pinterest主頁，你的Tumblr儀錶板。社交媒體賬戶可以迅速成為一個充滿樂趣的鏡子，不僅可以反映您的心理健康，還可以放大和扭曲它。

當然，如果他們的禁令是完美的，那麼建議將僅包括社交媒體提供的最可接受的內容。顯然情況並非如此。這不是因為缺乏嘗試。內容審核非常困難。可接受和令人反感的界限總是模糊不清; 未經訓練的審稿人只需幾秒鐘即可在「促進」自我傷害的內容和可能有助於恢復的內容之間劃分界限; 每天都有成千上萬的新帖子，日復一日，有些東西肯定會漏掉。自我傷害只是精神疾病的一種表現。雖然Instagram可能會承諾對描述自我傷害的內容進行打壓，但其他人仍然存在。

禁令不僅不完美，而且可能對自身有害。許多努力實現自我傷害或自殺傾向的用戶在網上找到了巨大的情感和實際支持。社交媒體可以為他們提供支持性的社區，寶貴的建議，以及一種解脫和接納的感覺。這些社區有時會參與可能震撼他人的圖像流通 - 作為某人痛苦的見證，是倖存下來的榮譽徽章，是求助的呼聲。一攬子禁令有可能擠壓這些社區的存在。

問題不僅在於使圖形內容消失。平台需要更好地識別內容何時適合某些人而不是其他人，當找到您搜索的內容與被邀請查看更多內容不同時，以及何時對個人有利可能對整個公眾不利。

我們並沒有充分討論推薦系統，也許是因為它們現在已經非常普遍，或者可能是因為大多數用戶仍然不了解它們的工作方式。我們可能會嘲笑Facebook推薦我們已購買的亞馬遜產品。我們可能不喜歡Spotify認為我們想要更多悲傷的歌曲，因為我們曾經玩過一次James Blunt。但研究人員開始就推薦如何運作開展更為認真的對話。在「壓迫演算法」中， Safiya Umoja Noble批評谷歌在其搜索結果中放大了種族刻板印象。Twitter和Tear Gas的作者Zeynep Tufekci強調了YouTube放大陰謀理論和極端主義內容的傾向，認為其推薦演算法「以不斷增加賭注的方式宣傳，推薦和傳播視頻。「我們需要更多這樣的對話，特別是這些建議對經歷精神健康危機的人們的影響，這不僅承認自我傷害的圖像是可用，但遇到相同的內容是多麼困難 - 或者更糟糕 -一次又一次。

在電報專欄文章中，現在經營Instagram的亞當·莫塞里承認，該平台不是「 需要處理自殺和自殘問題。」Pinterest發言人告訴我們：「我們現有的自我-harm政策已經不允許任何促進自我傷害的事情。但是，我們知道政策是不夠的。我們所做的比我們說的更重要。我們剛剛進行了重大改進，以防止我們的演算法在用戶的主頁Feed中推薦敏感內容。我們將很快採用更主動的方式來檢測和刪除它，並為尋找它的人提供更多富有同情心的支持。我們知道我們不能單獨做到這一點，這就是我們與心理健康專家合作，使我們的方法更有效的原因。「

但是，真正的變化將變得很難：建議已成為社交媒體將用戶留在網站上並點擊的主要手段。它不太可能消失。並且這些演算法經過優化以滿足個人用戶的個人需求; 為集體利益優化它們要困難得多。社交媒體公司還需要更多關於心理健康的內部知識，以更好地判斷如何處理令人反感和有價值的內容，並更好地認識到這些平台可能對精神疾病患者造成的影響。這是Instagram 承諾的舉措，他們必須堅持到底。

我們還迫切需要將有關社交媒體及其推薦系統的知識整合到心理健康治療中。我們需要健康專業人士更多的認可，人們不只是在尋找內容：他們的詢問正在得到回答，他們通過他們的提要，通過他們的電子郵件，以及社交媒體公司試圖取悅和保留的多種方式提供他們的用戶。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！