LinkedIn產品負責人：管理產品團隊的密碼

職場 06-26

眾譯小組

王素婷、康康、Tailynn、Freeman、劉志金、Kelly、EMI、汪瑾立、程瑤、湯淼

劉姍（合成）

來源：first round review

知識普及：何為A/B測試？

所謂 A/B 測試，簡單來說，就是為同一個目標制定兩個方案（比如兩個頁面），讓一部分用戶使用 A 方案，另一部分用戶使用 B 方案，記錄下用戶的使用情況，看哪個方案更符合設計目標。

知乎的回答：https://www.zhihu.com/question/20045543

在他職業發展過程中，Instacart產品的副總裁 Elliot Shmukler 在諸多行業見識了人與產品之間如何進行相互作用和相互影響。例如，前Wealthfront和Linkedin的產品領導者都知道，人們在財富和事業之間的抉擇是與情感因素相關的。他也在產品經理追求想法實現的過程中看到了同樣的動態變化，特別是那些涉及創業企業的貨幣資產的行為。根據這個公式，不同的產品經理形成不同的風格，在縮短產品發射窗口（launch window）和減小聚合的壓力方面有不同的處理。這造就了為何Shmukler堅定支持A/B 測試，不僅將之視為得力的產品開發策略，更將其作為一種有效的管理工具。

在eBay期間，Shmukler主導推行了A/B 測試的運用，藉以改進eBay的搜索體驗，並開啟了eBay快遞業務——eBay當時最大的一筆賭注性投資。在領英（Linkedin），他領導了一支15人的產品團隊，其業務貢獻了領英將近一半的網頁瀏覽量。在擔任Wealthfront產品VP時，Shmukler不僅幫助這家創業公司將其客戶資產由1.5億提升到超過30億，還開創了稅收優化直接指數化平台(Direct Indexing)（這是一種稅收優化智能理財平台，基於強大的技術支持實時監測市場變化，並據此及時對資產組合進行調整，並通過對資本利得進行有效抵扣，實現節稅目的）、單只股票分散化服務(Single-Stock Diversification Service)，並發行了第一個移動手機APP。在他職業生涯中，他學會了如何藉助於A/B 測試為產品和團隊獲得最大收益。

在本次採訪中，Shmukler揭示了他為何將A/B 測試作為一種管理體系，並解釋了A/B 測試不僅能提升決策效率，還能幫助團隊有效制定決策的機理。他指出了該管理框架的主要優勢以及挑戰，並說明了如何實施這一管理體系，以幫助創業公司快速發展，任何一個產品或者成長型業務的領導者都可以從其數據驅動模式和團隊管理方式中受益。

兩類決策之說

任何管理體系的核心都是為了制定更好的決策。當人們在考慮更優決策，自然而然地向不同決策參數中更好的傾斜——速度更快、質量更優、價格更低等——但他們忽略了對公司制定的不同類型的決策應進行不同的、微妙的審視。在一年一度致股東的一封信里，亞馬遜（Amazon）CEO Jeff Bezos提及了決策的兩種類型：不可逆轉型（第一類）和可變化型（第二類）。下面是他對它們進行的闡釋。

第1類決策：「某些決定是必然的、不可逆轉的或幾乎不可逆轉的——是一扇單向門——這些決策必須有方法地、有條不紊、仔細、緩慢地進行決定，並經過深思熟慮和協商。這扇門如果你走了進去，雖不喜歡另一頭的風景，但無法回頭。

第2類決策：「但大多數決策不是那樣的，它們是可變的，可逆的，它們是雙向門。如果你做出了一個不太理想的這類決策，你也不必為後果承擔太久的時長。你可以重新打開門再退回去。第2類決策可以而且應該由高判斷力的個人或小團體迅速作出。」

隨著公司的發展，有一種傾向就是廣泛地應用1類決策過程對待每一個選擇，包括一些2類決策。借用Bezos的話，結果將會是一個緩慢的、且瀰漫著輕率的風險厭惡的過程，這將導致實驗的失敗和發明的減少。但同時他強調說，如果2型決策被不加區別地應用，大多數公司則會因為輕描淡寫地做出不可逆的選擇，而在公司壯大之前就滅絕，

Shmukler認為，通用的A/B測試是一個組織專註於使用第2類決策來進行多數選擇的最理想方式。他說，「在傳統意義上，A/B測試是由至少兩個版本的產品：A版，典型的原執行或控制品，和B版，你認為可能會更好的，」Shmukler說。「因此當A/B測試用於第2類的管理決策時，這是很容易有迴旋餘地：如Bezos建議的那樣從門的那頭回到這頭。通用A/B測試甚至可能強調第1類決策在什麼時候是必要的——如果你在測試某個方向遇到了很大的困難，就沒必要來回無結果地測試，你可能需要第1類決策來處理。」

儘管Bezos警告說亞馬遜的掌舵人是「一刀切」的決策，但Shmukler在早期初創公司，特別是產品管理功能方面也遇到了類似的錯誤。項目經理就是產品的CEO，這個觀念是眾所周知的，在決策方面這更是一個確確實實的真相。完成一個產品的過程中，需要在期間有非常強的能力去熟練分解不同的決策。更複雜的是，產品經理會自然而然地將自己的管理風格帶入決策中。

一個管理框架的A / B測試案例

在他的職業生涯初期，Shmukler與他人共同創辦了Sombasa Media，並最終將其出售給About.com。在他的創業公司，他第一次注意到做決策的兩種不同的產品管理方式：遠見卓識和數據驅動的項目經理的方式。「有遠見的項目經理通過直覺來做決策，而數據驅動的項目經理則通過實驗和分析來做決策。」他說：「雖然已經有了很多有效的決策框架，但我想使用一種同時為產品提供最佳選擇，同時也鼓勵我的產品經理們採用不同的思維方式的方法。

對於有遠見的項目經理，當他們知道某些東西可行，並且想將其創造出來的時候，就會迸發出大量的能量。 Shmukler承認，許多他認識的一些遠見卓識的項目經理已成為創始人或首席執行官，因為他們深信能將一些個人的想法大量生產出來。「Reid Hoffman建立了領英來反映他是如此貼近專業網路，以及他關於專業網路應如何在線運作的願景。雖然，這個產品多年來一直在更新迭代，但是還是很大程度上和他最初構想的初衷相符的。

數據驅動的產品經理有系統的發展他們的洞察力，因此在做出決定前不會那麼頑固。「我想把這類產品經理用一個短語來歸納：「強觀點，弱堅持」。他們的立場觀點不太來自他們如何生活，而是在於尋找和收集到新的數據。隨著更多信息出現，他們很有可能修正他們的觀點」， Shmuker說，「對於如何給這類產品經理一個典型的叫法是個挑戰，因為數據就擺在眼前。但你會發現他們往往在成長型團隊工作，在那裡數據早就扮演一個強勢的角色」

對於這兩種風格迥異的類型，領導人通常很難使大家的意見一致來進行產品管理。作為產品負責人，或許很熟悉這樣的場景：一個遠見型產品經理說「我們需要做X」，然而另一個數據驅動型的產品經理說「不， X是錯的。它肯定不行。我們需要做Y」. Shmukler 已經數不清楚多少次面對這種場景——在他的團隊成長時幾乎每天都會遇到。在沒有看到結果前支持任何一方是非常困難的。Shmukler說「與其給出一個裁決意見，不如同時測試兩邊的理論並讓數據作為判官。這種方法咋看之下好像有利於數據驅動的人，但實際上它讓每一個產品經理絞盡腦汁地把他們的主意想透，他們獨立學習，而不是感覺幫他們做了決定」

為了闡明這種方法簡單的有效性，下面是Shmukler如何應用A/B Testing 的一個管理實踐。「一群遠見型的產品經理想改變我們描述公司的方式，特別是我們主頁上的用語。而更傾向於數據驅動的產品經理說他們之前做了很多測試，但是這對於註冊量沒有影響。」他說，為了解決這個問題，有人需要決定是不是需要安排人力物力做這個測試。不管採取是否，都會有人認為你做了一個糟糕的決定。遠見型產品經理會說你太數據驅動了，沒有對遠大目標有個清醒認識；而數據驅動產品經理會說這是浪費時間。普遍適用的A/B Testing就能解決這一問題，不用做出這樣的決定，取而代之的是，大家的理解是任何一個來自值得信任的團隊的想法都將以一種輕量的方式被測試。其產生的結果——而不是由一個單一權威人士——決定這個想法是否需要被進一步深入研究。

在這種情況下，Shmukler要求團隊共同努力測試理論來衡量影響。有遠見的項目經理為主頁寫新的內容，數據驅動的項目經理則接受創建試驗。「試驗需要一兩天來實施，同時我們需收集一個月的數據」，他說，「所有的測試結果都會在一個全公司都有許可權進入的數據表中公布。兩個陣營都很滿意：數據驅動的項目經理得到試驗和做決定所需的數據，有遠見的項目經理可以實現他們的理念。這種特定情況下，新的網頁的語言不會有顯著的影響，不會有生硬的感覺。有遠見的項目經理可以進行調整把精力投入到新的不同的理念。通用的A/B 測試也允許Shmukler對各種各樣的產品理念說「yes」——唯一的限制就是它們需要測試。

「這是一種絕好的方式來完成第2種決策過程，並且避免團隊陷入第1種決策困境，」 Shmukler說「它不僅幫助團隊避開Bezos所說的「一刀切」陷阱，並且可以提升整個組織的實驗研究、自主性及學識。最關鍵的是，它可以鼓勵培養那些嘗試他們的理念，聰慧但與眾不同的項目經理。」不管哪一種理念獲勝，項目經理之間都不會有衝突，因為這個結果是通過權威測試而定，不是由某個權威人士來決定的。關鍵是對每個人它都快速和透明。下面是這種方法的優點和要求：

優點

自主性。我發現這種運行方式一件很有價值的事情就是每個人基本上能將他們的想法變為現實，無論級別和任期。作為經理，我更多是做一個仲裁者而不是獨裁者，所做的是去幫助改進未來的理念。

低風險。「一旦有了某種工具快速進行測試，公司只需要承擔很低的成本去進行實驗，同時實驗行為又降低了整體的風險。如果某個想法很糟糕，或者是有潛在的危害——首先，我們能夠迅速的知道並且不再對這個想法進行深入研究。如果這是一個很不錯的想法，那很有可能不測試就不會發現其好處。

員工敬業度。「這樣會使我團隊的產品經理保持更愉悅的心情，因為他們知道有這麼一個渠道可以採納他們的意見並且證明他們的想法行得通。他們告訴我其通過嘗試大量的想法且從結果中總結學到了很多，也成長的很快。」

改變行為，不僅僅是形式。「這種系統允許被數據驅動的經理們去合理地評估意見，並且讓有遠見的經理們確實地更快「體驗」更多的想法，來更快速的磨練他們的本能」

挑戰

使用者樣本的大小。「在最開始的時候，創業公司需要更多的有遠見的操作模式。為了使這個系統有效的運行，你需要一些引導和用戶數據。這裡沒有現成的經驗法則，但是如果你想圍繞用戶的某個特殊動作進行測試——註冊，點擊一個按鈕或者分享一個帖子——你可能想要每周至少要有上百個人做那個動作。」理想狀態下，為了快些出結果你測試了上千個樣本，並且多種測試同時進行。當然，投入了上百萬的用戶來進行這個實驗，使用這種方法公司也獲得了很多好處。

傳統決策方法。「在我其中一份工作當中，我的公司不知道什麼是A/B測試。相反的他們要求每個人都準備一份詳細的財務影響分析報告，了解每個想法如何滿足需要。對我而言，這無疑是扼殺了想法並且用製造了一堆假設模型。但是有的公司還在採取這種方法。

指標文化，而非圍繞著實驗。「我曾經在一家公司，他們非常擅長每日監管業務指標，而不做A/B 測試或者小實驗。公司把這些高水準的指標體系視為信仰，但當事情的發展方向出現南轅北轍時，他們無法快速地將問題孤立開來。有一次，公司推出了7個均沒有經過A/B測試的發布，當一個巨大的問題浮現時。團隊不得不為了A/B測試重新作更多的調整去發現問題。」

這些年，Shmukler了解到A/B 測試已經作為一種管理工具應用到各種不同的領域而不僅僅是產品開發。「作為成長型和成熟公司，這是在冒險。廣義上來講，人們通常會固執己見，很難說服他們除非僅僅停留在理論價值上，」他說，「但是作為創業型公司，異議主要圍繞著時間和成本。我曾經用這套體系運用在一家20名員工的公司，後來這家公司快速發展超過100名員工。」

Shmukler在大公司和小型創業公司均服務過，他發現，不管公司規模大小，運用這個測試框架驗去操作一項實驗僅僅只會產生非常小的摩擦，因為它不會在時間和成本上產生拖延。這是方法：投資一個輕量級的實驗工具。在Shmukler的實驗中，只需少量的工程師搭建初始工作平台和運行儀錶盤，主導和評估A/B測試。「很多沒有嘗試過A/B 測試的人認為所需資源多於實需。不用一個月的工作時間，創業公司就可以運用A/B測試基本實現自動化。項目經理人可以進行少量工作而最快地得到結果。如果他們想挖掘數據，可以，但必須在完成了核心評估之後。」 Shmukler說。

如果你沒有工程帶寬或入口，還有很多可用的工具。「如果你使用一個像Optimizely這樣的工具，你可能甚至不需要寫任何代碼就能實現A/B測試，」Shmukler說。它會為您處理一切：測試、數據收集和評估。當然，您必須構建不同的指數，但必須在任何模型中完成。如果你使用A/B測試工具，它幾乎不會給你任何額外的工作。可能會有一些成本，但通常有早期初創公司免費增值模式選擇。當考慮到它能幫助你做出正確的產品決策並使你的團隊達成一致時，這是值得投資的。從長遠來看，盲目推出版本總是要花更長的時間。」

如果你還不確定，看Shmukler熱切地進一步解析，「真的，你要做的就是選擇一個用戶，拋起一個硬幣，並且它們放在A或B組中。根據該關聯，您將向用戶顯示不同的頁面或將它們發送到不同的流向，「他說，」在開始時，您可以快速地開發簡單的東西。就是讓實驗跑起來。繼續收集和測試數據——一切為了你的產品。

減少單一決策的測試障礙。讓A/B測試普及意味著讓每個實驗都成為簡單、即時的選擇。「發起測試的摩擦力應儘可能降低。基本上唯一的障礙就是決定測試本身。之後，系統將運行和評估這一切，」Shmukler說。「接下來就是構建非常好的框架。對於工程師來說，你需要一個框架，在這個框架中啟動測試是非常容易的——也許就是幾行代碼來創建一個新的實驗。對於其他人來說，這就是你需要，本質上的，一個放置自動評估測試的內部數據表的地方。

Shmukler建議產品團隊在開展新實驗時可以利用數據表去自動識別新實驗何時完成。他用一個曾經的實驗來舉例說，「這會讓你為這個實驗定下來一個目標。基於這個目標，你會將需要在這個實驗中關注的測量指標全部展現在數據表上。」「數據表能實時將數據展現出來，也能給你一個簡單的紅線或者綠線，提醒你是不是應該繼續追蹤下去或者中止。如果沒有足夠的數據，儀錶盤也能給你一些中立的信息，推進你繼續進展實驗。這是大家都想要的簡單化和自動化，你也不會覺得你在實驗的每一步都在燒錢。」

揭開實驗之間的相關關係：與任何系統相似的是，這一般可以從測量方式去突破。「在領英，我們最終會知曉實驗間的相關聯繫。比如，註冊流程和詳情頁上的實驗會影響其他的結果，這個很難去解釋。不過利用統計方法，可以在你的數據表上展現是否存在有問題的交互作用。這就能讓你去選擇關閉哪一個實驗，讓其他實驗繼續進展下去。如果你在實驗前預期到可能出現的問題，你就可以利用不同的選拔標準去選擇不同的用戶進入不同的實驗，避免實驗之間的交叉影響。」

在領英，Shmukler和他的團隊利用精密的選拔標準去避免實驗之間的交互影響。「我們只能去選擇那些沒有被其他實驗選擇的用戶，保證用戶在一次能接受一個完整的實驗。你只能用複雜的流程去選擇實驗用戶，讓他們多次進行試驗，否則只能結束實驗。「

因為同時進行的實驗複雜度有所提升，數據表必須能很容易被理解。「最棒的數據表只會是最簡單的，它會給你一個指導性的紅線或綠線，但你還是要自己去讀結果。甚至於說，即使實驗遇到了紅線，你也只能再繼續一段時間實驗，以收集足夠的信息去理解為什麼」 Shmukler接著說，「但是當你去測量的時候，你會希望這些解讀越來越少，因為你會將這些信息發布給一個很大的團隊。團隊中成員抽取信息的一致性只會降低。因而，傻瓜式的數據表能保證任何人都有足夠且一致的理解。」

要知道，您的實驗會產生廣泛影響。隨著工具本身的銳化，遠見型和數據驅動的項目經理對A/B測試將越來有信心。「大多數A/B測試都告訴你，不論這個實驗是一個好主意還是一個壞主意，下一步是開發一個數據表，顯示實驗對整個產品或整個公司的關鍵指標的影響，」Shmukler說。「測試並不總是那麼明顯。例如，您可以優化註冊流程的一小部分，並在該步驟完成後看到10％的提升，但這並不一定會轉化為10％以上的註冊，因為並非每個用戶都可能會遇到該步驟。」

隨著測試軟體的能力深化，將實驗結果轉化為最高層次的影響應該出現在每個產品團隊的A/B測試路線圖上。「這將有助於您了解在最高層級的數字中，對單元和組織的期望是什麼。此外，它將幫助人們植根於本公司背景下更好地選擇實驗。更重要的是要知道它是整個產品的10％勝利，還是僅這個產品微不足道的影響。通過反映實驗對業務指標的影響，希望每個團隊能夠建立對這些實驗的意識，使其更有意義的運行。

捆綁在一起

許多初業公司將A/B測試的價值理解為發展產品的工具，但它同時也是更好地發展產品團隊的內在機制。通用A/B測試不僅可以解決不同類型產品經理之間的緊張關係，而且可以讓他們自主地認識自己的個人風格。即使初創公司面臨小樣本和替代系統的挑戰，但輕量級實驗工具的投資始終是值得的。隨著公司和實驗數量的增長，測試軟體也必須採用更簡單的信號，以便任何員工都可以了解全局。

「A/B測試不僅僅會提升產品的速度——對團隊來說也是如此。使用通用A/B測試作為一種管理工具，會向所有平行的項目經理髮送一個消息：聰明的測試想法會脫穎而出，而不管它們是誰的想法」Shmukler說。「不論是一個人獨立快速地前進，或者一個團隊一起走的更遠。這個系統讓你既能雄心勃勃，又能獨立自主。大多數人希望他們的工作兩者皆能兼顧——每個人都期望看到自己的想法變成現實。

? end ?

眾譯小組

翻譯最好的管理文章