神譯局是36氪旗下編譯團隊，關(guān)注科技、商業(yè)、職場、生活等領(lǐng)域，重點介紹國外的新技術(shù)、新觀點、新風(fēng)向。

編者按：決策是行動的指南。不管是個人還是企業(yè)，每天都要面臨著無數(shù)的決策。決策的好壞會對結(jié)果產(chǎn)生巨大影響，如何做好決策是每個人都要上的一門必修課。在Netflix這里，他們采用了一種以實驗為導(dǎo)向的決策流程，先小范圍地對不同方案進行測試，根據(jù)對比效果調(diào)整，從而摸索出普遍適用的決策。他們?yōu)榇诉€在官方技術(shù)博客推出了關(guān)于Netflix如何用A/B測試做出決策的系列文章。本文來自編譯，是系列文章的第六篇。后續(xù)文章還將介紹Netflix對基礎(chǔ)設(shè)施的投資是如何為實驗提供支撐和擴展，以及 Netflix內(nèi)部實驗文化的重要性。

Netflix 是如何做決策的？（一）：介紹

Netflix是如何做決策的？（二）：什么是 A/B 測試？

Netflix是如何做決策的？（三）：誤報與統(tǒng)計顯著性

Netflix是如何做決策的？（四）：漏報與功效

Netflix是如何做決策的？（五）：樹立對決策的信心

實驗和因果推理是 Netflix 數(shù)據(jù)科學(xué)與工程組織關(guān)注的主要焦點領(lǐng)域之一。為了給全公司的重大決策提供直接支持，Netflix 有許多的數(shù)據(jù)科學(xué)團隊會直接跟產(chǎn)品經(jīng)理、工程團隊以及其他業(yè)務(wù)部門合作，去設(shè)計實驗、進行實驗并從實驗中學(xué)習(xí)。為了實現(xiàn)規(guī)?；覀円呀?jīng)建立了一個內(nèi)部實驗平臺（簡稱 XP），而且還會繼續(xù)投資。我們有意識地鼓勵中心化的實驗平臺跟那些數(shù)據(jù)科學(xué)團隊之間的協(xié)作，后者也將跟Netflix的業(yè)務(wù)部門直接開展合作。

Netflix的數(shù)據(jù)科學(xué)家直接跟公司的業(yè)務(wù)部門合作，進行實驗與因果推理，他們對自己所工作的業(yè)務(wù)領(lǐng)域有著深入的領(lǐng)域理解與直覺。擔(dān)任這些角色的數(shù)據(jù)科學(xué)家運用科學(xué)方法改善Netflix當(dāng)前以及未來會員的體驗，并參與實驗的整個生命周期：包括數(shù)據(jù)探索與構(gòu)思；設(shè)計并執(zhí)行測試；分析測試結(jié)果，為決策提供支撐；綜合來自眾多測試（與其他來源）的知識，從而了解會員的行為，并確定創(chuàng)新的機會領(lǐng)域。這是一個科學(xué)嚴謹?shù)牧夹匝h(huán)，測試基于一般原則（演繹）做出的，有關(guān)會員行為與偏好的特定假設(shè)，并概括從實驗中學(xué)到的東西，從而建立起我們對會員的概念理解（歸納）。這個循環(huán)讓我們建議對 Netflix 服務(wù)的各個方面進行快速創(chuàng)新，對我們正在為會員帶來更多快樂樹立起信心，因為我們的決定是有經(jīng)驗證據(jù)的支持的。

這些角色的成功需要具備淵博的技術(shù)技能、主動的態(tài)度，以及對本領(lǐng)域空間具有強烈的好奇心。 Netflix 的數(shù)據(jù)科學(xué)家不懈地向數(shù)據(jù)追求知識，并不斷探索更遠的距離，總是提出下一個問題。 “我們還能從這次測試中學(xué)到什么，好用于下一次測試？” “去年的測試我能夠綜合出哪些信息，好了解明年的學(xué)習(xí)路線圖的機會有多大？” “這個問題還可以得出哪些數(shù)據(jù)和直覺？” “根據(jù)我在 Netflix 的經(jīng)驗，在哪些地方還有機會可以測試和改進當(dāng)前的體驗？”我們期待我們的數(shù)據(jù)科學(xué)家能夠突破實驗設(shè)計與分析的界限：根據(jù)產(chǎn)品特定部分的學(xué)習(xí)議程，還有哪些新方案或方法可以產(chǎn)生有價值的洞察？業(yè)務(wù)合作伙伴也將這些數(shù)據(jù)科學(xué)家視為值得信賴的思想伙伴，因為他們在會員與 Netflix 體驗方面已經(jīng)積累了深厚的領(lǐng)域?qū)I(yè)知識。

以下就是 Netflix 對部分實驗領(lǐng)域，以及每個領(lǐng)域的部分創(chuàng)新工作的簡要總結(jié)。所列內(nèi)容并未詳盡，我們關(guān)注的焦點是那些機會不太明顯的領(lǐng)域。這里所說的機會是指通過實驗去學(xué)習(xí)和提供更好的會員體驗的機會。

Netflix 全公司都在利用 A/B 測試來為當(dāng)前與未來的會員帶來更多樂趣。

增長廣告

Netflix的目標是為全世界提供娛樂！我們的增長團隊在社交媒體平臺以及其他網(wǎng)站上做廣告，分享有關(guān)即將上映的影片以及新產(chǎn)品功能的新聞，最終的目標是增加全球 Netflix 會員的數(shù)量。對于開發(fā)利用因果推理來決定廣告預(yù)算運用方式的自動化系統(tǒng)來說，數(shù)據(jù)科學(xué)家發(fā)揮著至關(guān)重要的作用。

在廣告方面，實驗對象（我們購買的廣告）是 Netflix 的直接貨幣成本。因此，我們對于決策是有風(fēng)險厭惡的，會積極降低購買無法有效吸引新會員的廣告的可能性。在我們這個領(lǐng)域要規(guī)避這種風(fēng)險很有挑戰(zhàn)性，因為實驗往往功效很低（參見第 4 部分）。比方說，我們要靠雙差法來進行比較，對每一個廣告實驗的潛在不同受眾體驗進行公正的比較，而這些方法可以有效地減少樣本量（非常感興趣的讀者可以了解更多細節(jié)https://www.msi.org/wp-content/uploads/2020/06/MSI_Report_15-122.pdf）。解決這些功效降低有一個辦法，就是拉長實驗的時間——但這會延緩整個創(chuàng)新的步伐。

在本文中，我們將聚焦該領(lǐng)域的兩個相關(guān)的實驗問題，并簡要描述我們是怎么在保持高節(jié)奏實驗的同時解決這些問題的。

回顧一下，我們在第 3 部分和第 4 部分描述了兩種類型的錯誤：誤報（或 第一類錯誤）以及漏報（第二類錯誤）。尤其是在實驗功效較低的情況下，其他兩種錯誤類型很可能會發(fā)生，因此，在對具有統(tǒng)計顯著性的測試結(jié)果采取行動時要考慮這一點：

當(dāng)我們觀察到具有統(tǒng)計顯著性的結(jié)果，而估計的指標變化顯示出跟事實相反的信號時，就發(fā)生了S類錯誤（Type-S error）。

當(dāng)我們觀察到具有統(tǒng)計顯著性的結(jié)果，而估計的指標變化大小相對于事實被放大（或夸大）時，就會發(fā)生 M 類錯誤（Type-M error）。

如果測試結(jié)果具有統(tǒng)計顯著性（具有陽性的指標變化）我們就宣布為贏家，那 S型錯誤就會意味著我們其實選擇了錯誤的實驗推廣用于生產(chǎn)，這樣一來，我們未來所有的廣告支出都會產(chǎn)生次優(yōu)結(jié)果。 M 型錯誤意味著我們高估了實驗的影響。短期而言，M 型錯誤意味著我們會夸大結(jié)果，從長遠來看，可能會導(dǎo)致高估了優(yōu)化的預(yù)算水平，甚至把未來的研究方向的優(yōu)先事項都給搞錯了。

為了減少這些錯誤的影響，我們采用了貝葉斯方法對增長廣告進行實驗。我們在這方面進行了很多的測試，并利用了過去測試的指標變化分布作為分析的額外輸入。直觀上（以及數(shù)學(xué)上），這種方法會讓估計的指標變化幅度更小，置信區(qū)間更窄（參見第 3 部分）。綜合來看，這兩種效應(yīng)降低了S型錯誤與M型錯誤的風(fēng)險。

由于及早結(jié)束次優(yōu)實驗的好處可能會非常巨大，我們還希望能夠做出在統(tǒng)計上有效的明智決定，好盡快結(jié)束實驗。這是我們數(shù)據(jù)科學(xué)團隊一個非?；钴S的研究領(lǐng)域，作為最優(yōu)停止的方法，我們已經(jīng)調(diào)查了成組續(xù)貫試驗（Group Sequential Testing）以及貝葉斯推理（Bayesian Inference）（有關(guān)這兩種方法的更多信息，請參見下文）。后者跟類似預(yù)期損失（或風(fēng)險）最小化等決策理論概念相結(jié)合使用時，可用來對不同決策（包括提前結(jié)束實驗的決定）的影響做出正式評估。

支付

支付團隊認為，不管未來或當(dāng)前會員采用哪種支付方式（信用卡、直接借記卡、移動運營商計費等），都絕不應(yīng)成為注冊 Netflix 的障礙或會員離開 Netflix 的原因。我們的會員與支付團隊之間有許多接觸點：我們在 Netflix 與新會員之間建立起關(guān)系，通過續(xù)訂來維持這些關(guān)系，而（可悲的是?。┊?dāng)會員選擇取消時，這些關(guān)系就會結(jié)束。

我們對 Netflix 產(chǎn)品的支付方式、身份驗證體驗、文案、 UI 設(shè)計，以及任何其他我們可以為會員提供順暢支付體驗的地方進行創(chuàng)新。在所有這些領(lǐng)域，我們都力求在本系列文章中列出的測試原則的指導(dǎo)下，提高決策的質(zhì)量和速度。

決策質(zhì)量肯定不想這么簡單，當(dāng) p 值（參見第 3 部分）降至 0.05 以下時，告訴大家“發(fā)布出去！”即可。首先要有一個好的假設(shè)以及一個清晰的決策框架——尤其是要在長期目標以及在務(wù)實的時間框架內(nèi)弄清楚之間做出明智的平衡。我們的流量或時間都是有限的，所以有時候我們不得不做出艱難選擇。有沒有可以更快產(chǎn)生信號的指標？使用這些指標的權(quán)衡取舍是什么？調(diào)用該測試的預(yù)期損失跟跑其他測試的機會成本相比如何？這些都是有趣的問題，我們一直在尋求改進。

我們還積極投資，致力于提高決策速度，通常會跟實驗平臺團隊密切合作。在過去一年的時間里，我們?yōu)榧涌鞂嶒灥娜N方法試驗了各種模型與工作流程：包括成組續(xù)貫試驗（GST）、高斯貝葉斯推理（Gaussian Bayesian Inference）以及自適應(yīng)測試（Adaptive Testing）。這些技術(shù)均可可以自行提高我們的實驗吞吐量；綜合運用這些方法有望改變 Netflix 支付實驗的速度軌跡。

伙伴關(guān)系

我們希望所有會員無論何時何地訪問 Netflix，都能享受到高品質(zhì)的體驗。我們的合作伙伴團隊致力于確保將 Netflix App 以及我們的最新技術(shù)集成到各種消費產(chǎn)品當(dāng)中，并且確保 Netflix在所有這些設(shè)備上很容易就能被發(fā)現(xiàn)和使用。我們還與移動與付費電視運營商合作，建立捆綁套餐產(chǎn)品，將 Netflix 的價值帶給更多的未來會員。

在合作伙伴領(lǐng)域，我們想要了解的眾多體驗，比方說合作伙伴推動的營銷活動，均不適用于作為本系列關(guān)注的 A/B 測試框架。有時候，用戶會自行選擇體驗，或者一次性把新體驗推出給一大群用戶。這種隨機性的缺乏妨礙了根據(jù) A/B 測試得出直接因果結(jié)論。在這些情況下，我們采用了準實驗以及觀察因果推理技術(shù)，用來推斷我們正在研究的體驗的因果影響。數(shù)據(jù)科學(xué)家在這些分析中扮演了一個關(guān)鍵角色，那就是讓利益相關(guān)者了解這些研究相關(guān)的警告提醒，同時仍能提供嚴格的評估以及可行動的洞察，并為一些原本模棱兩可的問題提供清晰的結(jié)構(gòu)。以下是這些分析存在的一些挑戰(zhàn)與機遇：

混淆了實驗選擇。 用戶自行選擇實驗（treatment）體驗或?qū)φ眨╟ontrol）體驗時（相對于第 2 部分里面討論的隨機分配），最終進入哪種體驗的概率可能要取決于他們的Netflix使用習(xí)慣。這些基線指標也跟結(jié)果指標（比方說會員滿意度）天然相關(guān)，所以會給觀察到的實驗對結(jié)果指標的影響造成混淆。當(dāng)治療選擇或治療吸收會隨時間而變化時，問題會變得更加嚴重，這可能會導(dǎo)致混淆情況會隨時間而變化。為了應(yīng)對這些情況，我們采用了逆傾向得分（inverse propensity scores）、雙穩(wěn)健估計（doubly robust estimators）、雙差法，或者工具變量等方法來析取可行動的因果洞察，并通過縱向分析來解釋時間依賴性。

綜合控制與結(jié)構(gòu)模型。針對混淆進行調(diào)整需要讓預(yù)處理協(xié)變量與、跟響應(yīng)變量處在同樣的綜合水平上。但是，有時候我們沒法訪問Netflix 會員個人級別的信息。在這種情況下，我們采用綜合控制與結(jié)構(gòu)模型來分析總體層面的數(shù)據(jù)。

敏感性分析。在缺乏真正的 A/B 測試的情況下，我們的分析依賴于利用可用數(shù)據(jù)來調(diào)整治療與結(jié)果指標之間的虛假相關(guān)性。但這件事情的好壞取決于可用數(shù)據(jù)是否足以解釋所有這些相關(guān)性。為了了解所做出的因果聲明的有效性，我們會進行敏感性分析，從而評估發(fā)現(xiàn)的穩(wěn)健性。

信息收發(fā)

在 Netflix，我們一直在尋找方法來幫助我們的會員選擇適合自己的內(nèi)容。我們通過Netflix 產(chǎn)品為每一位會員提供個性化體驗來做到這一點。但是，我們可以通過其他方式幫助會員了解新的或相關(guān)的內(nèi)容，這樣等他們在漫長的一天結(jié)束后想放松一下時，就會想到有些很棒的東西可以看呢？

消息傳遞，包括電子郵件與推送通知，是我們讓會員保持知情的關(guān)鍵方式之一。 在會員主動觀看內(nèi)容以外的時間里，Netflix 的消息傳遞團隊還努力為他們帶來快樂。 Netflix 有了或者即將推出什么新功能？有哪些完美內(nèi)容可以告訴我們的會員，好讓 “預(yù)約好電影之夜的時間”，在路上看？作為一支消息傳遞團隊，我們也注意到會員生活當(dāng)中遇到的各種數(shù)字干擾，所以我們一直在努力著，希望做到在合適的時間向合適的會員發(fā)送合適的信息。

這一領(lǐng)域的數(shù)據(jù)科學(xué)家與產(chǎn)品經(jīng)理和工程師密切合作，開發(fā)消息傳遞的解決方案，最大限度地提高我們會員的長期滿意度。比方說，我們一直致力于為我們的會員提供更好、更個性化的消息傳遞體驗。每一天，我們都會根據(jù)歷史數(shù)據(jù)，以及告訴會員會收到什么消息（如果有的話）的輸出，預(yù)測每一條候選消息會如何滿足會員的需求。為了確保我們對個性化消息傳遞方案的創(chuàng)新能為會員帶來更好體驗，我們采用 A/B 測試來學(xué)習(xí)并確認我們的假設(shè)。

在 Netflix 當(dāng)消息傳遞數(shù)據(jù)科學(xué)家有一點很令人興奮，那就是我們正在積極開發(fā)和使用復(fù)雜的學(xué)習(xí)模型來幫助我們更好地為我們的會員服務(wù)。這些模型以bandit算法為基礎(chǔ)，會不斷地走多了解一些會員對消息傳遞的偏好與將學(xué)到的這些知識用于讓會員更滿意之間做出平衡。這就像一個持續(xù)的 A/B 測試，總是在部署新的治療方法。這個框架讓我們得以進行許多令人興奮的，具有挑戰(zhàn)性的分析，而不必每次都部署新的 A/B 測試。

證據(jù)選擇

當(dāng)會員打開 Netflix app時，我們的目標是幫助他們選擇一部非常適合他們的作品。其中的一種做法是不斷改進推薦系統(tǒng)，為每一位會員提供個性化的主頁體驗。除了作品推薦以外，我們還會努力挑選和展示同樣個性化的藝術(shù)作品、圖像以及其他的視覺“證據(jù)”，并幫助每個會員了解為什么特定作品對他們來說是一個不錯的選擇——尤其是如果該作品對服務(wù)來說是新的，或該會員不熟悉的話。

為了實現(xiàn)這一目標，關(guān)鍵是要有卓越的創(chuàng)意以及對證據(jù)選擇系統(tǒng)的持續(xù)改進。在證據(jù)選擇領(lǐng)域工作的數(shù)據(jù)科學(xué)家運用在線實驗以及離線分析，為兩方面的產(chǎn)品決策提供健壯的因果洞察。這兩方面的產(chǎn)品決策包括創(chuàng)建證據(jù)資產(chǎn)（比方說出現(xiàn)在 Netflix 主頁上的圖片），以及建立將會員與證據(jù)配對的模型。

這一領(lǐng)域的數(shù)據(jù)科學(xué)家站在內(nèi)容創(chuàng)建與產(chǎn)品開發(fā)的交叉點上，他們面臨著一些獨特的挑戰(zhàn)：

預(yù)測證據(jù)性能。假設(shè)我們在開發(fā)一種生成證據(jù)的新方法（比方說預(yù)告片）。理想情況下，我們希望，在做出可能需要時間才能獲得回報的潛在巨額投資之前，對新的證據(jù)類型的積極成果要有所了解。通過開發(fā)出可用因果關(guān)系驗證的預(yù)測模型，數(shù)據(jù)科學(xué)家可以幫助為此類投資決策提供信息。

將會員與最佳證據(jù)匹配。高質(zhì)量且選擇正確的證據(jù)是為所有Netflix會員帶來出色經(jīng)驗的關(guān)鍵。我們在測試和了解哪些類型的證據(jù)最有效，以及如何將會員與最佳證據(jù)相匹配的同時，還努力通過投資于有效的 A/B 測試方法，最大限度地減少潛在的不利因素，從而讓我們得以快速停止次優(yōu)的治療體驗。

為證據(jù)開發(fā)提供及時的因果反饋。來自數(shù)據(jù)（包括來自 A/B 測試）的洞察，被廣泛用來推動創(chuàng)作出更好的藝術(shù)品、預(yù)告片以及其他類型的證據(jù)。除了 A/B 測試以外，我們還致力于開發(fā)實驗設(shè)計與分析框架，從而提供細粒度的因果推理，并跟上我們學(xué)習(xí)議程的規(guī)模。我們使用了contextual bandit算法框架，從而最大限度地減少將會員與證據(jù)匹配的遺憾，而且通過與我們的算法工程團隊的合作，我們已經(jīng)建立了記錄反設(shè)事實的能力：換一種的選擇策略會推薦什么內(nèi)容？這些數(shù)據(jù)為我們提供了一個平臺，用來運行豐富的離線實驗，并得出因果推理，從而應(yīng)對我們的挑戰(zhàn)，并回答 A/B 測試可能難以回答的問題。

流媒體

既然你已經(jīng)注冊了 Netflix ，而且發(fā)現(xiàn)了一些令人興奮的內(nèi)容，那么當(dāng)你按下播放時會發(fā)生什么呢？在幕后，Netflix 的基礎(chǔ)設(shè)施已經(jīng)啟動，會尋找用最快的方式把你選擇的內(nèi)容用出色的音頻和視頻質(zhì)量提供給你。

參與提供高質(zhì)量音頻和視頻的眾多工程團隊用 A/B 測試來改善我們?yōu)槿驎T提供的體驗。創(chuàng)新領(lǐng)域包括 Netflix App 本身（需要兼容數(shù)千種設(shè)備）、編碼算法，以及對內(nèi)容在我們的全球 Open Connect 分發(fā)網(wǎng)絡(luò)上放置位置的優(yōu)化方法。

這個業(yè)務(wù)領(lǐng)域的數(shù)據(jù)科學(xué)角色強調(diào)的是大規(guī)模實驗以及對工程團隊自主實驗的支持：我們怎么才能讓這些團隊高效、有信心地執(zhí)行、分析A/B 測試，并基于此做出決策？我們將探討數(shù)據(jù)科學(xué)與工程團隊之間的合作關(guān)系令本領(lǐng)域受益的四種方式。

自動化。由于流媒體實驗數(shù)量眾多（每年數(shù)千次）且持續(xù)時間往往很短，因此我們已經(jīng)對工作流自動化進行了投資。比方說，我們通過將實驗平臺的 API 直接跟 Spinnaker 部署管道集成，搭載在Netflix的工具上，安全地部署在 Netflix 客戶端。這使得工程師可以用一個配置文件設(shè)置、分配和分析他們所做變更的效果。這個模式更進一步的話，用戶甚至可以通過將一個實驗跑多輪實現(xiàn)“自動化的自動化”，以實現(xiàn)順序優(yōu)化。

超越平均水平的處理效應(yīng)。由于許多重要的流媒體視頻和音頻指標不能很好地逼近正態(tài)分布，我們發(fā)現(xiàn)超越平均的處理效應(yīng)至關(guān)重要。為了克服這些挑戰(zhàn)，我們與實驗平臺合作開發(fā)和集成了用于壓縮數(shù)據(jù)的高性能自助方法，從而可以快速估計處理效應(yīng)的分布與分位數(shù)，甚至包括最病態(tài)的指標。對分位數(shù)進行可視化可以為我們帶來關(guān)于處理效應(yīng)的新洞察，這些圖表現(xiàn)在已經(jīng)可以自動生成，作為自動化報告的一部分，往往被用來給高級產(chǎn)品決策提供直接支撐。

A/B 測試的替代方案。 Open Connect 工程團隊面臨著眾多的衡量挑戰(zhàn)。擁塞會導(dǎo)致實驗組與對照組之間發(fā)生交互；或者其他情況下，由于我們的流量導(dǎo)向算法的特性，我們沒法做到隨機化。為了應(yīng)對這種種挑戰(zhàn)，我們正在對準實驗方法進行大力投資。我們采用了Metaflow，將用于指標定義的現(xiàn)有基礎(chǔ)設(shè)施，來自我們的實驗平臺（Experimentation Platform）的數(shù)據(jù)收集，與基于雙差法的自定義分析方法配對。這個工作流程使得我們能夠快速部署自助服務(wù)工具，來衡量傳統(tǒng) A/B 測試無法衡量的變化。此外，我們的模塊化方法讓跨 Open Connect 用例擴展準實驗變得很容易，這使得我們能夠根據(jù)每個團隊的不同需求更換數(shù)據(jù)源或分析方法。

支持自定義的指標與維度。最后，我們開辟了一條（相對）無障礙的路徑，讓所有的實驗者（不僅僅是數(shù)據(jù)科學(xué)家）在需要的時候可以快速創(chuàng)建自定義的指標與維度。除了我們?yōu)樵擃I(lǐng)域的所有測試準備的長期體驗質(zhì)量指標以外，任何可以記錄的內(nèi)容都可以快速傳送到實驗平臺，進行分析與可視化。如此，我們的工程師就可以沿著鋪砌好的道路提出和回答更精確的問題，這樣他們就可以少花些時間去摸清楚門道，而有更多的時間去測試令人興奮的想法。

擴大實驗規(guī)模，投資基礎(chǔ)設(shè)施

為了支持 Netflix 實驗計劃的規(guī)模與復(fù)雜性，我們下力氣開發(fā)了自己的實驗平臺（內(nèi)部叫做“XP”）。我們的 XP 為實驗的整個生命周期（從體驗管理到分析）提供強大的自動化（或半自動化）解決方案，并能滿足大型測試的高吞吐量產(chǎn)生的數(shù)據(jù)規(guī)模要求。

XP 提供了一個框架，讓工程團隊可以在代碼中定義一組測試處理體驗，然后用這些來配置實驗。之后，平臺會隨機選擇會員（或我們可能要進行實驗的其他單元，如回放會話），分配給實驗，然后將其隨機分配給每個實驗里面的體驗（對照體驗或?qū)嶒烍w驗）。 調(diào)用XP的Netflix 服務(wù)然后會根據(jù)會員參與了哪些測試以及這些測試中的哪些變體，確保提供了正確的體驗。我們的數(shù)據(jù)工程系統(tǒng)則會收集這些測試元數(shù)據(jù)，然后再將它們跟我們的核心數(shù)據(jù)集相結(jié)合起來：包括關(guān)于會員和非會員如何與服務(wù)交互的日志、跟蹤流視頻傳輸?shù)募夹g(shù)指標的日志等等。然后，這些數(shù)據(jù)會流經(jīng)自動分析管道，并用Ablaze（ Netflix 報告和配置實驗的前端）生成報告。跟 Netflix 的文化一致，公司里面的每個人都可以訪問測試結(jié)果，而不僅限于數(shù)據(jù)科學(xué)家和決策者。

除了考慮當(dāng)前的實驗計劃以外，Netflix XP還用對未來創(chuàng)新的關(guān)注加以平衡。這是一個良性的飛輪，因為 XP 的目標是利用今年實驗計劃所突破的極限，把它變成明年的一鍵式解決方案。這可能涉及開發(fā)用于將會員（或其他單元）分配給實驗的新的解決方案，跟蹤不同測試存在沖突的新方法，或者是實驗設(shè)計、分析以及基于實驗做決策的新方法。比方說，XP 就跟我們的工程團隊在功能標記與體驗交付方面密切合作。這些努力成功地為 Netflix的開發(fā)人員提供了無縫體驗，得以將實驗完全集成到軟件開發(fā)生命周期之中。

為了分析實驗，我們開發(fā) Netflix XP 的時候就考慮了大眾化與模塊化。大眾化是指數(shù)據(jù)科學(xué)家（還有其他用戶）可以直接貢獻指標、分析測試的因果推理方法以及可視化。通過這三個模塊，實驗者可以編寫靈活的報告，量身定制自己的測試，然后送到我們的前端 UI 以及支持臨時和探索性分析的notebook環(huán)境。

這種模式可以支持快速原型設(shè)計與創(chuàng)新，當(dāng)我們對工程問題進行抽象時，數(shù)據(jù)科學(xué)家就可以直接向生產(chǎn)實驗平臺貢獻代碼——而不必自己成為軟件工程師。隨著分析方法變得更加復(fù)雜，對計算要求更高，為了確保平臺功能能夠支持所需的規(guī)模（測試的數(shù)量和規(guī)模），我們已經(jīng)對專業(yè)知識的形成進行了投資，從而為測試分析提供健壯的計算型因果推理軟件。

搭建實驗平臺需要同理合作：軟件工程師搭建和維護后端工程基礎(chǔ)設(shè)施； UI 工程師開發(fā)用于管理和分析實驗的ABlaze前端；具備因果推理和數(shù)值計算專業(yè)知識的數(shù)據(jù)科學(xué)家則可以開發(fā)、實施、擴展尖端的方法并將其社會化；還需要確保利益相關(guān)者可以訪問我們的產(chǎn)品的用戶體驗設(shè)計師；以及讓平臺本身朝著正確方向創(chuàng)新的產(chǎn)品經(jīng)理。這是一項令人難以置信的工作，需要多學(xué)科的努力，在XP這里工作提供了發(fā)展跨學(xué)科的廣泛技能的機會。由于 Netflix 的實驗是那么的普遍，那些從事 XP 工作的人會面臨挑戰(zhàn)，并與來自 Netflix 各個角落的同事合作。這是從各種角度廣泛了解“Netflix 工作機制”的好途徑。

總結(jié)

Netflix對數(shù)據(jù)科學(xué)團隊進行投資。這些團隊會利用 A/B 測試、其他實驗范式，以及更廣泛的科學(xué)方法，從而支持為當(dāng)前和未來會員提供的產(chǎn)品的持續(xù)創(chuàng)新。同時，我們投資建立了一個內(nèi)部的實驗平臺 (XP)，以支持我們的實驗與學(xué)習(xí)計劃的那種規(guī)模及復(fù)雜性。

在實踐上，這兩方面投資之間的界限其實很模糊，我們鼓勵 XP 以及面向業(yè)務(wù)的數(shù)據(jù)科學(xué)家之展開合作，包括舉辦 A/B 實驗研討會以及因果推理峰會等內(nèi)部活動。為了確保 Netflix 的實驗?zāi)芰Σ粩喟l(fā)展，從而滿足實驗從業(yè)者的實際需求，對于開發(fā)新的測量與實驗管理能力，以及支持和擴展研究的新軟件系統(tǒng)，我們有意識地確保XP 與實驗從業(yè)者之間的通力合作。此外，我們有意識的協(xié)作還為大家提供了很好的機會，讓他們得以領(lǐng)導(dǎo)和貢獻出高影響力的項目，為我們提供了工程、測量以及內(nèi)部產(chǎn)品開發(fā)等方面的新能力。由于 Netflix 對實驗的戰(zhàn)略價值，這些合作努力受到了包括我們的高管在內(nèi)的廣泛關(guān)注。

到目前為止，本系列已經(jīng)討論了 A/B 測試的原因、內(nèi)容與方式，產(chǎn)品開發(fā)要想從實驗型方案中收獲好處，所有這些都是必需的。但是要是沒有一點魔法的話，光有這些基礎(chǔ)還是不夠的。這種魔法將成為本系列下一篇，也是最后一篇文章的重點：貫穿 Netflix上下的學(xué)習(xí)與實驗文化。敬請關(guān)注。

譯者：boxi。