文 | 李亮

1. ?什么是用戶行為路徑

用戶行為路徑分析是互聯網行業特有的一類數據分析方法，它主要根據每位用戶在App或網站中的點擊行為日志，分析用戶在App或網站中各個模塊的流轉規律與特點，挖掘用戶的訪問或點擊模式，進而實現一些特定的業務用途，如App核心模塊的到達率提升、特定用戶群體的主流路徑提取與瀏覽特征刻畫，App產品設計的優化與改版等。

2.?路徑分析業務場景

用戶行為路徑分析的一個重要終極目的便是優化與提升關鍵模塊的轉化率，使得用戶可以便捷地依照產品設計期望的主流路徑直達核心模塊。具體在分析過程中還存在著以下的應用場景：

i.用戶典型路徑識別與用戶特征分析

用戶特征分析中常常使用的都是一些如性別、地域等人口統計數據或訂單價、訂單數等運營數據，用戶訪問路徑數據為我們了解用戶特征打開了另一扇大門。例如對于一款圖片制作上傳分享的應用，我們可以通過用戶的App使用操作數據，來劃分出樂于制作上傳的創作型用戶，樂于點贊評論的互動型用戶，默默瀏覽看圖的潛水型用戶，以及從不上傳只會下載圖片的消費型用戶。

ii.產品設計的優化與改進

路徑分析對產品設計的優化與改進有著很大的幫助，可以用于監測與優化期望用戶路徑中各模塊的轉化率，也可以發現某些冷僻的功能點。

一款視頻創作分享型App應用中，從開始拍攝制作視頻到視頻的最終發布過程中，用戶往往會進行一系列的剪輯操作;通過路徑分析，我們可以清晰的看到哪些是用戶熟知并喜愛的編輯工具，哪些操作過于冗長繁瑣，這樣可以幫助我們針對性地改進剪輯操作模塊，優化用戶體驗。

如果在路徑分析過程中用戶的創作數量與用戶被點贊、評論以及分享的行為密切相關，就可以考慮增強這款App的社交性，增強用戶黏性與創作欲望。

iii.產品運營過程的監控

產品關鍵模塊的轉化率本身即是一項很重要的產品運營指標，通過路徑分析來監測與驗證相應的運營活動結果，可以方便相關人員認識了解運營活動效果。

說到這里不得不提及一下漏斗模型與路徑分析的關系

以上提到的路徑分析與我們較為熟知的漏斗模型有相似之處，廣義上說，漏斗模型可以看作是路徑分析中的一種特殊情況，是針對少數人為特定模塊與事件節點的路徑分析。換句話說是一種高度的抽象邏輯。

漏斗模型通常是對用戶在網站或App中一系列關鍵節點的轉化率的描述，這些關鍵節點往往是我們人為指定的。例如我們可以看到某購物App應用的購買行為的漏斗轉化情況。

這款購物App平臺上，買家從瀏覽到支付成功經歷了4個關鍵節點，商品瀏覽、加入購物車、結算、付款成功，從步驟1到步驟4，經歷了其關鍵節點的人群越來越少，節點的轉化率呈現出一個漏斗狀的情形，我們可以針對各個環節的轉化效率、運營效果及過程進行監控和管理，對于轉化率較低的環節進行針對性的深入分析與改進。

路徑分析與漏斗模型存在不同之處，它通常是對每一個用戶的每一個行為路徑進行跟蹤與記錄，在此基礎上分析挖掘用戶路徑行為特點，涉及到每一步的來源與去向、每一步的轉化率。

可以說，漏斗模型是事先的、人為的、主動的設定了若干個關鍵事件節點路徑，而路徑分析是探索性的去挖掘整體的行為路徑，找出用戶的主流路徑，甚至可能發現某些事先不為人知的有趣的模式路徑。從技術手段上來看，漏斗模型簡單直觀計算并展示出相關的轉化率，路徑分析會涉及到一些更為廣泛的層面。

這塊有一個對大部分產品問題初步判定實踐，首先我們會通過用戶行為路徑大概的了解一下用戶是否依照產品設計期望的主流路徑直達核心模塊。 然后結合具體的業務場景建立漏斗細看轉化。最后通過用戶細查詳細的查看具體用戶的行為。實際在具體實踐中反復結合這三步，我們可以得到許多有價值的信息。

3. 諸葛用戶行為自動化報告實踐

Sunburst Partition可視化分析探索

通過解析布點獲得的用戶行為路徑數據，我們可以用最簡單與直接的方式將每個用戶的事件路徑點擊流數據進行統計，并用數據可視化方法將其直觀地呈現出來。

D3.js是當前最流行的數據可視化庫之一，我們可以利用其中的Sunburst Partition來刻畫用戶群體的事件路徑點擊狀況。從該圖的圓心出發，層層向外推進，代表了用戶從開始使用產品到離開的整個行為統計;Sunburst事件路徑圖可以快速定位用戶的主流使用路徑。通過提取特定人群或特定模塊之間的路徑數據，并使用Sunburst事件路徑圖進行分析，可以定位到更深層次的問題。

4. 用戶行為路徑算法

較常用的用戶行為路徑算法有基于關聯分析的序列路徑挖掘方法和社會網絡分析

i.基于關聯分析的序列路徑挖掘方法

提到關聯規則分析，必然免不了數據挖掘中的經典案例“啤酒與尿布”。暫且不論“啤酒與尿布”是不是Teradata的一位經理胡編亂造吹噓出來的“神話故事”，這個案例在一定程度上讓人們理解與懂得了購物籃分析(關聯分析)的流程以及背后所帶來的業務價值。

將超市的每個客戶一次購買的所有商品看成一個購物籃，運用關聯規則算法分析這些存儲在數據庫中的購買行為數據，即購物籃分析，發現10%的顧客同事購買了尿布與啤酒，且在所有購買了尿布的顧客中，70%的人同時購買了啤酒。于是超市決定將啤酒與尿布擺放在一起，結果明顯提升了銷售額。

我們在此不妨將每個用戶每次使用App時操作所有事件點看成“購物籃”中的“一系列商品”，與上面提到的購物籃不同的是，這里的所有事件點擊行為都是存在嚴格的前后事件順序的。

我們可以通過改進關聯規則中的Apriori或FP-Growth算法，使其可以挖掘存在嚴格先后順序的頻繁用戶行為路徑，不失為一種重要的用戶路徑分析思路。我們可以仔細考量發掘出來的規則序列路徑所體現的產品業務邏輯，也可以比較分析不同用戶群體之間的規則序列路徑。

ii.社會網絡分析(或鏈接分析)

早期的搜索引擎主要基于檢索網頁內容與用戶查詢的相似性或者通過查找搜索引擎中被索引過的頁面為用戶查找相關的網頁，隨著90年代中后期互聯網網頁數量 的爆炸式增長，早期的策略不再有效，無法對大量的相似網頁給出合理的排序搜索結果。

現今的搜索引擎巨頭如Google、百度都采用了基于鏈接分析的搜索引擎算法來作為這個問題的解決方法之一。網頁與網頁之間通過超鏈接結合在一起，如同微博上的社交網絡通過關注行為連接起來，社交網絡中有影響力很大的知名權威大V們，互聯網上也存在著重要性或權威性很高的網頁。將權威性較高的網頁提供到搜索引擎結果的前面，使得搜索的效果更佳。

我們將社交網絡中的人看作一個個節點，將互聯網中的網頁看作一個個節點，甚至可以將我們的App產品中的每一個模塊事件看作一個個節點，節點與節點之間通過各自的方式連接組成了一個特定的網絡圖，以下將基于這些網絡結構的分析方法統稱為社會網絡分析。

社會網絡分析中存在一些較為常見的分析方法可以運用到我們的路徑分析中來，如節點的中心性分析，節點的影響力建模，社區發現等。通過中心性分析，我們可以去探索哪些模塊事件處于中心地位，或者作為樞紐連接了兩大類模塊事件，或者成為大多數模塊事件的最終到達目的地。通過社區發現，我們可以去探索這個社會網絡中是否存在一些“小圈子”，即用戶總是喜歡去操作的一小部分行為路徑，而該部分路徑又與其他大部分模塊相對獨立。

5. 用戶行為路徑產品化實踐

下面是一個大致的用戶行為路徑產品需求導圖

我們大體目標要完成基于人數和次數的用戶行為路徑，可以支持從任意事件起下查后續行為或者上查來源行為，并且要支持任意30天時間行為路徑的查看。最重要的一點是強調用戶體驗需要較實時處理獲得結果。根據上述這些需求，我們給出基于Spark的用戶行為路徑實踐。

6. 基于Spark的用戶行為路徑

Spark是一個基于內存計算的開源集群計算系統，目的是更快速的進行數據分析

下面是一個Spark的套件圖

伯克利將Spark的整個生態系統稱為伯克利數據分析棧(BDAS)。其核心框架是Spark，同時BDAS涵蓋支持結構化數據SQL查詢與分析的查詢引擎Spark SQL，提供機器學習功能的系統MLbase及底層的分布式機器學習庫MLlib、并行圖計算框架GraphX，流計算框架Spark Streaming。這些子項目在Spark上層提供了更高層、更豐富的計算范式。

下面簡單介紹一下Spark的 Yarn-Cluster任務提交流程

1. Spark Yarn Client向YARN中提交應用程序，包括ApplicationMaster程序、啟動ApplicationMaster的命令、需要在Executor中運行的程序等;

2. ResourceManager收到請求后，在集群中選擇一個NodeManager，為該應用程序分配第一個Container，要求它在這個Container中啟動應用程序的ApplicationMaster，其中ApplicationMaster進行SparkContext等的初始化;

3. ApplicationMaster向ResourceManager注冊，這樣用戶可以直接通過ResourceManage查看應用程序的運行狀態，然后它將采用輪詢的方式通過RPC協議為各個任務申請資源，并監控它們的運行狀態直到運行結束;

4. 一旦ApplicationMaster申請到資源(也就是Container)后，便與對應的NodeManager，要求它在獲得的Container中啟動啟動CoarseGrainedExecutorBackend，CoarseGrainedExecutorBackend啟動后會向ApplicationMaster中的SparkContext注冊并申請Task。這一點和Standalone模式一樣，只不過SparkContext在Spark Application中初始化時，使用CoarseGrainedSchedulerBackend配合YarnClusterScheduler進行任務的調度，其中YarnClusterScheduler只是對TaskSchedulerImpl的一個簡單包裝，增加了對Executor的等待邏輯等;

5. ApplicationMaster中的SparkContext分配Task給CoarseGrainedExecutorBackend執行，CoarseGrainedExecutorBackend運行Task并向ApplicationMaster匯報運行的狀態和進度，以讓ApplicationMaster隨時掌握各個任務的運行狀態，從而可以在任務失敗時重新啟動任務;

6. 應用程序運行完成后，ApplicationMaster向ResourceManager申請注銷并關閉自己。

下面給出我們整體行為路徑的數據流向以及請求過程

數據收集：

互聯網行業對數據的獲取有著得天獨厚的優勢，路徑分析所依賴的數據主要就是服務器中的日志數據。用戶在使用App過程中的每一步都可以被記錄下來，這時候需要關注的便是優秀的布點策略，它應當與我們所關心的業務息息相關。事實上，在每個App里，不是所有事件都有著同樣的價值，基于對核心事件的深度分析需求，推薦大家使用層級化的自定義事件布點方式，每一個事件由三個層次組成的：事件(Event)、屬性(Key)和屬性值(Value)。

數據清洗：

在ETL階段我們會把收集到的Android/IOS/JS SDK數據進行統一的處理，從上述的JSON格式里面取出預定義好的字段(我們需要的一些信息)寫入本地文件中。

數據獲取：

將寫好的本地文件通過定時加載程序加載到Inforbright里面，得到一系列的基礎表。然后從這些基礎表里通過跑批程序跑出方便查詢和使用的一些匯總表。

為了減少Spark實時內存計算壓力我們將用戶行為路徑核心算法過程分為離線部分和線上請求部分。如下：

中間結果計算：

回溯之前第五節說到產品需求，要完成這些需要(人數，次數，后續行為，來源行為，30天時間內任意查詢)，我們需要從數據庫里獲取事件ID，會話ID，事件觸發時間，設備ID，用戶ID這些信息。如圖所示：

下面重點來了，首先我們會將上述信息做一些處理。

原則就是將一個會話ID下面的同一個用戶ID的所有事件按照事件發生的順序進行排序。這塊為了進一步減少之后Spark內存使用我們會將所有超長ID進行一次map。 例如下圖中最后一列的1表示的就是map過后的會話ID。第三列表示的是用戶ID第五列和第六列表示的是這個會話ID內事件對發生的順序。第一列和第二列表示的是具體的事件對。

具體解讀一下圖中的信息:

用戶ID為16351的用戶在其map過后ID為1的會話中的事件

正序順序 8532810 -> 7232351 -> 7232351 -> 8532810 -> 8532810 -> 7232351 -> 8532810 -> 8532810 -> 565 -> 8532810 -> 6907797 -> 565

逆序順序 565 -> 6907797 -> 8532810 -> 565 -> 8532810 -> 8532810 -> 7232351 -> 8532810 -> 8532810 -> 7232351 -> 7232351 -> 8532810

你會發現按照上述的過程，我們將獲取到的原始數據進行離線轉化后，新的數據就會天然的支持我們的產品需求：人數，次數，后續行為，來源行為。對于30天內任意時間查詢，我們也做了特殊的處理。我們會將每天的數據存放在一個文件里面，這樣就會有30個用天數命名的文件，這樣每天的離線計算只需要進行增量的部分。這種做法會大大節省我們離線部分計算的開銷。

數據計算：

由于在離線部分準備的充分，故在Spark實時計算階段我們只需要將數據Load到內存后通過一系列的Spark RDD算子查出我們需要的結果即可。當然按照離線計算后數據格式的特點結合我們的具體產品需求，在Spark處理過程中也是有不少小技巧可循，例如查詢某個條件的用戶行為路徑可以只使用filter算子就可以得到結果，今天就不多贅述了。

數據請求：

前端的請求會通過Redis的訂閱和發布機制告訴Spark提交相應的任務到集群。

下面是諸葛用戶行為路徑的demo數據

文章部分參考諸葛io吳揚的《新技能get | 如何做用戶行為路徑分析》.

Q&A

Q1：上面可視化分析的圖好難看懂。能仔細解釋一下嗎?

李亮：這個圖其實是轉自我司CS團隊的經驗，是來對大部分產品問題初步判定的一個實踐。具體的操作是結合用戶行為路徑，漏斗，用戶細查這三個功能的結合，看出問題端倪。

Q2：您說到用戶行為路徑算法有兩類算法： 關聯分析 和 社會網絡分析 從您的講座來看，貌似使用的關聯分析的算法，然后因為大數據量的問題，使用了很多方法減少內存數據量。 是的嗎? 您能大體說一下這類算法在功能上的優缺點嗎?

李亮：其實我的用的方法不算是關聯規則，關聯規則在用戶行為路徑的實踐更多的是挖掘存在嚴格先后順序的頻繁用戶行為路徑，而我將整個過程分成離線部分和線上部分完全是來滿足我司產品苛刻要求下的一些想法。不過通過這樣的分離確實能起到減少后面Spark的內存使用量。

Q3：中間結果計算，關于數據的時序組裝能否再細致說一下?

李亮：在同一個會話中，所有事件都是按照事件排序組關聯，所以一組會話值，從前到后是正序時序，從后到前是逆序時序。

李亮，諸葛io創新產品部 架構師。前Intel 移動事業部算法成員，在Intel期間，獲得4項專利授權。5年機器學習和數據挖掘經驗。現關注點為大規模機器學習算法，流式機器學習算法，場景化數據分析。

End.