在這一段時間的工作中,遭遇到了很多的問題,也嘗試了多種解決方案,最后獲得良好的效果,這也離不開同事的幫助,從中可以感悟到自身的不足,需要在以后的時間中加強(qiáng)自我的能力。下面是小編帶來的2018數(shù)據(jù)分析工作總結(jié)。
近期主要完成了某產(chǎn)品用戶畫像分析,從9月底拿到數(shù)據(jù),到上周輸出第三稿,中間歷時一個半月,如果從收到需求,到三稿輸出,那就超過兩個月,在這次整個分析過程中,遇到了不少問題,嘗試了使用不同方法,現(xiàn)在是時候做一個復(fù)盤、總結(jié)、反思。
在開始階段,遇到的主要問題是客戶的要求是分析產(chǎn)品用戶畫像報告,因?yàn)闆]有直接跟客戶溝通,而需求只有簡單的一句話,我只能根據(jù)經(jīng)驗(yàn)列出要分析的要點(diǎn),確定需要的數(shù)據(jù)維度。在我確定分析框架后,我發(fā)現(xiàn)如果按照我方的想法最后輸出的結(jié)果卻不是客戶想到的,那就白做了,所以確定分析框架后還需要客戶確認(rèn),思路是否可行,分析方向有無異議。這個問題還算比較好解決,客戶同意了分析思路即可。
經(jīng)過與客戶溝通后,到了第二階段,發(fā)起提數(shù)需求。這個過程總體算比較順利,客戶方數(shù)據(jù)庫工程師首先反饋了一份樣本數(shù)據(jù),讓我方確認(rèn)數(shù)據(jù)是否正確,如正確,則提供全量樣本。數(shù)據(jù)驗(yàn)證的過程,主要是由我來完成,對樣本數(shù)據(jù),我提出了一些疑問,對方也一一解答。當(dāng)然還有個別字段邏輯問題,我沒有發(fā)現(xiàn),對后續(xù)的分析帶來了一些影響,造成最后能使用的維度減少,是一個遺憾。
拿到全量數(shù)據(jù)后,對數(shù)據(jù)進(jìn)行清洗。在這個過程中發(fā)現(xiàn)數(shù)據(jù)質(zhì)量非常不理想,很多字段的缺失值占比很大,個別字段也有異常值,總體樣本中能使用的記錄銳減。一開始我的處理方法比較簡單,對缺失值占比達(dá)的字段直接不使用,帶來的后果就是輸出的第一版分析報告過于簡單。
重新回到數(shù)據(jù),再次對數(shù)據(jù)進(jìn)行摸底,而且也調(diào)整分析方法,嘗試使用聚類分析方法,按用戶活躍渠道,對用進(jìn)行分群,分群后,再結(jié)合其他維度,對用戶進(jìn)行描述。這一次輸出的報告還是存在一些問題,最大問題就是用戶群之間區(qū)別不明顯,只能繼續(xù)修改。中間因?yàn)橐隽硪粋分析,用戶畫像分析就暫時先放一邊。
完成另一個分析后,繼續(xù)回到產(chǎn)品用戶畫像分析,這次同事提出了一些建議,在沒有更好的思路前,我按照同事的建議第三次修改分析報告。當(dāng)然還是要先處理數(shù)據(jù),這次我對異常值、缺失值就行了處理,異常值使用的是蓋帽法,對缺失值,在一些字段中用0填補(bǔ),這樣增加了可使用的維度。數(shù)據(jù)清洗完后,對連續(xù)變量進(jìn)行分箱處理,這一次還是先使用聚類分析,對幾個字段進(jìn)行聚類,這樣增加了兩個大的維度,接著基于兩個大的維度,使用對應(yīng)分析方法,結(jié)合其他維度觀察變量間的關(guān)系,最后的結(jié)果顯示有部分變量之間是存在明顯的關(guān)系,有些幾乎沒有區(qū)別。數(shù)據(jù)處理完后,再次輸出分析報告。
完成第三次分析后,我回過頭來看看分析中存在的問題,尤其是使用對應(yīng)分析,查閱了一些資料,發(fā)現(xiàn)在對應(yīng)分析中,應(yīng)該先進(jìn)行預(yù)分析。聚類分析,兩次我都是使用k-means聚類,其實(shí)還可以使用二階聚類,二階聚類適用于分類變量,這是快速聚類不適用的,我嘗試在清洗后的數(shù)據(jù)中使用二階聚類,效果尚可。
最近恰好又在看丁亞軍老師的講課視頻,講到聚類分析,再結(jié)合我在工作中的應(yīng)用,對聚類分析方法有了新的認(rèn)識。聚類方法在剛興起的時候,是不被傳統(tǒng)的統(tǒng)計學(xué)家們接受,因?yàn)檫@個方法太簡單,沒有使用到過多的統(tǒng)計學(xué)知識。在實(shí)際的工作中,聚類使用的頻率還是很高的,尤其是在用戶分群方面,用戶特征的描述。對應(yīng)分析是第一次用到,為什么會想到使用對應(yīng)分析,主要是根據(jù)變量類型,幾個分類型變量,探究變量間的關(guān)系,除了相關(guān)分析外,對應(yīng)分析也使用,而且它的結(jié)果更直觀。
最后能完成第三稿也要感謝同事的建議,一個人的力量是有限的,群策群力、集思廣益才能做得更好。
來源:網(wǎng)絡(luò)整理 免責(zé)聲明:本文僅限學(xué)習(xí)分享,如產(chǎn)生版權(quán)問題,請聯(lián)系我們及時刪除。