給王心凌打Call的，原來是神奇的智能湖倉

王心凌智能湖倉數(shù)據(jù)猿大數(shù)據(jù)

譚婧 | 2022-06-17 15:09

【數(shù)據(jù)猿導(dǎo)讀】給王心凌打Call的，原來是神奇的智能湖倉。

王心凌_智能湖倉_數(shù)據(jù)猿_大數(shù)據(jù)-1

圖文原創(chuàng)：譚婧（王心凌老粉）

“爺青回”

“我們只是老了，并沒有死。”

王心凌_智能湖倉_數(shù)據(jù)猿_大數(shù)據(jù)-2

譚老師作為老粉，熱烈慶祝“甜心教主”王心凌成為現(xiàn)象級(jí)翻紅頂流。

王心凌_智能湖倉_數(shù)據(jù)猿_大數(shù)據(jù)-3

只要地球不爆炸，她的數(shù)據(jù)就一個(gè)都不能丟，還得用好了。

那為王心凌從頭開發(fā)一套大數(shù)據(jù)與智能系統(tǒng)吧？

答案，沒必要。

不能把精力花在和IT基礎(chǔ)設(shè)施你死我活地纏斗中。

就好比，當(dāng)你的目的是去開會(huì)，那就不能去搭建會(huì)議室。

王心凌_智能湖倉_數(shù)據(jù)猿_大數(shù)據(jù)-4

王心凌_智能湖倉_數(shù)據(jù)猿_大數(shù)據(jù)-5

王心凌_智能湖倉_數(shù)據(jù)猿_大數(shù)據(jù)-6

所以，這邊建議電視臺(tái)：

把所有數(shù)據(jù)放到公有云上，使用無服務(wù)器架構(gòu)（Serverless），將項(xiàng)目命名為：

“王心凌老粉打Call數(shù)據(jù)項(xiàng)目”

每一家云廠商都能拿出足夠的資料來證明自己的產(chǎn)品才是最好的，我們不在此處爭論。

方案技術(shù)選型上，一步到位，挑選一朵最大的，全球部署的公有云，方便心凌文化出海。

用亞馬遜公有云，全方位無死角給心凌打Call。

王心凌_智能湖倉_數(shù)據(jù)猿_大數(shù)據(jù)-7

首先，王心凌的視頻，音頻，電視劇，演唱會(huì)等大批量歷史數(shù)據(jù)，不存放在本地IDC上。

現(xiàn)在疫情，供應(yīng)鏈緊張，硬件采購周期太長，電視臺(tái)的審批流程也太長，不能等。

王心凌_智能湖倉_數(shù)據(jù)猿_大數(shù)據(jù)-8

直接將心凌的所有數(shù)據(jù)妥善存儲(chǔ)在Amazon S3 數(shù)據(jù)湖中。

王心凌_智能湖倉_數(shù)據(jù)猿_大數(shù)據(jù)-9

不同種類的數(shù)據(jù)都能存，量大量少都能存，而且不會(huì)丟，永遠(yuǎn)在數(shù)據(jù)湖里，安全，放心。

技術(shù)上，這些文件存進(jìn)S3數(shù)據(jù)湖自動(dòng)成為數(shù)據(jù)API，方便調(diào)用，標(biāo)準(zhǔn)一致，取用方便。

怪不得，有人稱S3為事實(shí)上的云計(jì)算對(duì)象存儲(chǔ)標(biāo)準(zhǔn)。

沒有數(shù)據(jù)指導(dǎo)的業(yè)務(wù)，怎么可能做好？

領(lǐng)導(dǎo)著急看數(shù)，數(shù)據(jù)分析人員更著急，這個(gè)情況不允許發(fā)生，立刻配備云數(shù)據(jù)倉庫Amazon Redshift。

王心凌_智能湖倉_數(shù)據(jù)猿_大數(shù)據(jù)-10

聯(lián)合查詢的功能不能少：

比如，某電視臺(tái)數(shù)據(jù)分析專家想查手機(jī)APP平臺(tái)和大屏電視機(jī)頂盒觀看平臺(tái)的用戶之間的聯(lián)系。

Redshift聯(lián)合查詢可以直接從手機(jī)App平臺(tái)（已入湖），大屏電視機(jī)頂盒平臺(tái)（基于數(shù)據(jù)庫），獲取數(shù)據(jù)的聯(lián)系。

晚上九點(diǎn)，晚飯后，某一批用戶在電視上反復(fù)觀看王心凌現(xiàn)場舞蹈（產(chǎn)生的行為數(shù)據(jù)存在數(shù)據(jù)庫中，包括當(dāng)時(shí)產(chǎn)生的很多標(biāo)簽）。

然后，我們直接查詢一批用戶在手機(jī)App中的觀看過和這些行為數(shù)據(jù)中的標(biāo)簽相關(guān)的視頻（這些數(shù)據(jù)存在數(shù)據(jù)湖里），比如標(biāo)簽里有“甜心教主” “電視劇”。

這兩類數(shù)據(jù)存放在不同的地方，一個(gè)在數(shù)據(jù)庫，一個(gè)在數(shù)據(jù)湖。如果之前沒看過相關(guān)視頻（“王心凌男孩跳舞熱榜”），就向手機(jī)App端推送。

王心凌_智能湖倉_數(shù)據(jù)猿_大數(shù)據(jù)-11

王心凌_智能湖倉_數(shù)據(jù)猿_大數(shù)據(jù)-12

實(shí)時(shí)智能分析必不可少：

先將歷史數(shù)據(jù)和新鮮（實(shí)時(shí)）兩種數(shù)據(jù)同時(shí)接入云數(shù)據(jù)倉庫Redshift。

Amazon Redshift ML 使數(shù)據(jù)分析師和數(shù)據(jù)庫開發(fā)人員可以在Redshift 數(shù)據(jù)倉庫中使用熟悉的 SQL 命令輕松創(chuàng)建、訓(xùn)練和應(yīng)用機(jī)器學(xué)習(xí)模型。

王心凌_智能湖倉_數(shù)據(jù)猿_大數(shù)據(jù)-13

實(shí)時(shí)看板必不可少：

某電視臺(tái)，沒有設(shè)置王心凌線上投票，實(shí)在令人遺憾，氛圍感差些些。

建議電視臺(tái)開展線上投票，并公開實(shí)時(shí)看板，讓全國粉絲了解投票熱度整體進(jìn)展，即時(shí)知道投票效果。

王心凌_智能湖倉_數(shù)據(jù)猿_大數(shù)據(jù)-14

所有產(chǎn)生的實(shí)時(shí)打榜數(shù)據(jù)，接入流式數(shù)據(jù)管道Amazon Kinesis，數(shù)據(jù)像水流一樣一直灌進(jìn)來。

并不是所有人時(shí)時(shí)刻刻在打榜，水流有大有小，而無服務(wù)器架構(gòu)的Kinesis可以基于水流的大小即時(shí)彈性擴(kuò)縮，無需關(guān)心流量高峰低谷，安心接入。

Redshift創(chuàng)建流式物化視圖對(duì)接Kinesis，結(jié)合數(shù)據(jù)倉庫內(nèi)歷史數(shù)據(jù)生成實(shí)時(shí)看板。

王心凌_智能湖倉_數(shù)據(jù)猿_大數(shù)據(jù)-15

那些不能從電視臺(tái)數(shù)據(jù)倉庫里直接取數(shù)的外部團(tuán)隊(duì)，比如，抖音和快手，辦法是電視臺(tái)借助Amazon Redshift Data Sharing的功能，將數(shù)據(jù)安全共享。

查詢并發(fā)高峰的時(shí)刻，Redshift并發(fā)擴(kuò)展能力也能輕松應(yīng)對(duì)。

王心凌_智能湖倉_數(shù)據(jù)猿_大數(shù)據(jù)-16

總而言之，數(shù)據(jù)倉庫性能越高越好，價(jià)格越便宜越好。

王心凌_智能湖倉_數(shù)據(jù)猿_大數(shù)據(jù)-17

這就要靠云廠商的技術(shù)手段了，壓力給到亞馬遜云科技這邊。

“王心凌老粉打Call數(shù)據(jù)項(xiàng)目”項(xiàng)目，危險(xiǎn)行為識(shí)別必不可少：

用日志分析服務(wù)Amazon OpenSearch，做鏈路追蹤，監(jiān)視黑產(chǎn)惡意刷榜，確保公平。

王心凌_智能湖倉_數(shù)據(jù)猿_大數(shù)據(jù)-18

“王心凌老粉打Call數(shù)據(jù)項(xiàng)目”項(xiàng)目，數(shù)據(jù)庫選型如下：

1. 如果王心凌開直播，刷禮物的交易數(shù)據(jù)，先放入極致彈性的Amazon DynamoDB中，再將歷史數(shù)據(jù)同步到Redshift數(shù)據(jù)倉庫。

2. 手機(jī)APP用戶瀏覽王心凌視頻的行為，記錄等，也得存入非關(guān)系型數(shù)據(jù)庫DynamoDB中。

王心凌_智能湖倉_數(shù)據(jù)猿_大數(shù)據(jù)-19

本方案，為突發(fā)狀況，準(zhǔn)備了預(yù)案。

突發(fā)情況一：

突然，某天，要查詢一遍過去十年的王心凌數(shù)據(jù)，可能幾十PB。

方法一：這種使用頻率極低，又要分析海量數(shù)據(jù)，成本還要低的查詢，就用Amazon Athena。

方法二，搭建一個(gè)Hadoop系統(tǒng)。但是，為了干這件事情，耗費(fèi)的人力物力非?？膳?，從頭干起大約兩個(gè)月。

王心凌_智能湖倉_數(shù)據(jù)猿_大數(shù)據(jù)-20

在Athena里，查詢按次按量計(jì)費(fèi)，一定要查詢的話，這筆費(fèi)用可以出。

突發(fā)情況二：

“王心凌男孩跳舞熱榜”現(xiàn)象，讓人始料不及。跟風(fēng)創(chuàng)作，大量上傳熱舞視頻。

實(shí)時(shí)處理這些視頻并提取特征，為下一階段分析提供數(shù)據(jù)，得用什么技術(shù)呢？

答案是，流式數(shù)據(jù)分析技術(shù)，Amazon Kinesis Analytics。

王心凌_智能湖倉_數(shù)據(jù)猿_大數(shù)據(jù)-21

另外，歷史數(shù)據(jù)怎么處理呢？

答案是，使用托管大數(shù)據(jù)平臺(tái)Amazon EMR處理大規(guī)模歷史數(shù)據(jù)，為心凌的每一個(gè)歷史視頻都打上標(biāo)簽。同時(shí)EMR Serverless以極簡的開發(fā)來處理數(shù)據(jù)，同時(shí)實(shí)現(xiàn)最低的成本。

王心凌_智能湖倉_數(shù)據(jù)猿_大數(shù)據(jù)-22

最后強(qiáng)調(diào)一句，亞馬遜云科技Serverless無服務(wù)器架構(gòu)，很黑科技。

王心凌_智能湖倉_數(shù)據(jù)猿_大數(shù)據(jù)-23

“王心凌老粉打Call數(shù)據(jù)項(xiàng)目”方案的技術(shù)選型部分就介紹完了。

有任何好的方案建議，歡迎留言交流。

初聽還是小學(xué)生，再聽已是社會(huì)人，支持心凌，致我們逝去的青春。

來源：親愛的數(shù)據(jù)

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會(huì)注明來源與作者；轉(zhuǎn)載我們?cè)瓌?chuàng)內(nèi)容時(shí)，也請(qǐng)務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會(huì)受到數(shù)據(jù)猿追責(zé)。