傅志華是360大數(shù)據(jù)中心副總經(jīng)理，曾是騰訊社交網(wǎng)絡(luò)事業(yè)群數(shù)據(jù)中心總監(jiān)及騰訊公司數(shù)據(jù)協(xié)會會長，DCCI互聯(lián)網(wǎng)數(shù)據(jù)中心副總裁。同時任中國信息協(xié)會大數(shù)據(jù)分會理事和中國互聯(lián)網(wǎng)協(xié)會大數(shù)據(jù)工作組專家，北京航空航天大學(xué)軟件學(xué)院大數(shù)據(jù)專業(yè)特聘教授，中科院管理學(xué)院MBA企業(yè)導(dǎo)師。

國際知名的咨詢公司麥肯錫認(rèn)為，企業(yè)的發(fā)展戰(zhàn)略制定流程可以分為七步(如圖1)，包括設(shè)定戰(zhàn)略目標(biāo)、定義經(jīng)營單元、進(jìn)行行業(yè)分析、產(chǎn)生戰(zhàn)略選擇、測試動態(tài)影響并選擇、設(shè)計細(xì)節(jié)并實施和監(jiān)控結(jié)果七大方面，可見，進(jìn)行行業(yè)分析是企業(yè)制定戰(zhàn)略相關(guān)決策的重要環(huán)節(jié)。而我們已經(jīng)進(jìn)入互聯(lián)網(wǎng)和大數(shù)據(jù)時代，行業(yè)分析的方法可以結(jié)合大數(shù)據(jù)有更好的創(chuàng)新和突破。本文將大數(shù)據(jù)如何更好的幫助進(jìn)行行業(yè)分析，從而更加有效的輔助戰(zhàn)略決策。

圖1：戰(zhàn)略規(guī)劃的流程

企業(yè)的發(fā)展受多種力量影響(如圖2)，進(jìn)行行業(yè)分析的時候，需要要分析這些力量的影響，這些影響都作為戰(zhàn)略決策的重要依據(jù)。企業(yè)所處的最外層的環(huán)境受四種力量影響，包括政府政策(Politics)、經(jīng)濟(jì)環(huán)境(Economics)、社會(Society)和科技(Technology)四大方面，構(gòu)成宏觀環(huán)境分析的PEST模型;企業(yè)還受產(chǎn)業(yè)的五種力量影響，包括同行競爭者、潛在進(jìn)入者、替代品、供應(yīng)商和顧客(用戶)所影響，構(gòu)成產(chǎn)業(yè)分析的波特五力模型。本文將介紹如何通過大數(shù)據(jù)的手段對影響企業(yè)發(fā)展的各種力量進(jìn)行監(jiān)測，以輔助戰(zhàn)略分析師以及相關(guān)的決策者更好的決策。

圖2：企業(yè)發(fā)展所處的生態(tài)環(huán)境

大數(shù)據(jù)應(yīng)用于行業(yè)研究采用基于大數(shù)據(jù)的網(wǎng)絡(luò)信息抓取和挖掘方法(如圖3)?？偟膩砜矗朔椒ǚ譃樗拇蟛襟E，包括智能數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)分析與挖掘以及數(shù)據(jù)展現(xiàn)。在智能數(shù)據(jù)采集方面，利用網(wǎng)絡(luò)爬蟲技術(shù)對相關(guān)網(wǎng)站進(jìn)行信息抓取，形成半結(jié)構(gòu)化以及非結(jié)構(gòu)化的信息。

網(wǎng)絡(luò)信息抓取的時候，一開始指定的抓取對象非常重要，如對于行業(yè)政策，指定抓取相關(guān)的政府官方網(wǎng)站、行業(yè)協(xié)會網(wǎng)站會使得抓取的效果更好。

第二步是對抓取下來的信息進(jìn)行數(shù)據(jù)預(yù)處理，包括頁面信息解析、數(shù)據(jù)清洗和內(nèi)容提取，對重復(fù)文章信息進(jìn)行去重，并進(jìn)行文本分詞、特征提取以及關(guān)鍵詞提取，以從噪音數(shù)據(jù)中分離出有用的信息以及減少數(shù)據(jù)的維數(shù)。

第三步是對這些預(yù)處理后的數(shù)據(jù)進(jìn)行數(shù)據(jù)分析和挖掘，實現(xiàn)有用信息的提煉和發(fā)現(xiàn)，包括使用文本分類和聚類方法發(fā)現(xiàn)熱點事件，結(jié)合信息的規(guī)模度和離散度等維度來發(fā)現(xiàn)敏感信息，通過算法和人工手段對指定關(guān)鍵詞的進(jìn)行專題的偵測，通過數(shù)據(jù)的走勢來判斷信息的趨勢等。

第四步為數(shù)據(jù)展示，即通過主題的方式和圖表的方式來展示，或者通過計算機(jī)對信息進(jìn)行更高層次的提煉，形成信息簡報。

圖3：基于大數(shù)據(jù)的網(wǎng)絡(luò)信息抓取與挖掘

大數(shù)據(jù)應(yīng)用于宏觀環(huán)境分析

我們可以利用基于大數(shù)據(jù)的網(wǎng)絡(luò)信息抓取與挖掘方法對行業(yè)產(chǎn)生影響的相關(guān)因素進(jìn)行監(jiān)測。在行業(yè)分析中最經(jīng)典的宏觀環(huán)境分析模型為PEST模型，PEST即分別對應(yīng)政策、經(jīng)濟(jì)環(huán)境、社會和科技信息。

以互聯(lián)網(wǎng)企業(yè)為例，影響互聯(lián)網(wǎng)行業(yè)的相關(guān)政策因素包括互聯(lián)網(wǎng)信息內(nèi)容管理、網(wǎng)站備案管理、網(wǎng)絡(luò)安全交易環(huán)境、電子商務(wù)平臺服務(wù)規(guī)范、知識產(chǎn)權(quán)維護(hù)和個人信息保護(hù)等方面;影響互聯(lián)網(wǎng)行業(yè)的經(jīng)濟(jì)環(huán)境包括國內(nèi)宏觀經(jīng)濟(jì)運行情況相關(guān)數(shù)據(jù)、國內(nèi)金融運行情況相關(guān)數(shù)據(jù)以及國際宏觀經(jīng)濟(jì)運行相關(guān)數(shù)據(jù)等。

影響互聯(lián)網(wǎng)行業(yè)的社會因素包括社會環(huán)境的包括人口規(guī)模、年齡結(jié)構(gòu)、種族結(jié)構(gòu)、收入分布、消費結(jié)構(gòu)和水平、人口流動性等，其中人口規(guī)模直接影響著一個國家或地區(qū)市場的容量，年齡結(jié)構(gòu)則決定互聯(lián)網(wǎng)服務(wù)的發(fā)展方向及推廣方式;影響互聯(lián)網(wǎng)行業(yè)的技術(shù)因素包括網(wǎng)絡(luò)技術(shù)、云計算技術(shù)、安全技術(shù)、軟件技術(shù)、數(shù)據(jù)庫技術(shù)、動畫視頻多媒體技術(shù)等。

近年來，互聯(lián)網(wǎng)新技術(shù)加快創(chuàng)新發(fā)展，不斷催生新的產(chǎn)品。以移動互聯(lián)網(wǎng)、云計算、大數(shù)據(jù)等為代表的互聯(lián)網(wǎng)技術(shù)及應(yīng)用，帶動了相關(guān)互聯(lián)網(wǎng)的創(chuàng)新發(fā)展。

對于互聯(lián)網(wǎng)行業(yè)，我們可以從特定類型的網(wǎng)站抓取相關(guān)政府政策、經(jīng)濟(jì)環(huán)境、社會和科技信息。我們可以抓取相關(guān)政府機(jī)構(gòu)網(wǎng)站如國務(wù)院網(wǎng)站、工信部網(wǎng)站、文化部網(wǎng)站、商務(wù)部網(wǎng)站、新聞出版總署網(wǎng)站、國家工商總局網(wǎng)站、相關(guān)協(xié)會網(wǎng)站如中國互聯(lián)網(wǎng)協(xié)會、相關(guān)研究機(jī)構(gòu)網(wǎng)站如第三方互聯(lián)網(wǎng)研究機(jī)構(gòu)網(wǎng)站艾瑞網(wǎng)以及國家統(tǒng)計局等網(wǎng)站。對抓取后的內(nèi)容進(jìn)行主題分類，分為政策主題、經(jīng)濟(jì)主題、社會主題和科技主題，以便于分析師或者相關(guān)的決策者作為參考。

大數(shù)據(jù)應(yīng)用于市場分析

行業(yè)市場分析一般從行業(yè)市場規(guī)模、市場成長速度預(yù)測以及產(chǎn)業(yè)集中度、該市場的細(xì)分市場分析以及行業(yè)發(fā)展趨勢等角度來分析。以互聯(lián)網(wǎng)行業(yè)為例，互聯(lián)網(wǎng)行業(yè)會比較關(guān)注市場的用戶規(guī)模和營收規(guī)模以及未來的增長速度。產(chǎn)業(yè)集中度是用于衡量產(chǎn)業(yè)競爭性和壟斷性的最常用指標(biāo)，產(chǎn)業(yè)集中度也叫市場集中度，是指市場上的某種行業(yè)內(nèi)少數(shù)企業(yè)的生產(chǎn)量、銷售量等方面對某一行業(yè)的支配程度，它一般是用這幾家企業(yè)的某一指標(biāo)(大多數(shù)情況下用銷售額指標(biāo))占該行業(yè)總量的百分比來表示，該比例越高，市場的壟斷程度越高。

對于行業(yè)市場分析中相關(guān)的行業(yè)市場規(guī)模、增速速度預(yù)測、產(chǎn)業(yè)集中度的分析、細(xì)分市場的分析以及行業(yè)發(fā)展趨勢等方向，我們可以通過基于大數(shù)據(jù)的網(wǎng)絡(luò)信息抓取與挖掘方法在網(wǎng)絡(luò)上抓取相關(guān)的信息。我們可以通過爬蟲技術(shù)抓取財經(jīng)類網(wǎng)站如金融界、證券公司網(wǎng)站、第三方市場研究公司網(wǎng)站、投資機(jī)構(gòu)網(wǎng)站等抓取相關(guān)市場分析的有用信息，以輔助分析師進(jìn)行行業(yè)市場分析。

大數(shù)據(jù)應(yīng)用于競爭分析

企業(yè)需要分析競爭者的優(yōu)勢與劣勢以及競爭對手在各方面的動態(tài)，做到知己知彼，才能有針對性地制定正確的市場競爭戰(zhàn)略。競爭對手分析的內(nèi)容包括以下方面：

1、產(chǎn)品構(gòu)成和新產(chǎn)品情況。競爭企業(yè)的產(chǎn)品構(gòu)成、產(chǎn)品的新功能和新產(chǎn)品的研發(fā)情況等。

2、產(chǎn)品的價格變動情況，價格策略;

3、營銷和促銷行為。競爭對手的廣告和促銷行為的監(jiān)測信息可以用來分析競爭對手的戰(zhàn)術(shù)層面的情況。及時了解到這些情況，比較有利利于企業(yè)進(jìn)行及時的反擊;

4、研發(fā)能力和專利申請情況。我們需要了解競爭企業(yè)內(nèi)部在產(chǎn)品研究、技術(shù)和基礎(chǔ)研究、以及專利等方面的情況，有利于企業(yè)在研發(fā)方向制定相應(yīng)的競爭策略;

5、組織結(jié)構(gòu)和人力資源變動情況。組織結(jié)構(gòu)和人力資源的變動較為容易透漏競爭企業(yè)的一些戰(zhàn)略行動，比如如果競爭對手招聘一位全新產(chǎn)品的總負(fù)責(zé)人，側(cè)面反映該企業(yè)在這個新產(chǎn)品上有規(guī)劃和行動;

6、生產(chǎn)與經(jīng)營。這方面我們需要掌握競爭企業(yè)的生產(chǎn)規(guī)模與生產(chǎn)成本水平、設(shè)施與設(shè)備的技術(shù)先進(jìn)性與靈活性;生產(chǎn)能力的擴(kuò)展;原材料的來源與成本等。

以上競爭對手情況可以通過大數(shù)據(jù)手段來輔助抓取和挖掘。關(guān)于產(chǎn)品構(gòu)成以及新產(chǎn)品相關(guān)的情況，我們可以抓取競爭對手的網(wǎng)站、微博、產(chǎn)品發(fā)布的一些常見網(wǎng)站和網(wǎng)絡(luò)渠道來獲得;

關(guān)于產(chǎn)品的價格以及促銷行為情況，我們可以抓取產(chǎn)品的官方網(wǎng)站、電商網(wǎng)站等來獲得;研發(fā)能力和專利情況也可以通過抓取企業(yè)官方網(wǎng)站、相關(guān)的技術(shù)網(wǎng)站和論壇、專利查詢網(wǎng)站等渠道來獲取;組織結(jié)構(gòu)和人力資源變動情況可以通過抓取其企業(yè)官方網(wǎng)站、主流的招聘網(wǎng)站或者高端人才的獵聘類等網(wǎng)站

;生產(chǎn)和經(jīng)營情況這方面的網(wǎng)上資料可能偏少，如果是上市企業(yè)，可以通過財經(jīng)類的網(wǎng)站、上市公司財報等渠道獲取。相對于宏觀環(huán)境分析、行業(yè)市場分析，大數(shù)據(jù)在企業(yè)競爭分析所起到的作用更為關(guān)鍵，對企業(yè)的用處也更為直接。企業(yè)需要高度重視這個方向，以通過大數(shù)據(jù)的手段獲得更為及時和有效的競爭情報。

大數(shù)據(jù)用于發(fā)現(xiàn)快速成長的企業(yè)

業(yè)務(wù)發(fā)展速度較快或者用戶量增長速度較快的企業(yè)，往往在產(chǎn)品或者服務(wù)創(chuàng)新或者微創(chuàng)新等方面有所建樹，因此值得我們關(guān)注。我們可以通過利用大數(shù)據(jù)可以輔助發(fā)現(xiàn)業(yè)務(wù)增長或者用戶量增長較快的企業(yè)，監(jiān)測的維度包括：

1、用戶或者客戶的增長速度;

2、用戶在社區(qū)或者微博上正面口碑量增長較快的企業(yè)或者產(chǎn)品;

3、網(wǎng)站的訪問量增長速度較快的企業(yè)或者產(chǎn)品;

4、股價增長速度較快的企業(yè)。

以移動互聯(lián)網(wǎng)企業(yè)為例，我們可以利用大數(shù)據(jù)手段來抓取應(yīng)用下載市場的下載量以及計算下載量的增長速度或者應(yīng)用下載的排名變化情況;利用大數(shù)據(jù)手段來抓取微博上正面口碑增長速度較快的應(yīng)用;或者運用電信運營商的流量數(shù)據(jù)來掌握應(yīng)用使用規(guī)模的增長情況。

總之，我們可以通過大數(shù)據(jù)的手段更好的輔助行業(yè)研究，監(jiān)測企業(yè)所處的行業(yè)環(huán)境、競爭對手的動態(tài)以及發(fā)現(xiàn)成長快的企業(yè)。對于行業(yè)環(huán)境和競爭對手監(jiān)測，我們更多的是運用基于大數(shù)據(jù)的網(wǎng)絡(luò)信息抓取和挖掘方法，利用網(wǎng)絡(luò)爬蟲技術(shù)抓取和分析相關(guān)的網(wǎng)絡(luò)信息，在這個過程中，除了要重視爬蟲技術(shù)、自然語言處理技術(shù)以外，我們還要重視抓取的網(wǎng)站對象的選取，選取合適的抓取對象會事半功倍。

對于發(fā)現(xiàn)成長快的企業(yè)，運營商的流量數(shù)據(jù)是比較好的信息來源，當(dāng)然也可以通過其他渠道如應(yīng)用下載市場來獲取。以上通過大數(shù)據(jù)手段所獲取的信息，還需要結(jié)合分析師進(jìn)行進(jìn)一步的分析，以提取有用的決策信息。在行業(yè)研究中，大數(shù)據(jù)不能取代分析師，但可以更好的輔助分析師進(jìn)行更為全面和及時有效信息獲取，節(jié)省分析師在信息獲取的時間，讓分析師更好的聚焦在信息分析和提出企業(yè)發(fā)展的建議上。

來源：傅志華微信公眾號