數(shù)據(jù)分析：你放在人人貸的錢都去了哪里？
貓尾KUN | 2017-09-01 10:37
【數(shù)據(jù)猿導(dǎo)讀】 本文使用python抓取分析數(shù)據(jù)—人人貸，并從中獲取貸款用戶。采用pandas庫，因?yàn)槲覀兊捏w量并不是很大，因此直接保存為xlsx格式就可以了。
一、抓取準(zhǔn)備
導(dǎo)入必要的庫
import requests #提取頁面信息
import json
from urllib.parse import urlencode
from pandas import DataFrame
二、獲取URL地址
使用chrome瀏覽器—檢查功能，因?yàn)轫撁媸莿?dòng)態(tài)加載，我們以獲取頁面的兩個(gè)url講解：
url1=https://www.renrendai.com/pc/loan/list/loanList startNum=0&limit=10&_=1504013654389
url2=https://www.renrendai.com/pc/loan/list/loanListstartNum=1&limit=10&_=1504013654389
可以觀察到頁面是隨著startNum=N中N變化的，所以可以N為參數(shù)進(jìn)行不同頁面信息的抓取
接下來設(shè)置一個(gè)請(qǐng)求的頭文件信息，目的是包裝一下我們的爬蟲，以防反爬蟲的攔截而抓不到數(shù)據(jù)。
Headers={
‘Host’:’www.renrendai.com’,
‘Referer’:’https://www.renrendai.com/pc/loan.html’,
‘User-Agent’:’Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36’
}
三、頁面信息提取
采用requests+json庫進(jìn)行提取:
Res=requests.get(url,Headers)
html=json.loads(Res)
result=[]
if data and 'data' in data.keys():
loan = data.get('data')
for item in (loan['loans']):
items={
'loanId':item.get('loanId'),
'title':item.get('title'),
'amount':item.get('amount')
}
result.append(result)
return result
四、數(shù)據(jù)保存
采用pandas庫，因?yàn)槲覀兊捏w量并不是很大，因此直接保存為xlsx格式就可以了。
data=[]
for i in range(10):
detail.extend(get_comments(i))
f = DataFrame(data)
f.to_excel('renrendai.xlsx')
最后我們就可以得到excel格式的數(shù)據(jù)了。
五、貸款項(xiàng)目分布
用excel做餅圖，可以看到貸款項(xiàng)目主要用于資金周轉(zhuǎn)，占比超過一半，其次是用于裝修，占比18.97%
來源：數(shù)據(jù)分析網(wǎng)
刷新相關(guān)文章
我要評(píng)論
活動(dòng)推薦more >
- 2018 上海國際大數(shù)據(jù)產(chǎn)業(yè)高2018-12-03
- 2018上海國際計(jì)算機(jī)網(wǎng)絡(luò)及信2018-12-03
- 中國國際信息通信展覽會(huì)將于2018-09-26
- 第五屆FEA消費(fèi)金融國際峰會(huì)62018-06-21
- 第五屆FEA消費(fèi)金融國際峰會(huì)2018-06-21
- “無界區(qū)塊鏈技術(shù)峰會(huì)2018”2018-06-14
不容錯(cuò)過的資訊
-
1#后疫情時(shí)代的新思考#疫情之下，關(guān)于醫(yī)
-
2數(shù)據(jù)軟件產(chǎn)品和服務(wù)商DataHunter完成B輪
-
3眾盟科技獲ADMIC 2020金粲獎(jiǎng)“年度汽車
-
4數(shù)據(jù)智能 無限未來—2020世界人工智能大
-
5#2020非凡大賞：數(shù)字化風(fēng)起云涌時(shí)，共尋
-
6#榜樣的力量#天璣數(shù)據(jù)大腦疫情風(fēng)險(xiǎn)感知
-
7#榜樣的力量#內(nèi)蒙古自治區(qū)互聯(lián)網(wǎng)醫(yī)療服
-
8#榜樣的力量#實(shí)時(shí)新型肺炎疫情數(shù)據(jù)小程
-
9#榜樣的力量#華佗疫情防控平臺(tái)丨數(shù)據(jù)猿
-
10#后疫情時(shí)代的新思考#構(gòu)建工業(yè)互聯(lián)網(wǎng)新
