警惕：Hadoop 不需認(rèn)證導(dǎo)致數(shù)據(jù)泄漏

Hadoop 認(rèn)證數(shù)據(jù)泄漏

Linux公社 | 2017-06-22 09:23

【數(shù)據(jù)猿導(dǎo)讀】問題產(chǎn)生是由于管理員在配置失誤所致，由于直接在云端上開放了 Hadoop 機(jī)器 HDFS 的 50070 web 端口及部分預(yù)設(shè)服務(wù)端口，駭客可以通過命令行操作多個(gè)目錄下的數(shù)據(jù)，如進(jìn)行刪除操作，安全風(fēng)險(xiǎn)高。

最近，有報(bào)導(dǎo)指全球hadoop 服務(wù)器因配置不安全導(dǎo)致大量數(shù)據(jù)泄漏，涉及使用 Hadoop 分布式文件系統(tǒng)(HDFS)的近 4500 臺(tái)服務(wù)器，數(shù)據(jù)量高達(dá) 5120 TB (5.12 PB)，經(jīng)分析，這批數(shù)據(jù)泄漏的近 4500 臺(tái) HDFS 服務(wù)器中以美國和中國為主。

互聯(lián)網(wǎng)上暴露的 Hadoop 服務(wù)器如果沒有配置認(rèn)證均可能受影響，攻擊者針對(duì) HDFS 的攻擊刪除了大多數(shù)目錄，并會(huì)添加一個(gè)名為「NODATA 4U_SECUREYOURSHIT」的新目錄和「PLEASE_README」的目錄，攻擊者可能備份業(yè)務(wù)數(shù)據(jù)后在服務(wù)器上刪除這部分?jǐn)?shù)據(jù)，然后直接發(fā)送勒索郵件并索要勒索贖金。

該問題產(chǎn)生是由于管理員在配置失誤所致，由于直接在云端上開放了 Hadoop 機(jī)器 HDFS 的 50070 web 端口及部分預(yù)設(shè)服務(wù)端口，駭客可以通過命令行操作多個(gè)目錄下的數(shù)據(jù)，如進(jìn)行刪除操作，安全風(fēng)險(xiǎn)高。

用戶可以透過人手方式檢測(cè)端口是否開放到了公網(wǎng)。

Hadoop2.3-HA高可用集群環(huán)境搭建 http://www.linuxidc.com/Linux/2017-03/142155.htm

Hadoop項(xiàng)目之基于CentOS7的Cloudera 5.10.1(CDH)的安裝部署 http://www.linuxidc.com/Linux/2017-04/143095.htm

Hadoop2.7.2集群搭建詳解(高可用) http://www.linuxidc.com/Linux/2017-03/142052.htm

使用Ambari來部署Hadoop集群(搭建內(nèi)網(wǎng)HDP源) http://www.linuxidc.com/Linux/2017-03/142136.htm

Ubuntu 14.04下Hadoop集群安裝 http://www.linuxidc.com/Linux/2017-02/140783.htm

假如真的發(fā)生問題，可以進(jìn)行以下修復(fù)措施：

安裝完 Hadoop 集群后，進(jìn)行安全加固：

按照安全最小化原則，禁止公網(wǎng)對(duì)這部分端口存取，如果因業(yè)務(wù)需要必須對(duì)外開放，請(qǐng)使用 ECS 提供的安全組策略指定存取 IP 存取端口業(yè)務(wù)，如無必要，關(guān)閉 Hadoop Web 管理頁面;

開啟服務(wù)級(jí)別身份驗(yàn)證，如 Kerberos 認(rèn)證;

部署 Knox、Nginx 之類的反向代理系統(tǒng)，防止未經(jīng)授權(quán)用戶存取;

使用交換機(jī)或防火墻策略配置訪問控制策略 (ACL)，將 Hadoop 預(yù)設(shè)開放的多個(gè)端口對(duì)公網(wǎng)全部禁止或限制可信任的 IP 地址才能存取包括 50070 以及 WebUI 等相關(guān)端口。

來源：Linux公社

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會(huì)注明來源與作者；轉(zhuǎn)載我們?cè)瓌?chuàng)內(nèi)容時(shí)，也請(qǐng)務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會(huì)受到數(shù)據(jù)猿追責(zé)。