1月15日，全球著名的大數(shù)據(jù)搜索與實時處理公司Elastic公司CEO Shay Banon突然發(fā)文宣布，Elasticsearch和Kibana的其中一項開源許可協(xié)議將發(fā)生變更。

據(jù)悉，此次許可協(xié)議變更對大部分免費使用默認(rèn)發(fā)行版的社區(qū)用戶沒有影響，主要限制的是云服務(wù)提供商。

當(dāng)然這并不是Elastic第一次更改開源許可協(xié)議。專家介紹，Elastic曾在2018年就更改過一次開源許可協(xié)議。

同樣，在開源領(lǐng)域，數(shù)據(jù)庫軟件MongDB、Redis Lab、圖數(shù)據(jù)庫Neo4j等在2018年就修改過相關(guān)的開源許可協(xié)議，以改變其在數(shù)據(jù)庫商業(yè)化方面面臨的“吸血”困境。

此次Elastic修改開源軟件許可協(xié)議，必然會對使用Elasticsearch和Kibana的大量用戶生產(chǎn)重大影響，尤其會對公有云上的用戶造成沖擊。如何規(guī)避影響，保證應(yīng)用穩(wěn)定持續(xù)運營是大量的中國用戶面臨的一個主要問題。

另外，在開源軟件得到大量應(yīng)用的情況中，用戶不得不面對開源軟件協(xié)議修改帶來的巨大風(fēng)險。

1.中國也有自己的大數(shù)據(jù)綜合搜索引擎Transwarp New Search

作為目前世界上非常流行的數(shù)據(jù)搜索與實時分析引擎，Elasticsearch大名鼎鼎，單單2018年其下載量就超過了2.25億人次，全球眾多公司以某一種形式使用它。

Elasticsearch首個版本發(fā)布于2012年。經(jīng)過7年多的更新迭代，Elastic Stack生態(tài)已經(jīng)日漸成熟，在國內(nèi)擁有越來越多的用戶，應(yīng)用Elasticsearch的開發(fā)人群也不斷擴(kuò)大。

開發(fā)者利用Elastic Stack開發(fā)出靈活的軟件，在搜索、日志記錄、安全防護(hù)、運維指標(biāo)監(jiān)控、數(shù)據(jù)庫加速等應(yīng)用場景，以及在互聯(lián)網(wǎng)與軟件業(yè)、金融業(yè)等行業(yè)得到廣泛應(yīng)用。

近些年來，云服務(wù)提供商一直在使用開源產(chǎn)品，修改其代碼，開發(fā)托管（收費）服務(wù)解決方案版本。然而，修改后的代碼將無法作為開源代碼加以訪問。

同時云服務(wù)商的商業(yè)行為也妨礙了開源軟件公司商業(yè)化。在開源許可下，如何實現(xiàn)盈利，實現(xiàn)更健康的發(fā)展，則成為開源軟件公司面臨的最大挑戰(zhàn)。

因此，Elasticsearch和Kibana在許可證方面進(jìn)行了重大的更改，由開源Apache 2.0許可證，改為采用SSPL（服務(wù)器端公共許可證）。

早在2018年，MongoDB就改變了許可協(xié)議，采用了SSPL（服務(wù)器端公共許可證），以保護(hù)開源代碼，避免被云服務(wù)提供商用來開發(fā)自己的SaaS/DBaaS產(chǎn)品。

毫無疑問，Elastic更改許可協(xié)議對用戶尤其是云上托管的應(yīng)用必然造成巨大的沖擊。不少國家都把開源軟件修改許可協(xié)議，列為軟件產(chǎn)業(yè)發(fā)展的一大風(fēng)險，引發(fā)全球相關(guān)用戶的恐慌。

幸運的是，在國家政策的大力支持下，我國信創(chuàng)產(chǎn)業(yè)不斷發(fā)展壯大。在大數(shù)據(jù)綜合搜索的國產(chǎn)化自主可控方面，國內(nèi)已經(jīng)推出了自己的產(chǎn)品。

中國大數(shù)據(jù)與AI基礎(chǔ)軟件的領(lǐng)導(dǎo)企業(yè)星環(huán)科技已經(jīng)推出了完全可以替換Elasticsearch的大數(shù)據(jù)綜合搜索引擎——Transwarp New Search這一國際領(lǐng)先的大規(guī)模統(tǒng)計和搜索融合引擎，不但可以完成用戶對全文搜索、關(guān)系的精確查詢及分析需求，而且還在半結(jié)構(gòu)化數(shù)據(jù)檢索、時空數(shù)據(jù)檢索、語義檢索、模糊檢索等方面更勝一籌。

受國家自主可控政策的支持，以及星環(huán)科技技術(shù)的不斷突破，星環(huán)科技已經(jīng)完成了大數(shù)據(jù)基礎(chǔ)軟件的完全自主研發(fā)，未來將不會存在開源軟件Hadoop身影，其大數(shù)據(jù)基礎(chǔ)軟件產(chǎn)品在不同領(lǐng)域開始替換甲骨文、IBM等國外軟件。

超過2000多家不同行業(yè)的用戶，選擇使用星環(huán)科技自主研發(fā)的平臺構(gòu)建大數(shù)據(jù)底層的基礎(chǔ)設(shè)施，為各個行業(yè)賦予相關(guān)的業(yè)務(wù)能力，涉及金融、政府、能源、制造、交通、教育等。

2.New Search青出于藍(lán)而勝于藍(lán)

星環(huán)科技自研的Transwarp New Search用于在企業(yè)內(nèi)部構(gòu)建大數(shù)據(jù)搜索引擎。New Search支持Word/Excel/PDF/CSV/互聯(lián)網(wǎng)數(shù)據(jù)/圖片/音影等非結(jié)構(gòu)化數(shù)據(jù)格式的存儲和檢索，在PB級數(shù)據(jù)量上進(jìn)行檢索時，能夠秒級返回。

在開發(fā)接口方面，New Search提供了完整的SQL語法，支持并提供搜索語法SQL擴(kuò)展，通過和星環(huán)科技的分析型數(shù)據(jù)庫Inceptor優(yōu)化器有效結(jié)合，使開發(fā)者無需了解底層架構(gòu)，就可以開發(fā)出高效的搜索引擎。

與開源的大數(shù)據(jù)搜索引擎Elasticsearch（ES）相比，星環(huán)科技自研New Search具有更多的優(yōu)勢：

New Search提供分布式計算引擎，能滿足多表關(guān)聯(lián)和復(fù)雜聚合分析等場景需求，改變了開源的Elasticsearch聚合結(jié)果不準(zhǔn)確的問題，提供精確聚合。

New Search支持標(biāo)準(zhǔn)SQL、SQL擴(kuò)展搜索語義，以及Oracle、DB2L方言，配套星環(huán)自己的安全管控平臺Guardian 和大數(shù)據(jù)管理平臺Manager，方便安全管理和運維管理。

在全文檢索方面，New Search支持pdf/word/excel等常用格式文檔的存儲和搜索，提供中、維、藏、英、法、日、韓、德、西、葡等多種語言分詞器，支持文章相似度匹配、關(guān)鍵字提取、摘要提取等自然語言處理功能。

New Search時空數(shù)據(jù)庫模塊支持包括點、線、多邊形、集合類型在內(nèi)的OGC定義的標(biāo)準(zhǔn)圖形類型，支持基于WMTS協(xié)議的瓦片服務(wù)，支持伴隨分析、軌跡相似度匹配等時空數(shù)據(jù)庫算法。

另外，New Search在大數(shù)據(jù)量、大集群環(huán)境下的性能表現(xiàn)優(yōu)異，相對于開源的Elasticsearch（ES）有了明顯的改善：

在硬件投入成本有限時，用戶希望要盡可能提高資源利用率，因此集群單節(jié)點支持實例量就顯得至關(guān)關(guān)重要。New Search單節(jié)點支持單實例 50TB，遠(yuǎn)超過開源ES單節(jié)點單實例10TB。

當(dāng)用戶的數(shù)據(jù)總量達(dá)到百TB-PB量級時，采用開源ES軟件當(dāng)實例超過100個節(jié)點時，會出現(xiàn)連環(huán)失聯(lián)等穩(wěn)定性問題。而星環(huán)科技的New Search產(chǎn)品為大集群專門調(diào)優(yōu)參數(shù)，能大幅緩解節(jié)點失聯(lián)等問題，而采用最新一代的New Search，支持節(jié)點或?qū)嵗_(dá)到200個以上節(jié)點時，依然能有更好的穩(wěn)定性。

大數(shù)據(jù)搜索對高可用要求高,應(yīng)能保證99%以上的SLA服務(wù)水平協(xié)議,在有節(jié)點異常情況下可自動快速恢復(fù),當(dāng)需要人工運維介入時能提供工具快速診斷和修復(fù)集群。開源ES軟件TB數(shù)量級節(jié)點重啟一般需要數(shù)小時，而星環(huán)科技的New Search，TB數(shù)量級節(jié)點重啟只需幾分鐘。下圖所示為NS在不同存量數(shù)據(jù)規(guī)模情況下的重啟耗時，其中cold和hot的區(qū)別在于是否排除操作系統(tǒng)pageCache影響。

對于數(shù)據(jù)維度高,需要做多表關(guān)聯(lián)分的業(yè)務(wù)，星環(huán)科技的New Search一改開源ES不直接支持多表關(guān)聯(lián)操作的做法，滿足一個查詢結(jié)果需要從兩個或兩個以上表中提取字段數(shù)據(jù)的多表關(guān)聯(lián)查詢的需求。

對于短平快查詢，開源ES支持最大并發(fā)量一般在700-800，且受GC影響，查詢性能有毛刺。而星環(huán)科技的New Search一代產(chǎn)品查詢流程優(yōu)化，減少一次rpc，響應(yīng)時間減少30%，而且通過offheap、automerge、cooling等技術(shù)減少heap占用，受GC影響變小。

最新一代New Search，進(jìn)行了線程池優(yōu)化和lucene優(yōu)化，內(nèi)存占用繼續(xù)減小1/3，受GC波動更小，既滿足短平快查詢秒級需求，又能滿足查詢高峰期高并發(fā)量。如下圖所示，單機存量數(shù)據(jù)為4.5T的情況下，New Search通過對堆外內(nèi)存的高效使用，大幅度減少了堆內(nèi)存的占用，明顯降低了GC壓力。

用戶的查詢主要針對最近N天內(nèi)的數(shù)據(jù),對再老的數(shù)據(jù)查詢頻度相對不高。面對這一需求，開源ES沒有對冷熱數(shù)據(jù)做特別處理，而星環(huán)科技的New Search對冷熱數(shù)據(jù)做了優(yōu)化，提升了查詢性能。

當(dāng)集群規(guī)模很大，表格分片較多的情況下，開源ES由于其自身PP架構(gòu)和平衡策略的局限，會造成DDL操作延遲非常高，造成明顯的使用卡頓和集群高負(fù)載。而New Search的中心式架構(gòu)能夠明顯優(yōu)化這方面的性能， 測試對比如下圖。

當(dāng)每天的增量數(shù)據(jù)增加時,用戶對入庫性能就會提出特別的要求。如何保證入庫數(shù)據(jù)的性能呢？開源ES的數(shù)據(jù)入庫性能隨著數(shù)據(jù)量增大會逐漸變小。星環(huán)科技的New Search一代產(chǎn)品優(yōu)化存儲格式，性能提升10%-20%；而二代產(chǎn)品加入bloomfilter索引，將入庫性能隨著數(shù)據(jù)量增大的影響盡可能減小，入庫性能繼續(xù)提高30%-70%。另外，支持bulkload功能，通過BulkLoad的方式快速導(dǎo)入海量數(shù)據(jù) 。

如下圖所示，是New Search在使用 TPC-DS標(biāo)準(zhǔn)數(shù)據(jù)進(jìn)行批量寫入測試中的性能表現(xiàn)和ES的對比，單位為單節(jié)點/MB/秒。

除了綜合搜索產(chǎn)品的技術(shù)、性能之外，星環(huán)科技在大數(shù)據(jù)基礎(chǔ)軟件方面，可圈可點的地方還可多，如星環(huán)科技被認(rèn)為是大數(shù)據(jù)領(lǐng)域產(chǎn)品線最豐富的企業(yè)，產(chǎn)品涉及大數(shù)據(jù)領(lǐng)域眾多應(yīng)用需求和場景，在國內(nèi)有更多成功的案例，也能為中國用戶提供更好的本地化服務(wù)與支持等。

隨著開源軟件在全球范圍內(nèi)不斷發(fā)展壯大，開源軟件的影響日益擴(kuò)大，并成為軟件產(chǎn)業(yè)發(fā)展不可忽視的重要力量。開源軟件在全球的發(fā)展證明了這種模式不僅是商業(yè)模式，而且也是研發(fā)模式、推廣模式、產(chǎn)業(yè)化的模式。

伴隨著眾多開源軟件的商業(yè)化，以及眾多開源軟件成功IPO，在巨大的利益誘惑下，開源軟件企業(yè)頻頻修改開源協(xié)議，造成的風(fēng)險不但不防。同樣開源軟件也可能受到貿(mào)易摩擦、貿(mào)易制裁的影響。因此，在國家自主可控政策的支持下，發(fā)展自主研發(fā)、自主可控的大數(shù)據(jù)基礎(chǔ)軟件大勢所趨，以滿足中國企業(yè)大數(shù)據(jù)應(yīng)用的需求。

來源：數(shù)據(jù)猿