簡介： 40年技術發(fā)展變革，物聯(lián)網(wǎng)行業(yè)的趨勢、現(xiàn)狀與挑戰(zhàn)

基礎設施的完善，推動應用形態(tài)不斷變遷

我們把過去四十年分為五個重要的技術發(fā)展階段，從時間軸上我們把它切分為：1980 - 2000，2000 - 2005，2005 - 2010，2010 - 2020 以及 2020 - 2025。今天的發(fā)布會和第五個階段的技術發(fā)展有關，從過去看未來，所以我們先回顧下技術發(fā)展史，先來看下前四個階段分別經(jīng)歷了怎樣的技術發(fā)展？在技術應用上的主要場景是什么？主流的應用形態(tài)是什么？誕生了什么樣的新技術和新產(chǎn)品？

在 1980~2000 這個階段，是計算機技術發(fā)展和應用的階段。計算機能夠幫助企業(yè)更好的管理自己的數(shù)據(jù)，對提升流程效率有很大的幫助，所以這個階段的應用主要是企業(yè)信息系統(tǒng)。這個階段誕生了很多專為企業(yè)服務的科技公司，創(chuàng)造了很多偉大的商業(yè)產(chǎn)品。應用系統(tǒng)的數(shù)據(jù)主要存儲在數(shù)據(jù)庫內(nèi)，數(shù)據(jù)庫以關系數(shù)據(jù)庫為主，這一階段是關系數(shù)據(jù)庫理論和產(chǎn)品的成熟期，誕生了像 Oracle、IBM DB2、微軟 SQL Server 等商業(yè)數(shù)據(jù)庫產(chǎn)品。

在 2000~2005 這個階段，是互聯(lián)網(wǎng)技術的初始發(fā)展階段。信息能夠通過互聯(lián)網(wǎng)更有效的傳遞，所以這個階段誕生了大量門戶類的網(wǎng)站，也就是 Web 1.0 時代。LAMP（Linux+Apache+MySQL+PHP） 是當時最流行的建站技術，是一個完全由開源產(chǎn)品組合的低成本解決方案。應用系統(tǒng)的數(shù)據(jù)存儲仍以關系數(shù)據(jù)庫為主，MySQL 以其開源和低成本的優(yōu)勢替換商業(yè)關系數(shù)據(jù)庫，得到大規(guī)模的應用。隨著互聯(lián)網(wǎng)上的信息越來越多，人們獲取有效信息的訴求越來越強烈，所以搜索引擎作為一個新的應用形態(tài)誕生。搜索引擎是首個面臨大規(guī)模數(shù)據(jù)處理挑戰(zhàn)的應用，Google 作為一家偉大的技術公司首創(chuàng)了很多大數(shù)據(jù)處理技術。大家熟知的三駕馬車（GFS、Mapreduce 和 Bigtable），奠定了未來十年 NoSQL 和 Bigdata 技術的發(fā)展基礎。

在 2005~2010 這個階段，隨著個人 PC 得到普及，以及接入互聯(lián)網(wǎng)的成本逐漸降低，接入互聯(lián)網(wǎng)的『人』越來越多。有一些新的應用形態(tài)因此誕生，一是人們不再僅滿足于從互聯(lián)網(wǎng)上單向獲取信息，更渴望在互聯(lián)網(wǎng)上進行人與人之間的信息交流，于是促進了社交網(wǎng)絡的發(fā)展；二是圍繞『人群』的應用，一些 B2C 或 C2C 的電商網(wǎng)站開始發(fā)展。這個時代就是所謂的 Web 2.0 時代，『人』作為新的數(shù)據(jù)源開始在互聯(lián)網(wǎng)上產(chǎn)生大量數(shù)據(jù)。這個階段誕生了一些超大體量的互聯(lián)網(wǎng)公司，主要是在電商和社交網(wǎng)絡領域。這些公司面臨著如何支撐如此大規(guī)模數(shù)據(jù)在線服務，以及如何處理和分析這些海量數(shù)據(jù)的挑戰(zhàn)。彼時還沒有成熟可用的解決方案，所以這些公司不得不開始自研系統(tǒng)的開發(fā)，所以之后流行的一些 NoSQL 和 Bigdata 系統(tǒng)都是誕生或孵化自這個時代的超大體量互聯(lián)網(wǎng)公司，比如 Hadoop 最早在雅虎內(nèi)部孵化，Cassandra 最早是應用在 Facebook 的收件箱搜索場景。

在 2010~2020 這個階段，隨著 4G 技術發(fā)展和智能手機的普及，移動互聯(lián)網(wǎng)開始發(fā)展。人們可以隨時隨地聯(lián)網(wǎng)，移動應用可以覆蓋到更廣的人群，滲透到更多的生活場景，比如支付、打車等。傳統(tǒng)互聯(lián)網(wǎng)應用逐步向移動應用形態(tài)轉換，產(chǎn)生了大量應用搭建的需求，云平臺作為低成本、易接入的數(shù)據(jù)中心被更多企業(yè)接受，這十年也是云計算發(fā)展的黃金十年。云計算改變了應用的運行環(huán)境，與傳統(tǒng) IDC 不同，在這個運行環(huán)境中，計算、存儲等資源是池化的，可彈性獲取多類型的存儲和計算資源。基于云的彈性資源構建的應用即『云原生』應用，越來越多的大數(shù)據(jù)、數(shù)據(jù)庫產(chǎn)品基于云原生構建，而為了擁有彈性可擴展能力，分布式技術也得到大量的使用。現(xiàn)代的新的大數(shù)據(jù)和數(shù)據(jù)庫產(chǎn)品，分布式和云原生是必備的能力。

最后在 2020~2025 這個階段，我們已經(jīng)能看到 5G、IoT 技術逐漸成熟，又會誕生一個新的應用形態(tài)即物聯(lián)網(wǎng)。我們能看到的一些新的應用場景，包括車聯(lián)網(wǎng)、工業(yè)物聯(lián)網(wǎng)以及智能家居等。

總結下過去幾十年的技術和產(chǎn)品演進的規(guī)律（基礎設施技術 -> 信息化范圍變大 -> 更多場景、更大數(shù)據(jù)規(guī)模 -> 技術和產(chǎn)品發(fā)展）：

每個階段都是由一個『基礎設施』的完善和普及作為起點，基礎設施的核心作用是讓信息化的范圍進一步變大。比如互聯(lián)網(wǎng)讓應用能與更多終端連接，移動互聯(lián)網(wǎng)直接打破了終端這個壁壘，直接讓應用能與更多人連接，而物聯(lián)網(wǎng)會把更多設備也加入這個連接。

隨著信息化的范圍變大，更多新的應用場景誕生，同時更大數(shù)量的『個體』產(chǎn)生更大規(guī)模的數(shù)據(jù)，成為基礎技術發(fā)展的推動力。

在這個過程中，往往基礎技術會落后于應用形態(tài)發(fā)展。但隨著分布式技術和云計算的普及，基礎技術演進和普及的速度越來越快。我們也可以看到基礎技術產(chǎn)品形態(tài)的變化，從最早的商業(yè)型產(chǎn)品，到開源型產(chǎn)品，再到現(xiàn)在的云原生產(chǎn)品。

那在物聯(lián)網(wǎng)這個新階段，設備的數(shù)量以及產(chǎn)生的數(shù)據(jù)會是更大的規(guī)模，會有更大的挑戰(zhàn)。那在這樣的挑戰(zhàn)下，又會推動怎樣的技術發(fā)展呢？

物聯(lián)網(wǎng)行業(yè)將迎來高速發(fā)展，會面臨怎樣的技術挑戰(zhàn)

我們來看下物聯(lián)網(wǎng)到底在經(jīng)歷怎樣的高速發(fā)展，從以下兩個市場報告中來看下物聯(lián)網(wǎng)整體的增長態(tài)勢：

設備數(shù)的大規(guī)模增長：Gartner 預測到 2021 年物聯(lián)網(wǎng)內(nèi)設備數(shù)增長到 250 億。如何管理如此海量的設備是大挑戰(zhàn)。

設備數(shù)據(jù)的大規(guī)模增長：IDC 報告中可以看到，到 2025 年物聯(lián)網(wǎng)數(shù)據(jù)規(guī)模達到 79.4 ZB，年平均增長率高達 34.91%。那如何存儲和分析如此海量的數(shù)據(jù)是第二大挑戰(zhàn)。

以車聯(lián)網(wǎng)場景為例，定義對數(shù)據(jù)存儲的具體需求

這次發(fā)布會的主題是物聯(lián)網(wǎng)存儲解決方案，所以我們來具體看下物聯(lián)網(wǎng)場景下對數(shù)據(jù)存儲的具體需求是什么。我們以一個車聯(lián)網(wǎng)中的一個真實應用場景為例，假如你是一家提供網(wǎng)約車服務的新能源車企，日常管理數(shù)十萬量新能源汽車提供網(wǎng)約車服務，你會遇到如下幾個具體的場景。

為便于對這些汽車進行管理，每輛汽車都得實時匯報自己的狀態(tài)，包括位置信息、剩余電量、行駛里程、行駛速度等等。除了這些動態(tài)信息外，每輛車還會有自己的一些靜態(tài)信息例如型號、車主等，每輛車的這些信息都需要在后端實時獲取和管理。

有了這些車輛的實時狀態(tài)信息后，就可為車主、乘客或者是后臺提供車輛的實時狀態(tài)查詢服務。后臺也會有一些計算任務依賴于實時狀態(tài)，例如根據(jù)位置信息或特定條件進行車輛圈選來進行特定任務的管理，或者是根據(jù)實時狀態(tài)來進行車輛調(diào)度。

除了車輛自身需要實時匯報狀態(tài)外，車輛與管理后臺還需要保持一個消息通道。通過這個消息通道，車輛會匯報自身的一些異常事件，后臺也可下發(fā)一些消息信息或者控制指令。

另外車輛的一些行駛信息會上報并存儲為軌跡數(shù)據(jù)，同時行駛中的一些傳感器數(shù)據(jù)也需要存儲。有了這些數(shù)據(jù)后，一方面可以對行駛軌跡進行查詢，另一方面是可以基于數(shù)據(jù)進行一些計算分析，挖掘更多的價值，比如通過分析歷史行駛數(shù)據(jù)來優(yōu)化調(diào)度算法等。

從這幾個場景中可以看到，車輛相關的數(shù)據(jù)主要有三類，一是實時狀態(tài)數(shù)據(jù)，我們把這類數(shù)據(jù)歸類為『元數(shù)據(jù)』；二是消息通道，我們把這類數(shù)據(jù)歸類為『消息數(shù)據(jù)』；三是軌跡數(shù)據(jù)，我們將這類數(shù)據(jù)歸類為『時序數(shù)據(jù)』。這三類數(shù)據(jù)對底層存儲有不同的要求，『元數(shù)據(jù)』的特征是高頻更新，對查詢能力要求高，需要根據(jù)多字段條件進行數(shù)據(jù)查詢或篩選；『消息數(shù)據(jù)』的特征類似消息隊列，隊列數(shù)量極多，需要為每個設備維護一個獨立的對壘；『時序數(shù)據(jù)』的特征是高吞吐寫入，數(shù)據(jù)規(guī)模較大，比較偏重分析場景。

在傳統(tǒng)方案中，元數(shù)據(jù)一般使用 MySQL 存儲，但 MySQL 最大的問題是無法靈活支持多字段條件篩選，一般需要組合 Elasticsearch，依賴 Elasticsearch 來提供多字段檢索能力。消息數(shù)據(jù)雖然具備消息隊列的特征，但無法使用傳統(tǒng)消息隊列，因為傳統(tǒng)消息隊列無法支撐如此多數(shù)量的 Topic，所以一般也有選擇使用 MySQL 來模擬隊列實現(xiàn)。時序數(shù)據(jù)一般選擇使用 HBase 來存儲，能提供高吞吐寫入和支撐大規(guī)模存儲，但 HBase 不具備分析能力。

往往基礎技術會落后于應用形態(tài)發(fā)展，傳統(tǒng)架構是通過組合多款產(chǎn)品的方式來構建整個物聯(lián)網(wǎng)存儲系統(tǒng)。這種多組件的組合架構，架構復雜度高，帶來的運維成本。開發(fā)者需要理解和使用多款產(chǎn)品，且分布式組件的運維具備的難度，導致整體的成本非常高。另外每個組件并不是為物聯(lián)網(wǎng)場景設計和優(yōu)化，我們可以看到物聯(lián)網(wǎng)場景下設備元數(shù)據(jù)、消息數(shù)據(jù)和時序數(shù)據(jù)都有非常典型的特征，且整體規(guī)模增長速度會遠超互聯(lián)網(wǎng)時代，可以預見老一代產(chǎn)品無法應對物聯(lián)網(wǎng)下更大數(shù)據(jù)規(guī)模的增長。

物聯(lián)網(wǎng)需要什么樣的存儲產(chǎn)品

根據(jù)過去幾十年技術產(chǎn)品發(fā)展的客觀規(guī)律，物聯(lián)網(wǎng)時代已經(jīng)到來，當前的技術架構難以支撐未來物聯(lián)網(wǎng)規(guī)模的增長。面對物聯(lián)網(wǎng)下萬物互聯(lián)這一新的應用形態(tài)，在海量設備和海量數(shù)據(jù)的挑戰(zhàn)下，基于云計算這一新一代基礎平臺，我們利用云原生、分布式等基礎技術，需要打造一個什么樣的新的基礎產(chǎn)品呢？

我們希望這個新的基礎產(chǎn)品具備以下幾個特性：

基于云原生和分布式技術構建，具備可擴展性和彈性

滿足設備元數(shù)據(jù)、消息數(shù)據(jù)、時序數(shù)據(jù)的一站式存儲、檢索和分析需求

具備足夠低的成本來支撐如此海量數(shù)據(jù)

「鏈接」
本文為阿里云原創(chuàng)內(nèi)容，未經(jīng)允許不得轉載。