2003 年谷歌大數據“三駕馬車”論文發(fā)表，至今，大數據技術已經成為各大企業(yè)尤其是互聯(lián)網企業(yè)的基礎設施。十幾年中，早期 Hadoop 的大力發(fā)展、中期 Kafka、Spark 的異軍突起以及現(xiàn)在 Flink 的強勢突圍，不僅推動大數據成為了企業(yè)應用的關鍵組件，同時為機器學習AI技術的發(fā)展提供了強有力的保障。大數據促進了人工智能技術的革新，大數據、深度學習使得人工智能在廣泛的領域都獲得了突破性進展。

人工智能主要有三個分支

1.依據規(guī)則的人工智能；

2.無規(guī)則，計算機讀取大量數據，依據數據的計算、概率剖析等方法，進行智能處理的人工智能；

3.依據神經元網絡的一種深度學習。

大數據發(fā)掘與人工智能技能相輔相成，互相影響。大數據分為“結構化數據”與“非結構化數據”?！敖Y構化數據”是指企業(yè)的客戶信息、運營數據、銷售數據、庫存數據等，存儲于普通的數據庫之中，專指可作為數據庫進行管理的數據。相反，“非結構化數據”是指不存儲于數據庫之中的，包括電子郵件、文本文件、圖畫、視頻等數據。

現(xiàn)在，非結構化數據激增，企業(yè)數據的80％左右都對錯結構化數據。跟著交際媒體的鼓起，非結構化數據更是迎來了爆發(fā)式添加。復雜、海量的數據通常被稱為大數據。

每個企業(yè)在經營過程中都會產生大量的數據，隨著數據資源的不斷積累，數據管理和治理也將成為企業(yè)思考的重要問題。

2020年，將會有更多企業(yè)加入到尋求通過AI技術實現(xiàn)數據管理的行列中來?；贏I的數據管理，通過機器學習模型，結合研發(fā)與運維等操作過程中的元數據，自動化創(chuàng)建數據質量規(guī)則，提供問題精準定位、監(jiān)控預警等能力，從而免去許多手動任務操作過程。

有機構預測，在2022年底之前，通過機器學習和和自動化服務管理技術，數據管理的手動任務將會減少45%。

現(xiàn)在，大量數據發(fā)生之后，有低成本的存儲器將其存儲，有高速的CPU對其進行處理，所以才有了人工智能后兩個分支的理論得以實踐。由此，人工智能就能做出挨近人類的處理或許判別，提高精準度。同時，選用人工智能的服務作為高附加值服務，成為了獲取更多用戶的主要因素，而不斷添加的用戶，發(fā)生更多的數據，使得人工智能進一步優(yōu)化。

大數據經歷了較長時間的發(fā)展，目前已經進入了穩(wěn)步的發(fā)展時期，主流的大數據計算框架已經成型，越來越多的基于這些主流框架的精細化上層應用會成為一個趨勢。此外機器學習、AI 的持續(xù)發(fā)展反過來也在推動大數據的規(guī)模、實時性以及平臺化的發(fā)展。越來越多的企業(yè)構建起端到端的大數據機器學習平臺以提高大數據AI 落地效率，各大云廠商更是構建出此類一體化產品希望能夠收獲更多的客戶和收益。
責任編輯:tzh