3G時代的文字和圖片、4G時代的圖片與視頻、5G時代的短視頻和直播，多樣化信息給人們日常生活帶來的，除了精神上的愉悅和感官上的刺激之外，也帶來了數(shù)據(jù)的瘋狂增長。

從2009年“大數(shù)據(jù)”成為互聯(lián)網技術行業(yè)的流行詞開始，至今已過去10余年，它已不再是“潮流”，它已然成為組成現(xiàn)代生活的基礎。

世界正在經歷一場以大數(shù)據(jù)、云計算等為代表的信息技術變革。大數(shù)據(jù)對社會生產生活產生的影響絕不限于技術層面，更本質上，它為我們看待世界提供了一種全新的方法——決策行為將日益基于數(shù)據(jù)分析做出，數(shù)據(jù)成為重要的戰(zhàn)略資源和新生產要素。

今天小億就來說說與大數(shù)據(jù)有關的知識，以及大數(shù)據(jù)如今主要應用在哪些領域？發(fā)展到現(xiàn)在又產生了哪些問題？

—  01  —什么是大數(shù)據(jù)？

在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數(shù)據(jù)時代》 中，大數(shù)據(jù)指不用隨機分析法（抽樣調查）這樣的捷徑，而采用所有數(shù)據(jù)進行分析處理的分析方法；

而研究機構Gartner給出了這樣的定義：“大數(shù)據(jù)”是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產；

根據(jù)維基百科的定義，大數(shù)據(jù)是指無法在可承受的時間范圍內用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合。

我們這里主要采用第三種定義，即所涉及的資料量規(guī)模巨大到無法通過目前主流軟件工具，在合理時間內達到獲取、管理、處理、并整理成為幫助企業(yè)經營決策的目的資訊。

—  02  —大數(shù)據(jù)、數(shù)據(jù)分析和數(shù)據(jù)挖掘的區(qū)別

大數(shù)據(jù)、數(shù)據(jù)分析、數(shù)據(jù)挖掘的區(qū)別是，大數(shù)據(jù)是互聯(lián)網的海量數(shù)據(jù)挖掘，而數(shù)據(jù)挖掘更多是針對內部企業(yè)行業(yè)小眾化的數(shù)據(jù)挖掘，數(shù)據(jù)分析就是進行做出針對性的分析和診斷。

大數(shù)據(jù)需要分析的是趨勢和發(fā)展，數(shù)據(jù)挖掘主要發(fā)現(xiàn)的是問題和診斷。

1.大數(shù)據(jù)

指無法在可承受的時間范圍內用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產。

2.數(shù)據(jù)分析

是指用適當?shù)慕y(tǒng)計分析方法對收集來的大量數(shù)據(jù)進行分析，提取有用信息和形成結論而對數(shù)據(jù)加以詳細研究和概括總結的過程。這一過程也是質量管理體系的支持過程。在實用中，數(shù)據(jù)分析可幫助人們作出判斷，以便采取適當行動。

3.數(shù)據(jù)挖掘

又譯為資料探勘、數(shù)據(jù)采礦。它是數(shù)據(jù)庫知識發(fā)現(xiàn)(英語：Knowledge-Discovery in Databases，簡稱：KDD)中的一個步驟。數(shù)據(jù)挖掘一般是指從大量的數(shù)據(jù)中通過算法搜索隱藏于其中信息的過程。數(shù)據(jù)挖掘通常與計算機科學有關，并通過統(tǒng)計、在線分析處理、情報檢索、機器學習、專家系統(tǒng)(依靠過去的經驗法則)和模式識別等諸多方法來實現(xiàn)上述目標。

數(shù)據(jù)挖掘(Data Mining)是從大量的、不完全的、有噪聲的、模糊的、隨機的數(shù)據(jù)中提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。

根據(jù)信息存儲格式，用于挖掘的對象有關系數(shù)據(jù)庫、面向對象數(shù)據(jù)庫、數(shù)據(jù)倉庫、文本數(shù)據(jù)源、多媒體數(shù)據(jù)庫、空間數(shù)據(jù)庫、時態(tài)數(shù)據(jù)庫、異質數(shù)據(jù)庫以及Internet等。

大數(shù)據(jù)是范圍比較廣的數(shù)據(jù)分析和數(shù)據(jù)挖掘。按照數(shù)據(jù)分析的流程來說，數(shù)據(jù)挖掘工作較數(shù)據(jù)分析工作靠前些，二者又有重合的地方，數(shù)據(jù)挖掘側重數(shù)據(jù)的清洗和梳理。數(shù)據(jù)分析處于數(shù)據(jù)處理的最末端，是最后階段。數(shù)據(jù)分析和數(shù)據(jù)挖掘的分界、概念比較模糊，模糊的意思是二者很難區(qū)分。大數(shù)據(jù)概念更為廣泛，是把創(chuàng)新的思維、信息技術、統(tǒng)計學等等技術的綜合體，每個人限于學術背景、技術背景，概述的都不一樣。

—  03  —如今大數(shù)據(jù)主要應用領域？

1.企業(yè)經營管理

企業(yè)內部的經營交易信息、互聯(lián)網中的商品物流信息、人與人交互信息、位置信息等數(shù)據(jù)是現(xiàn)代企業(yè)的重要資源，是企業(yè)運用科學管理、決策分析的基礎。對于一般的企業(yè)而言，大數(shù)據(jù)的作用主要表現(xiàn)在兩個方面：

（1）幫助企業(yè)了解用戶

大數(shù)據(jù)可以通過相關性分析，將客戶和產品、服務進行關系串聯(lián)，對用戶的偏好進行定位，從而提供更精準、更有導向性的產品和服務，提升銷售業(yè)績。比如，大數(shù)據(jù)幫助社交網站提供更準確的好友推薦，為用戶提供更精準的企業(yè)招聘信息，向用戶推薦可能喜歡的游戲以及適合購買的商品。  

在電商領域，大數(shù)據(jù)幫助企業(yè)提升營銷的針對性，降低物流和庫存的成本，減少投資的風險，以及幫助企業(yè)提升廣告投放精準度，例如幫助電商公司向用戶推薦商品和服務，幫助旅游網站為旅游者提供心儀的旅游路線，幫助二手市場的買賣雙方找到最合適的交易目標，幫助用戶找到最合適的商品購買時期、商家和最優(yōu)惠價格；

（2）幫助企業(yè)了解自己

企業(yè)生產經營需要大量的資源，大數(shù)據(jù)可以分析和鎖定資源的具體情況，例如儲量分布和需求趨勢。這些資源的可視化，可以幫助企業(yè)管理者更直觀地了解企業(yè)的運作狀態(tài)，更快地發(fā)現(xiàn)問題，及時調整運營策略，降低經營風險。

2.智慧城市

眾所周知，在疫情期間“健康碼”的快速問世，為處于疫情之下的人們提供了出行的方便。AI測溫設備的應用，避免了公共場所人員的聚集，同時也為工廠復工提供可靠的保障……以上都是大數(shù)據(jù)在智慧城市中的應用。除此以外，大數(shù)據(jù)幫助城市預防犯罪，實現(xiàn)智慧交通，提升緊急應急能力；電力企業(yè)會通過大數(shù)據(jù)實時做數(shù)據(jù)的監(jiān)測和預測，讓我們更好、更方便做這種電力的調度。

甚至如今的政務服務基于大數(shù)據(jù)運用開發(fā)的城市政務服務系統(tǒng)，真正實現(xiàn)了讓市民足不出戶辦理各項政府管理事務。比如政務服務“指尖辦理、秒批服務”就是利用大數(shù)據(jù)、人工智能等先進技術，實現(xiàn)網上申請、無人干預自動審批服務、審批結果主動及時送達的政務服務新模式。讓政府在需要的時間、需要的地方出現(xiàn)，做實服務內容，進一步優(yōu)化服務資源，給市民帶來較強的獲得感與幸福感。

3.智慧交通

隨著城市的不斷發(fā)展，以及車流量、人流量的不斷增大，各大城市都在不同程度上出現(xiàn)了交通壓力日益增大的現(xiàn)象，由此帶來了交通擁堵、環(huán)境污染、交通違章等問題，這些問題影響著交通體系的正常運轉，同時也考驗著城市交通部門的應對以及調度能力。  

而大數(shù)據(jù)可以整合運政、執(zhí)法、出租、公交、應急等數(shù)據(jù)資源，建成交通大數(shù)據(jù)中心，為交通運輸信息化建設的各項應用提供高性能、高擴展性的數(shù)據(jù)支持。在應用層面，一方面可以從智能數(shù)據(jù)應用入手，實時監(jiān)控分析道路車流量，依據(jù)動態(tài)的交通數(shù)據(jù)，自動切換和調配交通系統(tǒng)，從而調節(jié)交通流量。另一方面，交通部門可以通過實時、全面的數(shù)據(jù)可視化系統(tǒng)，呈現(xiàn)交通運行關鍵數(shù)據(jù)，為關鍵的決策進行支撐。  

通過交通多維度指標數(shù)據(jù)宏觀綜合監(jiān)測城市、行政區(qū)和重點區(qū)域的交通整體運行情況，同時可以分鐘級監(jiān)測突發(fā)交通擁堵，幫助城市交通決策者量化掌控城市交通運行情況，提高決策效率與能力，進而實現(xiàn)城市智慧交通管理和運行。

4.智慧醫(yī)療

大數(shù)據(jù)在醫(yī)療中更是有著比較廣泛的應用。在我國，國家政策已深入醫(yī)療信息化改革，各地正大力推進以電子病歷為核心的醫(yī)院信息化建設，積極探索并建立以電子健康檔案為核心的區(qū)域醫(yī)療信息平臺。醫(yī)療信息化的廣泛應用在科學研究 、醫(yī)療服務、健康保健和衛(wèi)生管理過程中形成了健康醫(yī)療大數(shù)據(jù)。  

比如現(xiàn)在的基因工程以及疾病的預測分析和每個病人的手術方案等等，可能都會用到大數(shù)據(jù)。 大數(shù)據(jù)幫助醫(yī)療機構建立患者的疾病風險跟蹤機制，幫助醫(yī)藥企業(yè)提升藥品的臨床使用效果，幫助艾滋病研究機構為患者提供定制的藥物。  

4.智慧農業(yè)

人口增長與消費推動對農業(yè)生產增長的需求，而氣候變化和地球可持續(xù)發(fā)展也已成為粗放型農業(yè)發(fā)展頭上的緊箍咒。而隨著傳感器、算力和算法的發(fā)展農業(yè)是最能從大數(shù)據(jù)中受益的行業(yè)之一，能實現(xiàn)生產效率的飛躍。

例如將農場坐標和相關信息上傳至大數(shù)據(jù)平臺，與實時氣象信息，比如溫度、濕度、風力、雨水等進行整合分析，幫助農場判斷每個地塊的播種、收獲、耕作時間。與此同時，還可以利用大數(shù)據(jù)進行土壤成分分析，形成報告，時刻監(jiān)測種植活動導致成分動態(tài)變化的數(shù)據(jù)指標，并依據(jù)數(shù)據(jù)及時補充作物時所需要的肥料、水分，對未來產量進行預估，精確安排農場的生產計劃。

—  04  —大數(shù)據(jù)的應用發(fā)展過快也存在問題

1.大數(shù)據(jù)殺熟

2018年開始，“大數(shù)據(jù)殺熟”即受到廣泛關注和報道。殺熟機制受益于大數(shù)據(jù)技術的發(fā)展，當大數(shù)據(jù)技術越發(fā)達，智能化程度越高，當平臺經營者擁有市場支配地位、數(shù)據(jù)的收集與運用能力，將會積累起隱性侵害熟客消費者的能力。

大數(shù)據(jù)殺熟對消費者、社會將產生長期危害。對于消費者個人來說，一次交易中或許僅僅是價格的小數(shù)額差異，但當消費者對平臺產生依賴，長期而言交易成本不降反升，侵害了消費者的公平交易權；對于全社會而言，殺熟行為破壞了誠實信用的基本原則，降低消費者的消費欲望，導致全社會交易成本的上升。

2.數(shù)據(jù)隱私安全

隨著中國網民規(guī)模的急劇增長，大數(shù)據(jù)的匯集不可避免地加大了公民個人信息和隱私數(shù)據(jù)信息泄露的風險，2021年“3·15”晚會曝光的“人臉信息濫用”、“簡歷信息泄露”事件再次敲響了數(shù)據(jù)安全的警鐘。

在大數(shù)據(jù)發(fā)展日益蓬勃的時代，每個人的信息變得愈發(fā)透明化。伴隨著云計算、大數(shù)據(jù)、物聯(lián)網、移動互聯(lián)網、人工智能等新技術的發(fā)展，網絡邊界被不斷打破，敏捷創(chuàng)新、安全合規(guī)驅動快速轉型，數(shù)據(jù)泄露事件在各個行業(yè)頻頻發(fā)生，個人、企業(yè)和社會都在面臨數(shù)字化的轉型帶來的數(shù)據(jù)安全風險。那么安全體系的建設尤為重要和關鍵，而其中數(shù)據(jù)安全和隱私保護則是安全體系的重中之重。

—  05  —小結

未來隨著物聯(lián)網技術的發(fā)展借助條形碼、二維碼、RFID等能夠唯一標識產品，傳感器、可穿戴設備、智能感知、視頻采集、增強現(xiàn)實等技術可實現(xiàn)實時的信息采集和分析，大數(shù)據(jù)的身影將無處不在。

站在競爭的維度上來說，未來各行業(yè)是數(shù)據(jù)之爭，真正能建構牢固“護城河”的核心要素一定落在數(shù)據(jù)上。因此我們需要注意以下三點：

第一，數(shù)據(jù)的準確性、完整性、可追溯性、持續(xù)性、真實性和共享性，這些品質決定著應用模型的質量，也決定最終的落地成果；

第二，那些占據(jù)著特定的應用場景，并且更早、更多地獲取數(shù)據(jù)的領域，競爭的優(yōu)勢會更明顯；

第三，數(shù)據(jù)的安全和隱私保護，決定了大數(shù)據(jù)在各行業(yè)的應用最終可以走多遠。

關于億信華辰

億信華辰是中國專業(yè)的智能數(shù)據(jù)產品與服務提供商，一直致力于為政企用戶提供從數(shù)據(jù)采集、存儲、治理、分析到智能應用的智能數(shù)據(jù)全生命周期管理方案，幫助企業(yè)實現(xiàn)數(shù)據(jù)驅動、數(shù)據(jù)智能，已積累了8000多家用戶的服務和客戶成功經驗，為客戶提供數(shù)據(jù)分析平臺、數(shù)據(jù)治理系統(tǒng)搭建等專業(yè)的產品咨詢、實施和技術支持服務。