3G時代的文字和圖片、4G時代的圖片與視頻、5G時代的短視頻和直播，多樣化信息給人們日常生活帶來的，除了精神上的愉悅和感官上的刺激之外，也帶來了數據的瘋狂增長。

從2009年“大數據”成為互聯網技術行業的流行詞開始，至今已過去10余年，它已不再是“潮流”，它已然成為組成現代生活的基礎。

世界正在經歷一場以大數據、云計算等為代表的信息技術變革。大數據對社會生產生活產生的影響絕不限于技術層面，更本質上，它為我們看待世界提供了一種全新的方法——決策行為將日益基于數據分析做出，數據成為重要的戰略資源和新生產要素。

今天小億就來說說與大數據有關的知識，以及大數據如今主要應用在哪些領域？發展到現在又產生了哪些問題？

—  01  —什么是大數據？

在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數據時代》 中，大數據指不用隨機分析法（抽樣調查）這樣的捷徑，而采用所有數據進行分析處理的分析方法；

而研究機構Gartner給出了這樣的定義：“大數據”是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產；

根據維基百科的定義，大數據是指無法在可承受的時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合。

我們這里主要采用第三種定義，即所涉及的資料量規模巨大到無法通過目前主流軟件工具，在合理時間內達到獲取、管理、處理、并整理成為幫助企業經營決策的目的資訊。

—  02  —大數據、數據分析和數據挖掘的區別

大數據、數據分析、數據挖掘的區別是，大數據是互聯網的海量數據挖掘，而數據挖掘更多是針對內部企業行業小眾化的數據挖掘，數據分析就是進行做出針對性的分析和診斷。

大數據需要分析的是趨勢和發展，數據挖掘主要發現的是問題和診斷。

1.大數據

指無法在可承受的時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。

2.數據分析

是指用適當的統計分析方法對收集來的大量數據進行分析，提取有用信息和形成結論而對數據加以詳細研究和概括總結的過程。這一過程也是質量管理體系的支持過程。在實用中，數據分析可幫助人們作出判斷，以便采取適當行動。

3.數據挖掘

又譯為資料探勘、數據采礦。它是數據庫知識發現(英語：Knowledge-Discovery in Databases，簡稱：KDD)中的一個步驟。數據挖掘一般是指從大量的數據中通過算法搜索隱藏于其中信息的過程。數據挖掘通常與計算機科學有關，并通過統計、在線分析處理、情報檢索、機器學習、專家系統(依靠過去的經驗法則)和模式識別等諸多方法來實現上述目標。

數據挖掘(Data Mining)是從大量的、不完全的、有噪聲的、模糊的、隨機的數據中提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。

根據信息存儲格式，用于挖掘的對象有關系數據庫、面向對象數據庫、數據倉庫、文本數據源、多媒體數據庫、空間數據庫、時態數據庫、異質數據庫以及Internet等。

大數據是范圍比較廣的數據分析和數據挖掘。按照數據分析的流程來說，數據挖掘工作較數據分析工作靠前些，二者又有重合的地方，數據挖掘側重數據的清洗和梳理。數據分析處于數據處理的最末端，是最后階段。數據分析和數據挖掘的分界、概念比較模糊，模糊的意思是二者很難區分。大數據概念更為廣泛，是把創新的思維、信息技術、統計學等等技術的綜合體，每個人限于學術背景、技術背景，概述的都不一樣。

—  03  —如今大數據主要應用領域？

1.企業經營管理

企業內部的經營交易信息、互聯網中的商品物流信息、人與人交互信息、位置信息等數據是現代企業的重要資源，是企業運用科學管理、決策分析的基礎。對于一般的企業而言，大數據的作用主要表現在兩個方面：

（1）幫助企業了解用戶

大數據可以通過相關性分析，將客戶和產品、服務進行關系串聯，對用戶的偏好進行定位，從而提供更精準、更有導向性的產品和服務，提升銷售業績。比如，大數據幫助社交網站提供更準確的好友推薦，為用戶提供更精準的企業招聘信息，向用戶推薦可能喜歡的游戲以及適合購買的商品。  

在電商領域，大數據幫助企業提升營銷的針對性，降低物流和庫存的成本，減少投資的風險，以及幫助企業提升廣告投放精準度，例如幫助電商公司向用戶推薦商品和服務，幫助旅游網站為旅游者提供心儀的旅游路線，幫助二手市場的買賣雙方找到最合適的交易目標，幫助用戶找到最合適的商品購買時期、商家和最優惠價格；

（2）幫助企業了解自己

企業生產經營需要大量的資源，大數據可以分析和鎖定資源的具體情況，例如儲量分布和需求趨勢。這些資源的可視化，可以幫助企業管理者更直觀地了解企業的運作狀態，更快地發現問題，及時調整運營策略，降低經營風險。

2.智慧城市

眾所周知，在疫情期間“健康碼”的快速問世，為處于疫情之下的人們提供了出行的方便。AI測溫設備的應用，避免了公共場所人員的聚集，同時也為工廠復工提供可靠的保障……以上都是大數據在智慧城市中的應用。除此以外，大數據幫助城市預防犯罪，實現智慧交通，提升緊急應急能力；電力企業會通過大數據實時做數據的監測和預測，讓我們更好、更方便做這種電力的調度。

甚至如今的政務服務基于大數據運用開發的城市政務服務系統，真正實現了讓市民足不出戶辦理各項政府管理事務。比如政務服務“指尖辦理、秒批服務”就是利用大數據、人工智能等先進技術，實現網上申請、無人干預自動審批服務、審批結果主動及時送達的政務服務新模式。讓政府在需要的時間、需要的地方出現，做實服務內容，進一步優化服務資源，給市民帶來較強的獲得感與幸福感。

3.智慧交通

隨著城市的不斷發展，以及車流量、人流量的不斷增大，各大城市都在不同程度上出現了交通壓力日益增大的現象，由此帶來了交通擁堵、環境污染、交通違章等問題，這些問題影響著交通體系的正常運轉，同時也考驗著城市交通部門的應對以及調度能力。  

而大數據可以整合運政、執法、出租、公交、應急等數據資源，建成交通大數據中心，為交通運輸信息化建設的各項應用提供高性能、高擴展性的數據支持。在應用層面，一方面可以從智能數據應用入手，實時監控分析道路車流量，依據動態的交通數據，自動切換和調配交通系統，從而調節交通流量。另一方面，交通部門可以通過實時、全面的數據可視化系統，呈現交通運行關鍵數據，為關鍵的決策進行支撐。  

通過交通多維度指標數據宏觀綜合監測城市、行政區和重點區域的交通整體運行情況，同時可以分鐘級監測突發交通擁堵，幫助城市交通決策者量化掌控城市交通運行情況，提高決策效率與能力，進而實現城市智慧交通管理和運行。

4.智慧醫療

大數據在醫療中更是有著比較廣泛的應用。在我國，國家政策已深入醫療信息化改革，各地正大力推進以電子病歷為核心的醫院信息化建設，積極探索并建立以電子健康檔案為核心的區域醫療信息平臺。醫療信息化的廣泛應用在科學研究 、醫療服務、健康保健和衛生管理過程中形成了健康醫療大數據。  

比如現在的基因工程以及疾病的預測分析和每個病人的手術方案等等，可能都會用到大數據。 大數據幫助醫療機構建立患者的疾病風險跟蹤機制，幫助醫藥企業提升藥品的臨床使用效果，幫助艾滋病研究機構為患者提供定制的藥物。  

4.智慧農業

人口增長與消費推動對農業生產增長的需求，而氣候變化和地球可持續發展也已成為粗放型農業發展頭上的緊箍咒。而隨著傳感器、算力和算法的發展農業是最能從大數據中受益的行業之一，能實現生產效率的飛躍。

例如將農場坐標和相關信息上傳至大數據平臺，與實時氣象信息，比如溫度、濕度、風力、雨水等進行整合分析，幫助農場判斷每個地塊的播種、收獲、耕作時間。與此同時，還可以利用大數據進行土壤成分分析，形成報告，時刻監測種植活動導致成分動態變化的數據指標，并依據數據及時補充作物時所需要的肥料、水分，對未來產量進行預估，精確安排農場的生產計劃。

—  04  —大數據的應用發展過快也存在問題

1.大數據殺熟

2018年開始，“大數據殺熟”即受到廣泛關注和報道。殺熟機制受益于大數據技術的發展，當大數據技術越發達，智能化程度越高，當平臺經營者擁有市場支配地位、數據的收集與運用能力，將會積累起隱性侵害熟客消費者的能力。

大數據殺熟對消費者、社會將產生長期危害。對于消費者個人來說，一次交易中或許僅僅是價格的小數額差異，但當消費者對平臺產生依賴，長期而言交易成本不降反升，侵害了消費者的公平交易權；對于全社會而言，殺熟行為破壞了誠實信用的基本原則，降低消費者的消費欲望，導致全社會交易成本的上升。

2.數據隱私安全

隨著中國網民規模的急劇增長，大數據的匯集不可避免地加大了公民個人信息和隱私數據信息泄露的風險，2021年“3·15”晚會曝光的“人臉信息濫用”、“簡歷信息泄露”事件再次敲響了數據安全的警鐘。

在大數據發展日益蓬勃的時代，每個人的信息變得愈發透明化。伴隨著云計算、大數據、物聯網、移動互聯網、人工智能等新技術的發展，網絡邊界被不斷打破，敏捷創新、安全合規驅動快速轉型，數據泄露事件在各個行業頻頻發生，個人、企業和社會都在面臨數字化的轉型帶來的數據安全風險。那么安全體系的建設尤為重要和關鍵，而其中數據安全和隱私保護則是安全體系的重中之重。

—  05  —小結

未來隨著物聯網技術的發展借助條形碼、二維碼、RFID等能夠唯一標識產品，傳感器、可穿戴設備、智能感知、視頻采集、增強現實等技術可實現實時的信息采集和分析，大數據的身影將無處不在。

站在競爭的維度上來說，未來各行業是數據之爭，真正能建構牢固“護城河”的核心要素一定落在數據上。因此我們需要注意以下三點：

第一，數據的準確性、完整性、可追溯性、持續性、真實性和共享性，這些品質決定著應用模型的質量，也決定最終的落地成果；

第二，那些占據著特定的應用場景，并且更早、更多地獲取數據的領域，競爭的優勢會更明顯；

第三，數據的安全和隱私保護，決定了大數據在各行業的應用最終可以走多遠。

關于億信華辰

億信華辰是中國專業的智能數據產品與服務提供商，一直致力于為政企用戶提供從數據采集、存儲、治理、分析到智能應用的智能數據全生命周期管理方案，幫助企業實現數據驅動、數據智能，已積累了8000多家用戶的服務和客戶成功經驗，為客戶提供數據分析平臺、數據治理系統搭建等專業的產品咨詢、實施和技術支持服務。