分析大量數(shù)據只是使大數(shù)據分析與以前的數(shù)據分析不同的一部分。我們還要了解其它方面。

先有數(shù)據，然后是大數(shù)據。那么，它們有什么區(qū)別？

定義大數(shù)據

一般而言，大數(shù)據是指容量龐大的數(shù)據集，大到傳統(tǒng)的數(shù)據處理軟件產品無法在合理的時間內捕獲、管理和處理數(shù)據。

這些大數(shù)據集可以包括結構化數(shù)據、非結構化數(shù)據和半結構化數(shù)據，人們可以從每個數(shù)據挖掘到洞察。

多大的數(shù)據才算得上“大”尚無定論，但它通常可能是幾個拍字節(jié)（petabyte），并且對于艾字節(jié)（exabyte）范圍中的最大項目也是如此。

通常，大數(shù)據的特點是三個V：

極大的數(shù)據量

各種類型的數(shù)據

數(shù)據得到處理和分析的速度

構成大數(shù)據存儲中的數(shù)據可以來自網站、社交媒體、臺式機和移動應用、科學實驗以及物聯(lián)網（IoT）中日益增多的傳感器和其他設備。

大數(shù)據的概念帶有一組相關組件，這些組件使組織可以使數(shù)據得到實際應用并解決一些業(yè)務問題。這包括用來支持大數(shù)據所需的IT基礎設施、應用于數(shù)據的分析、大數(shù)據項目所需的技術、一系列有關的技能、以及對大數(shù)據很重要的實際用例。

大數(shù)據和分析

真正能從組織所收集的所有大數(shù)據中實現(xiàn)價值的東西是應用于數(shù)據的分析。沒有分析的話，這只是一大堆商業(yè)用途十分有限的數(shù)據。

企業(yè)通過將分析應用于大數(shù)據就可以看到銷售額的增長、客戶服務的改善、效率的提高以及競爭力得到全面提升等優(yōu)勢。

數(shù)據分析包括檢查數(shù)據集以獲得洞察或得出關于它們包含的內容的結論，例如關于未來活動的趨勢和預測。

組織通過數(shù)據分析可以做出更明智的業(yè)務決策，例如何時何地進行營銷活動或引入新產品或服務。

分析可以指基本的商業(yè)智能應用程序或更高級的預測分析，例如科學機構所使用的分析。最先進的數(shù)據分析類型是數(shù)據挖掘，分析師在這里評估大型數(shù)據集以確定關系、模式和趨勢。

數(shù)據分析可以包括探索性數(shù)據分析（識別數(shù)據中的模式和關系）和驗證性數(shù)據分析（應用統(tǒng)計方法來確定關于特定數(shù)據集的假設是否屬實）。

另一個區(qū)別是定量數(shù)據分析（或對具有可以統(tǒng)計比較的可量化變量的數(shù)字數(shù)據的分析）與定性數(shù)據分析（其側重于非數(shù)字數(shù)據，如視頻、圖像和文本）。

支持大數(shù)據的IT基礎設施

要讓大數(shù)據的概念發(fā)揮作用，組織需要有合適的基礎設施來收集和存儲數(shù)據、提供對數(shù)據的訪問并保護信息在存儲和傳輸過程中的安全。

這在較高的層面上還包括為大數(shù)據，數(shù)據管理和集成軟件，商業(yè)智能和數(shù)據分析軟件以及大數(shù)據應用設計的存儲系統(tǒng)和服務器。

由于公司希望繼續(xù)利用其數(shù)據中心投資，大部分這種基礎設施可能會在本地部署。但越來越多的組織依靠云計算服務來處理他們的大部分大數(shù)據需求。

數(shù)據收集需要有收集數(shù)據的來源。其中有很多來源——如Web應用程序、社交媒體渠道、移動應用程序和電子郵件存檔——已經就位。但隨著物聯(lián)網的逐漸成熟，企業(yè)可能需要在各種設備、車輛和產品上部署傳感器、以及生成用戶數(shù)據的新應用程序來收集數(shù)據。（面向物聯(lián)網的大數(shù)據分析具有自身的專業(yè)技術和工具。）

為了存儲所有傳入的數(shù)據，組織需要有足夠的數(shù)據存儲。存儲選項包括傳統(tǒng)的數(shù)據倉庫，數(shù)據湖泊和基于云的存儲。

安全基礎架構工具可能包括數(shù)據加密、用戶身份驗證和其它訪問控制、監(jiān)控系統(tǒng)、防火墻、企業(yè)移動管理以及其它保護系統(tǒng)和數(shù)據的產品，

大數(shù)據特有的技術

一般來說，除了上述用于數(shù)據的IT基礎架構之外。你的IT基礎架構應該支持大數(shù)據特有的幾種技術。

Hadoop生態(tài)系統(tǒng)

Hadoop是其中一項與大數(shù)據密切相關的技術。Apache Hadoop項目為可擴展的分布式計算開發(fā)開源軟件。

Hadoop軟件庫是一個框架，該框架支持使用簡單的編程模型在計算機集群中對大數(shù)據集進行分布式處理。它旨在從單個服務器擴展到數(shù)千個，每個服務器都提供本地計算和存儲。

該項目包括幾個模塊：

Hadoop Common是支持其它Hadoop模塊的通用工具

Hadoop分布式文件系統(tǒng)，它可以為應用程序數(shù)據提供高吞吐量的訪問

Hadoop YARN是一個作業(yè)調度和集群資源管理的框架

Hadoop MapReduce是一個基于YARN的大數(shù)據集并行處理系統(tǒng)。

Apache Spark

作為Hadoop生態(tài)系統(tǒng)的一部分的Apache Spark是一個開源的集群計算框架，它可充當在Hadoop中處理大數(shù)據的引擎。Spark已經成為關鍵的大數(shù)據分布式處理框架之一，而且它可以通過多種方式進行部署。它為Java、Scala、Python（尤其是Natrona Python發(fā)行版）和R編程語言（R特別適用于大數(shù)據）提供本地綁定，它還支持SQL、流數(shù)據、機器學習和圖形處理。

數(shù)據湖泊

數(shù)據湖泊是存儲庫，這個存儲庫可以容納大量以原始格式的形式存在的數(shù)據，直到業(yè)務用戶需要數(shù)據為止。數(shù)字化轉型舉措和物聯(lián)網的發(fā)展是數(shù)據湖泊發(fā)展的推手。數(shù)據湖的宗旨是，在用戶有需求時，使他們更輕松地訪問大量的數(shù)據。

NoSQL數(shù)據庫

常規(guī)的SQL數(shù)據庫是為可靠的事務（transactions）和即時查詢（ad hoc queries）而設計的，但它們具有嚴謹架構（schema）之類的限制，這些限制使得它們不太適合某些類型的應用程序。NoSQL數(shù)據庫解決了這些限制，并以這樣的方式存儲和管理數(shù)據——將高操作速度和巨大的靈活性考慮進來。很多NoSQL數(shù)據庫都是由這樣的公司開發(fā)的——這些公司追求能為大量網站存儲內容或處理數(shù)據的更好的方法。NoSQL數(shù)據庫與SQL數(shù)據庫不同的是，前者可以在數(shù)百或數(shù)千臺服務器上水平擴大和縮小規(guī)模。

內存數(shù)據庫

內存數(shù)據庫（IMDB）是一種數(shù)據庫管理系統(tǒng)，它主要依靠主存儲器而不是磁盤來存儲數(shù)據。內存數(shù)據庫比磁盤優(yōu)化的數(shù)據庫運行得更快，這是大數(shù)據分析使用和數(shù)據倉庫和數(shù)據集市創(chuàng)建的重要考慮因素。

大數(shù)據技能

大數(shù)據和大數(shù)據分析工作需要特定的技能，無論這些技能是從組織內部還是外部專家那里獲取。

這其中有很多技能都與關鍵的大數(shù)據技術組件相關，如Hadoop、Spark、NoSQL數(shù)據庫，內存數(shù)據庫和分析軟件。

其它技能則針對數(shù)據科學、數(shù)據挖掘、統(tǒng)計和定量分析、數(shù)據可視化、通用編程以及數(shù)據結構和算法等學科。我們還需要具備全面管理技能的人員來完成大數(shù)據項目。

鑒于大數(shù)據分析項目的普遍性在以及這一系列技能的人才的短缺，尋找有經驗的專業(yè)人員可能是組織面臨的最大挑戰(zhàn)之一。

大數(shù)據用例

大數(shù)據和分析可以應用于很多業(yè)務問題和用例。下面就是幾個例子：

客戶分析。公司可以檢驗客戶數(shù)據以改善客戶體驗，提高轉化率并增加留存率。

運營分析。提高運營績效并更好地利用企業(yè)資產是很多公司的目標。大數(shù)據分析可以幫助企業(yè)找到更高效地運營的方法，以及提高績效的方法。

預防詐騙。數(shù)據分析有助于發(fā)現(xiàn)可能表明出欺詐行為的可疑活動和模式，并有助于降低風險。

價格優(yōu)化。公司可以使用大數(shù)據分析來優(yōu)化他們?yōu)楫a品和服務收取的價格，從而幫助提高收入。