【大數據基礎知識】熱門的大數據技術有什么

隨著大數據分析市場迅速擴展，哪些技術是最有需求和最有增長潛力的呢？在Forrester Research的一份最新研究報告中，評估了22種技術在整個數據生命周期中的成熟度和軌跡。這些技術都對大數據的實時、預測和綜合洞察有著巨大的貢獻。

1. 預測分析技術

這也是大數據的主要功能之一。預測分析允許公司通過分析大數據源來發現、評估、優化和部署預測模型，從而提高業務性能或降低風險。同時，大數據的預測分析也與我們的生活息息相關。淘寶會預測你每次購物可能還想買什么，愛奇藝正在預測你可能想看什么，百合網和其他約會網站甚至試圖預測你會愛上誰……

2. NoSQL數據庫

NoSQL，Not Only SQL，意思是“不僅僅是SQL”，泛指非關系型數據庫。NoSQL數據庫提供了比關系數據庫更靈活、可伸縮和更便宜的替代方案，打破了傳統數據庫市場一統江山的格局。并且，NoSQL數據庫能夠更好地處理大數據應用的需求。常見的NoSQL數據庫有HBase、Redis、MongoDB、Couchbase、LevelDB等。

3. 搜索和知識發現

支持來自于多種數據源(如文件系統、數據庫、流、api和其他平臺和應用程序)中的大型非結構化和結構化數據存儲庫中自助提取信息的工具和技術。如，數據挖掘技術和各種大數據平臺。

4. 大數據流計算引擎

能夠過濾、聚合、豐富和分析來自多個完全不同的活動數據源的數據的高吞吐量的框架，可以采用任何數據格式。現今流行的流式計算引擎有Spark Streaming和Flink。

5. 內存數據結構

通過在分布式計算機系統中動態隨機訪問內存(DRAM)、閃存或SSD上分布數據，提供低延遲的訪問和處理大量數據。

6. 分布式文件存儲

為了保證文件的可靠性和存取性能，數據通常以副本的方式存儲在多個節點上的計算機網絡。常見的分布式文件系統有GFS、HDFS、Lustre 、Ceph等。

7. 數據虛擬化

數據虛擬化是一種數據管理方法，它允許應用程序檢索和操作數據，而不需要關心有關數據的技術細節，比如數據在源文件中是何種格式，或者數據存儲的物理位置，并且可以提供單個客戶用戶視圖。

8. 數據集成

用于跨解決方案進行數據編排的工具，如Amazon Elastic MapReduce (EMR)、Apache Hive、Apache Pig、Apache Spark、MapReduce、Couchbase、Hadoop和MongoDB等。

9. 數據準備

減輕采購、成形、清理和共享各種雜亂數據集的負擔的軟件，以加速數據對分析的有用性。

10. 數據質量

使用分布式數據存儲和數據庫上的并行操作，對大型高速數據集進行數據清理和充實的產品。