數據采集。采集的對象包括視頻、圖片、音頻和文本等多種類型和多種格式的數 據。

數據采集目前常用的有三種方式，分別為：

1）系統日志采集方法；

• 構建應用系統和分析系統的橋梁，并將它們之間的關聯解耦；

• 支持近實時的在線分析系統和分布式并發的離線分析 系統；

• 具有G可擴展性，也就是說，當數據量增加時，可以 通過增加節點進行水平擴展；

• 目前為止，運用較為廣泛的有Flume、Chukwa、 Scrible和Kafka。

2）網絡數據采集 方法；

• 通過網絡爬蟲或網站公開API方式獲取大數據信息；

• 網絡爬蟲工具包 括 python爬蟲、分布式網絡爬蟲工 具 、Java網絡爬蟲工具、非Java網絡爬蟲工具。分 布式網絡爬蟲工具，如Nutch。

3）ETL。

• 即Extract-Transform-Load，描述將數據從來源端經 過抽取(extract)、轉換(transform)、加載(load)至 目 的端的過程；

• 它是一個數據集成過程，將來自多個數據源的數據組 合到一個單一的、一致的數據存儲中，該數據存儲被 加載到數據倉庫或其他目標系統中。