ETL,用來描述將數(shù)據(jù)從來源端經(jīng)過抽取、轉換、加載至目的端的過程。ETL是BI項目中重要的一個環(huán)節(jié)，用戶從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗，最終按照預先定義好的數(shù)據(jù)模型，將數(shù)據(jù)加載到數(shù)據(jù)倉庫中去，為后續(xù)的數(shù)據(jù)分析提供數(shù)據(jù)支撐。 舉個例子來說就是，某電商公司分析人員根據(jù)訂單數(shù)據(jù)進行用戶特征分析。這時需要基于訂單數(shù)據(jù)，計算一些相應的分析指標，如每個用戶的消費頻次，銷售額最大的單品，用戶復購時間間隔等。這些指標都要通過計算轉換得到，這時候ETL的作用就顯現(xiàn)出來了。 所以ETL在商務智能中能夠起到的作用是巨大的，那么ETL究竟是什么？應該怎么用？億信ABI今天就和大家聊聊這些。 一、什么是ETL？ ETL，Extract-Transform-Load的縮寫，是將業(yè)務系統(tǒng)的數(shù)據(jù)經(jīng)過抽取、清洗轉換之后加載到數(shù)據(jù)倉庫的過程。ETL是數(shù)據(jù)集成的第一步，也是構建數(shù)據(jù)倉庫最重要的步驟，目的是將企業(yè)中的分散、零亂、標準不統(tǒng)一的數(shù)據(jù)整合到一起，為企業(yè)的決策提供分析依據(jù)。ETL一詞較常用在數(shù)據(jù)倉庫，但其對象并不限于數(shù)據(jù)倉庫。 ETL 是企業(yè)數(shù)據(jù)應用過程中的一個數(shù)據(jù)流（pipeline）的控制技術，把原始的數(shù)據(jù)經(jīng)過一定的處理，放入數(shù)據(jù)倉庫里。可以想象一下一條大河的源頭被污染，下游就無法作為飲用水源，也無法用于灌溉。如果想用于灌溉，就要將河上游工廠的污水進行處理之后再排入，如果想用于飲用，那就要用水淡化或者滲透過濾技術，對水質(zhì)進行改造。同樣，原始數(shù)據(jù)并不是完美的、潔凈的，質(zhì)量參差不齊的數(shù)據(jù)對于數(shù)據(jù)最終的使用會產(chǎn)生很大的影響。 2、ETL的流程是什么？ ETL如同它代表的三個英文單詞，涉及三個獨立的過程：抽取、轉換和加載。工作流程往往作為一個正在進行的過程來實現(xiàn)，各模塊可靈活進行組合，形成ETL處理流程。 1.數(shù)據(jù)抽取 數(shù)據(jù)抽取指的是從不同的網(wǎng)絡、不同的操作平臺、不同的數(shù)據(jù)庫和數(shù)據(jù)格式、不同的應用中抽取數(shù)據(jù)的過程。目標源可能包括ERP、CRM和其他企業(yè)系統(tǒng)，以及來自第三方源的數(shù)據(jù)。 不同的系統(tǒng)傾向于使用不同的數(shù)據(jù)格式，在這個過程中，首先需要結合業(yè)務需求確定抽取的字段，形成一張公共需求表頭，并且數(shù)據(jù)庫字段也應與這些需求字段形成一一映射關系。這樣通過數(shù)據(jù)抽取所得到的數(shù)據(jù)都具有統(tǒng)一、規(guī)整的字段內(nèi)容，為后續(xù)的數(shù)據(jù)轉換和加載提供基礎，具體步驟如下： ①確定數(shù)據(jù)源，需要確定從哪些源系統(tǒng)進行數(shù)據(jù)抽取 ②定義數(shù)據(jù)接口，對每個源文件及系統(tǒng)的每個字段進行詳細說明 ③確定數(shù)據(jù)抽取的方法：是主動抽取還是由源系統(tǒng)推送？是增量抽取還是全量抽取？是按照每日抽取還是按照每月抽取？ 2.數(shù)據(jù)轉換 數(shù)據(jù)轉換實際上還包含了數(shù)據(jù)清洗的工作，需要根據(jù)業(yè)務規(guī)則對異常數(shù)據(jù)進行清洗，主要將不完整數(shù)據(jù)、錯誤數(shù)據(jù)、重復數(shù)據(jù)進行處理，保證后續(xù)分析結果的準確性。 數(shù)據(jù)轉換就是處理抽取上來的數(shù)據(jù)中存在的不一致的過程。數(shù)據(jù)轉換一般包括兩類：第一類：數(shù)據(jù)名稱及格式的統(tǒng)一，即數(shù)據(jù)粒度轉換、商務規(guī)則計算以及統(tǒng)一的命名、數(shù)據(jù)格式、計量單位等；第二類：數(shù)據(jù)倉庫中存在源數(shù)據(jù)庫中可能不存在的數(shù)據(jù)，因此需要進行字段的組合、分割或計算。主要涉及以下幾個方面： ①空值處理：可捕獲字段空值，進行加載或替換為其他含義數(shù)據(jù)，或數(shù)據(jù)分流問題庫 ②數(shù)據(jù)標準：統(tǒng)一元數(shù)據(jù)、統(tǒng)一標準字段、統(tǒng)一字段類型定義 ③數(shù)據(jù)拆分：依據(jù)業(yè)務需求做數(shù)據(jù)拆分，如身份證號，拆分區(qū)劃、出生日期、性別等 ④數(shù)據(jù)驗證：時間規(guī)則、業(yè)務規(guī)則、自定義規(guī)則 ⑤數(shù)據(jù)替換：對于因業(yè)務因素，可實現(xiàn)無效數(shù)據(jù)、缺失數(shù)據(jù)的替換 ⑥數(shù)據(jù)關聯(lián)：關聯(lián)其他數(shù)據(jù)或數(shù)學，保障數(shù)據(jù)完整性 3.數(shù)據(jù)加載 數(shù)據(jù)加載的主要任務是將經(jīng)過清洗后的干凈的數(shù)據(jù)集按照物理數(shù)據(jù)模型定義的表結構裝入目標數(shù)據(jù)倉庫的數(shù)據(jù)表中，如果是全量方式則采用LOAD方式，如果是增量則根據(jù)業(yè)務規(guī)則MERGE進數(shù)據(jù)庫，并允許人工干預，以及提供強大的錯誤報告、系統(tǒng)日志、數(shù)據(jù)備份與恢復功能。整個操作過程往往要跨網(wǎng)絡、跨操作平臺。 在實際的工作中，數(shù)據(jù)加載需要結合使用的數(shù)據(jù)庫系統(tǒng)（Oracle、Mysql、Spark、Impala等），確定最優(yōu)的數(shù)據(jù)加載方案，節(jié)約CPU、硬盤IO和網(wǎng)絡傳輸資源。 三、ETL有什么價值？ ETL 的成功應用將為企業(yè)帶來巨大的價值，一般來說，ETL在企業(yè)中的價值主要體現(xiàn)在： 1、簡化了用戶的操作 ETL通常通過圖形化的配置方式，簡單，靈活，使得用戶無需過分關心數(shù)據(jù)庫的各種內(nèi)部細節(jié)，而專注于功能。 2、支持各種數(shù)據(jù)源，特別是平面數(shù)據(jù)源 ETL出了支持所有常見的數(shù)據(jù)源，如Oracle,Sqlserver,DB2,,Mysql,Access,Vf等，還提供了對各種平面數(shù)據(jù)源，如txt，excel，csv，xml等的支持。 3 、簡化內(nèi)部業(yè)務系統(tǒng)的數(shù)據(jù)集成 舉個例子來看，如果由于各種原因，企業(yè)的生產(chǎn)物資系統(tǒng)數(shù)據(jù)庫采用分布式部署，每天需要將分布在全國各地20 多個數(shù)據(jù)庫的數(shù)據(jù)約2200 多萬條物資采購和使用數(shù)據(jù)集中匯總至總部進行整理分析。應用ETL技術后，數(shù)據(jù)采集和清洗的效率、準確性和系統(tǒng)性能大幅提高，同時簡化了整個數(shù)據(jù)匯總分析的過程。 能夠通過ETL的三個流程，大大提高效率簡化流程。 4、提高設備采集數(shù)據(jù)分析效率 繼續(xù)舉例子來看，如果企業(yè)生產(chǎn)的大型港口機械裝備遍布全球碼頭，每臺設備上都裝有起重機管理系統(tǒng)，這些設備的故障、旁路、工作循環(huán)等各類工況數(shù)據(jù)都會存入起重機管理系統(tǒng)，由于用戶的要求不同，系統(tǒng)使用的數(shù)據(jù)庫各不一樣，數(shù)據(jù)項也會略有差異。企業(yè)需要收集這些設備的工況數(shù)據(jù)到內(nèi)部的云平臺上匯總分析并為用戶提供主動性服務，而ETL技術在設備工況數(shù)據(jù)的采集、清洗加工和匯總分析等應用上發(fā)揮了巨大的作用。 ETL是構建整個數(shù)據(jù)倉庫的核心和靈魂，對于大型裝備制造企業(yè)，如果能夠規(guī)劃和設計好ETL的使用，同時結合云計算及大數(shù)據(jù)分析和處理平臺，不管是對于企業(yè)內(nèi)部業(yè)務系統(tǒng)的有效集成，為管理層提供高效的商業(yè)智能分析，或是結合大型裝備產(chǎn)品進行工況數(shù)據(jù)的采集分析，為使用者提供更多的增值服務，都將起到至關重要的作用。 四、ETL應用優(yōu)勢 市面上大多BI工具都不含ETL功能，在進行上述項目時，通常會用到BI、ETL兩個工具，成本高、花費時間長。而億信ABI基于這個需求，依賴十余年數(shù)倉經(jīng)驗，推出可視化ETL功能，通過簡單的拖拽就可以完成ETL過程，所以下面的講解我們以億信ABI為例。 1、程序設計人性化，操作更易用 一般情況下，ETL過程設計需要用到大量的代碼，且重復利用率較低。億信ABI中的ETL功能充分結合大量項目人員實施習慣，操作敏捷易用，可快速地建立起ETL過程，提高效率，降低實施難度。億信ABI有著更友好易用的數(shù)據(jù)處理體驗： 數(shù)據(jù)處理支持批量創(chuàng)建，ETL定義支持數(shù)據(jù)抽樣； 開發(fā)過程支持多人協(xié)同定義，共享資料庫，使得數(shù)據(jù)處理過程更高效； 系統(tǒng)內(nèi)部封裝大量清洗轉換規(guī)則，極大程度的降低技術門檻，只需簡單的拖拽配置，即可玩轉數(shù)據(jù)處理； 2、擁有豐富的數(shù)據(jù)處理組件 億信ABI中的ETL組件豐富多樣，面向數(shù)據(jù)分析師精心打造，滿足各種各樣的數(shù)據(jù)處理場景。一般情況下，一個簡單的數(shù)據(jù)處理需求，前期在技術人員這里可能徘徊2到3天，更何況還有后期的修改。有了豐富的可視化ETL組件，復用率高，屏蔽復雜的編碼任務，操作簡單，數(shù)據(jù)處理更高效。 億信ABI中內(nèi)置組件包括：輸入輸出組件、轉換組件、流程組件、統(tǒng)計組件、數(shù)倉組件、腳本組件、大數(shù)據(jù)組件等。 以轉換組件里面的清洗組件為例，清洗組件支持記錄級清洗和字段級清洗，內(nèi)置50多種規(guī)則，支持在一個組件中完成多次清洗轉換設置。支持清洗前后結果預覽。 3、可以靈活的調(diào)度任務 一般情況下，ETL過程都會伴隨著調(diào)度任務的設置。比如，某銷售部門需要每周五抽取數(shù)據(jù)計算當周銷售利潤用于匯報，如果利用ETL實現(xiàn)，時間調(diào)度管理必不可少。億信ABI的ETL調(diào)度導向，深度考慮各使用場景，用戶只需簡單操作，即可實現(xiàn)復雜的調(diào)度任務。 支持基于時間或事件的調(diào)度機制,如:任意事件周期、文件到達、腳本事件等； 調(diào)度設置支持crontab表達式； 調(diào)度設置能指定到月份、星期、日期、小時、分鐘的粒度； 支持設置調(diào)度的時間窗口，重調(diào)時間間隔等； 4、隔離設計，應用更穩(wěn)定 為保證運行環(huán)境的穩(wěn)定可靠，提供了設計區(qū)與運行區(qū)隔離的機制，所有作業(yè)的修訂和更改通過在設計區(qū)完成調(diào)試和試運行后，通過發(fā)布機制，發(fā)布到穩(wěn)定的運行環(huán)境，保證開發(fā)和運行兩不耽誤。 億信ABI除了高效的數(shù)據(jù)處理能力，還擁有智能分析引擎、高擴展性、高集成性等亮點功能，在數(shù)據(jù)填報、數(shù)據(jù)處理、大屏可視化、自助分析、預測挖掘等場景的的應用效果也首屈一指。 五、小結 對于ETL，我們要有一個清晰的認識，它不是想象中的簡單一蹴而就，在實際的過程，你可以會遇到各種各樣的問題，甚至是部門之間溝通的問題。出現(xiàn)以上問題時，可以和團隊小伙伴或者業(yè)務側一起制定解決方案，不斷完善，只有這樣才能保證我們的業(yè)務分析結果是準確的，才能指導公司做出正確的決策。也只有這樣，才能真正發(fā)揮ETL在企業(yè)中的作用。