TDH中的Transporter

本文主要介紹Transwarp的etl工具——Transporter，本文依托于星環的官方文檔，通過一個簡單的實例來讓大家熟悉Transporter的使用。關注專欄《Transwarp系列》了解更多Transwarp的技術知識~

---

目錄

一、Transporter簡介

1.1?簡介

1.2?Transporter的特點

二、Transporter實例

2.1?案例一

2.1.1?業務需求

2.1.2?業務實現

2.2?案例二

2.2.1?業務需求

2.2.2?業務實現

---

一、Transporter簡介

1.1?簡介

Transporter是一個數據etl工具，支持從不同數據源獲取數據，對數據的復雜轉換操作，并最終將數據落地成不同格式。Transporter左側連接數據源，如關系型數據庫，右側連接目標系統，如Inceptor。支持用戶將數據從RDBMS遷移到Hadoop，再進行數據分析和挖掘工作。

1.2?Transporter的特點

1、支持豐富的數據源

Transporter支持跨集群的數據導入，并且可直接從Oracle/DB2等傳統關系數據庫將數據導入至TDH,同Sqoop相比，可以在不失效率的情況下簡化繁瑣的數據流定義步驟以及復雜的類型轉換等問題。支持導入CSV、定長文件、JSON、XML等文件。同時支持導入OGG、Shareplex、DataStage產生的增量文件，實現準實時的數據同步。此外，還支持通過Kafka等方式讀入流數據。

2、支持豐富的導出格式

用戶可以通過Transporter直接導出數據至傳統關系數據庫、ElasticSearch，以及實現跨集群導出。Transporter支持多種數據導出格式，如CSV、JSON、XML，并且支持Inceptor中所有類型的表：普通ORC、ORC交易表、Holodesk、Hbase、Hyperdrive。

3、支持多種數據轉換操作

提供多種常見的數據轉換操作，幫助實現數據的清洗，加工。其中的關鍵操作有：字段映射功能、數據關聯、集合操作、聚合操作、過濾、去重。

4、輕量的應用

采用Web交互的方式，實現數據流的設計。Transporter只是用于數據流設計和調度工作流的服務平臺，本身不包含執行引擎，不負責任務實現，而是將工作任務提交到Inceptor或者其他計算引擎來完成，因此是極為輕量的應用。

5、高度并發

利用分布式集群進行數據流的并行計算，自動分析數據流依賴，實現數據流作業中最大可能的并行化。

6、高吞吐

擅長大數據量的同步，峰值數據吞吐率可達到40M/秒/節點。

7、數據質量和安全保障

提供事務級別的數據同步，確保目標表與原表擁有相同的數據一致性。另外還提供了完整的權限控制機制，用于保證數據的安全。

二、Transporter實例

2.1?案例一

2.1.1?業務需求

現在有兩份人員名單，需要將其合并后寫入Inceptor。?

?

2.1.2?業務實現

1、為了方便測試，首先將兩份數據上傳到hdfs的目錄下，如下所示 ：

2、新建數據流，進入設計模式。

3、選擇并拖出CSVReader模塊并修改Reader參數。

同樣的方法將two.csv文件讀進來，如下：

4、選中轉換模塊中的union模塊，并連接數據源模塊與union模塊。

5、拖出TextWriter，并連接轉換模塊與目標模塊

6、修改TextWriter的參數

7、完成后，點擊右上角的保存按鈕進行保存，并進入調試模式。

如果調試沒有問題，此處所有組件圖表均為綠色。

查詢數據庫中的數據可以發現數據已經入庫到對應的表中：

8、調試無誤后點擊下面的圖表進行發布。

2.2?案例二

2.2.1?業務需求

查詢得到年齡大于24歲的人員名單并將數據導出到csv文件。

2.2.2?業務實現

1、同樣的，新建數據源

2、選擇CSVWriter模塊并修改參數，如下：

3、選擇過濾模塊并編輯參數

4、選擇CSVWriter目標模塊并編輯參數

5、保存并調試，發現數據已經導出到對應的目錄中

?

以上就是本文的所有內容了，通過兩個簡單的實例，大家一定對Transporter有了一個初步的認識，本文到此已經接近尾聲了，你們在此過程中遇到了什么問題，歡迎留言，讓我看看你們都遇到了哪些問題~