亞馬遜雲科技Amazon Glue服務功能升級

亞馬遜雲科技Amzon Glue服務功能升級,現在提供3種新功能:自定義可視化轉換,該功能讓客戶可以在其團隊中定義、重複使用和共享業務特定ETL邏輯;三種開源數據湖存儲框架,該功能可以事務一致的方式在Amzon Simple Stoge Seice (Amzon S3) 中讀取和寫入數據;以及新連接器。

點擊查看:亞馬遜雲科技免費套餐

Amzon Glue是一項無服務器、可擴展的數據集成服務,該服務使您可以更輕鬆地發現、準備、移動和集成多箇來源的數據。藉助這些新功能,數據工程師可以爲Amzon Glue可視任務編輯器寫入可重複使用的轉換,以開源數據湖格式標準寫入數據,並連接到更多原生數據存儲。

您可以使用Apche Spk代碼和用戶輸入表單定義Amzon Glue自定義可視化變換。此外,您還可以爲輸入表單指定驗證,以幫助保護用戶,使其免犯錯誤。將定義轉換的文件保存到您的賬戶後,它會自動出現在可視化任務編輯器中可用轉換的下拉列表中。

您可以調用可視化和基於代碼的任務中的自定義可視化轉換,並且在賬戶之間共享轉換也非常簡單。此外,在讀取或寫入數據時,數據湖框架簡化了在Amzon S3上構建的數據湖中的增量數據處理。它們支持的功能包括時間旅行查詢、ACID(原子性、一致性、隔離、耐久性)事務、流式攝取、變更數據捕獲 (CDC)、upset和刪除。