Hudi系列:Hudi核心概念(版本1.0)

?Hudi架構(gòu)

?一. 時(shí)間軸(TimeLine)

?1.1 時(shí)間軸(TimeLine)概念

?1.2 Hudi的時(shí)間線由組成

?1.3 時(shí)間線上的Instant action操作類(lèi)型

?1.4 時(shí)間線上State狀態(tài)類(lèi)型

?1.5 時(shí)間線官網(wǎng)實(shí)例

?二. 文件布局

?三. 索引

?3.1 簡(jiǎn)介

?3.2 對(duì)比Hive沒(méi)有索引的區(qū)別

?3.3 Hudi索引類(lèi)型

?3.4 全局索引與非全局索引

?四. 表類(lèi)型

?4.1 COW：(Copy on Write)寫(xiě)時(shí)復(fù)制表

?4.1.1 概念

?4.1.2 COW工作原理

?4.1.3 COW表對(duì)表的管理方式改進(jìn)點(diǎn)

?4.2 MOR：(Merge on Read)讀時(shí)復(fù)制表

?4.2.1 概念

?4.2.2 MOR表工作原理

?4.3 總結(jié)了兩種表類(lèi)型之間的權(quán)衡

?五. 查詢類(lèi)型

?5.1 Snapshot Queries

?5.2 Incremental Queries

?5.3 Read Optimized Query

?

一. 時(shí)間軸(TimeLine)

1.1 時(shí)間軸(TimeLine)概念

Hudi的核心是維護(hù)在不同時(shí)刻（Instant）在表上執(zhí)行的所有操作的時(shí)間軸，提供表的即時(shí)視圖，同時(shí)還有效地支持按時(shí)間順序檢索數(shù)據(jù)

?

1.2 Hudi的時(shí)間線由組成

?requested instant :

表示在時(shí)間線上請(qǐng)求操作的時(shí)間并充當(dāng)事務(wù) ID 的即時(shí)時(shí)間。在請(qǐng)求操作之前，應(yīng)該生成一個(gè)不可變的操作計(jì)劃。 

?completed instant :

表示時(shí)間軸上操作完成時(shí)間的即時(shí)時(shí)間。對(duì)表數(shù)據(jù)/元數(shù)據(jù)的所有相關(guān)更改都應(yīng)在操作完成之前進(jìn)行。

?state :

動(dòng)作的狀態(tài)。在操作的生命周期中，有效狀態(tài)為 REQUESTED、INFLIGHT 和 COMPLETED。

?type :

執(zhí)行的操作類(lèi)型。

1.3 時(shí)間線上的Instant action操作類(lèi)型

hudi保證在時(shí)間線上的操作都是基于即時(shí)時(shí)間的，兩者的時(shí)間保持一致并且是原子性的,以下是有效的操作類(lèi)型。

?COMMIT -

寫(xiě)入操作表示將一批記錄原子寫(xiě)入表中的基本文件中。

?DELTA_COMMIT -

寫(xiě)入操作表示將一批記錄原子寫(xiě)入讀合并類(lèi)型表，其中部分/全部數(shù)據(jù)可以僅寫(xiě)入增量日志。

?REPLACE_COMMIT -

寫(xiě)入操作以原子方式將表中的一組文件組替換為另一個(gè)文件組。用于實(shí)現(xiàn)批量寫(xiě)入操作，如insert_overwrite、delete_partition等，以及表服務(wù)，如集群。

?CLEANS -

表服務(wù)通過(guò)刪除這些文件來(lái)從表中刪除不再需要的舊文件切片。

?COMPACTION -

表服務(wù)通過(guò)將增量文件合并到基本文件中來(lái)協(xié)調(diào)基本文件和增量文件之間的差異數(shù)據(jù)。

?LOGCOMPACTION -

表服務(wù)將多個(gè)小日志文件合并到同一文件分片中的一個(gè)更大的日志文件中。 

?CLUSTERING -

表服務(wù)以優(yōu)化的排序順序或存儲(chǔ)布局重寫(xiě)現(xiàn)有文件組，作為表中的新文件組。

?INDEXING -

表服務(wù)在表的列上構(gòu)建請(qǐng)求類(lèi)型的索引，與正在進(jìn)行的寫(xiě)入完成時(shí)表的狀態(tài)保持一致。

?ROLLBACK -

表示回滾了不成功的寫(xiě)入操作，從存儲(chǔ)中刪除了此類(lèi)寫(xiě)入期間生成的任何部分/未提交的文件。

?SAVEPOINT -

將某些文件切片標(biāo)記為“已保存”，這樣清理器就不會(huì)刪除它們。在發(fā)生災(zāi)難/數(shù)據(jù)恢復(fù)場(chǎng)景時(shí)，它有助于將表恢復(fù)到時(shí)間線上的某個(gè)點(diǎn)，或者在這些時(shí)刻執(zhí)行時(shí)間旅行查詢。

?RESTORE -

在發(fā)生災(zāi)難/數(shù)據(jù)恢復(fù)場(chǎng)景時(shí)，將表恢復(fù)到時(shí)間線上的給定保存點(diǎn)。

1.4 時(shí)間線上State狀態(tài)類(lèi)型

任何給定的瞬間都可以處于以下?tīng)顟B(tài)之一

requested:表示一個(gè)動(dòng)作已被安排，但尚未啟動(dòng)

inflight:表是當(dāng)前正在執(zhí)行操作

completed:表是在時(shí)間線上完成了操作

1.5 時(shí)間線官網(wǎng)實(shí)例

?

上圖顯示了進(jìn)程 A 和 B 生成的時(shí)間如何單調(diào)增加，即使進(jìn)程 B 在開(kāi)始時(shí)的本地時(shí)鐘比 A 低，但通過(guò)等待 x ms 的不確定性窗口過(guò)去。
事實(shí)上，考慮到 Hudi 的目標(biāo)交易持續(xù)時(shí)間 > 1 秒，我們可以承受更高的不確定性界限（> 100 毫秒），從而保證極高保真度的時(shí)間生成。

文獻(xiàn)： https://hudi.apache.org/docs/overview

審核編輯 黃宇