Netapp存儲數(shù)據(jù)恢復(fù)環(huán)境&故障情況：
某單位一臺Netapp存儲，該Netapp存儲內(nèi)共有數(shù)十塊SAS硬盤。
工作人員誤操作刪除了Netapp存儲中12個lun，刪除的數(shù)據(jù)包括客戶信息和其他重要數(shù)據(jù)。

Netapp存儲數(shù)據(jù)恢復(fù)過程：
1、將故障存儲中所有磁盤編號后取出，硬件工程師經(jīng)過檢測沒有發(fā)現(xiàn)存在硬件故障。以只讀方式將所有磁盤進(jìn)行扇區(qū)級全盤鏡像。鏡像完成后將所有磁盤按照編號還原到原存儲中，后續(xù)的數(shù)據(jù)分析和數(shù)據(jù)恢復(fù)操作都基于鏡像文件進(jìn)行。避免對原始磁盤數(shù)據(jù)造成二次破壞。
2、基于鏡像文件分析底層數(shù)據(jù)，找到盤頭位置的超級塊。
3、通過分析超級塊獲取磁盤組的起始塊信息、磁盤組名稱、邏輯組起始塊號、raid編號等信息。
分析超級塊：

北亞企安數(shù)據(jù)恢復(fù)——Netapp數(shù)據(jù)恢復(fù)

校驗塊描述信息樣例：

北亞企安數(shù)據(jù)恢復(fù)——Netapp數(shù)據(jù)恢復(fù)

分析盤序表:

北亞企安數(shù)據(jù)恢復(fù)——Netapp數(shù)據(jù)恢復(fù)

Netapp的節(jié)點分布在數(shù)量眾多的數(shù)據(jù)塊內(nèi)，在數(shù)據(jù)塊內(nèi)又被統(tǒng)一組織為節(jié)點組。每個節(jié)點組的前64字節(jié)記錄一些系統(tǒng)數(shù)據(jù)，用192字節(jié)為一項來記錄各個文件節(jié)點。根據(jù)用戶級別分為兩類：“MBFP”系統(tǒng)文件節(jié)點和“MBFI”用戶文件節(jié)點。
節(jié)點樣例圖：

北亞企安數(shù)據(jù)恢復(fù)——Netapp數(shù)據(jù)恢復(fù)

4、根據(jù)更新序列值獲取到最新節(jié)點。解析節(jié)點中節(jié)點類型、邏輯塊號、文件數(shù)量、文件大小、所占塊數(shù)量、數(shù)據(jù)指針，獲取節(jié)點在節(jié)點文件中的邏輯塊號。
5、獲取目錄項，并根據(jù)節(jié)點編號找到對應(yīng)節(jié)點。
獲取Netapp內(nèi)對應(yīng)節(jié)點：

北亞企安數(shù)據(jù)恢復(fù)——Netapp數(shù)據(jù)恢復(fù)

6、使用北亞企安自主研發(fā)程序掃描節(jié)點信息。
掃描服務(wù)器節(jié)點信息：

北亞企安數(shù)據(jù)恢復(fù)——Netapp數(shù)據(jù)恢復(fù)

節(jié)點掃描類：

北亞企安數(shù)據(jù)恢復(fù)——Netapp數(shù)據(jù)恢復(fù)

節(jié)點掃描程序完整流程：

北亞企安數(shù)據(jù)恢復(fù)——Netapp數(shù)據(jù)恢復(fù)

在循環(huán)掃描完畢之后將所有掃描到的MBFP、MBFI和DOC數(shù)據(jù)塊分別寫入到三個文件內(nèi)。
7、將ScanNode掃描得到的MBFI和MBFP、Dir存入數(shù)據(jù)庫。
MBFI導(dǎo)入數(shù)據(jù)庫整體流程：

北亞企安數(shù)據(jù)恢復(fù)——Netapp數(shù)據(jù)恢復(fù)

函數(shù)執(zhí)行完畢后，查看數(shù)據(jù)庫。
節(jié)點導(dǎo)入信息：

北亞企安數(shù)據(jù)恢復(fù)——Netapp數(shù)據(jù)恢復(fù)

Netapp在更改inode節(jié)點時不會直接覆蓋而是重新分配inode進(jìn)行寫入。單個文件的節(jié)點node_uid唯一不變，mbfi_usn會隨著節(jié)點的變化而增大（正常情況下提取某個文件時使用usn值最大的節(jié)點）。一般情況下存儲劃分出的單個節(jié)點會作為LUN映射到服務(wù)器使用，根據(jù)file_size可以確定這個文件的大小，按照文件大小分組后再選取usn值最大的節(jié)點，跳轉(zhuǎn)到MBFI文件的offset值偏移位置，取出節(jié)點。
節(jié)點樣例圖示：

北亞企安數(shù)據(jù)恢復(fù)——Netapp數(shù)據(jù)恢復(fù)

8、在獲取到要提取的文件的Node之后，開始提取塊設(shè)備文件。
提取塊設(shè)備文件：

北亞企安數(shù)據(jù)恢復(fù)——Netapp數(shù)據(jù)恢復(fù)

初始化完畢后，開始提取文件的各級MAP。由于本次提取的文件大小均大于1T且MAP層級為4，所以需要提取4次。第一級MAP默認(rèn)只占用1個塊，所以在程序內(nèi)直接提取，后三級MAP在GetAllMap函數(shù)內(nèi)進(jìn)行提取。通過塊號計算數(shù)據(jù)塊位置時，由于NetApp使用JBOD組織LVM，直接用塊號除以每塊磁盤上的塊數(shù)可得到當(dāng)前塊所在的磁盤序號；再使用塊號取余塊數(shù)，得到數(shù)據(jù)塊在此磁盤上的物理塊號，物理塊號乘以塊大小，得到數(shù)據(jù)塊偏移位置。
9、塊設(shè)備lun使用的是aix小機(jī)的jfs2文件系統(tǒng)，解析jfs2文件系統(tǒng)并提取里面的數(shù)據(jù)庫備份文件。
10、解析lvm。找到記錄lvm描述信息的扇區(qū)，獲取pv大小和pv序號；找到vg描述區(qū)，獲取lv數(shù)和pv數(shù)；找到pv描述區(qū)，解析pp序號和pp數(shù)。
解析文件系統(tǒng)塊信息：

北亞企安數(shù)據(jù)恢復(fù)——Netapp數(shù)據(jù)恢復(fù)

LV類型及LV掛載信息區(qū)域：

北亞企安數(shù)據(jù)恢復(fù)——Netapp數(shù)據(jù)恢復(fù)

11、解析8個1Tlun組成oralce ASM文件系統(tǒng)，提取其中的數(shù)據(jù)庫文件。
添加8個lTlun：

北亞企安數(shù)據(jù)恢復(fù)——Netapp數(shù)據(jù)恢復(fù)

解析asm文件系統(tǒng)，提取出數(shù)據(jù)庫文件。

北亞企安數(shù)據(jù)恢復(fù)——Netapp數(shù)據(jù)恢復(fù)

Netapp存儲數(shù)據(jù)驗證及數(shù)據(jù)移交：
北亞企安數(shù)據(jù)恢復(fù)工程師對恢復(fù)出來的數(shù)據(jù)進(jìn)行檢測后沒有發(fā)現(xiàn)異常情況。用戶方對恢復(fù)出來的數(shù)據(jù)進(jìn)行驗證后，確認(rèn)恢復(fù)出來的數(shù)據(jù)完整有效。本次Netapp存儲數(shù)據(jù)恢復(fù)工作完成。


審核編輯 黃宇