服務器數(shù)據(jù)恢復環(huán)境：
一臺某品牌服務器，通過FreeNAS來做iSCSI，然后使用兩臺同品牌服務器做ESXi虛擬化系統(tǒng)。
FreeNAS層為UFS2文件系統(tǒng)，使用整個存儲建一個稀疏模式的文件，掛載到ESXi虛擬化系統(tǒng)。ESXi虛擬化系統(tǒng)中有3臺比較重要的虛擬機，這幾臺虛擬機情況如下：
1、windows server操作系統(tǒng)，運行門戶網(wǎng)站，采用ASP.net+PHP混合構(gòu)架，部署的SqlServer和mysql數(shù)據(jù)庫 。
2、FreeBSD操作系統(tǒng)，運行Mysql數(shù)據(jù)庫，供其他多臺虛擬機使用。
3、windows server系統(tǒng)，存放新開發(fā)的程序代碼。

服務器故障&分析：
在一次機房斷電之后，ESXi系統(tǒng)連不上存儲，管理員發(fā)現(xiàn)FreeNAS中的UFS2文件系統(tǒng)出現(xiàn)問題，管理員使用fsck修復文件系統(tǒng)。文件系統(tǒng)修復完成后，雖然ESXi系統(tǒng)可以連上存儲，但ESXi系統(tǒng)無法識別原數(shù)據(jù)存儲和VMFS文件系統(tǒng)，管理員對VMFS進行格式化后發(fā)現(xiàn)里面沒有任何數(shù)據(jù)。
應用構(gòu)架層次：FreeNAS(UFS2文件系統(tǒng)–> 一個大的稀疏模式的文件) –> ESXi(VMFS文件系統(tǒng)層) -> 單臺虛擬機的虛擬磁盤 (windows-NTFS文件系統(tǒng)/FreeBSD-UFS2文件系統(tǒng))。

服務器數(shù)據(jù)恢復過程：
1、鏡像FreeNAS層，基于鏡像文件分析整個存儲，只發(fā)現(xiàn)一個文件名為iscsidata的大文件。根據(jù)UFS2文件系統(tǒng)的二進制結(jié)構(gòu)定位到iscsidata文件的Inode數(shù)據(jù)，發(fā)現(xiàn)此文件被重建過，inode指針指向的數(shù)據(jù)量很少。所以通過FreeNAS層無法解決問題，只能嘗試通過VMFS層著手解決。
UFS2文件系統(tǒng)結(jié)構(gòu)：
塊大小：16KB
Segment大?。?KB
柱面組大?。?88176KB
Tips：UFS2一個數(shù)據(jù)指針占8字節(jié)，一個塊可存儲2048個數(shù)據(jù)指針，那么一個二級指針塊可存儲：2048*2048*16KB=64GB數(shù)據(jù)，一個三級指針塊則可存儲 64GB*2048=128TB數(shù)據(jù)。如果能找到iscsidata文件的三級指針塊就能解決 FreeNAS層問題。但iscsidata文件重建過，過程和大小都和原始的一樣，部分指針塊應該已經(jīng)被覆蓋。原iscsidata文件的inode和新建的iscsidata文件的inode在同一個位置，嘗試搜索后沒有發(fā)現(xiàn)其它有用的inode。北亞企安數(shù)據(jù)恢復工程師只能現(xiàn)場寫程序收集有用的指針塊。

北亞企安數(shù)據(jù)恢復——ESXi數(shù)據(jù)恢復

2、由于iscsidata文件采用稀疏模式，在放寬條件后收集到大量三級指針塊和二級指針塊。經(jīng)過分析發(fā)現(xiàn)所有收集到的三級指針塊都是無效的，沒有找到iscsidata文件使用的三級指針塊，應該是在新建iscsidata文件時被覆蓋（新的iscsidata文件掛載到ESXi后有個VMFS格式化過程，而ESXi使用的是GPT分區(qū)，GPT分區(qū)會在磁盤最后寫入冗余的GPT頭和分區(qū)表信息數(shù)據(jù)，會使用到iscsidata文件的三級指針塊）。
3、分析收集到的二級指針塊，對有大量的二級指針塊的指向數(shù)據(jù)進行DUMP，然后再通過磁盤中的數(shù)據(jù)定位到二級指針，通過這種方式可以獲取到大量DUMP的數(shù)據(jù)。
4、分析VMFS層：因為格式化過VMFS，加上原UFS2文件系統(tǒng)的指針已丟失，所以VMFS元文件基本上不可用，無重要參考信息，所幸虛擬機都有快照，仍可恢復。通過單臺虛擬機(windows(NTFS)和 FreeBSD(UFS2)的文件系統(tǒng)結(jié)構(gòu))，向上定位到VMFS層，再通過VMFS層定位到DUMP出的單個64GB文件。
5、通過多次組合，這3臺重要虛擬機的虛擬磁盤都完全恢復。將恢復出的網(wǎng)頁數(shù)據(jù)和數(shù)據(jù)庫數(shù)據(jù)上傳到新搭建的系統(tǒng)中，拉起應用，經(jīng)過檢測數(shù)據(jù)完全無問題。

北亞企安數(shù)據(jù)恢復——ESXi數(shù)據(jù)恢復

審核編輯 黃宇