Hello 大家好,今天為大家?guī)韊IQ Time Series Studio系列的最后一講。
上期講到的“Utilities”模塊中“Data Intelligence”數(shù)據(jù)智能工具。數(shù)據(jù)智能工具可以幫助用戶評估數(shù)據(jù)集的平衡性,確定各個數(shù)據(jù)通道/軸的重要性,還可以幫助確定最佳采樣頻率和窗口大小,從而優(yōu)化數(shù)據(jù)集,提高質(zhì)量和分析。本節(jié)將介紹“Utilities”模塊中的“Data Operation”數(shù)據(jù)操作工具。
Data Operation
數(shù)據(jù)操作模塊是TSS中的一個非常重要且方便實用的工具,主要解決非結(jié)構(gòu)化表格數(shù)據(jù)與TSS項目所需的標準化信號格式之間的兼容問題。與圖像數(shù)據(jù)不同,時間序列數(shù)據(jù)的來源廣泛,形式多樣。
比如可能會碰到實驗室設(shè)備參數(shù)、工況不完全一致,系統(tǒng)新老不一等這類數(shù)據(jù)源的數(shù)據(jù)。數(shù)據(jù)格式不完全統(tǒng)一,這使得TSS機器學習任務(wù)變得困難。這個工具能讓用戶輕松預處理、轉(zhuǎn)換和驗證這些五花八門的時間序列數(shù)據(jù),直接生成符合TSS工作流程要求的輸入文件數(shù)據(jù)集。Data Operation主界面如圖所示:

Dataset-數(shù)據(jù)集
數(shù)據(jù)集部分允許用戶導入表格數(shù)據(jù)文件(TXT或CSV格式)以進行后續(xù)處理。可以加載單個或多個文件,并使用驗證規(guī)則確保數(shù)據(jù)一致性。如需從本地系統(tǒng)選擇文件,請點擊“Import Files”按鈕??梢酝瑫r導入多個文件。

若導入多個文件,請確保所有導入的文件具有相同的列數(shù)。否則,要將它們合并為一個文件,請點擊“Concatenate Files”并選擇“Direction”選項。如果文件未連接,則此操作將分別應(yīng)用于每個文件。

若數(shù)據(jù)表中包含列標題,請單擊“Ignore the first label line”跳過第一行(標題)。可手動選擇相應(yīng)的分隔符并預覽數(shù)據(jù)。

Operation-操作區(qū)
操作部分允許用戶對導入的數(shù)據(jù)集使用各種數(shù)據(jù)轉(zhuǎn)換。大多數(shù)操作需要參數(shù)配置才能達到預期結(jié)果。
Remove lines
刪除用戶認為無用的行。
1. 輸入要刪除的行 2. 點擊“Run”按鈕

Remove Columns
刪除用戶認為無用的列。
1. 輸入要刪除的列 2. 點擊“Run”按鈕

Remove Channels
移除用戶認為無用的通道。僅適用于多通道數(shù)據(jù),用戶可以先將數(shù)據(jù)導入“Data Intelligence”模塊進行智能分析來獲得推薦。通道相關(guān)性和通道重要性指標可以幫助識別冗余通道。
1. 點擊“NumberofChannels”填寫數(shù)據(jù)集的通道數(shù)
2. 選擇需要刪除的數(shù)據(jù)通道
3. 點擊“Run”按鈕

Separate Data by Columns
根據(jù)用戶指定的列數(shù),進行行列轉(zhuǎn)換。
1. 點擊“NumberofColumns”填寫數(shù)據(jù)集的列數(shù)
2. 點擊“Run”按鈕

Transpose Data
將數(shù)據(jù)集轉(zhuǎn)置,使行變成列,列變成行。直接點擊“RUN”按鈕。

Shuffle Data
按行打亂數(shù)據(jù)集。直接點擊“RUN”按鈕。

Wash Data
移除數(shù)據(jù)集中不干凈的行。這里的不干凈是指該行包含非數(shù)字元素,或者該行的列數(shù)與其他行不一致。直接點擊“RUN”按鈕。

Generate Samples
從連續(xù)數(shù)據(jù)中創(chuàng)建分段數(shù)據(jù)集,用于導入到TSS機器學習項目中。用戶可以使用“Data Intelligence”對連續(xù)數(shù)據(jù)進行智能分析,預先獲得最佳分段參數(shù)。
1. 設(shè)置通道數(shù)。注意:連續(xù)數(shù)據(jù)要求通道數(shù)與列數(shù)相同 2. 選擇目標列。注意:當用戶希望將某個通道的輸出作為回歸任務(wù)的預測目標時,此選項可用。分類任務(wù)則無需此選項 3. 設(shè)置分段數(shù)據(jù)窗長
4. 設(shè)置采樣頻率。這里指的是原始采樣頻率的分頻系數(shù) 5. 設(shè)置步長和重疊率
6. 點擊“RUN”按鈕

Down Sampling
對分段數(shù)據(jù)集進行下采樣。由于分段數(shù)據(jù)的窗長固定,因此下采樣時數(shù)據(jù)窗長會減小。
1. 設(shè)置通道數(shù) 2. 設(shè)置采樣頻率。這里指的是原始采樣頻率的分頻系數(shù)
3. 點擊“RUN”按鈕
Split Dataset
將數(shù)據(jù)集按行拆分為訓練集和測試集。
1. 選擇訓練集/測試集比率
2. 點擊“RUN”按鈕

Result-操作處理結(jié)果
“Result”部分允許用戶保存已操作的文件或?qū)@些文件執(zhí)行新的操作。
對于單個文件:
“Run New Operation”按鈕會將已操作的文件導入到左側(cè)“數(shù)據(jù)集”部分。
“Save As”按鈕會引導用戶將已操作的文件保存到本地系統(tǒng)。
對于多個文件:
“Run New Operation”按鈕會將所有已操作的文件導入到左側(cè)的“數(shù)據(jù)集”部分。
“Save All”按鈕會將已操作的文件打包成 zip 文件并保存。

結(jié)論 “Data Operation”模塊提供了一套簡化的工作流,用于將原始表格數(shù)據(jù)預處理并轉(zhuǎn)換為TSS工具可使用的文件格式。界面分為三個主要部分:
Dataset:支持靈活導入 (TXT/CSV) 文件,具備多文件合并功能,并提供可配置的解析設(shè)置(如分隔符、表頭識別)
Operation:提供多種針對表格數(shù)據(jù)的轉(zhuǎn)換操作,每項操作均設(shè)計簡潔、易于理解,可適配不同數(shù)據(jù)類型。
Result:支持對已處理文件執(zhí)行新操作或保存文件。
該工具通過直觀的交互設(shè)計,幫助初學者與資深分析師高效生成項目所需的優(yōu)質(zhì)時間序列數(shù)據(jù)集。
eIQ Time Series Studio系列告一段落,感謝大家的一路相伴!
-
恩智浦
+關(guān)注
關(guān)注
14文章
6099瀏覽量
147756 -
Studio
+關(guān)注
關(guān)注
2文章
225瀏覽量
30723 -
機器學習
+關(guān)注
關(guān)注
66文章
8554瀏覽量
136981 -
數(shù)據(jù)操作
+關(guān)注
關(guān)注
0文章
2瀏覽量
718
原文標題:eIQ Time Series Studio 工具使用攻略(11)-數(shù)據(jù)操作
文章出處:【微信號:NXP_SMART_HARDWARE,微信公眾號:恩智浦MCU加油站】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
恩智浦eIQ Time Series Studio 工具使用攻略(四)-數(shù)據(jù)導入
恩智浦eIQ Time Series Studio工具使用教程之數(shù)據(jù)記錄
NXP eIQ Time Series Studio 工具使用攻略(九)-數(shù)據(jù)標簽
恩智浦eIQ Time Series Studio工具使用教程之數(shù)據(jù)智能
恩智浦eIQ? Neutron神經(jīng)處理單元
NVIDIA TAO工具套件功能與恩智浦eIQ機器學習開發(fā)環(huán)境的集成
恩智浦eIQ AI和機器學習開發(fā)軟件增加兩款新工具
恩智浦eIQ Time Series Studio的工作流程
恩智浦eIQ Time Series Studio工具使用教程之模型訓練
恩智浦eIQ Time Series Studio工具使用教程之仿真
恩智浦eIQ Time Series Studio工具使用教程之數(shù)據(jù)操作
評論