91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內(nèi)不再提示

不同應用程序的存儲IO類型解析

454398 ? 來源:架構師技術聯(lián)盟 ? 作者:EMC技術社區(qū) ? 2020-11-30 15:21 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

存儲系統(tǒng)作為數(shù)據(jù)的載體,為前端的服務器和應用程序提供讀寫服務。存儲陣列某種意義上來說,是對應用服務器提供數(shù)據(jù)服務的后端“服務器”。應用服務器對存儲系統(tǒng)發(fā)送數(shù)據(jù)的“讀”和“寫”的請求。然而,不同的應用程序?qū)Υ鎯Φ臄?shù)據(jù)訪問類型有所不同。

本文描述典型的不同應用程序的存儲IO類型。幫助讀者了解不同應用程序存儲IO類型的同時,提供的數(shù)據(jù)也可以為存儲模擬和壓力測試的數(shù)據(jù)參考。

IO類型描述:

描述不同應用的存儲IO類型之前,先要描述存儲中的定義IO的幾個術語:

IO大?。↖O Size):IO Size是應用程序發(fā)起,經(jīng)過操作系統(tǒng)的磁盤子系統(tǒng),向存儲系統(tǒng)發(fā)送的讀寫請求的單位大小。不同的應用程序所發(fā)送的IO大小都不相同,例如對于數(shù)據(jù)庫應用,它在數(shù)據(jù)讀寫的時候IO Size是8KB,而在事務日志的寫入的時候可能是512Bytes-64KB不等。所以,通常所說的IO Size都是一個平均的概念。即某一款應用在一段時間內(nèi)的平均IO大小。

讀寫比例(Read/Write):讀寫比例比較容易理解,就是應用程序讀數(shù)據(jù)和寫數(shù)據(jù)分布。這個在規(guī)劃存儲的時候也至關重要,因為存儲系統(tǒng)中的保護級別(RAID)的不同,對寫有損失。例如RAID-5單次寫入需要分別對數(shù)據(jù)位和校驗位進行2次讀和2次寫。所以說,如果用RAID-5作為寫入比例較高的應用,顯然會對性能有很大影響。

順序與隨機讀寫比例(Random/Sequential):順序和隨機讀寫取決與應用的獲取數(shù)據(jù)的方式。通常情況下,如果數(shù)據(jù)的讀取和寫入是在連續(xù)的磁盤空間上,可以認為是順序讀寫。如果應用讀取的數(shù)據(jù)分布在不同磁盤空間,且無固定的順序,則視為隨機讀寫。由于傳統(tǒng)的機械磁盤(閃存盤不再討論之列)讀寫數(shù)據(jù)需要盤面的轉(zhuǎn)動和磁頭的移動,這使得隨機讀寫的效率在物理磁盤層面要遠小于順序讀寫。通常存儲系統(tǒng)都都會利用緩存來減少這部分的延遲,減緩因為磁頭的移動而帶來的性能損失。隨機讀寫的代表的是OLTP的數(shù)據(jù)庫文件,順序讀寫的代表則是數(shù)據(jù)的事務日志。

應用程序存儲IO類型:

下面的表中描述的不同的應用程序?qū)腎O大小、讀寫比例、隨機和順序比例。表中的比例為一個通用的參考值,比例接近真實各種應用的IO類型。當然不能包含全部的應用類型因為根據(jù)不同生產(chǎn)環(huán)境,數(shù)值也會有很大的差異。這里的數(shù)據(jù)提供一個參考,可以用于使用壓力測試工具,例如IOMeter,模擬不同應用的IO負載。

IOmeter是一款用于單系統(tǒng)和集群系統(tǒng)的I/O子系統(tǒng)度量(Measurement)和特征化(Characterization)工具,它是一個負載生成器(Workload Generator),也是一個度量工具(Measurement tool),可用于模擬任何程序或benchmark的磁盤或網(wǎng)絡I/O操作,在單個或多個(聯(lián)網(wǎng))系統(tǒng)上生成并度量負載。

IOmeter由兩個程序組成,Iometer和Dynamo。Iomter是控制程序/GUI,它告訴Dynamo需要做什么,收集數(shù)據(jù)結果并總結到一個輸出文件。一次只應該運行一個Iometer,通常運行在服務器上。

Dynamo是一個負載生成器,它沒有GUI,在Iometer的命令下執(zhí)行I/O操作并記錄性能信息,然后返回數(shù)據(jù)給Iometer。一次可以運行多個Dynamo,通常是一個副本運行在服務器上,另一個副本運行在每一臺客戶端上。Dynamo是多線程的,每一個副本可以模擬多個客戶端程序的工作(Workload),每一個正在運行的Dynamo副本被稱為是一個Manager,Dynamo中的每一個線程被稱為worker。

不同應用通常具有不同的I/O類型,了解應用的I/O類型是為其設計解決方案、排錯性能問題的首要工作。那I/O類型通常包括哪些需要考慮的因素?我們今天就來談一談I/O類型的幾個重要方面。

讀 vs. 寫

應用程序的讀寫請求必須量化,了解他們之間的比列,因為讀寫對存儲系統(tǒng)的資源消耗是不通的。了解讀寫比率直接關系到如何應用緩存、RAID類型等子系統(tǒng)的最佳實踐。寫通常需要比讀更多的資源,SSD的寫操作相對讀更是慢得多。

順序 vs. 隨機

傳統(tǒng)存儲系統(tǒng)通常都是機械硬盤,因此整個系統(tǒng)設計為盡可能順序化I/O,減少由于磁盤尋道所帶來的延遲。所以,順序I/O相對隨機I/O的性能會好很多。隨機小I/O消耗比順序大I/O更多的處理資源。隨機小I/O更在意系統(tǒng)處理I/O的數(shù)量,即IOPS;而順序大I/O則更在意帶寬,即MB/s。因此,如果系統(tǒng)承載了多種不同的應用,必須了解它們各自的需求,是對IOPS有要求,還是對帶寬有要求。這往往需要在兩種之間進行折衷考慮。閃盤是一個例外,它沒有機械尋道操作,因此對隨機小I/O的處理是非常迅速的,由此是讀操作。

大I/O vs. 小I/O

我們通常把<=16KB的I/O認為是小I/O,而>=32KB的I/O認為是大I/O。就單個I/O來講,大I/O從微觀的角度相比小I/O會需要更多處理資源,不過對于智能存儲系統(tǒng)來說,會盡可能把I/O整理為順序的,以單個操作執(zhí)行,如此依賴,將多個小I/O整理成單個大I/O處理后,反而會更快。I/O的大小依然取決于應用程序本身,了解I/O的大小,影響到后期對緩存、RAID類型、LUN的一些屬性的調(diào)優(yōu)。

位置引用

數(shù)據(jù)的位置分布影響到后期對二級緩存或存儲分層技術的應用,因為這些技術都會根據(jù)I/O的位置分布來判斷是否將I/O放置到緩存或快速的層級。位置引用是指那些被頻繁的存儲位置,我們通常認為最新創(chuàng)建的數(shù)據(jù)以及最近被訪問過的數(shù)據(jù),它們周圍的數(shù)據(jù)也同時被訪問的可能性會比較大。因此,了解應用程序的I/O位置特性,有助于應用正確的性能優(yōu)化技術。

穩(wěn)定 vs. 爆發(fā)

I/O數(shù)量在一天中的不同時段會有不同的表現(xiàn)。例如,早高峰時段的I/O數(shù)量相比下班后的I/O會多出許多。如果能準確預測和估計應用的I/O在不同時間段的穩(wěn)定性和爆發(fā)性,可以正確分配資源,提高資源利用率。在前期的設計階段,就應該考慮系統(tǒng)是否能夠處理I/O高峰期。

多線程 vs. 單線程

多線程是實現(xiàn)并發(fā)操作的一種方式,同時也意味著對存儲系統(tǒng)的資源消耗更多。這種高IOPS的請求方式,在有些情況下會造成磁盤繁忙,進而導致I/O排隊,增加了響應時間。因此,適度的調(diào)整線程數(shù)量,不僅可以實現(xiàn)并發(fā),而且能在不拖累整個存儲系統(tǒng)的情況下,達到最優(yōu)的響應時間。
編輯:hfy

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 存儲技術
    +關注

    關注

    7

    文章

    767

    瀏覽量

    47082
  • 存儲系統(tǒng)

    關注

    2

    文章

    433

    瀏覽量

    41902
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    睿遠研究院丨IO-Link規(guī)范解讀(十五):數(shù)據(jù)類型詳解

    前言 本篇對IO-Link規(guī)范的附錄F的數(shù)據(jù)類型做個詳細解釋,附錄定義了 ?基本數(shù)據(jù)類型 (Basic Data Types) 和? 組合數(shù)據(jù)類型 (Composite Data Ty
    的頭像 發(fā)表于 01-14 18:25 ?5397次閱讀
    睿遠研究院丨<b class='flag-5'>IO</b>-Link規(guī)范解讀(十五):數(shù)據(jù)<b class='flag-5'>類型</b>詳解

    主板到IO板連接線核心技術與方案解析

    一、主板到IO板連接線核心技術與雙品電子FFCSP方案解析1.1核心定義與主要功能主板到IO板連接線(又稱板對板互連線纜),是連接電子設備主板與IO接口板的柔性/剛性傳輸載體,核心功能
    的頭像 發(fā)表于 12-24 17:53 ?295次閱讀
    主板到<b class='flag-5'>IO</b>板連接線核心技術與方案<b class='flag-5'>解析</b>

    睿遠研究院丨IO-Link規(guī)范解讀(十二):SM模塊與CM模塊解析

    Manager,負責協(xié)調(diào)主站的各個應用程序模塊,并根據(jù)端口狀態(tài)啟動或停止其他應用程序。 1 System Manager模塊 System Manager 模塊作為IO-Link最核心的模塊,承上啟下,把從最底層
    的頭像 發(fā)表于 12-04 18:27 ?5219次閱讀
    睿遠研究院丨<b class='flag-5'>IO</b>-Link規(guī)范解讀(十二):SM模塊與CM模塊<b class='flag-5'>解析</b>

    深入解析IPM器件數(shù)據(jù)手冊中的電流定義:Ic、Icp、Io(peak)和Io(rms)

    在設計和應用IPM器件時,電流參數(shù)是影響性能的關鍵指標之一。然而,不同電流參數(shù)的含義可能會對應用設計產(chǎn)生重要影響。本文將詳細解析IPM數(shù)據(jù)手冊中常見的幾種電流定義,包括IC、ICP、IO(peak
    的頭像 發(fā)表于 12-03 17:07 ?7202次閱讀
    深入<b class='flag-5'>解析</b>IPM器件數(shù)據(jù)手冊中的電流定義:Ic、Icp、<b class='flag-5'>Io</b>(peak)和<b class='flag-5'>Io</b>(rms)

    全球前四!京東云云海AI存儲躋身IO500高性能存儲榜單

    近日,在最新公布的 IO500 排行榜中,京東云云海 AI 存儲基于通用 NVMe 盤存儲服務器,結合全棧自研軟件體系與深度調(diào)優(yōu),成功躋身 IO500 生產(chǎn)榜單全球前四、國產(chǎn)自研第一。
    的頭像 發(fā)表于 11-27 14:51 ?378次閱讀
    全球前四!京東云云海AI<b class='flag-5'>存儲</b>躋身<b class='flag-5'>IO</b>500高性能<b class='flag-5'>存儲</b>榜單

    深入了解API:詳解應用程序接口的作用和原理

    引言:在現(xiàn)代軟件開發(fā)領域中, API(Application Programming Interface,應用程序接口)扮演著至關重要的角色。無論是在Web開發(fā)、移動應用還是大型軟件系統(tǒng)中,API
    的頭像 發(fā)表于 11-03 09:37 ?366次閱讀

    PYQT 應用程序框架及開發(fā)工具

    大家好,本團隊此次分享的內(nèi)容為開發(fā)過程中使用到的PYQT 應用程序框架及開發(fā)工具。 pYqt 是一個多平臺的 python 圖形用戶界面應用程序框架,由于其面向?qū)ο蟆? 易擴展(可實現(xiàn)組件編程等
    發(fā)表于 10-29 07:15

    學生適合使用的SOLIDWORKS 云應用程序

    隨著科技的不斷發(fā)展,計算機輔助設計(CAD)技術已經(jīng)成為現(xiàn)代工程教育的重要組成部分。SOLIDWORKS作為一款CAD軟件,其教育版云應用程序為學生提供了強大而靈活的設計平臺。本文將探討
    的頭像 發(fā)表于 09-15 10:39 ?791次閱讀
    學生適合使用的SOLIDWORKS 云<b class='flag-5'>應用程序</b>

    存儲技術全解析

    感到困惑,不清楚它們之間的區(qū)別和關系,以及哪些是片上存儲,哪些是片外存儲。本文將系統(tǒng)地解析這些存儲技術,并以樹莓派和x86個人電腦為例,說明它們在實際系統(tǒng)中的應用。
    的頭像 發(fā)表于 07-24 11:34 ?2912次閱讀

    2025年遠程IO模塊選購指南:主流品牌優(yōu)勢與應用方案解析

    監(jiān)控、管理和優(yōu)化。在2025年,遠程IO模塊市場技術創(chuàng)新不斷,各大品牌推出了多種性能卓越的產(chǎn)品,適用于工業(yè)生產(chǎn)、能源管理、智慧城市等多種場景。本文基于權威數(shù)據(jù)平臺(如Statista、MarketsandMarkets和Grand View Research)的市場分析,深入解析
    的頭像 發(fā)表于 07-04 17:54 ?919次閱讀

    半導體存儲芯片核心解析

    器)、SRAM (靜態(tài)隨機存取存儲器)。 非易失性存儲器:斷電后數(shù)據(jù)能長期保存。 特點:速度相對慢(但也有高速類型),用作數(shù)據(jù)的“永久或半永久倉庫”。 代表:NAND Flash (閃存)、NOR
    發(fā)表于 06-24 09:09

    分布式IO模組選購指南:2025主流品牌盤點與應用方案解析

    ,分布式IO模塊市場進入快速增長期。本文基于權威數(shù)據(jù)平臺的市場分析,盤點2025年主流分布式IO模塊品牌,介紹優(yōu)勢產(chǎn)品,并解析典型應用方案,旨在為企業(yè)選購提供權威參考。
    的頭像 發(fā)表于 06-10 16:57 ?1320次閱讀

    使用 CY4500 EZ-PD 協(xié)議分析器實用程序來調(diào)試USB類型C應用程序,無法在 “詳細信息” 窗口中找到 \" HPD 狀態(tài)\"怎么解決?

    我正在使用 CY4500 EZ-PD 協(xié)議分析器實用程序來調(diào)試我的 USB 類型 C 應用程序。 將實用程序從 v1.0 更新到 3.1.0 后,我無法在 “詳細信息” 窗口中找到 \
    發(fā)表于 05-28 07:05

    MCP:連接AI與應用程序的開放標準!

    作者:算力魔方創(chuàng)始人/英特爾創(chuàng)新大使劉力 擴展AI大模型的方式有兩種,第一種是通過訓練增強AI大模型自身的能力;第二種是讓AI大模型與其它現(xiàn)有的應用程序(例如:數(shù)據(jù)庫、瀏覽器、Gmail等)相互協(xié)作
    的頭像 發(fā)表于 03-21 18:21 ?2212次閱讀
    MCP:連接AI與<b class='flag-5'>應用程序</b>的開放標準!

    有獎直播 | @3/20 IO-Link:開啟工業(yè)新時代的智能工業(yè)之旅

    工業(yè)自動化新風向!#IO-Link#技術正在重新定義智能制造!你知道它如何助力工業(yè)4.0嗎?3月20日,大聯(lián)大友尚集團攜手意法半導體資深專家和IO-Link設計公司,做客#大大通直播間#,帶你深度解析
    的頭像 發(fā)表于 03-13 16:34 ?539次閱讀
    有獎直播 | @3/20 <b class='flag-5'>IO</b>-Link:開啟工業(yè)新時代的智能工業(yè)之旅