Observe 是一家提供可觀察性云解決方案的公司，以幫助企業(yè)加速應(yīng)用故障排查和問(wèn)題解決的效率。公司成立于2017年9月，總部位于美國(guó)加利福尼亞州圣馬特奧。到目前為止，Observe 已經(jīng)在5輪融資中總共籌集了1.62億美元。他們最近的一輪融資是在2023年10月5日，通過(guò)可轉(zhuǎn)換票據(jù)融資籌集了5000萬(wàn)美元，并推出了新一代人工智能功能。

本篇內(nèi)容是根據(jù)Observe官網(wǎng)的技術(shù)文章翻譯整理，以下3點(diǎn)是NineData的數(shù)據(jù)庫(kù)工程師對(duì)多云的思考：

多云是今天的現(xiàn)實(shí)，也是未來(lái)的趨勢(shì) （公共云基礎(chǔ)設(shè)施用戶(hù)中有86%正在實(shí)施多云策略）；

多云環(huán)境下的數(shù)據(jù)管理成為新的需求，包括文章中提到的Observability；

云環(huán)境越來(lái)越復(fù)雜，既是困難，也是機(jī)遇。

什么是多云可觀察性？它是一種令人興奮的新的科技趨勢(shì)，還是只是最新一輪的被技術(shù)觀測(cè)和監(jiān)控廠商的營(yíng)銷(xiāo)部門(mén)夸大的流行詞？你可能已經(jīng)猜到了，答案介于兩者之間。就像科技中許多流行的流行詞一樣，它起源于組織所感受到的實(shí)際需求，但在不同的上下文中，它的含義也會(huì)有所不同。因此，如果使用了多個(gè)云，是否需要多云可觀察性？如何實(shí)現(xiàn)多云可觀察性？它與“常規(guī)”可觀察性有什么不同？

簡(jiǎn)而言之，隨著公共云成為主流，任何企業(yè)中使用多個(gè)云提供商的服務(wù)已經(jīng)變得非常普遍。因此，“多云”一詞應(yīng)運(yùn)而生。從領(lǐng)先的云提供商那里獲得創(chuàng)新是件好事，但多云環(huán)境是一把雙刃劍。企業(yè)最終使用多個(gè)云的原因有很多，同時(shí)操作這些云也帶來(lái)了許多挑戰(zhàn)?？捎^察性是一種方法，可以幫助解決一些操作上的挑戰(zhàn)，使日常生活更加有序。這就是“多云可觀察性”一詞的由來(lái)。

如果我們要簡(jiǎn)潔地解釋多云可觀察性，我們會(huì)說(shuō)它是這樣的：讓跨越多個(gè)公共云的服務(wù)變得可以觀測(cè)，以減少發(fā)現(xiàn)和解決問(wèn)題所需的時(shí)間。但是這個(gè)話(huà)題比這更復(fù)雜一些，了解多云可觀察性是什么以及如何實(shí)現(xiàn)它是兩個(gè)不同的事情。在這本電子書(shū)中，我們將介紹：

什么是多云，它是如何產(chǎn)生的

為什么多云需要可觀察性，以及具體的考慮因素

如何從多云可觀察性中受益

多云是什么？

在談?wù)摱嘣瓶捎^察性之前，我們必須首先討論多云。在這里，我們將定義多云，研究導(dǎo)致其被“采用”的催化劑，以及它如何為想要實(shí)現(xiàn)可觀察性的組織帶來(lái)挑戰(zhàn)。

起初......混合云(Hybrid Cloud)出現(xiàn)了

在多云出現(xiàn)之前，有混合云?；旌显仆ǔＶ竿瑫r(shí)使用位于數(shù)據(jù)中心和公共云中的基礎(chǔ)設(shè)施。有一段時(shí)間，混合云引起了一些爭(zhēng)議，因?yàn)楣具€沒(méi)有習(xí)慣將重要的所有權(quán)或基礎(chǔ)設(shè)施交給第三方。它已經(jīng)成為許多大型企業(yè)的常態(tài)，因?yàn)橐恍?yīng)用程序被遷移到云中或在那里構(gòu)建新應(yīng)用程序，而一些遺留或安全敏感的應(yīng)用程序仍然保留在本地。對(duì)于較小的組織，從一開(kāi)始就接受公共云資源并不罕見(jiàn)，并且?guī)缀鯖](méi)有（如果有的話(huà)）本地?cái)?shù)據(jù)中心的空間。

當(dāng)然，隨著云的使用變得更加普遍，并且有許多不同類(lèi)型的云可供選擇，情況一直在不斷發(fā)展演變。有本地和托管的私有云、公共云提供商，甚至還有在公共云中運(yùn)行的SaaS服務(wù)。有效地使用這些位置上運(yùn)行的一些組合服務(wù)構(gòu)成了多云采用。一般來(lái)說(shuō)，多云指的是一個(gè)組織內(nèi)使用多個(gè)公共云。然而，就像長(zhǎng)方形可以組成正方形一樣，如果本地的東西是“類(lèi)似于云”，混合云也可以被認(rèn)為是多云。這隨著AWS Outposts或GCP Anthos等公共云的本地和混合服務(wù)的出現(xiàn)變得越來(lái)越可行?？梢哉f(shuō)，多云是一個(gè)廣泛的術(shù)語(yǔ)，其含義并不總是單一的，但通常與使用多個(gè)公共云有關(guān)。

直面現(xiàn)實(shí)Reality Check

那么，多云的現(xiàn)實(shí)使用情況是怎么樣？根據(jù)分析公司ESG發(fā)布的博客，截至2022年，他們的研究表明，目前公共云基礎(chǔ)設(shè)施用戶(hù)中有86%正在實(shí)施多云策略，平均使用2到4個(gè)公共云。無(wú)論確切的數(shù)字是多少，都可以肯定地說(shuō)，使用多個(gè)公共云是非常常見(jiàn)的，這也是多云面對(duì)的一個(gè)非常現(xiàn)實(shí)的問(wèn)題。

當(dāng)我們談?wù)摗?a href="http://www.makelele.cn/v/tag/475/" target="_blank">云計(jì)算”時(shí)，用戶(hù)（至少在北美）傾向于考慮三大主要的公共云提供商。亞馬遜網(wǎng)絡(luò)服務(wù)、微軟Azure和谷歌云平臺(tái)通常被認(rèn)為是領(lǐng)先的公共云提供商。但是，還有許多其他的公共云提供商，如阿里巴巴、IBM、Oracle、DigitalOcean、Rackspace等等。

二級(jí)和三級(jí)服務(wù)提供商，或者說(shuō)任何非主要云提供商的服務(wù)，都可能而且確實(shí)在一些公司的云支出中占據(jù)了相當(dāng)大的比重。在Stack Overflow的2022年開(kāi)發(fā)者調(diào)查中，55%的專(zhuān)業(yè)開(kāi)發(fā)人員表示他們?cè)谶^(guò)去一年中廣泛使用AWS，其次是30%使用微軟Azure和26%使用谷歌云平臺(tái)。在提到AWS使用的22,357名專(zhuān)業(yè)開(kāi)發(fā)人員受訪者中，26%表示他們希望在未來(lái)一年與GCP合作，20%表示他們希望與Azure合作。很容易看出，即使另一家公有云已成為主要供應(yīng)商，次要供應(yīng)商仍能在企業(yè)中立足。然而，這并不總是由于有意識(shí)地決定實(shí)施多云或混合云而發(fā)生的。

如何實(shí)現(xiàn)多云？

我們說(shuō)多云環(huán)境是“發(fā)生”的，是因?yàn)樗⒉豢偸且粋€(gè)經(jīng)過(guò)商定的戰(zhàn)略或有意識(shí)的選擇，通常組織會(huì)因?yàn)楦鞣N原因而使用多個(gè)云服務(wù)。以下是其中一些原因：

可靠性和冗余性：如果您關(guān)注可靠性，您可能會(huì)將數(shù)據(jù)存儲(chǔ)在同一提供商的多個(gè)地區(qū)。這種思路也會(huì)導(dǎo)致組織將應(yīng)用程序或數(shù)據(jù)存儲(chǔ)在多個(gè)云中，以進(jìn)一步保護(hù)自己免受其無(wú)法控制的故障的影響。

訪問(wèn)專(zhuān)有服務(wù)：不同的云提供商提供一系列類(lèi)似的服務(wù)，例如，您可以從任何基礎(chǔ)設(shè)施即服務(wù)供應(yīng)商那里找到廉價(jià)的對(duì)象存儲(chǔ)服務(wù)。然而，公司還通過(guò)獨(dú)特的技術(shù)進(jìn)行差異化（一個(gè)例子是只有在GCP中才有的TPU）。對(duì)特定服務(wù)的需求可以推動(dòng)新平臺(tái)的采用。

影子IT：影子IT這個(gè)術(shù)語(yǔ)有負(fù)面的含義，但用戶(hù)根據(jù)自己的需求自行注冊(cè)服務(wù)是進(jìn)行盡職調(diào)查的一部分。不管原因是什么，組織內(nèi)并不總是所有人都知道何時(shí)引入了新的云服務(wù)。

提供商特定的技能集：核心服務(wù)在不同云之間可能有基本的相似之處，但使用它們可能需要特定的技能集。人員可能更熟悉某個(gè)特定的服務(wù)提供商，這可能是影響該組織是否額外使用或轉(zhuǎn)換到新的云服務(wù)提供商的因素之一。

延遲和數(shù)據(jù)位置：盡管我們盡力而為，但無(wú)法欺騙物理定律。如果某項(xiàng)服務(wù)對(duì)延遲敏感，而您當(dāng)前的服務(wù)提供商最近的區(qū)域距離不夠近，您可能需要尋找其他選擇。例如，如果您的業(yè)務(wù)位于澳大利亞珀斯，最近的AWS區(qū)域位于該國(guó)的另一端悉尼。這可能看起來(lái)是一個(gè)極端的例子，但它展示了距離對(duì)業(yè)務(wù)運(yùn)營(yíng)的真實(shí)影響。數(shù)據(jù)位置也可能是數(shù)據(jù)局部性法規(guī)的一個(gè)因素，當(dāng)數(shù)據(jù)需要保留在特定的物理區(qū)域時(shí)，有時(shí)這可能需要使用其他服務(wù)提供商。

很容易看出，一個(gè)組織可能最初只使用另一個(gè)云服務(wù)提供商的一個(gè)服務(wù)，而這種情況很快就會(huì)擴(kuò)大。使用范圍可以從單個(gè)用戶(hù)擴(kuò)展到其團(tuán)隊(duì)以及其他人，一個(gè)服務(wù)也可以迅速發(fā)展為多個(gè)服務(wù)的使用。如上所述，多云的原因有些是積極的，該組織從中獲得一些好處。然而，這種動(dòng)態(tài)可能導(dǎo)致復(fù)雜的運(yùn)營(yíng)、安全和合規(guī)挑戰(zhàn)，如果不加以解決可能會(huì)帶來(lái)風(fēng)險(xiǎn)。

為什么我們需要多云可觀察性？

無(wú)論好壞，您的組織已經(jīng)實(shí)施了多云，那么這與可觀察性有什么聯(lián)系呢？可觀察性可以幫助企業(yè)應(yīng)對(duì)眾多運(yùn)營(yíng)挑戰(zhàn)，最大限度地減少停機(jī)時(shí)間。然而，許多組織仍處于可觀察性旅程的早期階段，依賴(lài)于傳統(tǒng)工具，這些工具無(wú)法提供完整的環(huán)境信息。更糟糕的是，多云帶來(lái)了新的挑戰(zhàn)，使保持可見(jiàn)性和執(zhí)行故障排除變得更加困難。這使得實(shí)現(xiàn)可觀察性變得更加重要。

更多的云，更多的數(shù)據(jù)，更多的問(wèn)題？

如果您的 IT 團(tuán)隊(duì)正在使用多個(gè)云，那么您可能希望可觀察性能夠跨越所有云，以提供可操作的見(jiàn)解，而不僅僅是突出顯示單個(gè)云的性能問(wèn)題。這說(shuō)起來(lái)容易做起來(lái)難，很多企業(yè)可能認(rèn)為自己已經(jīng)具備了可觀察性，但其實(shí)他們只是實(shí)施了監(jiān)控。我們的《2022 年可觀察性狀況報(bào)告》顯示，環(huán)境的復(fù)雜性是實(shí)現(xiàn)可觀察性的首要障礙。隨著環(huán)境越來(lái)越復(fù)雜，對(duì)可觀察性的需求也越來(lái)越強(qiáng)烈，但獲得可觀察性的難度也越來(lái)越大。

可觀察性與數(shù)據(jù)緊密相關(guān)。當(dāng)需要進(jìn)行分析時(shí)，數(shù)據(jù)的來(lái)源數(shù)量和來(lái)源位置都不應(yīng)成為問(wèn)題。理想情況下，對(duì)于故障排除來(lái)說(shuō)，更多的數(shù)據(jù)是件好事。然而，如果你的環(huán)境高度分布式，那么設(shè)置起來(lái)會(huì)需要更多的考慮。由于微服務(wù)、Kubernetes、無(wú)服務(wù)器和其他云原生技術(shù)的日益普及，復(fù)雜的分布式應(yīng)用正在增加。環(huán)境變得越分布式和復(fù)雜，就越難以對(duì)其所有部分保持可見(jiàn)性。手動(dòng)對(duì)代碼進(jìn)行可觀察性的儀表化是最快增長(zhǎng)的挑戰(zhàn)之一，一年內(nèi)增長(zhǎng)了將近一倍，從17%增長(zhǎng)到30%。

隨著復(fù)雜性的增加，你還面臨著操作性隔離的風(fēng)險(xiǎn)，即你組織中只有少數(shù)人了解整個(gè)環(huán)境，而更多關(guān)注于他們?nèi)粘９ぷ髦凶钕嚓P(guān)的部分。當(dāng)需要進(jìn)行故障排除時(shí)，這必然會(huì)引起問(wèn)題。如果你擁有可觀察性，那么它將幫助你避免這些問(wèn)題。

不要讓云成為孤島

每個(gè)公共云都有自己獨(dú)特的服務(wù)，但許多服務(wù)實(shí)際上更相似而不是不同。例如，你可能同時(shí)使用亞馬遜S3和Azure Blob Storage，雖然它們?cè)诒举|(zhì)上是不同的專(zhuān)有服務(wù)，但它們都是對(duì)象存儲(chǔ)。你可能正在查看類(lèi)似的遙測(cè)數(shù)據(jù)，但因?yàn)檫@些服務(wù)存在于不同的公共云中，彼此分離，它們變成了孤立的信息島。

很可能你甚至正在使用云原生工具來(lái)收集和聚合數(shù)據(jù)，例如AWS的CloudWatch、Azure的Monitor或GCP的Operations Suite（以前稱(chēng)為Stackdriver）。如果你的工作流程涉及每次出現(xiàn)問(wèn)題都要單獨(dú)登錄給定云的本機(jī)監(jiān)控套件，那將耗費(fèi)時(shí)間并且效果不佳。你還必須掌握多個(gè)工具的知識(shí)。

如果特定于云的監(jiān)控服務(wù)是數(shù)據(jù)的最終目的地和進(jìn)行分析的地方，那么你也會(huì)失去將該數(shù)據(jù)與其他云的數(shù)據(jù)相關(guān)聯(lián)的價(jià)值。更復(fù)雜的是，即使你將數(shù)據(jù)轉(zhuǎn)發(fā)到第三方的可觀察性產(chǎn)品中，它可能仍然無(wú)法與其他數(shù)據(jù)有效地關(guān)聯(lián)起來(lái)。如果你的組織當(dāng)前的工具要求你在使用數(shù)據(jù)之前花費(fèi)時(shí)間進(jìn)行標(biāo)記和索引，那么這就是從更有價(jià)值的任務(wù)中抽取時(shí)間，你的SRE、DevOps工程師或開(kāi)發(fā)人員不應(yīng)該浪費(fèi)的時(shí)間。如果只是時(shí)間是一個(gè)問(wèn)題，那已經(jīng)夠糟糕的了，但如果你的組織因合規(guī)性或安全相關(guān)原因接受審計(jì)，你不想在多個(gè)工具中搜索答案并在沒(méi)有上下文的情況下篩選數(shù)據(jù)。

大多數(shù)供應(yīng)商都將其產(chǎn)品標(biāo)榜為“單一視圖”，但這些產(chǎn)品往往在其架構(gòu)中具有固有的信息孤立。你的數(shù)據(jù)可能根據(jù)類(lèi)型分成不同的數(shù)據(jù)存儲(chǔ)，從而使關(guān)聯(lián)過(guò)程復(fù)雜化?；蛘吣憧赡軙?huì)發(fā)現(xiàn)你的“可觀察性”工具實(shí)際上只是監(jiān)控工具，你無(wú)法使用它們提供的儀表盤(pán)來(lái)深入挖掘來(lái)自不同云服務(wù)的數(shù)據(jù)。歸根結(jié)底，如果你在環(huán)境中缺乏可見(jiàn)性，那么收集數(shù)據(jù)就是一個(gè)挑戰(zhàn)；如果你有可見(jiàn)性，但數(shù)據(jù)被孤立且缺乏適當(dāng)?shù)纳舷挛?，那么使用這些數(shù)據(jù)就是一個(gè)挑戰(zhàn)。一個(gè)與云提供商無(wú)關(guān)的策略將幫助你保持對(duì)環(huán)境的可見(jiàn)性。使用開(kāi)源的數(shù)據(jù)收集工具（如Fluentbit和OpenTelemetry）現(xiàn)在更容易采用與供應(yīng)商無(wú)關(guān)的方法，將你需要的數(shù)據(jù)傳輸?shù)侥氵x擇的可觀察性服務(wù)中。

從多云可觀測(cè)性中獲益

多云數(shù)據(jù)的背景

Observe的方法是可觀察性云，它意味著將所有數(shù)據(jù)放在一個(gè)地方，而不是混雜使用不同的后端和數(shù)據(jù)孤島，并且不需要為各種用例支付多個(gè)工具的費(fèi)用?？捎^察性云由數(shù)據(jù)湖、數(shù)據(jù)圖和數(shù)據(jù)應(yīng)用組成。

Observe應(yīng)用程序捆綁了適用于AWS、GCP和Azure這三個(gè)主要云提供商的相關(guān)集成。例如，AWS應(yīng)用程序簡(jiǎn)化了從各種AWS服務(wù)收集遙測(cè)數(shù)據(jù)的過(guò)程，并使其更易于發(fā)現(xiàn)。通過(guò)這個(gè)應(yīng)用程序，您可以在Observe中輕松監(jiān)視和排查許多您最喜歡的AWS服務(wù)，這意味著您在排查問(wèn)題上花費(fèi)的時(shí)間更少，可以有更多時(shí)間為客戶(hù)構(gòu)建應(yīng)用程序和服務(wù)。同樣地，我們還有Azure和GCP應(yīng)用程序，并且這些應(yīng)用程序所涵蓋的服務(wù)范圍不斷擴(kuò)展。

一旦遙測(cè)數(shù)據(jù)開(kāi)始傳輸，我們將所有數(shù)據(jù)統(tǒng)一存儲(chǔ)在我們的可觀察性云中的數(shù)據(jù)湖中。數(shù)據(jù)被保存在一個(gè)地方，并且通過(guò)數(shù)據(jù)圖了解和映射上下文。數(shù)據(jù)圖顯示了所有連接的數(shù)據(jù)集，也就是您關(guān)心的事物，可以涵蓋從S3存儲(chǔ)桶到運(yùn)行在EKS上的Kubernetes集群等各種內(nèi)容。在數(shù)據(jù)湖中擁有所有數(shù)據(jù)，并且可以通過(guò)數(shù)據(jù)圖進(jìn)行搜索，使我們能夠提供按需架構(gòu)。當(dāng)涉及到搜索和過(guò)濾大量數(shù)據(jù)時(shí)，您的單一操作界面可以在需要時(shí)提供您所需的精確視角。

正如我們的一個(gè)客戶(hù)所說(shuō)：“這是唯一一個(gè)匯總了許多數(shù)據(jù)源日志的地方，所以當(dāng)我不知道該去哪里查找時(shí)，我可以從這里開(kāi)始?！蔽覀兊牧硪粋€(gè)客戶(hù)Linedata也能夠通過(guò)在AWS中查看其許多用戶(hù)帳戶(hù)，消除盲點(diǎn)，從中獲得價(jià)值。一旦將更多的云（以及這些云中的更多帳戶(hù)）引入到一個(gè)環(huán)境中，這種場(chǎng)景中解決的問(wèn)題可能會(huì)顯著增加。如果沒(méi)有完整的多云可觀察性，您可能會(huì)遇到安全盲點(diǎn)或者在故障排查時(shí)遇到死胡同。

多云規(guī)模下的經(jīng)濟(jì)效益

隨著越來(lái)越多的應(yīng)用程序及其依賴(lài)分布在多個(gè)云中，這將導(dǎo)致大量的遙測(cè)數(shù)據(jù)。即使您能夠使所有數(shù)據(jù)可觀察，并將所有數(shù)據(jù)關(guān)聯(lián)起來(lái)以便在危機(jī)時(shí)易于導(dǎo)航和理解，但規(guī)模和成本仍然是一個(gè)問(wèn)題。通常，傳統(tǒng)解決方案的收費(fèi)是基于遙測(cè)數(shù)據(jù)的攝取和索引量、每個(gè)用戶(hù)/座位或監(jiān)控的主機(jī)數(shù)量（或這些模型的組合）。在這種情況下，無(wú)論您從這些數(shù)據(jù)中獲取的價(jià)值如何，更多的數(shù)據(jù)都意味著更高的成本。這在多云增長(zhǎng)的背景下是一個(gè)昂貴的假設(shè)。有一些解決方案提供了一些權(quán)宜之計(jì)，試圖限制數(shù)據(jù)攝取量并將數(shù)據(jù)存檔以便長(zhǎng)期存儲(chǔ)，但這只會(huì)給用戶(hù)增加更多的復(fù)雜性，并使他們更難觀察其應(yīng)用程序和基礎(chǔ)架構(gòu)，因?yàn)橛脩?hù)可能會(huì)丟棄可能相關(guān)的數(shù)據(jù)。

Observe采取了一種獨(dú)特的方法，并建立在現(xiàn)代的云原生架構(gòu)之上，實(shí)現(xiàn)了獨(dú)特的基于使用量的定價(jià)模型。所有數(shù)據(jù)都被攝取到基于Amazon S3的Data Lake中，進(jìn)行10倍的壓縮，并存儲(chǔ)13個(gè)月。然后，Observe將頻繁訪問(wèn)的數(shù)據(jù)加速到Data Graph中。通過(guò)Observe在Snowflake Data Cloud之上的多租戶(hù)實(shí)現(xiàn)，可以高效地執(zhí)行加速數(shù)據(jù)或查詢(xún)Data Graph的查詢(xún)。所有客戶(hù)、所有公司的所有查詢(xún)都共享同一個(gè)Snowflake基礎(chǔ)架構(gòu)。這使我們能夠?qū)⒂?jì)算和存儲(chǔ)分離，并按照客戶(hù)運(yùn)行查詢(xún)和加速數(shù)據(jù)所消耗的計(jì)算量進(jìn)行計(jì)費(fèi)。

Passive和active成本控制的實(shí)施緩解了對(duì)使用情況或惡意用戶(hù)的擔(dān)憂(yōu)。用戶(hù)將被提示確認(rèn)昂貴的查詢(xún)，管理員可以設(shè)置信用限額以管理使用情況，以符合年度預(yù)算。由于Observe的基于使用量的定價(jià)系統(tǒng)具有成本控制功能，這意味著客戶(hù)可以攝取所需的數(shù)據(jù)，而無(wú)需事先擔(dān)心是否是“正確的數(shù)據(jù)”，或者擔(dān)心僅僅數(shù)據(jù)量就會(huì)超出預(yù)算。這是在多云環(huán)境中的經(jīng)濟(jì)學(xué)。

審核編輯 黃宇