SNP Glue是SNP的集成技術(shù)，適用于任何云平臺(tái)。它最初是圍繞SAP和Hadoop構(gòu)建的，現(xiàn)在已經(jīng)發(fā)展為一個(gè)集成平臺(tái)，雖然它仍然非常專注SAP，但可以將幾乎任何數(shù)據(jù)源與任何數(shù)據(jù)目標(biāo)集成。

我們客戶非常感興趣的數(shù)據(jù)目標(biāo)之一是Snowflake。Snowflake是一個(gè)基于云的數(shù)據(jù)倉庫平臺(tái)，旨在處理和分析大量數(shù)據(jù)。它是一種軟件即服務(wù)(SaaS)解決方案，允許組織使用云基礎(chǔ)設(shè)施存儲(chǔ)、管理和分析數(shù)據(jù)，而無需管理底層硬件或軟件。

企業(yè)如何使用SNP Glue和Snowflake?

下面是一個(gè)使用SNP Glue將SAP與Snowflake集成的實(shí)際客戶示例:

想象一下，一家總部位于德國(guó)，但在全球范圍內(nèi)運(yùn)營(yíng)的大公司。他們有30多個(gè)SAP生產(chǎn)系統(tǒng)，他們從中獲取數(shù)據(jù)(主要使用SAP自己的SLT)。它的范圍是巨大的，我們談?wù)摰氖敲總€(gè)系統(tǒng)數(shù)以萬計(jì)的表。現(xiàn)在，通過SNP Glue，我們可以獲取所有這些數(shù)據(jù)，并使用Glue自己的CDC(更改數(shù)據(jù)捕獲)——有時(shí)與SLT的增量捕獲一起使用，將所有SAP數(shù)據(jù)包括不斷更改的數(shù)據(jù)復(fù)制到云端的基于Snowflake的數(shù)據(jù)倉庫中。

為什么公司會(huì)使用Snowflake?

Snowflake基于SQL的關(guān)鍵特性“彈性”(即可伸縮性)，并附帶了強(qiáng)大的數(shù)據(jù)處理特性來覆蓋ETL(提取-轉(zhuǎn)換-加載)中的“T”，這對(duì)于現(xiàn)代集成體系結(jié)構(gòu)(主要是關(guān)于ELT而不是ETL)來說很有意義，只是為了解耦數(shù)據(jù)集成和數(shù)據(jù)轉(zhuǎn)換的復(fù)雜性。簡(jiǎn)而言之，Snowflake是數(shù)據(jù)平臺(tái)(以前稱為數(shù)據(jù)倉庫)的某種程度上與云無關(guān)的SaaS產(chǎn)品。

Snowflake支持通過連接器和api與各種數(shù)據(jù)科學(xué)和人工智能工具集成。你可以使用流行的人工智能庫和框架與Snowflake一起構(gòu)建和訓(xùn)練模型。

用簡(jiǎn)單的話來總結(jié):Snowflake是一個(gè)在集群系統(tǒng)上的非常強(qiáng)大的數(shù)據(jù)庫，它是按規(guī)模構(gòu)建的，并提供了大量的優(yōu)勢(shì)。

保留你的選擇余地

話雖如此，每個(gè)超大規(guī)模企業(yè)都有一個(gè)相互競(jìng)爭(zhēng)的技術(shù)，例如redshift (AWS)、Synapse(微軟)、Big Query (GC)，甚至DataBricks。在眾多技術(shù)優(yōu)勢(shì)中，Snowflake有一些優(yōu)勢(shì)，其中之一是它是真正與云無關(guān)的，因此不會(huì)將客戶推向供應(yīng)商鎖定。

客戶使用SNP Glue與基于云的數(shù)據(jù)倉庫集成，選擇Snowflake是因?yàn)樗且粋€(gè)真正的SaaS解決方案，像數(shù)據(jù)庫一樣理解SQL(但像Hadoop一樣擴(kuò)展)，并且像數(shù)據(jù)庫一樣快速返回?cái)?shù)據(jù)。

使您的SAP數(shù)據(jù)集成更容易

有了SNP Glue，就有可能實(shí)現(xiàn)SAP與Snowflake之間的本地集成。顯而易見的起點(diǎn)是與安全性和身份驗(yàn)證的技術(shù)集成。然后是“真正的”數(shù)據(jù)集成，從模式創(chuàng)建開始:SNP Glue可以分析SAP數(shù)據(jù)源并在Snowflake上創(chuàng)建相應(yīng)的數(shù)據(jù)模型。

數(shù)據(jù)復(fù)制可以是表驅(qū)動(dòng)的(即基于表的數(shù)據(jù)復(fù)制，有或沒有增量捕獲)，也可以是事件驅(qū)動(dòng)的(在這種情況下，您將使用Snowpipe進(jìn)行數(shù)據(jù)流)。

是什么讓Snowpipe這么酷？

表驅(qū)動(dòng)的數(shù)據(jù)集成是經(jīng)典的集成方法，它是全表加載，然后是增量捕獲(又名CDC)和近實(shí)時(shí)數(shù)據(jù)復(fù)制。在初始滿負(fù)載之后，傳輸相當(dāng)小的數(shù)據(jù)包。這一切通常都是基于經(jīng)典數(shù)據(jù)庫表，而不是業(yè)務(wù)對(duì)象。根據(jù)數(shù)據(jù)傳輸?shù)念l率(可能會(huì)產(chǎn)生非常小的包)，可以實(shí)現(xiàn)近乎實(shí)時(shí)的提取和數(shù)據(jù)集成，但這將以Snowflake上頻繁的所謂增量合并為代價(jià)。

Snowpipe允許在新數(shù)據(jù)到達(dá)時(shí)將數(shù)據(jù)連續(xù)加載到Snowflake表中。這對(duì)于需要為分析、報(bào)告或其他應(yīng)用程序提供新信息的場(chǎng)景特別有用。Snowpipe可以與各種工具和工作流集成，使其可用于實(shí)時(shí)分析、報(bào)告和其他數(shù)據(jù)驅(qū)動(dòng)型應(yīng)用程序。

為了恰當(dāng)?shù)亟Y(jié)束這篇文章，我想用一句古老的“最后一句話”作為結(jié)束語:正在構(gòu)建SNP Glue以本地集成SAP數(shù)據(jù)和Snowflake的同一個(gè)團(tuán)隊(duì)正在使用Snowflake的應(yīng)用程序框架在Snowflake上開發(fā)一個(gè)本地應(yīng)用程序。我們的目標(biāo)是在Snowflake上實(shí)現(xiàn)(并極大地改進(jìn))包括delta合并在內(nèi)的數(shù)據(jù)流，即將更新的記錄集成到數(shù)據(jù)倉庫中。

審核編輯 黃宇