7.2.1. 互相關(guān)運算

回想一下，嚴格來說，卷積層是用詞不當(dāng)，因為它們表達的操作更準(zhǔn)確地描述為互相關(guān)。根據(jù)我們在 7.1 節(jié)中對卷積層的描述，在這樣的層中，輸入張量和核張量通過互相關(guān)運算組合以產(chǎn)生輸出張量。

讓我們暫時忽略通道，看看它如何處理二維數(shù)據(jù)和隱藏表示。在 圖 7.2.1中，輸入是一個二維張量，高為 3，寬為 3。我們將張量的形狀標(biāo)記為 3×3或者 （3,3). kernel的高和寬都是2，kernel window（或者卷積窗口）的形狀由kernel的高和寬給定（這里是 2×2).

圖 7.2.1二維互相關(guān)運算。陰影部分是第一個輸出元素以及用于輸出計算的輸入和內(nèi)核張量元素： 0×0+1×1+3×2+4×3=19.

在二維互相關(guān)操作中，我們從位于輸入張量左上角的卷積窗口開始，將其從左到右和從上到下滑動到輸入張量上。當(dāng)卷積窗口滑動到某個位置時，包含在該窗口中的輸入子張量和核張量逐元素相乘，所得張量相加產(chǎn)生單個標(biāo)量值。這個結(jié)果給出了相應(yīng)位置的輸出張量的值。這里，輸出張量的高度為 2，寬度為 2，四個元素由二維互相關(guān)運算得出：

請注意，沿每個軸，輸出大小略小于輸入大小。因為內(nèi)核的寬度和高度大于一，我們只能正確計算內(nèi)核完全適合圖像的位置的互相關(guān)，輸出大小由輸入大小給出nh×nw減去卷積核的大小kh×kw通過

之所以如此，是因為我們需要足夠的空間來“移動”圖像上的卷積核。稍后我們將看到如何通過在圖像邊界周圍填充零來保持大小不變??，以便有足夠的空間來移動內(nèi)核。接下來，我們在函數(shù)中實現(xiàn)這個過程corr2d，它接受一個輸入張量X 和一個內(nèi)核張量K并返回一個輸出張量Y。

def corr2d(X, K): #@save
  """Compute 2D cross-correlation."""
  h, w = K.shape
  Y = torch.zeros((X.shape[0] - h + 1, X.shape[1] - w + 1))
  for i in range(Y.shape[0]):
    for j in range(Y.shape[1]):
      Y[i, j] = (X[i:i + h, j:j + w] * K).sum()
  return Y

def corr2d(X, K): #@save
  """Compute 2D cross-correlation."""
  h, w = K.shape
  Y = np.zeros((X.shape[0] - h + 1, X.shape[1] - w + 1))
  for i in range(Y.shape[0]):
    for j in range(Y.shape[1]):
      Y[i, j] = (X[i:i + h, j:j + w] * K).sum()
  return Y

def corr2d(X, K): #@save
  """Compute 2D cross-correlation."""
  h, w = K.shape
  Y = jnp.zeros((X.shape[0] - h + 1, X.shape[1] - w + 1))
  for i in range(Y.shape[0]):
    for j in range(Y.shape[1]):
      Y = Y.at[i, j].set((X[i:i + h, j:j + w] * K).sum())
  return Y

def corr2d(X, K): #@save
  """Compute 2D cross-correlation."""
  h, w = K.shape
  Y = tf.Variable(tf.zeros((X.shape[0] - h + 1, X.shape[1] - w + 1)))
  for i in range(Y.shape[0]):
    for j in range(Y.shape[1]):
      Y[i, j].assign(tf.reduce_sum(
        X[i: i + h, j: j + w] * K))
  return Y

我們可以從 圖 7.2.1構(gòu)造輸入張量X和核張量來驗證上述二維互相關(guān)運算的實現(xiàn)的輸出。