1. 為什么選擇 PHP 做 Amazon 爬蟲？

表格

一句話：如果你本來就在寫 Laravel，用 PHP 寫爬蟲等于「順路」。

2. Amazon 頁面結構 60 秒速覽（2025-06 最新）

以 https://www.amazon.com/dp/B08N5WRWNW 為例：

表格

結論：95% 字段靜態(tài)直取，無需上重型瀏覽器。

3. 環(huán)境準備：30 秒搭好最小可用環(huán)境

bash

# 創(chuàng)建項目
mkdir amz-php-crawler && cd amz-php-crawler
composer init --name="demo/amz-crawler" -s dev

# 安裝依賴
composer require guzzlehttp/guzzle symfony/dom-crawler symfony/css-selector fakerphp/faker

PHP ≥ 8.0 即可，Guzzle 7.x 自帶 PSR-18，后續(xù)想接 Hyperf 也很方便。

4. 核心流程：從 ASIN → 結構化數(shù)組

ASIN → 下載詳情頁 → 解析靜態(tài)字段 → 調 AJAX 價格/庫存 → 清洗 → CSV/MySQL/Kafka

5. 代碼實戰(zhàn)：Guzzle + DOMXPath 極速版

php

client = new Client([
            'timeout' => 10,
            'headers' => [
                'User-Agent' => 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
                'Accept-Language' => 'en-US,en;q=0.9',
                'Referer'    => 'https://www.amazon.com/',
            ],
        ]);
    }

    public function fetchProduct(string $asin): array
    {
        $url = "https://www.amazon.com/dp/{$asin}";
        $html = $this->client->get($url)->getBody()->getContents();
        $crawler = new Crawler($html);

        $title = $crawler->filter('#productTitle')->text('');
        $priceWhole = $crawler->filter('.a-price .a-price-whole')->text('');
        $priceFrac = $crawler->filter('.a-price .a-price-fraction')->text('');
        $price = trim($priceWhole . '.' . $priceFrac);

        $rating = $crawler->filter('#acrPopover')->attr('title');
        $rating = $rating ? explode(' ', $rating)[0] : '';

        $reviewText = $crawler->filter('#acrCustomerReviewText')->text('');
        $reviewCount = filter_var($reviewText, FILTER_SANITIZE_NUMBER_INT);

        $imgJson = $crawler->filter('#imgTagWrapperId img')->attr('data-a-dynamic-image');
        $imgMap = json_decode($imgJson, true);
        $mainImg = $imgMap ? array_key_first($imgMap) : '';

        return [
            'asin'          => $asin,
            'title'         => trim($title),
            'price'         => $price,
            'rating'        => $rating,
            'review_count'  => (int) $reviewCount,
            'main_img'      => $mainImg,
            'crawled_at'    => date('Y-m-d H:i:s'),
        ];
    }
}

CLI 入口文件：

php

#!/usr/bin/env php
fetchProduct($asin);
echo json_encode($data, JSON_UNESCAPED_UNICODE | JSON_PRETTY_PRINT);

運行：

bash

php bin/amz.php B08N5WRWNW

輸出示例：

JSON

{
  "asin": "B08N5WRWNW",
  "title": "Apple AirPods Pro",
  "price": "249.00",
  "rating": "4.6",
  "review_count": 25430,
  "main_img": "https://images-na.ssl-images-amazon.com/images/I/71zny7BTRlL._AC_SL1500_.jpg",
  "crawled_at": "2025-06-24 18:42:12"
}

6. 反爬三板斧：UA 池、代理池、隨機延時

表格

Guzzle 中間件示例：

php

$stack = GuzzleHttpHandlerStack::create();
$stack->push(GuzzleHttpMiddleware::retry(function ($retries, $request, $response, $exception) {
    return $retries < 3 && ($exception || $response-?>getStatusCode() === 403);
}, function ($retries) {
    return 1000 * (2 ** $retries);
}));

7. Selenium 兜底：滑塊驗證碼與動態(tài)渲染

當 Amazon 出現(xiàn)滑塊時，可用 php-webdriver 驅動 Chrome：

bash

composer require php-webdriver/webdriver

php

$host = 'http://localhost:4444/wd/hub'; // Selenium Standalone
$driver = RemoteWebDriver::create($host, DesiredCapabilities::chrome());
$driver->get("https://www.amazon.com/dp/$asin");
sleep(5);
$html = $driver->getPageSource();
$driver->quit();

技巧：

加載 stealth.min.js 隱藏 WebDriver 特征；

使用 undetected-chromedriver 可過新版滑塊。

8. 提速 10 倍：多進程 + Swoole 協(xié)程

bash

composer require swoole/swoole

php

use SwooleRuntime;
use SwooleCoroutine;
use function SwooleCoroutinerun;

Runtime::enableCoroutine();
run(function () {
    $asins = ['B08N5WRWNW', 'B08L8DKCS1'];
    foreach ($asins as $asin) {
        Coroutine::create(function () use ($asin) {
            $spider = new AmzSpider();
            $data = $spider->fetchProduct($asin);
            file_put_contents("data/{$asin}.json", json_encode($data));
        });
    }
});

實測：4 核 8G 機器，協(xié)程版 2k SKU/min，CPU 占用 45%。

9. 數(shù)據(jù)落地：CSV、MySQL、Kafka 一鍵切換

① CSV（快速驗證）

php

$fp = fopen('amz.csv', 'a');
fputcsv($fp, array_keys($data));
fputcsv($fp, $data);
fclose($fp);

② MySQL（生產(chǎn)）

php

$pdo = new PDO('mysql:host=localhost;dbname=amz', 'root', 'root');
$stmt = $pdo->prepare("REPLACE INTO product (asin,title,price,rating,review_count,main_img,crawled_at) VALUES (?,?,?,?,?,?,?)");
$stmt->execute([$data['asin'], $data['title'], $data['price'], $data['rating'], $data['review_count'], $data['main_img'], $data['crawled_at']]);

③ Kafka（實時流）

php

$producer = new KafkaProducer(function() {
    return [KafkaProducerConfig::BOOTSTRAP_SERVERS => 'localhost:9092'];
});
$producer->send([
    ['topic' => 'amz-product', 'value' => json_encode($data), 'key' => $data['asin']]
]);

10. 合規(guī)紅線：Amazon 爬蟲的法律底線

表格

官方替代方案：Amazon Product Advertising API（PA-API 5.0）

穩(wěn)定、合規(guī)、無封 IP 風險

需 Associate Tag + 授權，每日 1w 額度

結論：能 API 不爬蟲，能授權不硬剛。

11. 總結與進階路線

? 原型階段：本文代碼直接跑，30 行即可出數(shù)
? 擴展階段：協(xié)程池 + 代理池 + 重試，日采 50w SKU
? 生產(chǎn)階段：Hyperf + Kafka + ES 實時搜索
? 商業(yè)閉環(huán)：價格告警、選品儀表盤、ERP 自動訂價

12. 一鍵運行 & 源碼

bash

git clone https://github.com/yourname/amz-php-crawler.git
cd amz-php-crawler
composer install
php bin/amz.php B08N5WRWNW

輸出示例：

18:42:12 INFO ASIN=B08N5WRWNW, title=Apple AirPods Pro, price=$249.00, rating=4.6, reviews=25430

如果本文對你有幫助，記得 點贊 + 收藏 + 在看，我們下期「PHP + Swoole 實時價格流」見！

審核編輯 黃宇