在電商數(shù)據(jù)驅動的時代，商品詳情數(shù)據(jù)成為市場分析、價格監(jiān)控、競品調研的核心燃料。京東作為國內頭部電商平臺，其商品信息豐富、更新頻繁，是數(shù)據(jù)開發(fā)者眼中的“香餑餑”。

本文將帶你從 0 到 1，用PHP 語言實現(xiàn)一個可運行的京東商品爬蟲，不僅能抓取商品標題、價格、圖片、評價數(shù)，還能應對常見的反爬策略。全文附完整代碼，復制粘貼即可運行。

一、為什么選擇 PHP 做爬蟲？

雖然 Python 是爬蟲界的“老大哥”，但 PHP 在 Web 開發(fā)領域依舊占據(jù)主流，具備以下優(yōu)勢：

語法簡單：Web 開發(fā)者一鍵切換；

庫生態(tài)豐富：Guzzle、Symfony DomCrawler、Simple HTML DOM、Swoole；

部署方便：直接 fpm 或 CLI，無需額外環(huán)境；

與業(yè)務無縫集成：爬完直接 Laravel 入庫、隊列、通知；

并發(fā)能力強：Swoole 協(xié)程輕松 10k QPS。

一句話：如果你本來就在寫 Laravel，用 PHP 寫爬蟲等于「順路」。

二、目標明確：我們要抓什么？

以京東商品詳情頁為例，我們要抓取以下字段：

三、技術選型

四、環(huán)境準備

1. 創(chuàng)建項目

bash

mkdir jd-php-crawler && cd jd-php-crawler
composer init --name="demo/jd-crawler" -s dev

2. 安裝依賴

bash

composer require guzzlehttp/guzzle symfony/dom-crawler symfony/css-selector fakerphp/faker

五、核心代碼實現(xiàn)

1. 創(chuàng)建爬蟲類

php

client = new Client([
            'timeout' => 10,
            'headers' => [
                'User-Agent' => 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
                'Referer'    => 'https://search.jd.com/',
            ],
        ]);
    }

    public function fetchProduct(string $sku): array
    {
        // 1. 詳情頁
        $url = "https://item.jd.com/{$sku}.html";
        $html = $this->client->get($url)->getBody()->getContents();
        $crawler = new Crawler($html);

        $title = $crawler->filter('div.sku-name')->text('');
        $shop  = $crawler->filter('div.J-hove-wrap .name')->text('');
        $img   = $crawler->filter('img#spec-img')->attr('src');
        if (str_starts_with($img, '//')) {
            $img = 'https:' . $img;
        }

        // 2. 價格
        $priceUrl = "https://p.3.cn/prices/mgets?skuIds=J_{$sku}";
        $priceJson = json_decode($this->client->get($priceUrl)->getBody(), true);
        $price = $priceJson[0]['p'] ?? '0';

        // 3. 評價數(shù)
        $cmtUrl = "https://club.jd.com/comment/productCommentSummaries.action?referenceIds={$sku}";
        $cmtJson = json_decode($this->client->get($cmtUrl)->getBody(), true);
        $commentCount = $cmtJson['CommentsCount'][0]['CommentCount'] ?? 0;

        return [
            'sku'           => $sku,
            'title'         => trim($title),
            'price'         => $price,
            'comment_count' => $commentCount,
            'shop'          => trim($shop),
            'img'           => $img,
            'crawled_at'    => date('Y-m-d H:i:s'),
        ];
    }
}

2. 創(chuàng)建入口文件

php

#!/usr/bin/env php
fetchProduct($sku);
echo json_encode($data, JSON_UNESCAPED_UNICODE | JSON_PRETTY_PRINT);

3. 運行腳本

bash

php bin/jd.php 100035288046

4. 運行結果示例

JSON

{
  "sku": "100035288046",
  "title": "Apple iPhone 15 128GB 藍色",
  "price": "5999.00",
  "comment_count": 50000,
  "shop": "京東自營旗艦店",
  "img": "https://img10.360buyimg.com/n1/s450x450_jfs/t1/123456.jpg",
  "crawled_at": "2025-09-23 14:30:00"
}

六、反爬策略與優(yōu)化建議

七、進階玩法（等你來挑戰(zhàn)）

? 多進程抓取 + 隊列調度（支持百萬 SKU）

? 接入 Laravel，實時入庫

? 接入 Elasticsearch，實現(xiàn)商品搜索

? 接入 Kafka，實時流式處理

? 可視化展示：Laravel + Vue + ECharts

八、合法合規(guī)提醒

? 禁止抓取用戶隱私信息（如收貨地址、手機號）

? 禁止高并發(fā)攻擊京東服務器

? 對外商用需獲得京東授權

? 建議優(yōu)先使用官方 API（open.jd.com）

九、結語

本文從環(huán)境搭建、代碼實現(xiàn)、反爬策略到進階方向，系統(tǒng)講解了如何用PHP 爬蟲獲取京東商品詳情。希望你不僅能跑通代碼，更能在此基礎上構建自己的數(shù)據(jù)采集系統(tǒng)。

審核編輯 黃宇