91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

Photon情報搜集爬蟲的主要功能與安裝使用說明

python爬蟲知識分享 ? 來源:python爬蟲知識分享 ? 作者:python爬蟲知識分享 ? 2022-06-23 16:35 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

Photon是一個由s0md3v開源的情報搜集爬蟲,其主要功能有:

1.爬取鏈接(內(nèi)鏈、外鏈)。
2.爬取帶參數(shù)的鏈接,如(pythondict.com/test?id=2)。
3.文件(pdf, png, xml)。
4.密鑰(在前端代碼中不小心被釋放出來的)。
5.js文件和Endpoint(spring中比較重要的監(jiān)視器)
6.匹配自定義正則表達式的字符串。
7.子域名和DNS相關(guān)數(shù)據(jù)。

你可以用它來干很多事,比如爬圖片、找漏洞、找子域名、爬數(shù)據(jù)等等。

不僅如此,它甚至支持json格式 ,僅需要在輸入命令的時候加上json參數(shù):

python photon.py -u "http://example.com" --export=json

1、下載安裝

https://github.com/s0md3v/Photon/archive/refs/heads/master.zip

2、簡單使用

注意,使用的時候要在Photon文件夾下。比如我們隨便提取一個網(wǎng)站的URL試一下,在終端輸入以下命令:

python photon.py -u https://bk.tencent.com/

它會在當前目錄下產(chǎn)生一個你測試的域名的文件夾,比如在我這里是 bk.tencent.com:

結(jié)果如下:

pYYBAGK0JCWAGbHpAABO34wJ3lQ540.png

嘻嘻,讓我們看看里面有什么東西,有沒有程序員留下的小彩蛋,打開external.txt,這是該網(wǎng)站的外鏈的存放位置??梢钥吹?,這里不僅僅是只有網(wǎng)站頁面,連CDN文件地址都會放在這里,所以external可能是個藏寶庫哦。


3、擴展

這個項目的價值,不僅在于能夠快速拉取你想要得到的數(shù)據(jù),還在于能夠構(gòu)建一個牛逼轟轟的情報系統(tǒng)(如果你技術(shù)夠強的話)。因為它是能不斷延伸下去的,比如從外鏈出發(fā),你能找到很多和這個網(wǎng)站相關(guān)的訊息。

相比于搜索引擎搜索的結(jié)果,實際上這些信息更符合情報的要求。因為存在禁止搜索引擎爬取的 robot.txt, 所以不是網(wǎng)站的所有信息都能在搜索引擎搜索得到,而通過這個Photon,你可以順藤摸瓜找到那些隱藏在互聯(lián)網(wǎng)世界的它們。

審核編輯:湯梓紅

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 開源
    +關(guān)注

    關(guān)注

    3

    文章

    4209

    瀏覽量

    46187
  • python
    +關(guān)注

    關(guān)注

    57

    文章

    4877

    瀏覽量

    90079
  • 爬蟲
    +關(guān)注

    關(guān)注

    0

    文章

    87

    瀏覽量

    8101
  • photon
    +關(guān)注

    關(guān)注

    0

    文章

    33

    瀏覽量

    3896
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    NVMe高速傳輸之擺脫XDMA設(shè)計49:主要功能測試結(jié)果與分析1

    本文主要交流設(shè)計思路,在本博客已給出相關(guān)博文約九十篇,希望對初學(xué)者有用。注意這里只是拋磚引玉,切莫認為參考這就可以完成商用IP設(shè)計。 1)初始化功能測試 系統(tǒng)在上電復(fù)位后, 首先由 PCIE 集成塊
    發(fā)表于 11-28 08:33

    綜合配電柜主要功能喝應(yīng)用場景是什么

    是綜合配電柜的主要功能和應(yīng)用場景的詳細說明: 一、核心功能 電能分配 將輸入的電力(如三相電或單相電)通過斷路器、隔離開關(guān)等設(shè)備分配到多個輸出回路,為不同負載(如電機、照明、空調(diào)等)提供獨立電源。 支持多路輸出,滿足復(fù)
    的頭像 發(fā)表于 10-10 10:41 ?872次閱讀

    醫(yī)院專用數(shù)據(jù)記錄儀主要功能有哪些

    數(shù)據(jù)記錄儀的主要功能在于采集、存儲并分析各類數(shù)據(jù),在眾多領(lǐng)域有著廣泛而深入的應(yīng)用,為不同行業(yè)的發(fā)展帶來了新的活力與變革。那么,醫(yī)院專用數(shù)據(jù)記錄儀主要功能有哪些?有何產(chǎn)品推薦?下面就讓小編來為大家簡單
    發(fā)表于 09-28 14:53

    RFID手持機的主要功能

    很多企業(yè)在做固定資產(chǎn)盤點,通常會使用RFID手持機,畢竟RFID手持機是一款融合無線射頻識別技術(shù)的便攜式數(shù)據(jù)采集終端機,也稱PDA,它具備RFID讀寫功能,可以對RFID標簽進行識讀。
    的頭像 發(fā)表于 08-27 14:10 ?1062次閱讀

    窗口看門狗定時器(WWDT)的主要功能是什么?

    窗口看門狗定時器(WWDT)的主要功能是什么?
    發(fā)表于 08-26 06:23

    手持采集器是干什么用的 PDA采集器的主要功能與應(yīng)用場景

    的“得力助手”。下面就來詳細說說手持采集器的主要功能和常見應(yīng)用場景。一、手持采集器的核心功能1.多形式數(shù)據(jù)采集手持采集器最核心的能力就是“采集”,它支持條形碼、二維碼
    的頭像 發(fā)表于 08-20 15:09 ?1186次閱讀
    手持采集器是干什么用的 PDA采集器的<b class='flag-5'>主要功能與</b>應(yīng)用場景

    PLC遠程監(jiān)控解決方案的主要功能與場景應(yīng)用

    功能模塊化設(shè)計與場景化適配,讓遠程運維從“看得見”升級為“控得準”“管得好”,在水務(wù)、化工、汽車制造等領(lǐng)域展現(xiàn)出強大的應(yīng)用潛力。 一、核心功能模塊:從數(shù)據(jù)采集到智能決策的全鏈條支撐 PLC遠程監(jiān)控解決方案的功能體系
    的頭像 發(fā)表于 08-08 17:44 ?749次閱讀

    PLC溫度控制系統(tǒng)的主要功能

    PLC溫度控制系統(tǒng)作為工業(yè)加熱、恒溫場景的核心控制單元,通過整合傳感器、執(zhí)行器與邏輯控制算法,實現(xiàn)對溫度的精準調(diào)控,其主要功能可歸納為以下六大核心模塊: 一、實時溫度檢測與采集 系統(tǒng)
    的頭像 發(fā)表于 08-07 17:59 ?1047次閱讀

    一維二維碼條碼識讀器的主要功能有哪些

    在信息化快速發(fā)展的當下,一維二維碼條碼識讀器已成為各行各業(yè)高效處理信息的重要工具。從超市收銀到物流追蹤,它憑借快速準確的信息識別能力,大幅提升了工作效率。那么,一維二維碼條碼識讀器的主要功能有哪些呢
    的頭像 發(fā)表于 08-01 15:59 ?1072次閱讀
    一維二維碼條碼識讀器的<b class='flag-5'>主要功能</b>有哪些

    圖像采集卡的主要功能與應(yīng)用

    圖像采集卡是一種安裝在計算機內(nèi)部(通常是PCIe插槽)或通過外部接口(如USB3.0,)連接的硬件設(shè)備。它的主要功能是將來自攝像頭、攝像機、傳感器或其他視頻源的模擬或數(shù)字視頻信號,捕獲、數(shù)字化并傳輸
    的頭像 發(fā)表于 07-23 13:47 ?1145次閱讀
    圖像采集卡的<b class='flag-5'>主要功能與</b>應(yīng)用

    電力智慧場站核心功能與應(yīng)用場景詳解

    電力智慧場站是基于物聯(lián)網(wǎng)、大數(shù)據(jù)和人工智能技術(shù)的智能化電力運維系統(tǒng),主要實現(xiàn)對匯流箱、環(huán)網(wǎng)柜、壓板等關(guān)鍵設(shè)備的實時監(jiān)測與智能分析,提升電力系統(tǒng)的安全性、可靠性和運維效率。以下是其主要功能和應(yīng)用場景的詳細介紹。
    的頭像 發(fā)表于 06-28 09:44 ?1157次閱讀

    直流負載箱的主要功能有哪些?

    直流負載箱是專門用于模擬和測試直流電源系統(tǒng)負載的設(shè)備,其主要功能包括以下幾點: 直流負載箱可以模擬各種不同類型的負載,如電阻、電感、電容等,以滿足不同應(yīng)用場景的需求。通過調(diào)整負載箱的參數(shù),可以實現(xiàn)
    發(fā)表于 06-17 13:34

    組織塊使用說明

    電子發(fā)燒友網(wǎng)站提供《組織塊使用說明.pdf》資料免費下載
    發(fā)表于 04-02 15:29 ?0次下載

    ADW300無線計量儀表安裝使用說明書V1.2

    電子發(fā)燒友網(wǎng)站提供《ADW300無線計量儀表安裝使用說明書V1.2.pdf》資料免費下載
    發(fā)表于 03-26 15:04 ?0次下載

    Aigtek:功率放大器的主要功能有哪些

    功率放大器是一種重要的電子設(shè)備,其主要功能是將輸入信號的功率增加到足夠高的水平,以便推動負載或驅(qū)動輸出設(shè)備。功率放大器在各個領(lǐng)域中都具有廣泛的應(yīng)用,例如音頻系統(tǒng)、射頻通信、雷達、無線電等。下面安泰
    的頭像 發(fā)表于 03-19 10:40 ?749次閱讀
    Aigtek:功率放大器的<b class='flag-5'>主要功能</b>有哪些