91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

python代碼中如何使用HTTP代理

華益云HTTP爬蟲IP ? 來源:華益云HTTP爬蟲IP ? 作者:華益云HTTP爬蟲IP ? 2022-09-13 09:24 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

一、什么是HTTP代理。

HTTP代理就是介于瀏覽器和web服務(wù)器之間的一臺服務(wù)器,連接代理后,瀏覽器不再直接向web服務(wù)器取回網(wǎng)頁,而是向代理服務(wù)器發(fā)出request信號,代理服務(wù)器再想web服務(wù)器發(fā)出請求,收到web服務(wù)器返回的數(shù)據(jù)后再反饋給瀏覽器。

二、華益云HTTP代理IP基本參數(shù)介紹

1:基本參數(shù)介紹:支持http,https,socks5等多種協(xié)議類型。100%高匿IP,支持API提取,API最快提取間隔1秒,一次最多可以提取200個。

2:支持的語言:python,java,c,c#,go,php,易語言等多種編程語言。

3:使用范圍:軟件程序API調(diào)用,爬蟲,網(wǎng)頁訪問,瀏覽等支持HTTP協(xié)議批量調(diào)用的應(yīng)用。

python代碼中如何使用HTTP代理。

# 此版本無需安裝依賴
import urllib
import urllib.request
import urllib

def main():
    # 發(fā)送給服務(wù)器的標(biāo)識
    userAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/532.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36"
    # 代理api(這里我推薦使用www.9vps.com華益云的HTTP代理API,注冊就白嫖1萬IP)
    proxyUrl = "http://http.9vps.com/getip.asp?username=166xxxx6597&pwd=xxxxbaa59ce237dff65134984b9cxxxx&geshi=1&fenge=1&fengefu=&Contenttype=1&getnum=20&setcity=&operate=all&";
    # 請求代理url,獲取代理ip 
    outPutProxy = getProxy(proxyUrl, userAgent)
    if len(outPutProxy)==0:
        # 沒有獲取到代理
        return
    # 目標(biāo)請求網(wǎng)站
    # https://httpbin.org/get
    url = "https://www.qq.com/"
    content = None
 
    for _ in range(0, 3):
        # 最多嘗試三次
        try:
            # 從列表中取出一個代理出來
            proxy = outPutProxy.pop(0)
            px = {
                "http": proxy,
                "https": proxy
            }
            content = requestGet(url, userAgent, px)
            break
        except Exception as e:
            print(e)
            if (len(outPutProxy) == 0):
                # 如果發(fā)現(xiàn)沒有代理了,就去獲取下。
                outPutProxy = getProxy(proxyUrl, userAgent)
     
    print(content)
def getProxy(proxyUrl, userAgent):
    proxyIps=""
    outPutProxy = []
    try:
        proxyIps = requestGet(proxyUrl, userAgent, None)
        print("(proxyIps)", proxyIps)
        # {"code":3002,"data":[],"msg":"error!用戶名或密碼錯誤","success":false}
        if "{" in proxyIps:
            raise Exception("[錯誤]"+proxyIps)
        outPutProxy = proxyIps.splitlines()
        
    except Exception as e:
        print(e)
    print("總共獲取了"+str(len(outPutProxy))+"個代理")
    return outPutProxy

def requestGet(url, userAgent, proxy):
    headers = {
        "User-Agent": userAgent
    }
    # httpproxy_handler = urllib.ProxyHandler({"http" : " 180.104.192.217:22036"}) 
    response = None
    if (proxy):
        proxyHandler = urllib.request.ProxyHandler(proxy)
        opener = urllib.request.build_opener(proxyHandler, urllib.request.HTTPHandler)
        urllib.request.install_opener(opener)
        request = urllib.request.Request(url, headers=headers)
        response = urllib.request.urlopen(request, timeout=5)
    else:
        # 沒有代理走這個
        request = urllib.request.Request(url, headers=headers)
        response = urllib.request.urlopen(request, timeout=5)
        #response = opener.open(request)
    
    
    html = response.read()
    # # 設(shè)置編碼,防止亂碼
    # 手動設(shè)置網(wǎng)頁字符編碼方式
    return html.decode("utf-8", "ignore")

main()
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • HTTP
    +關(guān)注

    關(guān)注

    0

    文章

    537

    瀏覽量

    35390
  • 瀏覽器
    +關(guān)注

    關(guān)注

    1

    文章

    1043

    瀏覽量

    37088
  • python
    +關(guān)注

    關(guān)注

    57

    文章

    4877

    瀏覽量

    90071
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    1688 商品詳情 API 調(diào)用與數(shù)據(jù)解析 Python 實(shí)戰(zhàn)

    你想要的是 1688 商品詳情 API 的 Python 調(diào)用與數(shù)據(jù)解析實(shí)戰(zhàn)方案,核心是完成 API 憑證配置、接口請求(含簽名)、響應(yīng)數(shù)據(jù)解析、異常處理 的全流程落地,我會提供可直接運(yùn)行的代碼,并
    的頭像 發(fā)表于 02-10 11:23 ?270次閱讀

    沒有專利的opencv-python 版本

    所有 官方發(fā)布的 opencv-python 核心版本(無 contrib 擴(kuò)展)都無專利風(fēng)險——專利問題僅存在于 opencv-contrib-python 擴(kuò)展模塊的少數(shù)算法(如早期 SIFT
    發(fā)表于 12-13 12:37

    Python借助NVIDIA CUDA Tile簡化GPU編程

    模型更高的層級來實(shí)現(xiàn)算法。至于如何將計算任務(wù)拆分到各個線程,完全由編譯器和運(yùn)行時在底層自動處理。不僅如此,tile kernels 還能夠屏蔽 Tensor Core 等專用硬件的細(xì)節(jié),寫出的代碼還能
    的頭像 發(fā)表于 12-13 10:12 ?1205次閱讀
    在<b class='flag-5'>Python</b><b class='flag-5'>中</b>借助NVIDIA CUDA Tile簡化GPU編程

    Termux調(diào)試圣誕樹Python代碼

    在Termux調(diào)試Python代碼(以圣誕樹立例)非常簡單,核心分為環(huán)境準(zhǔn)備、代碼編寫、運(yùn)行調(diào)試三個步驟,下面一步步教你操作: 一、環(huán)境準(zhǔn)備(首次使用需做) Termux默認(rèn)可能沒有
    發(fā)表于 12-09 09:02

    Python調(diào)用API教程

    兩個不同系統(tǒng)之間的信息交互。在這篇文章,我們將詳細(xì)介紹Python調(diào)用API的方法和技巧。 一、用Requests庫發(fā)送HTTP請求 使用Python調(diào)用API的第一步是發(fā)送
    的頭像 發(fā)表于 11-03 09:15 ?894次閱讀

    淘寶商品詳情接口(item_get)企業(yè)級全解析:參數(shù)配置、簽名機(jī)制與 Python 代碼實(shí)戰(zhàn)

    本文詳解淘寶開放平臺taobao.item_get接口對接全流程,涵蓋參數(shù)配置、MD5簽名生成、Python企業(yè)級代碼實(shí)現(xiàn)及高頻問題排查,提供可落地的實(shí)戰(zhàn)方案,助你高效穩(wěn)定獲取商品數(shù)據(jù)。
    的頭像 發(fā)表于 09-26 09:13 ?857次閱讀
    淘寶商品詳情接口(item_get)企業(yè)級全解析:參數(shù)配置、簽名機(jī)制與 <b class='flag-5'>Python</b> <b class='flag-5'>代碼</b>實(shí)戰(zhàn)

    termux調(diào)試python猜數(shù)字游戲

    特性 - ? 智能范圍提示(太大/太?。?- ? 嘗試次數(shù)計數(shù)器 - ? 錯誤輸入防護(hù) - ? 移動端友好界面 --- ? 四、進(jìn)階優(yōu)化建議 ```python 可擴(kuò)展功能(在現(xiàn)有代碼添加
    發(fā)表于 08-29 17:15

    termux如何搭建python游戲

    Pygame),確保已安裝`clang`編譯器:`apt install -y clang` 3. 權(quán)限問題:若需訪問手機(jī)文件,安裝`termux-setup-storage`并授權(quán)存儲訪問權(quán)限。 通過以上步驟,即可在Termux搭建完整的Python游戲開發(fā)環(huán)境
    發(fā)表于 08-29 07:06

    Python字符串逆序有幾種方式,代碼是什么

    對于一個給定的字符串,逆序輸出,這個任務(wù)對于python來說是一種很簡單的操作,畢竟強(qiáng)大的列表和字符串處理的一些列函數(shù)足以應(yīng)付這些問題 了,今天總結(jié)了一下python對于字符串的逆序輸出的幾種常用
    的頭像 發(fā)表于 08-28 14:44 ?1097次閱讀

    代理式AI與AI智能體在不同行業(yè)的實(shí)際應(yīng)用

    代理式 AI 的時代已經(jīng)到來。如今,代理式 AI 已經(jīng)驅(qū)動應(yīng)用邁向深度場景融合與規(guī)?;涞?。這波演進(jìn)浪潮標(biāo)志著 AI 能力向自主執(zhí)行的躍遷。本文將系統(tǒng)解析代理式 AI (Agentic AI
    的頭像 發(fā)表于 07-28 14:28 ?1208次閱讀

    linux虛擬環(huán)境調(diào)用Linux 版matlab編譯的python庫時出錯

    matlab代碼編譯為CAO_pythonpython庫,其中cp_Main_python.m為入口文件,編譯后生成的文件有mccExcludedFiles.log、setup.py
    發(fā)表于 07-18 10:40

    基礎(chǔ)篇3:掌握Python的條件語句與循環(huán)

    不同的條件執(zhí)行不同的代碼塊。Python的條件語句主要使用if、elif(else if的縮寫)和else關(guān)鍵字。 if語句 最簡單的條件語句是if語句,它的工作方式如下: 復(fù)制代碼
    發(fā)表于 07-03 16:13

    在KaihongOS應(yīng)用開發(fā),如何通過HTTP發(fā)起一個數(shù)據(jù)請求

    Http 在KaihongOS應(yīng)用開發(fā),可以通過HTTP發(fā)起一個數(shù)據(jù)請求,支持常見的GET、POST、OPTIONS、HEAD、PUT、DELETE、TRACE、CONNECT方法。詳細(xì)的API
    發(fā)表于 05-08 06:44

    零基礎(chǔ)入門:如何在樹莓派上編寫和運(yùn)行Python程序?

    在這篇文章,我將為你簡要介紹Python程序是什么、Python程序可以用來做什么,以及如何在RaspberryPi上編寫和運(yùn)行一個簡單的Python程序。什么是
    的頭像 發(fā)表于 03-25 09:27 ?2057次閱讀
    零基礎(chǔ)入門:如何在樹莓派上編寫和運(yùn)行<b class='flag-5'>Python</b>程序?

    Python在嵌入式系統(tǒng)的應(yīng)用場景

    你想把你的職業(yè)生涯提升到一個新的水平?Python在嵌入式系統(tǒng)中正在成為一股不可缺少的新力量。盡管傳統(tǒng)上嵌入式開發(fā)更多地依賴于C和C++語言,Python的優(yōu)勢在于其簡潔的語法、豐富的庫和快速的開發(fā)周期,這使得它在某些嵌入式場景中非常有用,以下是
    的頭像 發(fā)表于 03-19 14:10 ?1506次閱讀