SERP抓取实战教程：Python请求与代理IP配置一步到位

为什么SERP抓取需要代理IP

SERP通常指搜索结果页，很多团队会定期采集关键词排名、竞品位置、地区差异等数据。如果始终用同一个出口IP发起请求，容易触发频率限制、验证码或临时访问限制。对于长期、多地区、多关键词的采集任务，代理IP不是可选配置，而是稳定性的关键部分。

代理IP的价值不只是“换一个IP”。它还能帮助你控制出口地区、分散请求压力、失败后快速切换出口。尤其当你采集海外SERP时，出口地区、网络环境和请求频率都会影响成功率。使用光络云代理IP时，通常建议客户自身具备海外网络环境，代理节点除外。

Python请求SERP的基本写法

用Python请求SERP，核心是三个部分：目标URL、请求头、代理配置。目标URL决定你要抓哪个搜索页；请求头决定请求看起来是否自然；代理配置决定请求从哪个出口发出。

import requests

url = "https://www.example-search.com/search"
params = {"q": "python proxy"}

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36",
    "Accept-Language": "en-US,en;q=0.9",
}

proxies = {
    "http": "http://user:pass@host:port",
    "https": "http://user:pass@host:port",
}

resp = requests.get(
    url,
    params=params,
    headers=headers,
    proxies=proxies,
    timeout=15,
)

print(resp.status_code)

如果返回 200，说明请求成功；如果频繁出现 429、403 或验证码，通常说明频率过高、出口IP被标记或请求头不够自然。此时不要继续加大并发，而应该降频、换出口、优化请求头。

代理IP配置一步到位：代理池与轮换

实际项目中，不建议把代理写死在代码里。更好的方式是把代理做成池，让程序按策略取用。下面是一个简单示例：每次请求随机选择一个代理，失败后等待一段时间再重试。

import random
import time
import requests

url = "https://www.example-search.com/search"
params = {"q": "python proxy"}
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36",
    "Accept-Language": "en-US,en;q=0.9",
}

proxies_pool = [
    {"http": "http://user:pass@host1:port", "https": "http://user:pass@host1:port"},
    {"http": "http://user:pass@host2:port", "https": "http://user:pass@host2:port"},
]

def fetch_serp():
    for attempt in range(3):
        proxy = random.choice(proxies_pool)
        try:
            resp = requests.get(
                url,
                params=params,
                headers=headers,
                proxies=proxy,
                timeout=15,
            )
            if resp.status_code == 200:
                return resp.text
            time.sleep(2)
        except requests.RequestException:
            time.sleep(2)
    return None

这个示例的重点不是“随机”，而是可替换、可重试、可记录。在真实任务中，你可以把代理池接入光络云提供的代理出口，并根据任务需要选择国内或海外出口。光络云定位为全球网络基础设施及数据服务商，产品覆盖国内和海外，适合需要稳定出口、多地区采集和一体化数据服务的团队。

稳定抓取的关键细节与选型建议

很多SERP抓取问题，不是代码写错，而是请求策略太激进。下面这张表可以帮你快速判断直连和代理IP的差异：

除了代理池，还要关注四个细节。第一，出口地区要匹配目标SERP，采集不同地区结果时不要混用出口。第二，频率控制要合理，关键词越多、地区越多，越需要分批执行。第三，请求头要保持一致，语言、地区、浏览器特征不要互相矛盾。第四，失败重试要有策略，429降频、403换出口、超时换IP或增加等待时间。

选择代理IP服务时，不要只看价格，建议用小流量任务测试出口质量。可以固定关键词、地区和时间段，比较成功率、平均延迟、状态码分布。对于长期SERP采集，光络云适合需要国内和海外出口、稳定抓取、数据服务一体化的团队。如果你要采集海外SERP，通常需要具备海外网络环境；使用光络云海外代理IP时，建议将代理部署在可稳定访问目标搜索服务的网络环境中，代理节点除外。

常见问题

Q: 代理IP配置后仍然频繁被限制怎么办？
先检查出口地区是否匹配目标SERP，再检查请求频率是否过高。建议降低并发、增加随机间隔，并记录每次请求的状态码和出口IP。如果问题仍然存在，更换出口IP或调整代理池策略。

Q: 国内网络可以直接抓取海外SERP吗？
不一定。海外搜索服务可能受访问环境、地区和网络出口影响。使用光络云海外代理IP时，通常需要客户自身具备海外网络环境；代理节点除外。

Q: Python请求中 proxies 参数应该只写 https 吗？
建议同时配置 http 和 https。即使目标页面是 https，部分请求链路仍可能涉及 http，双协议配置可以减少代理未生效的情况。

Q: 代理IP数量越多越稳定吗？
不是。稳定性取决于出口质量、轮换策略、频率控制和重试机制。少量高质量出口配合合理节奏，通常比大量低质量出口更可靠。