注册Oxylabs账户后可获得7天免费试用（提供5,000条结果），无需付款信息。
5,000条搜索结果
仪表盘会提供预置的cURL测试代码（支持Amazon、Google和通用网站），可直接复制到Postman或终端运行。
使用
适合即时需求，快速获取数据
适合批量处理，降低成本
适合需要代理IP的场景
数据存储在
凭证错误（检查用户名/密码）
请求参数无效（如URL格式错误）
请求超限（需升级计划或联系支持）
使用
使用
在仪表盘的"Scraper API Playground"用自然语言描述需求，自动生成解析代码。
"提取所有商品标题和价格"
系统将自动生成类似以下的XPath选择器：
通过
24/7在线聊天（仪表盘内）
support@oxylabs.io
7天试用，5,000条结果
起价 $49/月
按需定制
注册与试用
免费试用
试用权益
创建API用户
测试查询
环境准备
依赖安装
# 创建虚拟环境
python3.9 -m venv venv
source venv/bin/activate # Linux/Mac
venv\Scripts\activate # Windows
# 安装依赖库
pip install requests pandas
代码结构
requests库发送POST请求至API端点。
关键参数
source: 数据源（如universal、google_search）url: 目标网页链接parse: 设为true以获取结构化数据geo_location: 地理定位（如"United States"）
推荐配置
发送首个请求
实时集成方式
import requests
from pprint import pprint
# 替换为你的API凭证
username = "YOUR_USERNAME"
password = "YOUR_PASSWORD"
payload = {
"source": "universal",
"url": "https://sandbox.oxylabs.io/products/",
"geo_location": "United States",
"parse": True # 启用结构化数据解析
}
response = requests.post(
'https://realtime.oxylabs.io/v1/queries',
auth=(username, password),
json=payload
)
# 打印结果
pprint(response.json())
API端点选择
实时端点
推拉式端点
代理端点
处理响应
成功响应（200 OK）
response.json()['results'][0]['content']中。
{
"status": "success",
"results": [
{
"content": {
"title": "产品名称",
"price": "$99.99",
"availability": "In stock"
},
"url": "https://example.com/product"
}
]
}
常见错误码
401
400
429
数据导出
pandas将结果保存为CSV：
import pandas as pd
data = response.json()['results'][0]['content']
pd.DataFrame(data).to_csv('output.csv')
高级功能
调度任务（Scheduler）
run.py设置定时任务（每日/每周/每月），结果直存AWS S3或Google Cloud。
python run.py # 启动向导，选择频率和存储位置
AI辅助（OxyCopilot）
示例
"parsing_instructions": {
"product_name": {
"_fns": [{"_fn": "xpath_one", "_args": ["//h2[@class='product-title']/text()"]}]
},
"price": {
"_fns": [{"_fn": "xpath_one", "_args": ["//span[@class='price']/text()"]}]
}
}
自定义解析
parsing_instructions参数定义XPath/CSS选择器，提取特定数据：
"parsing_instructions": {
"product_name": {
"_fns": [{"_fn": "xpath_one", "_args": ["//h1/text()"]}]
}
}
资源与支持
技术支持
在线聊天
邮件支持
定价计划
免费试用
基础计划
企业计划
Oxylabs Web Scraper API的详细快速入门指南
作者：zvvq博客网
AmazonGoogle通用网站
高延迟容忍度
中等延迟
高延迟
免责声明：本文来源于网络，如有侵权请联系我们！