BrokerPaysBot 为 BrokerPays 目录收集有关经纪商合作计划的公开页面和文档。
- 用户代理:
BrokerPaysBot/1.0 (+https://brokerpays.com/bot/) - 频率: 每个页面约每周一次;每个域名每 2 秒最多一次请求。
- 范围: 仅限我们来源登记表中列出的公开页面。该爬虫不会登录、提交表单或破解验证码。
- robots.txt: 予以遵守。如需排除页面,请为
BrokerPaysBot添加规则。 - 联系方式: [email protected] — 用于提问、更正,或为您的计划推荐合适的来源页面。