BrokerPaysBot собирает публичные страницы и документы о партнёрских программах брокеров для справочника BrokerPays.
- User agent:
BrokerPaysBot/1.0 (+https://brokerpays.com/bot/) - Частота: примерно раз в неделю на страницу; не чаще одного запроса в 2 секунды на домен.
- Охват: только публичные страницы из нашего реестра источников. Робот не входит в аккаунты, не отправляет формы и не обходит капчу.
- robots.txt: соблюдается. Чтобы исключить страницы, добавьте правило для
BrokerPaysBot. - Контакт: [email protected] — вопросы, исправления, указание правильной страницы-источника для вашей программы.