AgenticoBot — o rastreador do o agêntico

Como identificá-lo

• User-Agent: AgenticoBot/0.1 (+https://oagentico.com.br/bot)
• Operado por: o agêntico (oagentico.com.br)
• Contato: bopezinster@gmail.com

O que ele faz

• Lê o robots.txt antes de qualquer página e respeita o que ele diz. Quando o robots.txt não pode ser obtido de forma confiável, tratamos como restrição, não como permissão.
• Espera pelo menos 15 segundos entre requisições ao mesmo domínio.
• Para de insistir quando o servidor responde 429: recua o domínio inteiro e honra o cabeçalho Retry-After.
• Guarda o HTML que já leu, para não pedir a mesma página de novo.
• Lê apenas o texto da notícia, para agrupar coberturas do mesmo acontecimento e citar o veículo de origem com link.

O que ele não faz

• Não contorna bloqueio. Se um site responde 403 ou apresenta desafio de verificação, paramos ali — não trocamos de identidade, não usamos proxy nem serviço intermediário para obter a página assim mesmo.
• Não republica o texto integral de ninguém. O site publica um resumo próprio do acontecimento e sempre credita e linka os veículos.
• Não acessa área restrita, formulário, login nem conteúdo pago.
• Não coleta dado pessoal das páginas que lê.

Como bloquear

Basta o robots.txt. Um bloco `User-agent: AgenticoBot` com `Disallow: /` interrompe o acesso a partir da leitura seguinte, e respeitamos também `Crawl-delay`. Se preferir avisar por escrito, ou se preferir o contrário — liberar o acesso que hoje o seu CDN barra — escreva para bopezinster@gmail.com que respondemos.