O o agêntico é um veículo de notícias sobre inteligência artificial e tecnologia. Para reunir o noticiário, operamos um rastreador chamado AgenticoBot, que lê feeds RSS públicos e as páginas de notícia que esses feeds apontam. Esta página explica exatamente o que ele faz, para que quem administra um site possa decidir com informação.
Lê o robots.txt antes de qualquer página e respeita o que ele diz. Quando o robots.txt não pode ser obtido de forma confiável, tratamos como restrição, não como permissão.
Espera pelo menos 15 segundos entre requisições ao mesmo domínio.
Para de insistir quando o servidor responde 429: recua o domínio inteiro e honra o cabeçalho Retry-After.
Guarda o HTML que já leu, para não pedir a mesma página de novo.
Lê apenas o texto da notícia, para agrupar coberturas do mesmo acontecimento e citar o veículo de origem com link.
O que ele não faz
Não contorna bloqueio. Se um site responde 403 ou apresenta desafio de verificação, paramos ali — não trocamos de identidade, não usamos proxy nem serviço intermediário para obter a página assim mesmo.
Não republica o texto integral de ninguém. O site publica um resumo próprio do acontecimento e sempre credita e linka os veículos.
Não acessa área restrita, formulário, login nem conteúdo pago.
Não coleta dado pessoal das páginas que lê.
Como bloquear
Basta o robots.txt. Um bloco `User-agent: AgenticoBot` com `Disallow: /` interrompe o acesso a partir da leitura seguinte, e respeitamos também `Crawl-delay`. Se preferir avisar por escrito, ou se preferir o contrário — liberar o acesso que hoje o seu CDN barra — escreva para bopezinster@gmail.com que respondemos.