Gestão de bots
Nem todo o tráfego é humano. A gestão de bots distingue browsers de programas automáticos e decide o que fazer com cada um — deixa passar os bons (Google, monitorização) e bloqueia ou desafia os maus (scrapers, brute-force, bots de IA).
Tipos de bots
| Tipo | Exemplo | O que querer fazer |
|---|---|---|
| Bons | Googlebot, Bingbot, monitorização própria | Deixar passar sempre |
| Comerciais legítimos | Ahrefs, SEMrush, archive.org | Geralmente deixar passar, podes limitar |
| Scrapers | Programas que copiam conteúdo em massa | Bloquear ou desafiar |
| Bots de IA | OpenAI, Anthropic, Google AI training | Bloquear se não queres o teu conteúdo nos modelos deles |
| Atacantes | Tentativas de login automatizadas, exploração de vulnerabilidades | Bloquear sempre |
| Tor / VPNs / datacenters | Tráfego anonimizado, raramente humano | Decidir consoante o site |
A FortFox não te obriga a uma única decisão — defines a sensibilidade, defines o que fazer e mantens listas de exceções.
Como o sistema funciona
Cada pedido recebe uma pontuação de bot entre 0 e 100. A pontuação resulta de muitos sinais combinados:
- User-Agent: identificadores de bots conhecidos somam pontos.
- Comportamento: pedir 50 páginas/segundo soma pontos; pedir 1 página por minuto não.
- Cabeçalhos: pedidos sem
Accept-Languageou com cabeçalhos invulgares somam pontos. - Origem do IP: vir de um datacenter soma; vir de uma ISP residencial não.
- Listas de risco: Tor exit nodes, scrapers conhecidos, VPNs comerciais, gamas de datacenters.
- Comportamento JavaScript: bots que não executam JS comportam-se de forma diferente.
Depois da pontuação, decide-se:
Pontuação 0–39 → humano → passa
Pontuação 40–69 → zona cinzenta → mostra verificação (challenge)
Pontuação 70–100 → bot → bloqueia
Os limites são os defaults; podes mudá-los nas definições.
A sensibilidade da deteção
A sensibilidade controla quão agressivos são os sinais. Não muda os limites — muda quantos pontos cada sinal vale.
| Sensibilidade | Falsos positivos | Falsos negativos | Para quem |
|---|---|---|---|
| Baixa | Quase nenhuns | Deixa passar alguns bots | Sites pequenos, comunidades pacíficas |
| Média (recomendada) | Raros | Apanha a maioria dos bots maliciosos | A maioria dos sites |
| Alta | Alguns (visitantes legítimos podem ser desafiados) | Apanha quase tudo | Sob ataque ativo, ou sites com conteúdo de alto valor |
Mais detalhe em Sensibilidade dos bots.
Mostrar verificação em vez de bloquear (challenge)
Para a "zona cinzenta" (pedidos com pontuação entre 40 e 70 por defeito), em vez de bloquear logo, podes mostrar uma verificação ao visitante. Tipicamente é um desafio invisível para humanos (resolve-se sozinho em fração de segundo se executas JavaScript normalmente) mas trava bots que não executam JS.
Vantagem: visitantes legítimos passam sem se aperceberem; bots ficam presos. Mais detalhe em Pontuação e desafios.
Listas de risco curadas
A FortFox mantém listas atualizadas que podes ativar com um toggle:
- Tor — bloqueia visitantes a usar a rede Tor. (Atenção: ativistas, jornalistas e utilizadores em regimes autoritários usam Tor. Pondera.)
- Scrapers conhecidos — programas de scraping comerciais e investigativos identificados (incluindo crawlers académicos).
- Bots de IA — crawlers da OpenAI (GPTBot), Anthropic (ClaudeBot), Google (Google-Extended), CCBot, Bytespider, etc. Bloqueia se não queres o teu conteúdo usado para treinar modelos.
- VPNs comerciais — ASNs de provedores de VPN (NordVPN, ExpressVPN, etc.). Maior parte do tráfego é legítimo (privacidade), mas se queres restringir, ativas.
- Datacenters — IPs alojados em provedores cloud (AWS, GCP, Azure, OVH, Hetzner, etc.). Raramente humanos diretos — geralmente bots, scripts, scrapers. Bloquear isto é uma das medidas mais eficazes contra automação maliciosa.
Cada lista é independente e atualizada automaticamente. Ligas as que fizerem sentido para o teu site.
Bots de confiança (whitelist de User-Agent)
Há bots que queres que passem sempre: Googlebot, Bingbot, o monitor do teu Uptime Robot, etc. Na secção Bots de confiança adicionas identificadores (strings de User-Agent) que ignoram a pontuação e passam direto.
Exemplos:
Googlebot
Bingbot
DuckDuckBot
UptimeRobot
Página de verificação personalizada
Se o desafio é mostrado a um visitante, podes personalizar a aparência da página: nome do site, logótipo, cor de destaque. Útil para manter consistência visual quando alguém é desafiado.
O que acontece a quem é bloqueado
A ação de bloqueio é configurável:
- Bloquear — devolve 403, fim. Recomendado.
- Mostrar verificação — mesmo limite, mas em vez de bloquear, oferece o challenge.
- Apenas registar — não bloqueia, só anota no log. Útil para fase de teste, equivalente ao modo sombra do WAF.
Como interpretar os logs
Em Atividade → Pedidos bloqueados, os eventos da gestão de bots aparecem com a coluna Analisado por = Gestão de bots. A coluna Tipo de ameaça dirá bot_score, tor, datacenter, etc. — qual o sinal específico que disparou.
Em mais detalhe técnico
Cálculo da pontuação: cada sinal tem um peso. Os pesos são multiplicados pela sensibilidade (baixa = 0.7×, média = 1.0×, alta = 1.4×). A soma dos sinais é a pontuação, capped a 100.
Verificação reverse-DNS: pedidos com User-Agent contendo Googlebot, Bingbot, etc. são verificados via PTR + forward DNS para confirmar que o IP é realmente do crawler oficial. Falsificações são detetadas e tratadas como tráfego normal.
Threat intelligence feeds: as listas (Tor, scrapers, VPN, datacenter) são atualizadas a cada 15 minutos a partir de feeds curados (Tor Project, Spamhaus, GreyNoise, AbuseIPDB, e gamas de ASN públicas).
Bots gerados por LLM: bots modernos baseados em LLMs (GPTBot, ClaudeBot) seguem por defeito as instruções do robots.txt. A lista "Bots de IA" também respeita isto — bloqueia os que não respeitam ou cuja identidade é incerta. Para apenas bloquear acesso de IA via robots, basta:
User-agent: GPTBot
Disallow: /
no /robots.txt do teu site. Mas atenção que isto é honorário, não enforced — daí a lista da FortFox.
Persistência: bots que falham um challenge ficam num banlist temporário (TTL 1 h) propagado em Redis a todos os edges. Próximos pedidos do mesmo IP são bloqueados imediatamente sem revaliar.
Próximos passos
- Sensibilidade dos bots — ajustar a agressividade.
- Pontuação e desafios — perceber os limites e o challenge.
- Filtro por país — combinar com restrição geográfica.