Saltar para o conteúdo

Gestão de bots

Nem todo o tráfego é humano. A gestão de bots distingue browsers de programas automáticos e decide o que fazer com cada um — deixa passar os bons (Google, monitorização) e bloqueia ou desafia os maus (scrapers, brute-force, bots de IA).

6 min de leitura

Tipos de bots

TipoExemploO que querer fazer
BonsGooglebot, Bingbot, monitorização própriaDeixar passar sempre
Comerciais legítimosAhrefs, SEMrush, archive.orgGeralmente deixar passar, podes limitar
ScrapersProgramas que copiam conteúdo em massaBloquear ou desafiar
Bots de IAOpenAI, Anthropic, Google AI trainingBloquear se não queres o teu conteúdo nos modelos deles
AtacantesTentativas de login automatizadas, exploração de vulnerabilidadesBloquear sempre
Tor / VPNs / datacentersTráfego anonimizado, raramente humanoDecidir consoante o site

A FortFox não te obriga a uma única decisão — defines a sensibilidade, defines o que fazer e mantens listas de exceções.

Como o sistema funciona

Cada pedido recebe uma pontuação de bot entre 0 e 100. A pontuação resulta de muitos sinais combinados:

  • User-Agent: identificadores de bots conhecidos somam pontos.
  • Comportamento: pedir 50 páginas/segundo soma pontos; pedir 1 página por minuto não.
  • Cabeçalhos: pedidos sem Accept-Language ou com cabeçalhos invulgares somam pontos.
  • Origem do IP: vir de um datacenter soma; vir de uma ISP residencial não.
  • Listas de risco: Tor exit nodes, scrapers conhecidos, VPNs comerciais, gamas de datacenters.
  • Comportamento JavaScript: bots que não executam JS comportam-se de forma diferente.

Depois da pontuação, decide-se:

Pontuação 0–39   → humano → passa
Pontuação 40–69  → zona cinzenta → mostra verificação (challenge)
Pontuação 70–100 → bot → bloqueia

Os limites são os defaults; podes mudá-los nas definições.

A sensibilidade da deteção

A sensibilidade controla quão agressivos são os sinais. Não muda os limites — muda quantos pontos cada sinal vale.

SensibilidadeFalsos positivosFalsos negativosPara quem
BaixaQuase nenhunsDeixa passar alguns botsSites pequenos, comunidades pacíficas
Média (recomendada)RarosApanha a maioria dos bots maliciososA maioria dos sites
AltaAlguns (visitantes legítimos podem ser desafiados)Apanha quase tudoSob ataque ativo, ou sites com conteúdo de alto valor

Mais detalhe em Sensibilidade dos bots.

Mostrar verificação em vez de bloquear (challenge)

Para a "zona cinzenta" (pedidos com pontuação entre 40 e 70 por defeito), em vez de bloquear logo, podes mostrar uma verificação ao visitante. Tipicamente é um desafio invisível para humanos (resolve-se sozinho em fração de segundo se executas JavaScript normalmente) mas trava bots que não executam JS.

Vantagem: visitantes legítimos passam sem se aperceberem; bots ficam presos. Mais detalhe em Pontuação e desafios.

Listas de risco curadas

A FortFox mantém listas atualizadas que podes ativar com um toggle:

  • Tor — bloqueia visitantes a usar a rede Tor. (Atenção: ativistas, jornalistas e utilizadores em regimes autoritários usam Tor. Pondera.)
  • Scrapers conhecidos — programas de scraping comerciais e investigativos identificados (incluindo crawlers académicos).
  • Bots de IA — crawlers da OpenAI (GPTBot), Anthropic (ClaudeBot), Google (Google-Extended), CCBot, Bytespider, etc. Bloqueia se não queres o teu conteúdo usado para treinar modelos.
  • VPNs comerciais — ASNs de provedores de VPN (NordVPN, ExpressVPN, etc.). Maior parte do tráfego é legítimo (privacidade), mas se queres restringir, ativas.
  • Datacenters — IPs alojados em provedores cloud (AWS, GCP, Azure, OVH, Hetzner, etc.). Raramente humanos diretos — geralmente bots, scripts, scrapers. Bloquear isto é uma das medidas mais eficazes contra automação maliciosa.

Cada lista é independente e atualizada automaticamente. Ligas as que fizerem sentido para o teu site.

Bots de confiança (whitelist de User-Agent)

Há bots que queres que passem sempre: Googlebot, Bingbot, o monitor do teu Uptime Robot, etc. Na secção Bots de confiança adicionas identificadores (strings de User-Agent) que ignoram a pontuação e passam direto.

Exemplos:

Googlebot
Bingbot
DuckDuckBot
UptimeRobot

Página de verificação personalizada

Se o desafio é mostrado a um visitante, podes personalizar a aparência da página: nome do site, logótipo, cor de destaque. Útil para manter consistência visual quando alguém é desafiado.

O que acontece a quem é bloqueado

A ação de bloqueio é configurável:

  • Bloquear — devolve 403, fim. Recomendado.
  • Mostrar verificação — mesmo limite, mas em vez de bloquear, oferece o challenge.
  • Apenas registar — não bloqueia, só anota no log. Útil para fase de teste, equivalente ao modo sombra do WAF.

Como interpretar os logs

Em Atividade → Pedidos bloqueados, os eventos da gestão de bots aparecem com a coluna Analisado por = Gestão de bots. A coluna Tipo de ameaça dirá bot_score, tor, datacenter, etc. — qual o sinal específico que disparou.

Em mais detalhe técnico

Cálculo da pontuação: cada sinal tem um peso. Os pesos são multiplicados pela sensibilidade (baixa = 0.7×, média = 1.0×, alta = 1.4×). A soma dos sinais é a pontuação, capped a 100.

Verificação reverse-DNS: pedidos com User-Agent contendo Googlebot, Bingbot, etc. são verificados via PTR + forward DNS para confirmar que o IP é realmente do crawler oficial. Falsificações são detetadas e tratadas como tráfego normal.

Threat intelligence feeds: as listas (Tor, scrapers, VPN, datacenter) são atualizadas a cada 15 minutos a partir de feeds curados (Tor Project, Spamhaus, GreyNoise, AbuseIPDB, e gamas de ASN públicas).

Bots gerados por LLM: bots modernos baseados em LLMs (GPTBot, ClaudeBot) seguem por defeito as instruções do robots.txt. A lista "Bots de IA" também respeita isto — bloqueia os que não respeitam ou cuja identidade é incerta. Para apenas bloquear acesso de IA via robots, basta:

User-agent: GPTBot
Disallow: /

no /robots.txt do teu site. Mas atenção que isto é honorário, não enforced — daí a lista da FortFox.

Persistência: bots que falham um challenge ficam num banlist temporário (TTL 1 h) propagado em Redis a todos os edges. Próximos pedidos do mesmo IP são bloqueados imediatamente sem revaliar.

Próximos passos

← Toda a documentação