Es gibt zwei Arten von Bots: Solche, die versuchen, in eine Website einzubrechen und solche, die einfach nur die Inhalte einer Wesite abgrasen, um sie zu indizieren.
Gegen die ersteren hilft fail2ban, weil er sie im Extremfall schon nach dem ersten Versuch blocken kann, ansonsten eben nach dem zweiten, dritten - ganz wie man mag. Man will die natürlich blocken, weil das brute-force-Angriffe sind, vielleicht wäre ja der zehntausendste Versuch erfolgreich. Außerdem belastet es den Server und müllt die Logfiles zu.
die anderen, die "Abgraser" (Crawler) sind manchmal brutal in dem Sinne, daß sie versuchen, in kürzester Zeit den Server abzugrasen. Da kann ein Webserver schnell in die Knie gehen.
Und dann noch die KI-Crawler, die Futter für ihre Sprachmodelle benötigen, um damit Geld zu verdienen. Manche Betreiber von Webseiten sehen nicht ein, daß sie dies KI-Maschinen für lau befüttern sollen.