Bots, crawlers en spiders. Hoe beperk je overlast?

Helaas wil het nog wel eens gebeuren dat bots van een zoekmachine een website wel erg enthousiast bezoeken. Soms lopen de verzoeken daarbij zo hoog op dat een website en dus ook een hostingpartij er last van krijgt. Dit zien we nog wel eens gebeuren bij grotere websites en webshops, websites met veel pagina’s en/of

Lees verder