BotStopper: Een Oplossing voor Scraper Detectie

De kern van de strategie van BotStopper ligt in het implementeren van een mechanisme dat, hoewel op individueel niveau nauwelijks merkbaar, bij grootschalig gebruik door scrapers de kosten van scraping aanzienlijk verhoogt. Dit is in essentie een hack, ontworpen om een acceptabele tijdelijke oplossing te bieden. Het werkelijke doel is om ontwikkelaars meer tijd te geven voor geavanceerdere methoden zoals fingerprinting en het identificeren van headless browsers. Dit kan bijvoorbeeld door te analyseren hoe deze browsers omgaan met font rendering.

Door deze technieken toe te passen, kan de noodzaak om een challenge proof of work pagina te presenteren aan gebruikers die waarschijnlijk legitiem zijn, worden vermeden. Dit verbetert de gebruikerservaring voor de legitieme bezoeker, terwijl het tegelijkertijd een barrière opwerpt voor geautomatiseerde scraping.

Schema dat het verschil illustreert tussen individuele en massale scrapingbelasting

Het is belangrijk op te merken dat BotStopper afhankelijk is van moderne JavaScript features. Functionaliteiten die door plugins zoals JShelter worden uitgeschakeld, kunnen de werking van BotStopper belemmeren. Dit betekent dat gebruikers die afhankelijk zijn van dergelijke compatibiliteitsplugins mogelijk geen volledige functionaliteit van BotStopper kunnen verwachten.

De implementatie is zo ontworpen dat de extra belasting voor een enkele gebruiker verwaarloosbaar is. Echter, wanneer veel scrapers tegelijkertijd opereren, stapelt deze belasting zich op. Dit resulteert in aanzienlijk hogere operationele kosten voor scrapingactiviteiten, wat een effectieve ontmoediging vormt.

De primaire functie van BotStopper is het creëren van een "goed genoeg" tijdelijke oplossing. Dit stelt ontwikkelaars in staat om zich te concentreren op de ontwikkeling van meer robuuste detectiemechanismen. Het identificeren van headless browsers, bijvoorbeeld door hun specifieke gedrag bij font rendering te analyseren, is cruciaal om onderscheid te maken tussen menselijke gebruikers en geautomatiseerde scripts.

Deze aanpak vermindert de noodzaak om een proof-of-work uitdaging te presenteren aan gebruikers die hoogstwaarschijnlijk legitiem zijn. Hierdoor wordt de gebruikerservaring geoptimaliseerd voor de echte bezoekers, terwijl botverkeer effectiever wordt gemanaged.

tags: #predikant #ben #mahakena