NorwinAIBot
NorwinAIBot is de crawler van Norwin AI. Hij leest een bedrijfswebsite alleen als een bezoeker van onze tool “Maak je AI-kansenkaart” die website zelf invult.
Wat NorwinAIBot doet
Hij leest een paar openbare pagina’s van één website, haalt er de tekst uit en gebruikt die om een concept van een AI-kansenkaart op te stellen. Daarna stopt hij. Hij komt niet uit zichzelf terug en volgt geen links naar andere sites.
Welke pagina’s hij leest
- De startpagina en, via de links daarop, een beperkt aantal pagina’s op dezelfde website, zoals over ons, diensten en contact.
- Hooguit 10 pagina’s per bedrijf, elke pagina hooguit 1,5 MB, met een time-out van 8 seconden per pagina.
- Alleen pagina’s op hetzelfde domein als de ingevulde website, en alleen als je robots.txt dat toelaat.
- Hij logt nergens in en verzamelt geen gegevens van bezoekers van je site.
Hoe hij zich gedraagt
- Hij meldt zich met deze User-Agent:
NorwinAIBot/1.0 (+https://app.norwin.ai/crawler) - Hij leest eerst je robots.txt en houdt zich daaraan.
- Hij vraagt elke pagina één keer op, zonder cookies, zonder in te loggen.
- De tekst gaat voor de analyse naar een AI-model dat in de EU draait. Wat we bewaren, staat in de kaart: korte aanhalingen als bronvermelding. De kaart blijft standaard 14 dagen bewaard, en langer (hooguit 90 dagen) als iemand om de maillink vraagt.
NorwinAIBot blokkeren
Zet dit in het bestand robots.txt in de hoofdmap van je website. NorwinAIBot leest dan niets meer van je site.
User-agent: NorwinAIBot Disallow: /
Wil je alleen een deel afschermen? Zet dan het pad achter Disallow, bijvoorbeeld Disallow: /intern/.
Vragen of een kaart laten verwijderen
Is er een kaart over je bedrijf die niet klopt, of wil je die laten verwijderen? Mail ons, dan regelen we het.