Crawler – affilinode

User-Agent

affilinode-Anreicherung/1.0 (+https://affilinode.com/crawler)

Wofür wir Seiten lesen

affilinode ist eine Produktdatenbank für Affiliate-Publisher. Damit Produktboxen und Vergleichstabellen vollständige technische Daten zeigen, ergänzt die Anreicherung fehlende Angaben zu Produkten – etwa Maße, Akkukapazität oder Anschlüsse.

Dafür liest sie Produktdatenblätter (auch PDF), Produktseiten von Herstellern und Händlern sowie Treffer einer Websuche nach dem Produkt. Ausgewertet werden die Produktangaben: strukturierte Daten (JSON-LD), Merkmalstabellen und der Text von Datenblättern.

Wie oft

Nur bei Bedarf: je Produkt wenige Seiten, und erneut nur, solange Angaben fehlen. Insgesamt laufen nur wenige Abrufe gleichzeitig.

robots.txt

Vor jeder Seite und jedem Dokument prüfen wir die robots.txt des Hosts (nach RFC 9309).
Es gilt die Gruppe für den Produkt-Token „affilinode“, gibt es keine, die Gruppe „*“.
Die längste passende Regel gewinnt, bei gleicher Länge „Allow“. Platzhalter „*“ und „$“ werden unterstützt.
Wir speichern die robots.txt 24 Stunden je Host zwischen. Änderungen wirken also spätestens nach einem Tag.
Gibt es keine robots.txt (Antwort 4xx), ist alles erlaubt. Antwortet der Server mit einem Fehler (5xx) oder gar nicht, rufen wir vorerst nichts ab und versuchen es nach einer Stunde erneut.

Manche Seiten stellen wir mit einem Browser dar, um ihre Produktdaten lesen zu können. Diese Abrufe können eine übliche Browserkennung tragen; die robots.txt-Regeln für „affilinode“ gelten auch für sie.

So sperrst du den Crawler

Die ganze Website:

User-agent: affilinode
Disallow: /

Nur einen Bereich:

User-agent: affilinode
Disallow: /intern/

Fragen oder Probleme

Schreib uns an support@affilinode.com. Nenn bitte den Host und ungefähr die Uhrzeit der Abrufe, dann finden wir sie schnell.