Über unseren Prüf-Crawler

Was ist BessergefundenBot?

BessergefundenBot ist kein Such-Crawler, sondern ein Prüfwerkzeug: Er lädt eine Seite, wenn jemand sie mit bessergefunden prüfen lässt, wertet sie aus und verwirft die Inhalte danach wieder. Betrieben wird er von der nextValue e.U., die hinter bessergefunden steht.

• nur auf Anfrage eines Menschen, kein selbstständiges Durchsuchen des Webs,
• eine Seite je Prüfung plus wenige Stichproben – kein Crawl der ganzen Website,
• keine dauerhafte Speicherung von Seiteninhalten, geprüften Adressen oder Ergebnissen,
• keine Anmeldung, keine Formulare, keine Cookies über die Prüfung hinaus,
• keine Umgehung von Bot-Schutz oder Firewalls: Blockiert Ihre Website den Abruf, meldet der Bericht das einfach.

Woran erkennen Sie BessergefundenBot?

An der Kennung BessergefundenBot/1.0 am Ende des User-Agents. Der Anfang entspricht einem aktuellen Chrome-Browser, damit Ihre Website dieselbe Fassung ausliefert wie an Ihre Besucher. Die Chrome-Version passen wir laufend an; die Kennung und der Link auf diese Seite bleiben gleich.

Beim Ladezeit-Test und beim Responsive-Test ruft ein Chrome-Browser ohne Bildschirm (Headless-Chrome) die Seite ab. Er trägt dieselbe Kennung, je nach gemessenem Gerät im User-Agent von Chrome für Desktop, Tablet oder Smartphone.

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/155.0.0.0 Safari/537.36 BessergefundenBot/1.0 (+https://bessergefunden.at/bot/)

Wann ruft BessergefundenBot Ihre Website auf?

Nur dann, wenn jemand auf bessergefunden eine Adresse eingibt, die zu Ihrer Website gehört oder auf sie verlinkt. Es gibt keine geplanten Durchläufe und keinen Index, der regelmäßig aufgefrischt wird.

• Website-Check: eine Seite wird vollständig geprüft,
• Vergleich mit Mitbewerbern: jede eingegebene Adresse wird wie beim Website-Check geprüft,
• Einzeltools mit Serverabruf: robots.txt-Tester, Weiterleitungs-Checker, HTTP-Header-Check, Schema-Validator, Hreflang-Checker, Keyword-Dichte, llms.txt-Generator, DSGVO-Check,
• Ladezeit-Test und Responsive-Test sowie die beiden Messungen im Bericht: Ein Browser auf unserem Server lädt die Seite (siehe Ladezeit und Darstellung),
• Stichproben: Prüft jemand eine andere Website, die auf Ihre verlinkt, kann BessergefundenBot den Link-Status mit einer einzelnen, kurzen Anfrage kontrollieren.

Wie viele Anfragen stellt eine Prüfung?

Ein Website-Check stellt insgesamt höchstens 80 Anfragen, davon höchstens 6 gleichzeitig an denselben Server, und ist nach spätestens 20 s beendet. Die meisten Anfragen sind kurz: Links und Bilder fragt BessergefundenBot nur nach Status und Kopfzeilen ab.

Links, deren Pfad auf Bereiche wie Warenkorb, Kasse, Kundenkonto oder Login hindeutet, ruft BessergefundenBot nicht auf (Pfade, die eines dieser Wörter enthalten: account, cart, warenkorb, checkout, kasse, login, logout, wp-admin, wp-login, mein-konto, cdn-cgi). Links zu großen sozialen Netzwerken werden ebenfalls übersprungen.

Damit eine einzelne Website nicht überlastet wird, laufen für denselben Server höchstens 2 Prüfungen gleichzeitig; weitere warten bis zu 10 s oder werden abgelehnt. Unser Server führt insgesamt höchstens 6 Prüfungen gleichzeitig aus, und eine Fair-Use-Bremse begrenzt die Prüfungen je Internetanschluss auf 30 in der Stunde. Die vollständige Liste der Abrufe steht in der Methodik. Für den Ladezeit- und den Responsive-Test gelten eigene Grenzen (Ladezeit und Darstellung).

Wie misst BessergefundenBot Ladezeit und Darstellung?

Mit einem Chrome-Browser ohne Bildschirm (Headless-Chrome) auf unserem Server. Für den Ladezeit-Test und den Responsive-Test lädt er Ihre Seite so, wie es ein Besucher täte: mit Bildern, Schriften, Stylesheets und JavaScript. In Ihren Server-Logs stehen deshalb auch Anfragen nach diesen Dateien, alle mit der Kennung BessergefundenBot/1.0. Wie beim Website-Check startet jede Messung nur, wenn ein Mensch sie anfordert.

• Ladezeit-Test: ein Seitenaufruf je Messung, für Smartphone oder Desktop, dazu die robots.txt. Wer beide Ansichten misst, löst zwei Messungen aus.
• Responsive-Test: 4 Seitenaufrufe, einer je Gerät (Smartphone, Tablet, Laptop, Desktop). Der Browser scrollt die Seite einmal durch, damit nachgeladene Bilder erscheinen; das Hochformat am Laptop misst er ohne neues Laden.
• Grenzen je Seitenaufruf: höchstens 1 500 Anfragen und 60 MB. Nach spätestens 75 s (Ladezeit-Test) bzw. 60 s (Responsive-Test) ist eine Messung beendet.
• Schonung Ihres Servers: Dieselbe Website wird je Testart höchstens 2-mal in 10 Minuten gemessen, und auf unserem Server läuft immer nur eine Messung gleichzeitig.
• Was der Browser nicht tut: Er sendet keine Formulare ab, lädt keine Dateien herunter und öffnet keine Pop-ups; Dialoge schließt er sofort.

Gibt sich BessergefundenBot als anderer Crawler aus?

Nein. Jeder Abruf trägt die Kennung BessergefundenBot/1.0: für den Bericht, für Stichproben, in allen Tools und auch im Browser des Ladezeit- und Responsive-Tests. BessergefundenBot gibt sich nie als Googlebot, Bingbot oder als Crawler eines KI-Anbieters aus und versucht nicht, Bot-Schutz, Captchas oder Firewalls zu umgehen.

• robots.txt anderer Crawler: Ob Google, Bing oder KI-Dienste wie OAI-SearchBot und Claude-SearchBot Ihre Seite abrufen dürfen, liest bessergefunden aus den Regeln Ihrer robots.txt ab – ohne Abruf mit deren Kennung.
• Crawler-Auswahl in Tools: Im robots.txt-Tester, im Weiterleitungs-Checker und im HTTP-Header-Check wählen Sie, für welchen Crawler die robots.txt-Regeln ausgewertet werden. Abgerufen wird trotzdem mit BessergefundenBot.
• Firewalls mit KI-Sperre: Ob eine Firewall die echten KI-Crawler aussperrt, lässt sich von außen nicht verlässlich prüfen. Erkennt bessergefunden an den Kopfzeilen der Antwort ein Content-Delivery-Netz oder eine Firewall mit einer solchen Funktion, gibt der Bericht einen Hinweis ohne Wertung und empfiehlt, die Einstellung dort selbst zu kontrollieren – mehr dazu beim Prüfpunkt KI-Bot-Sperre in CDN oder Firewall (Hinweis).
• Blockierte Abrufe: Weist Ihr Bot-Schutz BessergefundenBot ab, erscheint statt des Berichts der Hinweis, dass die Website automatische Abrufe nicht zulässt. Wie Sie den Abruf erlauben, steht unter Freigeben.

Nicht von BessergefundenBot stammen Abrufe durch Google PageSpeed: Wählt jemand im Bericht ausdrücklich „Stattdessen mit Google PageSpeed messen“, ruft Google die Seite selbst ab, mit eigenen Kennungen von Google.

Beachtet BessergefundenBot die robots.txt?

BessergefundenBot liest die robots.txt, um sie zu bewerten – folgt ihr aber nicht wie ein Such-Crawler. Eine Prüfung ist eine einzelne, von einem Menschen ausgelöste Anfrage, vergleichbar mit dem Aufruf der Seite im Browser. So handhaben es auch andere Prüfwerkzeuge.

Aus Ihrer robots.txt liest bessergefunden, ob Google, Bing und KI-Suchdienste die geprüfte Seite abrufen dürfen und ob eine Sitemap eingetragen ist. Ein Beispiel:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

User-agent: GPTBot
Disallow: /

Sitemap: https://www.ihre-firma.example/sitemap.xml

Für dieses (erfundene) Beispiel meldet der Bericht:

• Googlebot und Bingbot dürfen die Seite abrufen – Prüfpunkt Seite nicht per robots.txt gesperrt: In Ordnung.
• KI-Suchdienste wie OAI-SearchBot oder PerplexityBot sind nicht gesperrt – Prüfpunkt KI-Suchdienste dürfen die Seite abrufen: In Ordnung.
• Der Trainings-Crawler GPTBot ist gesperrt – Prüfpunkt KI-Trainings-Crawler (Übersicht): nur Info, ohne Abwertung.
• Die Sitemap ist eingetragen – Prüfpunkt XML-Sitemap vorhanden und eingetragen, sofern sie sich laden lässt.

Eine eigene Gruppe User-agent: BessergefundenBot hat auf Prüfungen keine Wirkung. Wenn Sie nicht geprüft werden möchten, schreiben Sie uns – wie unter Ausschließen beschrieben. Mehr zur robots.txt lesen Sie im Artikel robots.txt und XML-Sitemap.

Wie geben Sie BessergefundenBot frei?

Meldet bessergefunden, dass Ihre Website den Abruf blockiert, steckt meist ein Bot-Schutz dahinter – etwa die Firewall Ihres Hosters, eines Content-Delivery-Netzes oder ein Sicherheits-Plugin. Für eine Prüfung können Sie Anfragen mit der Kennung BessergefundenBot/1.0 im User-Agent dort zulassen.

• Legen Sie in Ihrem Bot-Schutz eine Ausnahme für User-Agents an, die BessergefundenBot enthalten.
• Eine Freigabe nur über den User-Agent kann jeder nutzen, der diese Kennung vortäuscht. Erlauben Sie sie deshalb nur vorübergehend.
• Sperrt Ihr Bot-Schutz auch Such- und KI-Crawler, betrifft das Ihre Sichtbarkeit bei Google und in der KI-Suche – der Bericht zeigt das in den Bereichen Technik und KI-Sichtbarkeit.

Wo die Einstellung genau zu finden ist, hängt vom Anbieter ab; die Anleitung steht in dessen Hilfe. Ihr Hoster oder Ihre Webagentur kann die Ausnahme ebenfalls einrichten.

Wie schließen Sie Ihre Website von Prüfungen aus?

Schreiben Sie uns eine E-Mail mit der Domain, die nicht mehr geprüft werden soll. Nach Prüfung Ihrer Anfrage tragen wir sie in unsere Sperrliste ein. Danach lehnt bessergefunden Prüfungen dieser Domain und aller Subdomains ab, und BessergefundenBot ruft sie auch als Link-Ziel in anderen Prüfungen nicht mehr auf.

Ausschluss per E-Mail anfragen an info@nextvalue.at

Wer danach eine Adresse dieser Domain prüfen möchte, erhält die Meldung, dass die Adresse nicht geprüft werden kann. Möchten Sie den Ausschluss später wieder aufheben, genügt ebenfalls eine E-Mail.

Was speichert BessergefundenBot?

Nichts dauerhaft. Beim Website-Check und in den Tools existieren abgerufene Inhalte, geprüfte Adressen und Ergebnisse nur im Arbeitsspeicher, solange die Prüfung läuft. Beim Ladezeit- und Responsive-Test bleibt das Ergebnis samt Bildschirmfotos nach der Messung bis zu 15 Minuten im Arbeitsspeicher abrufbar, damit die Person, die gemessen hat, es öffnen kann. Danach wird es gelöscht. Das Browserprofil der Messung löschen wir schon direkt nach der Messung.

Unsere Protokolle enthalten nur technische Angaben wie Fehlercode, Messart und Dauer, keine Adressen. Einzelheiten stehen in der Datenschutzerklärung.