Bestimmte User Agents blockieren wir serverseitig, da sie in der Vergangenheit wiederholt zu Überlastungen von Kunden-Websites und -Servern geführt haben.
Die Sperre ist auf allen unseren Webhosting- und Managed-Server-Produkten standardmäßig aktiviert. Sie dient insbesondere dazu, automatisierte Zugriffe von Bots zu begrenzen, die Websites in großem Umfang crawlen. Dazu gehören auch verschiedene Crawler, die von KI-Anbietern und Suchdiensten eingesetzt werden.
Die Blockierung erfolgt aufgrund von Erfahrungen mit erhöhter Zugriffslast und dient dem Schutz der Verfügbarkeit und Stabilität deines Webauftritts.
Blockierte User Agents
Die folgenden User Agents werden standardmäßig blockiert:
| User Agent | Betreiber | Typische Verwendung |
|---|---|---|
Amazonbot |
Amazon | Crawlen von Webinhalten zur Verbesserung von Amazon-Produkten und -Diensten; laut Amazon können die gesammelten Inhalte auch zum Training von KI-Modellen verwendet werden |
Bytespider |
ByteDance | Crawlen von Webinhalten, unter anderem für KI-bezogene Anwendungen |
ClaudeBot |
Anthropic | Sammeln öffentlicher Webinhalte, die zum Training von KI-Modellen beitragen können |
GPTBot |
OpenAI | Crawlen öffentlich zugänglicher Inhalte, die für das Training von OpenAI-Modellen verwendet werden können |
MJ12bot |
Majestic | Aufbau und Pflege einer Linkdatenbank für SEO- und Suchmaschinenanalysen |
meta-externalagent |
Meta | Crawlen von Webinhalten für KI-bezogene Anwendungen |
Scrapy |
Open-Source-Projekt | Web-Crawling-Framework zur Entwicklung eigener Crawler |
SemrushBot |
Semrush | SEO-, Website- und Marketing-Analysen |
Die genannten Verwendungszwecke beschreiben den typischen bzw. vom jeweiligen Betreiber angegebenen Einsatzzweck. Insbesondere bei Scrapy lässt sich aus dem User Agent allein nicht auf den konkreten Betreiber oder Zweck eines Zugriffs schließen, da Scrapy ein frei verfügbares Framework zur Entwicklung eigener Crawler ist.
Unterschied zwischen automatischem Crawling und nutzerinitiierten Zugriffen
Einige Anbieter verwenden unterschiedliche User Agents für unterschiedliche Zwecke. Dadurch kann beispielsweise zwischen dem automatisierten Sammeln von Inhalten für die Modellentwicklung, der Suche und einem konkreten, von einem Nutzer ausgelösten Abruf unterschieden werden.
OpenAI
OpenAI verwendet unter anderem folgende User Agents:
| User Agent | Zweck | Status bei uns |
|---|---|---|
GPTBot |
Automatisches Crawlen öffentlich zugänglicher Inhalte, die für das Training von OpenAI-Modellen verwendet werden können | Blockiert |
OAI-SearchBot |
Crawlen von Webinhalten für die Suchfunktionen von ChatGPT | Nicht blockiert |
ChatGPT-User |
Abruf von Webinhalten im Zusammenhang mit bestimmten, von Nutzern ausgelösten Aktionen in ChatGPT und Custom GPTs | Nicht blockiert |
OpenAI beschreibt GPTBot als separaten Crawler für Inhalte, die für das Training von Modellen verwendet werden können. OAI-SearchBot dient dagegen dazu, Websites für die Suchfunktionen von ChatGPT auffindbar zu machen.
Da OAI-SearchBot nicht blockiert wird, bleibt die Möglichkeit bestehen, dass öffentlich zugängliche Inhalte deiner Webseiten in der ChatGPT-Suche berücksichtigt werden.
ChatGPT-User wird von OpenAI für bestimmte nutzerinitiierte Aktionen verwendet. Ein Beispiel ist, wenn ein Nutzer ChatGPT auffordert, eine Website aufzurufen.
Anthropic (Claude)
Auch Anthropic unterscheidet zwischen verschiedenen User Agents:
| User Agent | Zweck | Status bei uns |
|---|---|---|
ClaudeBot |
Sammeln öffentlicher Webinhalte, die zum Training von KI-Modellen beitragen können | Blockiert |
Claude-SearchBot |
Crawlen des Webs zur Verbesserung der Qualität und Relevanz von Suchergebnissen | Nicht blockiert |
Claude-User |
Abruf von Webinhalten als Reaktion auf eine konkrete Nutzeranfrage | Nicht blockiert |
Anthropic beschreibt ClaudeBot als Crawler für Webinhalte, die zu den Trainingsdaten von KI-Modellen beitragen können. Die beiden anderen User Agents dienen dagegen der Suche bzw. dem Abruf von Inhalten auf Nutzeranweisung.
Durch die Blockierung von ClaudeBot wird das automatische Sammeln von Inhalten durch diesen User Agent unterbunden. Da Claude-SearchBot und Claude-User nicht blockiert werden, bleibt der Zugriff für die entsprechenden Such- und nutzerinitiierten Funktionen grundsätzlich möglich. Anthropic weist darauf hin, dass eine Blockierung von Claude-SearchBot die Sichtbarkeit einer Website in den Suchergebnissen beeinträchtigen kann und eine Blockierung von Claude-User den Abruf von Inhalten auf Nutzeranfrage verhindert.
Was bedeutet die Blockierung für deine Website?
Die Blockierung bedeutet insbesondere nicht, dass eine Website grundsätzlich nicht mehr von Suchmaschinen oder KI-Diensten gefunden werden kann. Entscheidend ist, welche User Agents ein jeweiliger Anbieter für die unterschiedlichen Funktionen verwendet und ob diese in unserer Blockliste enthalten sind.
Bei OpenAI beispielsweise bleibt OAI-SearchBot trotz der Blockierung von GPTBot zugelassen. Damit kann die Website weiterhin für die ChatGPT-Suche gecrawlt werden. Ein nutzerinitiierter Zugriff über ChatGPT-User wird ebenfalls nicht durch unsere GPTBot-Sperre blockiert.
Bei Anthropic gilt eine vergleichbare Trennung zwischen ClaudeBot, Claude-SearchBot und Claude-User.
Serverseitige Sperre und robots.txt
Unsere Sperre wird auf Serverebene durchgesetzt (HTTP-Antwort 403) und ist daher unabhängig von den Vorgaben der robots.txt.
Die robots.txt ist eine Möglichkeit, automatisierten Crawlern mitzuteilen, welche Bereiche einer Website sie nicht crawlen sollen. Sie stellt jedoch keine technische Zugriffskontrolle dar. Ein Bot, der die Vorgaben nicht berücksichtigt, kann eine Website trotzdem aufrufen und dadurch eine erhöhte Serverlast verursachen.
Die serverseitige Sperre bietet daher eine zusätzliche technische Schutzmaßnahme gegen die von uns identifizierten User Agents.
Kann ich die Liste der blockierten User Agents selbst anpassen?
Nein, die Blockliste kannst du nicht selbst anpassen. Unser Managed-Server-Support kann die Liste für dich anpassen.
Wenn du User Agents aus der oben angegebenen Liste den Zugriff auf deine Website ermöglichen möchtest, schreibe uns bitte eine autorisierte Supportanfrage über die konsoleH. Gib in der Anfrage an, welche User Agents du für welche Domain freigeben möchtest.