Googlebot kann nicht auf CSS- und JS-Dateien zugreifen

Neue Warnung an Webmaster: Korrigiere das oder lebe mit schlechteren Rankings.

Klingt recht harsch für den Internetriesen in Mountain View Kalifornien, der mit dem Motto: „Don’t be evil“ wirbt. Wir erklären dir, was es mit dieser Warnung auf sich hat und wie du als Webmaster reagieren kannst.

Googlebot? Wer ist das und was will er?

Der Googlebot scannt bzw. „crawlt“ deine Website und packt alle Seiten in den Google Index. Nun kann es sein, dass ein Webmaster nicht alle Seiten seiner Website indexiert und damit für Suchmaschinennutzer auffindbar machen möchte. In diesem Fall erstellt man eine robots.txt Datei, also eine simple Textdatei, die den Suchmaschinen sagt, was sie crawlen und indexieren dürfen und was nicht.

Google hat sich bisher nur für reine Inhaltsseiten interessiert. Dateien wie CSS (Cascading Style Sheet – gibt vor wie eine Seite gestaltet sein soll) und JS (JavaScript – macht eine Seite interaktiv, in dem es zum Beispiel ein Popup mit Warnungen öffnet) waren bisher weniger interessant, da sie keinen direkten Mehrwert für den Nutzer, sondern vor allem für den Browser enthalten.

Nun erklimmt Google die nächste Stufe der Website-Indexierung, in dem nicht mehr nur Inhalte, sondern auch Anweisungen an den aufrufenden Browser gescannt werden. Daher kann es jetzt vorkommen, dass dir folgende Meldung in die Inbox deines Webmaster Tools-Accounts flattert:

Googlebot Warnung Webmaster Tools

Warum weist mich Google darauf hin?

Der Googlebot möchte sehen, ob die CSS- und JavaScriptdateien fehlerfrei sind. Fehlerhafte Dateien können dafür sorgen, dass eine Website für den Nutzer verzerrt dargestellt wird. Vor allem bei den immer wichtiger werdenden mobilen Websites (Websites, die für die Darstellung auf Smartphone und Tablet optimiert sind) kommt es darauf an saubere CSS Dateien zu hinterlegen, da auf kleineren Bildschirmen, wie Smartphones sie haben, einige Tücken in der Darstellung lauern können.

Schritt 1: „Abruf wie durch Google“ ausführen

Gib in den Webmaster Tools deine Domain, wie auf dem Screenshot zu sehen ist, ein und bestimme den Googlebot-Typ (zum Beispiel Desktop oder Mobile). Klickst du dann auf „Abrufen“ oder „Abrufen und Rendern“, kannst du sehen, ob der Googlebot an irgendeiner Stelle blockiert wird.

Schritt 2: Blockierte Dateien aufrufen (optional)

Möchtest du wissen welche Ressourcen genau für den Googlebot blockiert werden, kannst du auf den Status klicken und bekommst eine Übersicht über alle Dateien. Es wird sich vor allem um Dateien mit der Endung .css oder .js handeln, manchmal auf Bilder (.jpg). Der nächste Schritt ist dann die Textdatei robots.txt direkt zu testen.

Google Webmaster Tools blockierte URLs

Schritt 3: Robots.txt-Tester aufrufen

Hier siehst du nun welche Anweisungen in der robots.txt stehen. In unserem konkreten Beispiel blockiert das Verzeichnis /typo3conf/ den Googlebot, wobei es eine CSS Datei enthält.

Google Webmaster Tools robotstxt Tester

Schritt 4: Disallow Regel löschen oder ändern

Der einfachste Weg wäre, die vorhandene Disallow Regel zu löschen. Wenn du nur dem Googlebot erlauben möchtest deine CSS und JS Dateien zu crawlen, kannst du ihm eine gesonderte Anweisung geben. Schreibe dazu in die robots.txt:

User-agent: Googlebot
Allow: *.css
Allow: *.js

Nun kannst du nochmal „Abruf wie durch Google“ auswählen und Schritt 1 durchführen. Der Googlebot sollte jetzt auch CSS und Javascript crawlen können, um festzustellen, ob deine Seite ordnungsgemäß funktioniert und für deine Besucher gut aussieht.

Wenn du weitere Fragen hast, schreib einfach eine Mail an office@webfox01.de