Hallo zusammen
Mir ist aufgefallen, dass in der Statistik welche Bots in den letzten 24 Std. auf meiner Seite waren jeweiils immer nur Google und in grossen Abständen mal der Turnitinbot erkannt werden.
Auf Foren von Bekannten (nicht CF3) sehe ich jeweils bis 10 verschiedene Bots.
Meine Robots.txt sieht so aus
# ===================================
# Generator: http://pixelfolk.net/tools/robots
# Erstellt am: 27.01.2016, 13:08
# Webseite: http://http://www.digital-fotoforum.ch
# ===================================
# ===================================
# Folgende Seiten sollen nicht indexiert werden:
# ===================================
User-agent: *
Disallow: /cgi-bin/
Disallow: /admin/
Disallow: /temp/
Disallow: /modules/
Disallow: /upload/
Disallow: /privat/
# ===================================
# Schließe folgende Spider komplett aus:
# ===================================
User-agent: WebReaper
User-agent: WebCopier
User-agent: Offline Explorer
User-agent: HTTrack
User-agent: Microsoft.URL.Control
User-agent: EmailCollector
User-agent: penthesilea
Disallow: /
Ich habe mich bei etlichen Suchmaschinen registriert und werde in diesen Suchmaschinen auch gefunden und aufgelistet.
CF3 jedoch scheint nur Google zu erkennen.
Kann mich da vielleicht jemand aufklären?
Schönes Wochenende wünsche ich.
Im Anhang noch wie es bei einem Kollegen aussieht.
Mir ist aufgefallen, dass in der Statistik welche Bots in den letzten 24 Std. auf meiner Seite waren jeweiils immer nur Google und in grossen Abständen mal der Turnitinbot erkannt werden.
Auf Foren von Bekannten (nicht CF3) sehe ich jeweils bis 10 verschiedene Bots.
Meine Robots.txt sieht so aus
# ===================================
# Generator: http://pixelfolk.net/tools/robots
# Erstellt am: 27.01.2016, 13:08
# Webseite: http://http://www.digital-fotoforum.ch
# ===================================
# ===================================
# Folgende Seiten sollen nicht indexiert werden:
# ===================================
User-agent: *
Disallow: /cgi-bin/
Disallow: /admin/
Disallow: /temp/
Disallow: /modules/
Disallow: /upload/
Disallow: /privat/
# ===================================
# Schließe folgende Spider komplett aus:
# ===================================
User-agent: WebReaper
User-agent: WebCopier
User-agent: Offline Explorer
User-agent: HTTrack
User-agent: Microsoft.URL.Control
User-agent: EmailCollector
User-agent: penthesilea
Disallow: /
Ich habe mich bei etlichen Suchmaschinen registriert und werde in diesen Suchmaschinen auch gefunden und aufgelistet.
CF3 jedoch scheint nur Google zu erkennen.
Kann mich da vielleicht jemand aufklären?
Schönes Wochenende wünsche ich.
Im Anhang noch wie es bei einem Kollegen aussieht.
Der an diesem Beitrag angefügte Anhang ist entweder nur im eingeloggten Zustand sichtbar oder die Berechtigung Deiner Benutzergruppe ist nicht ausreichend.
