Ovlivnění vyhledávacích robotů

Nyní ale zpět k vyhledávacím robotům. Roboty vyhledávačů můžete do jisté míry ovlivňovat. Často se stává, že máte na internetu své osobní stránky s informacemi o rodině, s fotogaleriemi a jinými osobními informacemi, které nemusí zrovna každý znát a vidět. Řada z nás si potom přirozeně nepřeje, aby se odkaz na ně objevil například v Seznamu nebo Googlu . Pokud neprovedete nějakou protiakci, roboti si pravděpodobně někdy časem stránku najdou sami a nelze vyloučit její zaindexování a tedy i nabízení ve výsledcích vyhledávání některých klíčových slov na vaší stránce nalezených (to může být vaše jméno, telefon, adresa e-mailu, poštovní adresa atd.). Obrana je přitom jednoduchá – zakážeme robotům přístup na stránku. Na zákaz ovšem slyší pouze „slušní“ roboti, což vyhledávací roboti známých vyhledávačů rozhodně jsou. V případě „spambotů“ máte ovšem smůlu...

Zákaz může být na různé úrovni. Můžete zakázat mapování celého webu nebo jen jedné stránky nebo zakázat pouze sledování cíle jednotlivého hypertextového odkazu. Zákaz přístupu robotů se děje například pomocí tagu nebo pomocí požadavků uvedených v souboru „robots.txt“, který je právě pro tyto účely určen.

Každý slušný robot, který navštíví váš server, se nejprve podívá do souboru „robots.txt“, jestli nemá zakázaný přístup. Soubor „robots.txt“ je obyčejný textový soubor s informacemi určenými pro roboty a můžete ho vytvořit třeba v Poznámkovém…