Definícia robots.txt

Robots.txt je jednoduchý konfiguračný súbor, ktorý slúži na riadenie prístupu robotov vyhľadávačov k určitým častiam webovej stránky.

Popis robots.txt

Robots.txt používa základné príkazy:

• User-agent: určuje, pre ktorý prehľadávač platia pravidlá (napr. Googlebot),

• Disallow: určuje, kam robot nesmie,

• Allow: povoľuje prístup do konkrétnej časti (používa sa najmä v kombinácii s Disallow),

• Sitemap: odkazuje na umiestnenie XML mapy webu.

Príklad súboru robots.txt:

Týmto sa všetkým robotom zakáže prístup do priečinka /admin/, okrem súboru help.html, a zároveň sa im poskytne odkaz na sitemapu.

Pozor: Súbor robots.txt nie je bezpečnostný nástroj – ak nechcete, aby sa určitý obsah zobrazil verejnosti, treba ho zabezpečiť iným spôsobom (napr. heslom).

Praktický príklad robots.txt

Správca e-shopu nechce, aby vyhľadávače indexovali výsledky vyhľadávania, ktoré vytvárajú duplicity. Do súboru robots.txt preto pridá:

Takto zabezpečí, že stránka nebude penalizovaná za duplicitu a zároveň sa vyhľadávače zamerajú na kvalitné vstupné stránky. Robots.txt tak slúži ako dôležitý nástroj v technickom SEO.