A fajl robots.txt maħżun fl-għerq tal-website tiegħek jgħidlek robots tal-web bħal brimb ta ' search engine liema direttorji u fajls huma permessi li jitkaxkru. Huwa faċli li tuża fajl robots.txt, imma hemm xi affarijiet li għandek tiftakar:
- Iswed robots web hat se jinjora fajl robots.txt tiegħek. L-aktar tipi komuni huma robots tal-malware u robots li qed ifittxu indirizzi tal-email għall-ħsad.
- Xi programmaturi ġodda jiktbu robots li jinjoraw il-fajl robots.txt. Dan ġeneralment isir bi żball.
- Kulħadd jista 'jara l-fajl robots.txt tiegħek. Huma dejjem imsejħa robots.txt u dejjem huma maħżuna fl-għerq tal-websajt.
- Fl-aħħarnett, jekk xi ħadd jgħaqqad fajl jew direttorju li huwa eskluż mill-fajl robots.txt tiegħek minn paġna li mhix eskluża mill-fajl robots.txt tagħhom, il-magni tat-tiftix jistgħu jsibuha xorta waħda.
Tużax robots.txt fajls biex jaħbu xi ħaġa importanti. Minflok, għandek tqiegħed informazzjoni importanti wara l- passwords sikuri jew tħalliha barra l-web kompletament.
Kif għandek tuża dawn il-Fajls tal-Kampjun
Ikkopja t-test mill-kampjun li huwa l-eqreb għal dak li trid tagħmel, u paste fil-fajl robots.txt tiegħek. Ibdel id-robot, id-direttorju u l-ismijiet tal-fajls biex jaqblu mal-konfigurazzjoni preferuta tiegħek.
Żewġ Basic Robots.txt Fajls
Aġent ta 'l-utent: *
Tippermetti: /
Dan il-fajl jgħid li kwalunkwe robot (User-agent: *) li jaċċessaha għandu jinjora kull paġna fuq is-sit (Tiddikjara: /).
Aġent ta 'l-utent: *
Tippermetti:
Dan il-fajl jgħid li kull robot (User-agent: *) li jaċċessa huwa permess li jara kull paġna fuq is-sit (Tippermetti:).
Tista 'wkoll tagħmel dan billi tħalli l-fajl robots.txt tiegħek vojt jew ma jkollux wieħed fuq is-sit tiegħek.
Ipproteġi Direttorji Speċifiċi Mill Robots
Aġent ta 'l-utent: *
Tippermetti: / cgi-bin /
Tippermetti: / temp /
Dan il-fajl jgħid li kwalunkwe robot (User-agent: *) li jaċċessah għandu jinjora d-direttorji / cgi-bin / u / temp / (Tiddipriva: / cgi-bin / Disallow: / temp /).
Ipproteġi Paġni Speċifiċi Mill Robots
Aġent ta 'l-utent: *
Tippermetti: /jenns-stuff.htm
Tippermetti: /private.php
Dan il-fajl jgħid li kwalunkwe robot (User-agent: *) li jaċċessah għandu jinjora l-fajls /jenns-stuff.htm u /private.php (Tippermetti: /jenns-stuff.htm Tippermetti: /private.php).
Prevenzjoni ta 'Robot Speċifiku mill-Aċċess għas-Sit Tiegħek
Aġent ta 'l-utent: Lycos / xx
Tippermetti: /
Dan il-fajl jgħid li l-bot Lycos (User-agent: Lycos / xx) mhux permess aċċess kullimkien fuq is-sit (Tiddikjara: /).
Ħalli biss aċċess speċifiku għal Robot
Aġent ta 'l-utent: *
Tippermetti: /
Aġent ta 'l-utent: Googlebot
Tippermetti:
Dan il-fajl l-ewwel ma jħallix ir-robots kollha bħalma għamilna hawn fuq, u mbagħad espliċitament iċċedi l-Googlebot (User-agent: Googlebot) ikollhom aċċess għal kollox (Tiddikjara:).
Għaqqad linji multipli biex tikseb eżattament l-Esklużjonijiet li Trid
Filwaqt li huwa aħjar li tuża linja ta 'aġent ta' l-Utent inklussiva ħafna, bħal User-agent: *, tista 'tkun speċifiku kemm tixtieq. Ftakar li robots jaqraw il-fajl fl-ordni. Allura jekk l-ewwel linji jgħidu li r-robots kollha huma mblukkati minn kollox, u mbagħad aktar tard fil-fajl jgħid li r-robots kollha huma permessi aċċess għal kollox, ir-robots se jkollhom aċċess għal kollox.
Jekk m'intix ċert jekk intx biddilt il-fajl robots.txt tiegħek b'mod korrett, tista 'tuża l-Għodda tal-Webmaster ta' Google biex tikkontrolla r-reġistru robots.txt tiegħek jew ikteb waħda ġdida.