Ny rakitra robots.txt voatahiry ao amin'ny fototry ny tranonkalanao dia hiteny amin'ny web robots toy ny milina fikarohana toy ny finday sy ny rakitra azon'izy ireo hotsipihina. Mora ampiasaina ny rakitra robots.txt, saingy misy zavatra tokony hotadidinao:
- Ny Black robots dia tsy miraharaha ny rakitra robots.txt. Ireo karazana mahazatra indrindra dia botsa sy robots malware mitady adiresy mailaka amin'ny fijinjana.
- Ny mpandrindra vaovao sasany dia hanoratra robots izay tsy miraharaha ny rakitra robots.txt. Matetika izany no atao amin'ny fahadisoana.
- Afaka mahita ny rakitra robots.txt ianao. Izy ireo dia antsoina foana hoe robots.txt ary mitahiry foana ny fototry ny tranonkala.
- Farany, raha misy olona mifandray amin'ny rakitra na ny lahatahiry iray izay tsy navoakan'ny robots.txt rakitra avy amin'ny pejy iray izay tsy navoakan'ny robots.txt azy, dia mety hahita izany ny milina fikarohana.
Aza mampiasa rakitra robots.txt hanafenana izay zava-dehibe. Raha tokony ho izany dia tokony hametraka fampahalalana manan-danja ao ambadiky ny tenimiafina azo antoka ianao na mamela izany amin'ny tranonkala manontolo.
Ahoana ny fomba fampiasana ireo rakitra ireo
Kopio ilay lahatsoratra avy amin'ilay santionany izay akaiky indrindra amin'ny zavatra tianao hatao, ary ampidiro ao amin'ny rakitra robots.txt anao. Manova ny robot, ny lahatahiry, ary ny anaran-drakitra mifandraika amin'ny mifanitsy aminao.
Datafin'ny robots fototra roa .txt
User-agent: *
Disallow: /
Ity rakitra ity dia milaza fa misy robot (User-agent: *) izay miditra ao aminy dia tokony tsy hiraharaha ny pejy rehetra ao amin'ny tranokala (Disallow: /).
User-agent: *
nandrara:
Ity rakitra ity dia milaza fa misy robot (User-agent: *) izay miditra ao aminy dia avela hijery ny pejy rehetra ao amin'ny tranokala (Disallow:).
Azonao atao ihany koa ny mamela ny rakitra robots.txt anao na tsy manana iray amin'ny tranokalanao mihitsy.
Arovy ireo tahiry manokana avy amin'ny robots
User-agent: *
Disallow: / cgi-bin /
Dislove: / temp /
Ity rakitra ity dia milaza fa ny robot rehetra (User-agent: *) izay miditra aminy dia tsy tokony hiraharaha ireo torohay / cgi-bin / ary / temp / (Disallow: / cgi-bin / Disallow: / temp /).
Miaro ireo pejy manokana avy amin'ny robots
User-agent: *
Disolo: /jenns-stuff.htm
Disable: /private.php
Ity rakitra ity dia milaza fa ny robot rehetra (User-agent: *) izay miditra aminy dia tokony tsy hiraharaha ireo rakitra /jenns-stuff.htm ary /private.php (Disallow: /jenns-stuff.htm Disallow: /private.php).
Mialà robot manokana avy amin'ny fidirana amin'ny tranokalanao
User-agent: Lycos / xx
Disallow: /
Ity rakitra ity dia milaza fa ny bot-ny Lycos (User-agent: Lycos / xx) dia tsy mahazo alàlana any amin'ny toerana rehetra (Disallow: /).
Avelao ho fidirana robot manokana fotsiny
User-agent: *
Disallow: /
Mpampiasa User: Googlebot
nandrara:
Ity laha-tahiry ity dia manala ny robots rehetra tahaka ny nataontsika etsy aloha, ary avy eo dia afaka mamela malalaka ny zavatra rehetra (Disallow:) ny Googlebot (User-Agent: Googlebot).
Ampifandraiso ireo tsipika maromaro mba hahalalana tsara ireo fanararaotana tianao
Na dia tsara kokoa aza ny mampiasa ny laharana mpampiasa User-agent, toy ny User-agent: *, mety ho araka izay tianao. Tadidio fa mamaky ny rakitra araka ny filaharany ny robots. Noho izany raha toa ireo andalana voalohany milaza fa ny robot rehetra dia voasakana amin'ny zava-drehetra, ary avy eo ao anaty rakitra dia milaza fa ny robot rehetra dia mahazo alàlana amin'ny zavatra rehetra, ny robots dia hahazo ny zava-drehetra.
Raha tsy azonao antoka raha efa nanoratra ny safidinao robots.txt ianao dia azonao atao ny mampiasa ny tranonkalan'ny Google webmaster mba hijery ny rakitra robots.txt na manoratra vaovao.