Gairebé tots els administradors de webs intenten optimitzar les pàgines del seu lloc de manera que s’obtinguin el màxim d’elements indexats possible. Però, en alguns casos, al contrari, cal amagar algunes pàgines, per exemple, un formulari per introduir dades de registre, recuperar contrasenyes, etc.

És necessari
Edició del fitxer Robots.txt
Instruccions
Pas 1
La forma més senzilla de tancar la indexació de diverses seccions o d’un lloc sencer específic és fer les entrades adequades al fitxer robots.txt. S'utilitza com a guia per als motors de cerca. En entrar a les pàgines del lloc, el robot de cerca fa referència a aquest fitxer, si no hi és, indexa tot el lloc, en cas contrari segueix les recomanacions especificades en aquest fitxer.
Pas 2
Si heu creat el lloc vosaltres mateixos i no disposeu d’aquesta aplicació, en forma de document de text que indica les prohibicions, és fàcil crear-lo vosaltres mateixos. Obriu un document de text nou, per exemple, amb el programa Bloc de notes. Col·loqueu les línies següents al cos del document: User-agent: * No permetre: /file.html No permetre: / directori /
Pas 3
Ara esbrinem què heu demanat al motor de cerca com a tasca. El signe "*" oposat a l'agent d'usuari significa que aquesta instrucció ha de ser executada per tots els sistemes de fitxers. Per exemple, si escriviu "Yandex" en lloc de "*", aquesta apel·lació només la llegirà el robot del motor de cerca de Yandex. Les declaracions de prohibició prohibeixen la indexació d'una secció específica (directori) o fitxer (fitxer.html).
Pas 4
Després de compilar el fitxer robots.txt, podeu anar directament als textos de les pàgines del lloc. Com ja sabeu, als motors de cerca no els agrada tenir més de 3 enllaços actius externs a les vostres pàgines. Què passa si necessiteu una hemorràgia nasal però publiqueu 5 o més enllaços. En aquests casos, podeu utilitzar un atribut o una etiqueta.
Pas 5
Per tancar els enllaços des de la indexació del motor de cerca de Google, heu de portar l'enllaç al formulari següent: enllaços d'ancoratge. El cos de l'atribut s'ha d'inserir a qualsevol part de l'enllaç, sense oblidar de separar-lo amb un espai, és a dir, l'atribut es pot col·locar entre "a" i "href" o entre l'enllaç i el seu ancoratge.
Pas 6
Per tancar els enllaços des de la indexació pel motor de cerca de Yandex, heu de portar l'enllaç al formulari següent: enllaç d'ancoratge. L'etiqueta es col·loca al principi i al final de l'enllaç. No oblideu que aquesta etiqueta està emparellada: la segona part, a diferència de la primera, ve amb un signe "/".