Els motors de cerca estan equipats amb robots, també coneguts com aranyes o robots, que rastregen i indexen pàgines web. Si el vostre lloc o pàgina està en desenvolupament o conté contingut confidencial, és possible que vulgueu bloquejar els robots per rastrejar-los i indexar-los. Obteniu informació sobre com bloquejar llocs web, pàgines i enllaços sencers amb fitxers robots.txt i bloquejar pàgines i enllaços específics amb etiquetes html. Seguiu llegint per saber com bloquejar l'accés al vostre contingut a robots específics.
Passos
Mètode 1 de 2: bloqueig de motors de cerca amb fitxers robots.txt
Pas 1. Comprendre els fitxers robots.txt
Un fitxer robots.txt és un fitxer de text normal o ASCII que informa a les aranyes dels motors de cerca a què poden accedir al vostre lloc. Els arxius i carpetes que figuren en un fitxer robots.txt no poden ser rastrejats ni indexats per les aranyes d'un motor de cerca. És possible que necessiteu un fitxer robots.txt si:
- Voleu bloquejar contingut específic de les aranyes dels motors de cerca.
- Esteu desenvolupant un lloc actiu i no esteu preparat perquè les aranyes dels motors de cerca rastregin i indexin el lloc
- Voleu limitar l'accés a robots de bona reputació.
Pas 2. Creeu i deseu el fitxer robots.txt
Per crear el fitxer, inicieu un editor de text pla o un editor de codi. Deseu el fitxer com a: robots.txt. El nom del fitxer ha de ser tot en minúscula.
- No oblideu les "s".
- Quan deseu el fitxer, trieu l'extensió "'.txt"'. Si feu servir Word, seleccioneu l'opció "Text sense format".
Pas 3. Escriviu un fitxer robots.txt completament desactivat
És possible evitar que qualsevol aranya de motors de cerca de confiança rastregi i indexi el vostre lloc amb un robots.txt "totalment no permès". Escriviu les línies següents al fitxer de text:
Agent d'usuari: * No permetre: /
Pas 4. Escriviu un fitxer robots.txt amb permís condicional
En lloc de bloquejar tots els robots, penseu en bloquejar aranyes específiques de determinades àrees del vostre lloc. Les ordres comunes de permís condicionals inclouen:
- Bloqueja un bot específic: substitueix els asteriscs que hi ha al costat Usuari-agent amb googlebot, googlebot-news, googlebot-imatge, bingbot, o teoma.
-
Bloqueja un directori i el seu contingut:
Agent d'usuari: * No permetre: / sample-directory /
-
Bloquejar una pàgina web:
Agent d'usuari: * No permetre: /private_file.html
-
Bloqueja una imatge:
User-agent: googlebot-image Disallow: /images_mypicture.jpg
-
Bloqueja totes les imatges:
Agent d'usuari: googlebot-image No permetre: /
-
Bloquejar un format de fitxer específic:
Agent d'usuari: * No permetre: /p*.gif$
Pas 5. Animeu els robots a indexar i rastrejar el vostre lloc
Molta gent vol donar la benvinguda a les aranyes dels motors de cerca en lloc de bloquejar-les perquè volen indexar tot el lloc. Per aconseguir-ho, teniu tres opcions. En primer lloc, podeu desactivar la creació d’un fitxer robots.txt: quan el robot no trobi cap fitxer robots.txt, continuarà rastrejant i indexant tot el lloc. En segon lloc, podeu crear un fitxer robots.txt buit; el robot trobarà el fitxer robots.txt, reconeixerà que està buit i continuarà rastrejant i indexant el vostre lloc. Per últim, podeu escriure un fitxer robots.txt complet. Utilitzeu el codi:
Agent d'usuari: * No permetre:
Pas 6. Deseu el fitxer txt a l'arrel del vostre domini
Després d’haver escrit el fitxer robots.txt, deseu els canvis. Pengeu el fitxer al directori arrel del vostre lloc. Per exemple, si el vostre domini és www.el vostredomini.com, col·loqueu el fitxer robots.txt a www.yourdomain.com/robots.txt.
Mètode 2 de 2: bloqueig de motors de cerca amb metaetiquetes
Pas 1. Comprendre les metaetiquetes dels robots HTML
La metaetiqueta de robots permet als programadors establir paràmetres per a robots o aranyes de motors de cerca. Aquestes etiquetes s’utilitzen per evitar que els robots indexin i rastregin tot un lloc o només parts del lloc. També podeu utilitzar aquestes etiquetes per evitar que una aranya específica del motor de cerca indexi el vostre contingut. Aquestes etiquetes apareixen al capçal del fitxer HTML.
Aquest mètode és utilitzat habitualment per programadors que no tenen accés al directori arrel d’un lloc web
Pas 2. Bloquejar els robots des d'una sola pàgina
És possible bloquejar tots els robots per indexar una pàgina o seguir els enllaços d'una pàgina. Aquesta etiqueta s’utilitza habitualment quan es desenvolupa un lloc en directe. Un cop completat el lloc, es recomana suprimir aquesta etiqueta. Si no elimineu l'etiqueta, la vostra pàgina no s'indexarà ni es podrà cercar mitjançant els motors de cerca.
- Podeu impedir que els robots indexin la pàgina i que no segueixin cap dels enllaços:
- Podeu impedir que tots els robots indexin la pàgina:
- Podeu bloquejar tots els robots per seguir els enllaços de la pàgina:
Pas 3. Permetre als robots indexar una pàgina, però no seguir els seus enllaços
Si permeteu que els robots indexin la pàgina, la pàgina s'indexarà; si impedeix que les aranyes segueixin els enllaços, el camí de l'enllaç des d'aquesta pàgina específica a altres pàgines es trencarà. Inseriu la línia de codi següent a la capçalera:
Pas 4. Deixeu que les aranyes del motor de cerca segueixin els enllaços però no indexin la pàgina
Si permeteu que els robots segueixin els enllaços, el camí de l'enllaç des d'aquesta pàgina específica a altres pàgines es mantindrà en contacte; si restringiu la indexació de la pàgina, la vostra pàgina web no apareixerà a l'índex. Inseriu la línia de codi següent a la capçalera:
Pas 5. Bloquejar un únic enllaç de sortida
Per amagar un únic enllaç en una pàgina, incorporeu un fitxer rel etiqueta dins de l'etiqueta d'enllaç. És possible que vulgueu utilitzar aquesta etiqueta per bloquejar enllaços en altres pàgines que portin a la pàgina específica que voleu bloquejar.
Insereix un enllaç a la pàgina bloquejada
Pas 6. Bloqueja una aranya específica del motor de cerca
En lloc de bloquejar tots els robots de la vostra pàgina web, és possible que vulgueu evitar que un robot rastregi i indexi la pàgina. Per aconseguir-ho, substituïu "'robot"' dins de la metaetiqueta pel nom d'un bot específic. Alguns exemples són: googlebot, googlebot-news, googlebot-imatge, bingbot, i teoma.
Pas 7. Animeu els robots a rastrejar i indexar la vostra pàgina
Si voleu assegurar-vos que la vostra pàgina s'indexarà i que se seguiran els seus enllaços, podeu inserir un permís de seguiment meta "robot" etiqueta a la capçalera. Utilitzeu el codi següent:
