Etiqueta META robots

  • Por
Explicación de la etiqueta META robots y diferentes posibilidades de configuración.
Mediante las diferentes etiquetas META que podemos colocar en un sitio web disponemos de una variedad amplia de metainformaciones para comunicar a cualquier sistema que lea nuestra página web. En este artículo vamos a presentar una etiqueta interesante para definir cómo se tienen que comportar los motores de búsqueda a la hora de visitar nuestra página y mostrarla entre los resultados de búsquedas realizados en el buscador. Se trata la etiqueta meta de robots.

La etiqueta META de Robots sirve para personalizar el comportamiento de robots de indexación, tipo Google, a la hora de procesar nuestra página web. Cada una de las páginas de nuestro sitio puede tener una declaración de la etiqueta meta de robots distinta, con lo que podemos incluso definir de manera independiente cómo deseamos que se trate cada una de las páginas que componen el web.

En DesarrolloWeb.com hemos publicado anteriormente informaciones acerca de distintas etiquetas META en artículos dispersos. Además, tenemos un Generador de Etiquetas Meta que también puede resultar de interés para los lectores.

Etiqueta ROBOTS de META Tags

Como hemos dicho, la etiqueta robots, dentro de las posibles etiquetas con Metainformaciones acerca de un documento web, sirve para llevar un control exhaustivo de lo que puede o no puede hacer un robot de indexación cuando visita nuestro sitio web. Los comportamientos más típicos que podemos definir son permitir o no indexar una página y seguir o no sus enlaces.

Nota: Conviene recordar que también se puede definir el comportamiento de los robots de búsqueda con nuestro sitio, a la hora por ejemplo de permitir o no indexar las distintas páginas, mediante el archivo robots.txt.

Ahora veamos cómo se define esta etiqueta META de robots.

<META name="robots" content="NOINDEX">

Como se puede ver, se define el etiqueta META y se acompaña de dos atributos esenciales:

Name: que para la etiqueta META que controla los comportamientos en motores de indexación el valor es "robots".

Content: se indica las directivas que queremos que apliquen los motores de indexación cuando visitan la página.

Valores posibles de la etiqueta META ROBOTS

En el atributo Content de la etiqueta meta debemos colocar las directrices que deseemos para buscadores, tantas como deseemos, separadas por comas. Las distintas directrices a aplicar son las siguientes:

INDEX / NOINDEX
Sirve para indicar si se desea o no permitir la indexación de la página por los motores de búsqueda.

FOLLOW / NOFOLLOW
Con esta directriz se indica si se debe o no permitir a los motores de búsqueda recorrer o seguir recorriendo la web a través de los enlaces que encuentre en el cuerpo del documento.

ARCHIVE / NOARCHIVE
Esto permite decir si deseamos o no que el motor de búsqueda archive el contenido del sitio web en su caché interna. Como habremos podido ver, buscadores como Google tienen una caché y podemos ver las páginas web tal como las tiene cacheadas el buscador. Para ello, en los resultados de las búsquedas aparece un enlace que pone caché. Si decimos que no archive la página, no debería mostrar ese enlace de caché. Esto en realidad, según Google, no evita que se guarde en caché la página, sino que no permite verla a los usuarios del buscador y por lo tanto no muestra el enlace.

SNIPPET / NOSNIPPET
Esta directriz en principio no resulta muy útil, al menos a primera vista. Sirve para que el motor de búsqueda no muestre ninguna descripción de un sitio, sólo su título. Si utilizas NOSNIPPET automáticamente defines un NOARCHIVE, por lo que la página tampoco se mostrará en caché.

ODP / NOODP
Sirve para decirle al buscador que debe, o no, mostrar el título y descripción de la página iguales a los que se encuentra en el Open Directory Project. En algunos casos, algunos buscadores muestran como título y descripción de una web los que se han publicado en el ODP (ENLACE A http://www.dmoz.org/).

YDIR / NOYDIR
Es básicamente lo mismo que ODP / NOODP, con la diferencia que es para que no se pueda, o si, mostrar la descripción y título que aparece en el directorio de Yahoo.

Cuando no existe esta etiqueta los buscadores interpretan las condiciones más favorables para ellos, es decir, que pueden hacer todo lo que suelen hacer con otras páginas a la nuestra, como indexarla, seguir sus enlaces, archivarla, etc.

Ejemplos de etiquetas META ROBOTS

A la hora de utilizar la META ROBOTS básicamente lo que podemos hacer es restringir las posibilidades de los motores de búsqueda, puesto que las posibilidades por defecto son las menos restrictivas.

Esto quiere decir que una etiqueta como la siguiente es irrelevante, porque el buscador siempre va a indexar la página y seguir sus enlaces de manera predeterminada:

<META name="robots" content="INDEX,FOLLOW">

Podemos definir entonces casos más restrictivos como estos:

<META name="robots" content="INDEX,NOFOLLOW">

Para indicar que se desea que se indexe la página, pero no se sigan los enlaces. Dada que la opción INDEX es la que se sobreentiende por defecto, esta etiqueta tendría el mismo valor que la siguiente:

<META name="robots" content="NOFOLLOW">

Para indicar que no queremos que se sigan los enlaces de la página.

<META name="robots" content="NOINDEX,NOFOLLOW">

Para indicar que no queremos que se indexe la página ni se sigan los enlaces que pueda contener.
<META name="robots" content="NOARCHIVE">

Lo único que indicamos es que no se muestre el enlace para ver la página en la caché del buscador.

<META name="robots" content="NOINDEX,NOFOLLOW,NOARCHIVE,NOODP,NOSNIPPET">

Con esta restrictiva etiqueta forzamos para que no se indexe la página, no se sigan los enlaces, no se muestre el link de caché, no se muestre el título y descipción del Open Directory Project y sólo se muestre el título de la página en los resultados de las búsquedas.

Autor

Miguel Angel Alvarez

Miguel es fundador de DesarrolloWeb.com y la plataforma de formación online EscuelaIT. Comenzó en el mundo del desarrollo web en el año 1997, transformando su hobby en su trabajo.

Compartir

Comentarios

Arqui

04/3/2009
Hola, muchas gracias por el tutorial de los Metas,
mi duda es la siguiente:
en el caso de tener una portada, dentro de ella otras paginas correspondientes al mismo dominio.
ejem.

1 - http://mipaginita/portada.html
2 - http://mipaginita/visitantes.html
3 - http://mipaginita/librodefirmas.html
4 - http://mipaginita/contacto.html

en la primera pagina (la portad) coloco el meta:
<META name="robots" content="INDEX,NOFOLLOW">

eso quiere decir que no indexará el contenido de las paginas 2, 3 , y 4 ?

ó.... es que si indexará mis paginas, pero no los enlaces de otras páginas que no sean de mi dominio: http://mipaginita/

Gracias por tu ayuda.
saludos.

Ivan

20/5/2009
No seguir un enlace concreto
Mi pregunta sería: ¿y si dentro de una página con varios enlaces quieri que no siga el robot uno en concreto? ¿sería así?:
<META name="robots" content="NOFOLLOW, nombre_de_la_direccion_del_enlace">

No se, ¿alguien sabe como sería?

oscarb

07/6/2009
Respuesta para Ivan
Para que no siga un enlace en concreto colaca en el anchor (tag A de html) el codigo rel='nofollow'.

<a href="lo que sea" rel='nofollow'>texto</a>

tito

05/7/2009
consulta
quiero redireccionr mi pagina "A" a mi pagina"B" y que aparesca el http://www.B.cl
gracias por tu atencion

Gerson

10/1/2010
sobre robot.txt
HOla
Estaba tratando de insertar el codigo de ustedes, pero no acepta este es elcodigo

<META content='INDEX,NOFOLLOW' name='robots'/>

sera que esta bien o me estoy equivocando, gracias por su respuesta

riggs

26/1/2010
entonces las paginas
entonces las paginas web que tienen index follow indexan las paginas que se escriben a lo interior como http://rigorules.blogspot.com

riggs

26/1/2010
META TAG
<a href="http://rigorules.blogspot.com" rel="tag">Elblogdelexito</a> este es un buen metatag pero no se como usarlo

eughi22

21/4/2010
meta robots
leer que me resulta interesante

eduardo

04/6/2010
pregunta sobre la meta robot
Mi deseo es que google indexe todas mis paginas,seria necesario que yo utilice un robot meta para esto o simplemente predeterninadamente google lo indexa todo?

Bryan

23/7/2010
Hola una duda!!
Hola en que parte del html se coloca el <META NAME="Robots" CONTENT="No-Index,No-Follow> para poder colocarlo.

IMPERIO

13/10/2010
buenisimo
http://www.imperiopeten.com

siloam321

08/1/2011
los spiders
muchas gracias por el aporte de los robots.que no imaginaba la importancia que tenian.saludos.

igor

08/2/2011
Borrar datos de buscador de google
Quisiera borrar todos mis datos del buscador de google quisiera informacion indicaciones para hacerlo debido a que tengo problemas y no puedo hacer desaparecer mis datos de google del buscador

Melo2011

30/3/2011
sentido de algunas etiquetas meta
En primer lugar Enhorabuena por la página! sois unos cracks! me está siendo de gran ayuda.
Mi pregunta es la siguiente: ¿qué sentido tienen las etiquetas meta que especifican a los buscadores que no la muestren? Por ejemplo, qué sentido tendría la siguiente etiqueta meta:
<META name="robots" content="NOINDEX,NOFOLLOW,NOARCHIVE,NOODP,NOSNIPPET">

Entiendo q cuando alguien crea un sitio web, lo primero que quiere es llegar a los navegantes....si no, ¿qué sentido tendría? ¿me podéis poner algún ejemplo de qué tipo de proyecto utilizaría esta etiqueta?

Muchas gracias y de nuevo enhorabuena x la web!

JUAN

02/4/2011
NOINDEX,NOFOLLOW,NOARCHIVE,NOODP,NOSNIPPET
Un sitio web de uso laboral para compartir informacion.
Solo util para ese proposito y sin ningun interes de que sea publica.

Yumasari

04/4/2012
Google webmasters
Buenos dias,

Quisiera que vierais unas metaetiquetas de ejemplo que pone Google webmasters de Meta eTIQUETAS (Copiado de su pagina) y mi pregunta es: ¿Porque pone un ejemplo donde se indica "NOINDEX, NOFOLLOW?, cuando lo normal seria ambas palabras sin el "NO":

Metaetiquetas

Las metaetiquetas son un modo perfecto para que los webmasters faciliten a los motores de búsqueda información sobre sus sitios. Estas pueden utilizarse para ofrecer información a todo tipo de clientes. Cada sistema procesa únicamente aquellas que entiende e ignora el resto. Las metaetiquetas se añaden a la sección <head> de su página HTML y normalmente tienen el aspecto siguiente:


<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"
"http://www.w3.org/TR/html4/loose.dtd">
<html>
<head>
<META NAME="Description" CONTENT="Autor: A. N. Autor, Ilustrador: P. Fotografía, Categoría: Libros, Precio: 9,24 libras, Páginas: 784">
<META http-equiv="Content-Type" CONTENT="text/html; charset=iso-8859-1">
<META NAME="google-site-verification" CONTENT="+nxGUDJ4QpAZ5l9Bsjdi102tLVC21AIh5d1Nl23908vVuFHs34="/>
<title>Ejemplo de libros: libros de segunda mano en buen estado para niños</title>
<META NAME="robots" CONTENT="noindex,nofollow">

leviatan

13/4/2012
para Melo201...
un sistema web por ejemplo, con datos importantes y privados.

Felipe Vengoechea

05/2/2015
Muchas gracias
Que buena esta esta explicación, Hay una aplicación de moz que le muestra todos los detalles de seo para maximizar las paginas, la estoy usando y se ven los resultados, y lo mejor es gratis "mozbar"
Visita mi pagina www.studioive.com
Gracias por este articulo!

Gerard

13/2/2015
Ayuda
Buenas!

Estoy empezando en esto del posicionamiento web y tengo un plugin especial de SEO en mi página hecha con wordpress. En el pluguin, sale "META Robot Index" y "META Robot follow" y pone por defecto, pero por defecto pone debajo esto: "Tell robots not to index the content of a page."

Mi duda es si lo mejor es poner siempre que los robots indexen la página y sigan los enlaces o por el contrario mejor que no lo hagan.

Gracias y un saludo!

Gabriel

20/3/2015
consulta del ejemplo NOINDEX,NOFOLLOW,NOARCHIVE,NOODP,NOSNIPPET, hay un error?
Mi consulta es, si coloco como en el ejemplo NOINDEX,NOFOLLOW,NOARCHIVE,NOODP,NOSNIPPET
pensé que directamente el robot no veía la pagina y la descartaba, pero el leer el articulo con este ejemplo, lo que dice es que si se muestre el título de la página en los resultados de las búsquedas, es decir si la sigue viendo? yo necesito hacer paginas duplicadas para poder solucionar algo y mi idea es poner NOINDEX,NOFOLLOW,NOARCHIVE para la duplicada asi no existía para el robot y no me penalizaba, pero el ejemplo dice como que si la ve y coloca el titulo de la pagina cuando alguien realice una búsqueda, como se hace para que no exista directamente esa pagina para el buscador? gracias
<META name="robots" content="NOINDEX,NOFOLLOW,NOARCHIVE,NOODP,NOSNIPPET">
Con esta restrictiva etiqueta forzamos para que no se indexe la página, no se sigan los enlaces, no se muestre el link de caché, no se muestre el título y descipción del Open Directory Project y sólo se muestre el título de la página en los resultados de las búsquedas.











______________________________________________________________________________________________
<A HREF="mividamipasion.com/blogs-de-libros-romanticos-para-descargar.php">libros</A>

Neo

26/1/2017
Gracias!
Realmente útil el artículo me ayudo a comprender esta etiqueta y encima en español así que para que más :)

Julio

08/6/2017
NOFOLLOW
¿A qué se refiere con no seguir o recorrer los enlaces?

Gabriel

28/8/2017
No seguir un enlace, es que no va a ir a indexar la o las paginas siguientes, si le pones metatag no nofollow
No seguir un enlace, es que no va a ir a indexar la o las paginas siguientes, si le pones metatag no nofollow, por lo que indxaria solo esa pagina y no seguiria los otros enlaces y no los podria indexar a esos otros enlaces ya que no los siguio.
Saludos.

Gabriel
http://mividamipasion.com/