Ocultamiento

Robots.txt

Fidelización de los visitantes
Robots.txt Robots.txt Robots.txt Robots.txt Robots.txt

Presentación del archivo robots.txt

robots.txt es un archivo que contiene comandos para los robots que indizan motores de búsqueda y especifican qué páginas pueden o no pueden indizarse. Cuando un motor de búsqueda explora un sitio web lo primero que hace es buscar el archivo robots.txt en la raíz del sitio.

Formato del archivo robots.txt

El archivo robots.txt es un archivo ASCII localizado en la raíz del sitio. Puede contener los siguientes comandos:

  • Usuario agente: se usa para especificar qué robot cumplirá las órdenes que siguen. El valor * significa "todos los motores de búsqueda".
  • No permitir: se usa para identificar qué páginas se excluirán durante la indización. Cada página o ruta que se va a excluir debe estar en una línea separada y debe comenzar con /. El valor / sólo significa "todas las páginas del sitio web".

Advertencia: El archivo robots.txt no debe contener ninguna línea vacía.

Estos son algunos ejemplos de archivos robots.txt:

  • Se excluyen todas las páginas: 
    Usuario agente: * No permitir: /
  • No se excluye ninguna página, que es lo mismo que no tener ningún archivo robots.txt, lo que significa que se visitan todas las páginas: 
    Usuario agente: * No permitir:
  • Sólo un robot está autorizado: 
    Usuario agente: Nombre del robot No permitir: Usuario agente: * No permitir: /
  • Se excluye un robot: 
    Usuario agente: Nombre del robot No permitir: / Usuario agente: * No permitir:
  • Se excluye una página: 
    Usuario agente: * No permitir: /directorio/ruta/página.html
  • Se excluyen todas las páginas de un directorio y sus subcarpetas: 
    Usuario agente: * No permitir: /directorio/

Ejemplos de usuarios agentes

Estos son algunos ejemplos de usuarios agentes de los motores de búsqueda más populares:

Nombre del motor de búsqueda Usuario agente:
Alta Vista Scooter
Excite ArchitextSpider
Google Googlebot
HotBot Slurp
InfoSeek InfoSeek Sidewinder
Lycos T-Rex
Voilà Echo

Para más información

La página de robots web

Última actualización el jueves, 16 de octubre de 2008, 15:43:29 .Este documento intitulado « Robots.txt » de Kioskea (es.kioskea.net) esta puesto a diposición bajo la licencia Creative Commons. Puede copiar, modificar bajo las condiciones puestas por la licencia, siempre que esta nota sea visible.

Mejores respuestas para « Robots.txt » en :
Buscar archivos .txt (Resuelto) Ver
Un robot niñera de su tamaño para cuidar a los niños japoneses Ver Un grupo de niños observan al robot niñera desarrollado por Tmsuk, el principal creador de robots, este 25 de marzo de 2008 en una tienda de Aeon, en Fukuoka, al oeste de Japón. Una compañía japonesa anunció este martes que ha puesto a la venta un...
Mahru, un robot que baila, ordena la casa o muestra sus "emociones" Ver El robot Mahru bailando en Seúl este lunes, durante su presentación en el Instituto Coreano de Ciencia y Tecnología. Unos científicos surcoreanos anunciaron este lunes que han creado un robot capaz de bailar, de ordenar la casa o de perfumar con...
MySQL – Cargar un fichero de texto en una tabla VerPara cargar un fichero de texto definido como: $ tail /home/user1/test.txt 'nombre1',1,9 'nombre2',2,3 'nombre3',3,54 'nombre4',4,2 'nombre5',5,9 En una tabla definida como: CREATE TABLE cargartest ( ...
Entradas/Salidas: Los flujos en C++ VerEntradas/Salidas: Los flujos en C++ 1. Abrir un fichero para lectura 1.1 Apertura del fichero “datos.txt” para lectura 1.2 Lectura del contenido de “datos.txt” 2. Apertura de un fichero para escritura 2.1 Apertura del fichero “datos.txt”...
[Windows] Listar los archivos contenidos en una carpeta VerListar todos los archivos contenidos en una carpeta En este artículo veremos un método simple para crear una lista con los nombre de los archivos contenidos en una carpeta. De este modo con un solo clic podrás tener en un archivo texto los títulos...
Descargar Hablar VerHablar es un programa desarrollado con tecnología de punta, que puede reproducir mediante la voz, de una manera robotica, cualquier texto en español. Esta versión utiliza la libreria VACA (Visual Appilcations Components Abstraction) ...
Descargar Sumatra PDF Portable Ver
Descargar Power Word to Pdf Converter Ver
Formatos y extensiones de archivos Ver
Comandos FTP VerEl protocolo FTP FTP (Protocolo de transferencia de archivos) es un protocolo es decir, un lenguaje estándar de comunicación entre dos máquinas que permite que ordenadores de diferentes tipos (o con sistemas operativos diferentes) puedan...
Uso de los comandos FTP VerEl protocolo FTP FTP (Protocolo de transferencia de archivos) es un protocolo -es decir, un lenguaje estándar que permite la comunicación entre dos equipos. Se utiliza para que ordenadores de diferentes tipos (o con dos sistemas operativos...
Necesitan su ayuda