Version anglaiseVersion françaiseVersion espagnoleRegistrese, es gratis ! (contraseña olvidada)
- Domingo, 20 de julio de 2008 - 08:52:39
- registrados : 880640
- conectados : 10877
- preguntas/dia : 4015
- % respuestas : 83.2%
Aplicacion para convertir un archivo txt en jar Application/vnd.ms-excel crear documentos txt en el cliente Archivos.txt Borrar lineas vacias de un archivo txt Borrar una linea de un archivo txt en visual fox C:/infosat.txt Como crear un archivo txt en un arbol en java Creacion de archivos.txt en c Datos varios formularios en txt php Descargar archivo.txt facil Dispositivo de sonido no funciona coyote.txt Dos unix .txt a binario Formularios php txt editar borrar Linux shell ./ > .txt Netcdf to txt Robots palabras clave internet Se puede ver una pagina web a través de un archivo txtPlus
Necesitan su ayuda
- 07:52 antivirus 2009 no me deja operar (Windows)
- 05:52 No encuentro el conmutador para... (Redes)
- 05:10 NESESITO UN DRIVER (Windows)
- 05:06 JOse (Windows)
- 04:36 drives para compaq presario (Hardware)
- 03:39 auxilio, me estoy volviendo loca con... (Windows)
| Webmastering Diseño de un sitio web Realización Alojamiento Marketing Fidelización de los visitantes Medición de Tráfico Explotación Ver También: |
Presentación del archivo robots.txt
robots.txt es un archivo que contiene comandos para los robots que indizan motores de búsqueda y especifican qué páginas pueden o no pueden indizarse. Cuando un motor de búsqueda explora un sitio web lo primero que hace es buscar el archivo robots.txt en la raíz del sitio.
Formato del archivo robots.txt
El archivo robots.txt es un archivo ASCII localizado en la raíz del sitio. Puede contener los siguientes comandos:
- Usuario agente: se usa para especificar qué robot cumplirá las órdenes que siguen. El valor * significa "todos los motores de búsqueda".
- No permitir: se usa para identificar qué páginas se excluirán durante la indización. Cada página o ruta que se va a excluir debe estar en una línea separada y debe comenzar con /. El valor / sólo significa "todas las páginas del sitio web".
 |
El archivo robots.txt no debe contener ninguna línea vacía. |
Estos son algunos ejemplos de archivos robots.txt:
- Se excluyen todas las páginas:
Usuario agente: * No permitir: /
- No se excluye ninguna página, que es lo mismo que no tener ningún archivo robots.txt, lo que significa que se visitan todas las páginas:
Usuario agente: * No permitir:
- Sólo un robot está autorizado:
Usuario agente: Nombre del robot No permitir: Usuario agente: * No permitir: /
- Se excluye un robot:
Usuario agente: Nombre del robot No permitir: / Usuario agente: * No permitir:
- Se excluye una página:
Usuario agente: * No permitir: /directorio/ruta/página.html
- Se excluyen todas las páginas de un directorio y sus subcarpetas:
Usuario agente: * No permitir: /directorio/
Ejemplos de usuarios agentes
Estos son algunos ejemplos de usuarios agentes de los motores de búsqueda más populares:
| Nombre del motor de búsqueda | Usuario agente: |
|---|---|
| Alta Vista | Scooter |
| Excite | ArchitextSpider |
| Googlebot | |
| HotBot | Slurp |
| InfoSeek | InfoSeek Sidewinder |
| Lycos | T-Rex |
| Voilà | Echo |