快三在线投注

»información perfecta

Sitio web descripción-Archivo robots.txt a menudo utiliza ejemplos a l..

Archivo robots.txt utilizaron redacción muestra (versión completa)

Ejemplo de uso del archivo robots.txt:

1。 permitir que todos los accesos de robots

Usuario-agent: * Allow: / o agente de usuario: * no permitir:

2。 queda prohibido a todos los buscadores puedan acceder a cualquier parte del sitio web

Agente de usuario: *

Disallow: /

3。 Baiduspider sólo impidió acceder a su sitio de Internet

User-agent: Baiduspider

Disallow: /

4. sólo permiten visitas Baiduspider su sitio de Internet

User-agent: Baiduspider

Disallow:

5. prohibición de araña accedan a directorios específicos

Agente de usuario: *

Disallow: /cgi-bin /

Disallow: /tmp/

Disallow: /~joe/

6。 permitir el acceso a una sección específica en el URL del directorio

Agente de usuario: *

Permiten: /cgi-bin/see

Permiten: /tmp/hi

Permiten: /~joe/look

Disallow: /cgi-bin /

Disallow: /tmp/

Disallow: /~joe/

7. el uso de "*" para restringir el acceso a URL

Prohibir el acceso a/cgi-bin/directorio de todo。 "htm" como un sufijo de la URL (incluyendo subdirectorios)。

Agente de usuario: *

Disallow: /cgi-bin/*.htm

8。 el uso de "$" limitado acceso URL

Permitir el acceso sólo. "htm" como un sufijo de la URL.

Agente de usuario: *

Permiten: $ .htm

Disallow: /

9. Prohibir el acceso al sitio, todas las páginas dinámicas

Agente de usuario: *

Disallow: / *? *

10。 prohibición de Baiduspider subiendo todas las fotos

Permitir sólo arrastre páginas Web contra tomando fotos.

User-agent: Baiduspider

Disallow: 。jpg$

Disallow: .jpeg$

Disallow: .gif$

Disallow: .png$

Disallow: .bmp$

11. sólo permiten imágenes en formato gif Baiduspider arrastre páginas Web y.

Le permitirá para rastrear páginas Web e imágenes en formato GIF, no le permitido rastrear otros cuadros de formato

User-agent: Baiduspider

Permiten: $ 。gif

Disallow: .jpg$

Disallow: .jpeg$

Disallow: 。png$

Disallow: .bmp$

12. sólo prohíbe Baiduspider rastreos. imágenes en formato jpg

User-agent: Baiduspider

Disallow: .jpg$

0430 robots。txt conocimiento escrito uso compartido de archivos:

Buscar motores uso araña programas automáticamente acceder a una página Web en Internet y recuperar páginas Web para obtener información. Cuando la araña visita un sitio Web, primero comprueba para el dominio raíz del sitio si hay un archivo de texto plano llamado robots.txt o no. Usted puede crear un archivo de texto en su sitio Web el robots.txt, no quería ser declarados en el archivo de la sección del sitio o especificar la búsqueda motor robot acceso incluye sólo una parte.

Por favor, tenga en cuenta que sólo si su sitio Web contiene contenido que no desee ser indexado por los motores de búsqueda, tienes que usar el archivo robots.txt. Si desea que todo el contenido de la Página Web de los motores de búsqueda, por favor no crear archivos robots.txt o crear un archivo robots.txt vacía.

Se colocarán robots.txt

El archivo robots.txt debe colocarse en el directorio raíz del sitio Web. Por ejemplo, cuando una araña visita un sitio Web como holidays5.com y primero comprobará si el sitio existe en el archivo , si la araña encuentra el archivo, variará según el contenido del archivo, para determinar el alcance de su acceso.

Formato de robots.txt

Archivo que contiene uno o más registros, estos registros están separados por líneas en blanco (en CR, CR/NL o NL para terminator), cada formato de registro se muestra a continuación: ":". En este archivo, puede utilizar el comentario #. Registros en el archivo son típicamente comienza con un agente de usuario una o más filas, seguidas por algunos permiten y no permitir líneas, detalladas a continuación.

Agente de usuario:

Los valores utilizados para describir el nombre de un robot del motor de búsqueda. En el "robots.txt" archivo, si hay más de agente de usuario los registros indica que hay más de un robot será "robots.txt" restricciones en el archivo, debe tener al menos un registro de User-agent. Si se establece este valor *, válido para cualquier robot en el archivo "robots.txt", el "User-agent: *" puede haber solo tal registro. Si el "robots.txt" archivo, añadiendo "usuario-agente: SomeBot" y un número de no permitir, permitir la fila, entonces llamado "SomeBot" sólo "usuario-agente: SomeBot" detrás de las líneas de permitir y no permitir restricciones. Disallow: el valor de esta entrada se utiliza para describir no quiere acceder a una URL establece, este valor puede ser una ruta completa, también puede ser una ruta de prefijo no-vacío, URL no comienza con un Disallow el elemento de valor es el robot acceso. Por ejemplo, el "Disallow: / help" ningún robot a visit/help*.html,/help/index.html, y "Disallow: / ayuda /" permite que el robot a acceso/help*.html, no access/Help/index.html.

"Disallow:" que permite que el robot para acceder a toda la URL del sitio en el "/ robots。txt" archivo, debe haber al menos uno no permitir registros。 Si "/ robots。txt" no existen ni vaciar archivos, entonces para todo robot motor de búsqueda, el sitio está abierto。

Permitir:

Los valores utilizados para describir un quiere ser alcanzado por una dirección URL establecen, a no permitir elementos similares a este valor puede ser una ruta completa, puede también ser un prefijo de ruta, URL está empezando a permitir valores permite que el robot acceder. Por ejemplo, "Allow: / hibaidu" permite al robot visit/hibaidu.htm,/hibaiducom.html,/hibaidu/com.html. Todo el valor predeterminado de URL es permitir que un sitio web, así que permitir y Disallow utilizada generalmente, implementaciones se permitieron acceder a algunas páginas Web al mismo tiempo para bloquear el acceso a todas las otras funciones de URL.

Convocatoria para la especial atención es el orden en que son significativas, permitir y no permitir líneas robot basado en las primeras líneas coincidentes de permitir o no permitir determinar si accede a una dirección URL.

Utilizar "*" y "$": Baiduspider admite el uso de caracteres comodín "*" y "$" a la URL correspondiente borrosa. El "$" coincide con el terminador de línea. "*" Coincide con 0 o más de cualquier carácter.


Por favor atención: la sede mundial de excelentes sitios - fwbhd.com
En un:  ¿Robot todo está permitido para acceder al archivo robots.txt cómo escribir?
El sitio actual:  Archivo robots.txt a menudo utiliza ejemplos a lo largo de estas líneas (versión completa)
Próximo:  Códigos de estado HTTP: una vista de la Página Web de conocimiento del código de estado


Dicho de: datos Por los 0430 miembros,Por favor indique la fuente,fuente-http://es.fwbhd.com/cn/web236244/.
Archivo robots.txt a menudo utiliza ejemplos a lo largo de estas líneas (versión completa) Gracias por su apoyo y participación!
Caicai este sitio0
Apoya este sitio1
Master de voz: Colabora con este sitio, haga clic en la parte superior o para alabarlo!  
Ahora, 1 Persona Enviar revisión Acerca de 'Archivo robots。txt a menudo utiliza ejemplos a lo largo de estas líneas (versión completa)'
»Ver todos los comentarios


  Nombre : * Opcional, en blanco es Anonymous
Contenido:
Caracteres restantes:   * Pulse Ctrl + Intro para enviar.
           
Consejos: Información proporcionada por los miembros de las estaciones globales de auto-publicación, por favor autenticidad de defensa propia; Observaciones presentadas sólo una vez, por favor espere para su aprobación antes de ser publicados.
1 piso Archivo robots.txt a menudo utiliza ejemplos a lo largo de estas líneas (versión completa) [*.*.*.*] Publicado el 2014/06/29/ 11:01:00
Bienvenido a visitar nuestro sitio web!
Archivo robots.txt a menudo utiliza ejemplos a lo largo de estas líneas (versión completa):Por favor, tenga en cuenta que sólo si su sitio Web contiene contenido que no desee ser indexado por los motores de búsqueda, tienes que usar el archivo robots.txt.

El Recomendar Conocimiento de página web de conocimiento Directorio web

Versión del sitio: English  中文(简体)  中文(繁體)  日本語  Español
Quiénes somos | Contáctenos | Envíe su sitio | Renuncia | Enlaces | Feedback | Categorías | Únete Condiciones | Bookmark esta página
Copyright 2004-2020 Todos los derechos reservados es.fwbhd.com
Bibliotecas de todo el mundo - Veinticuatro horas directorio de sitio superior gratuita en línea - hacer su sitio más cercano a nuestra vida!
La información contenida en este sitio web se toma de la red, consulte a identificarse al usar su cuenta y riesgo, fwbhd.com no asume ninguna responsabilidad.
在线快3平台 快三投注 福建快3计划 冠军彩票开奖 快赢彩票登陆 足球盈亏指数 恒彩彩票计划 快赢彩票登陆 人人红彩票app 万发彩票平台