Una guía detallada para el análisis de archivos de registro para SEO


El archivo de registro de su sitio web registra cada una de las solicitudes realizadas a su servidor, y el análisis de esta información puede revelar información sobre cómo los motores de búsqueda están rastreando su sitio y sus páginas web.

En esta guía, vamos a profundizar en cómo llevar a cabo un análisis de archivo de registro y para qué se puede usar en SEO, específicamente en:

¿Qué es el análisis de archivos de registro?

El análisis de archivos de registro es una SEO técnico tarea que le permite ver exactamente cómo Googlebot (y otros usuarios y rastreadores web) interactúa con su sitio web. Un archivo de registro le brinda información valiosa que puede informar su Estrategia SEO o resolver problemas relacionados con el rastreo y la indexación de sus páginas web.

Pero antes de analizar los principales conocimientos que puede obtener al realizar un análisis de archivo de registro, tomemos un momento para comprender qué es un archivo de registro y un poco más sobre la información que contiene.

Realizar un análisis de archivo de registro

con Semrush Log File Analyzer

Especifique un dominio válido, por ejemplo,
www.example.com

¿Qué es un archivo de registro y qué información contiene?

El archivo de registro de su sitio web se almacena en su servidor y registra información sobre las solicitudes realizadas.

Cada vez que un usuario o un bot visita una página web de su sitio, se registra una entrada en su archivo de registro para cada recurso que se carga. El registro muestra exactamente cómo los usuarios, los motores de búsqueda y otros rastreadores interactúan con su sitio.

A continuación, se muestra un ejemplo de cómo se ve un archivo de registro:

Captura de pantalla del archivo de registro Crédito de la imagen: Cuarta P

Dentro de un archivo de registro, encontrará datos que incluyen:

  • La URL de la página o el recurso que se solicita.

  • El código de estado HTTP de la solicitud.

  • La dirección IP del servidor de solicitudes.

  • Una marca de tiempo del hit (fecha y hora)

  • El agente de usuario que realiza la solicitud (p. Ej., Googlebot)

  • El método de la solicitud (GET / POST)

También puede encontrar la IP del cliente, el tiempo necesario para descargar el recurso y la referencia también se incluyen.

Si está mirando un archivo de registro por primera vez, no se puede negar que puede resultar confuso. Sin embargo, si comprende para qué se utiliza el análisis de archivos de registro y cómo hacerlo, estará en condiciones de obtener información realmente valiosa.

¿Para qué se utiliza el análisis de archivos de registro en SEO?

Hay varias ideas diferentes que puede obtener del archivo de registro de su sitio como SEO, y algunas de las principales que necesita saber son:

  • La frecuencia con la que Googlebot rastrea su sitio y sus páginas más importantes (y si se están rastreando) e identifica las páginas que no se rastrean con frecuencia.

  • Identificación de las páginas y carpetas que más se rastrean

  • Ya sea que su sitio presupuesto de rastreo se desperdicia en páginas irrelevantes

  • Buscar URL con parámetros que se rastrean innecesariamente

  • Si su sitio se ha trasladado a indexación móvil primero

  • El código de estado específico publicado para cada una de las páginas de su sitio y áreas de interés para la búsqueda.

  • Si una página es innecesariamente grande o lenta

  • Encontrar recursos estáticos que se rastrean con demasiada frecuencia

  • Encontrar cadenas de redireccionamiento rastreadas con frecuencia

  • Detectar aumentos o disminuciones repentinos en la actividad de los rastreadores

Cómo hacer un análisis de archivo de registro

Ahora que hemos echado un vistazo a algunos de los conocimientos que se pueden obtener con el análisis de archivos de registro, veamos cómo hacerlo.

Necesitarás:

Si bien puede convertir un .log en un .csv simplemente cambiando el nombre del archivo, lo que significa que luego se puede abrir y analizar en Excel o Google Sheets, el uso de una herramienta dedicada hace que el análisis sea más fácil y rápido. Esto significa que puede dedicar más tiempo a buscar soluciones para cualquier problema que encuentre en lugar de interpretar los datos manualmente.

Dicho esto, si desea ejecutar un análisis manual, deberá estar familiarizado con el uso avanzado de cualquiera de estos, incluida la creación de tablas dinámicas. Si no está familiarizado con cómo hacer esto en Excel, puede leer esta guía o echa un vistazo a éste para aprender a hacerlo en Google Sheets.

Alternativamente, use Semrush Log File Analyzer para evitar la necesidad de aprender a hacer esto (sin embargo, las tablas dinámicas son útiles para una gran cantidad de tareas, y vale la pena aprender más sobre ellas).

Dónde obtener su archivo de registro

Antes de que pueda analizar el archivo de registro de su sitio, debe obtener una copia.

Los archivos de registro se almacenan en su servidor web y necesitará acceder a ellos para descargar una copia. Si no tiene este nivel de acceso, hable con su desarrollador web o equipo de TI, pídales que lo proporcionen o compartan una copia del archivo de registro.

Para acceder al archivo de registro, deberá usar el administrador de archivos de su panel de control del servidor, a través de la línea de comando o usando un cliente FTP (si aún no tiene uno, Filezilla es gratis y viene recomendado).

Asumiremos que accede a su servidor a través de FTP, dado que esto es lo más común.

Una vez que se haya conectado al servidor, deberá navegar hasta la ubicación del archivo de registro del servidor. Las configuraciones de servidor comunes pueden encontrar esto en las siguientes ubicaciones:

  • apache: / Var / log / access_log
  • Nginx: registros / access.log
  • IIS: % SystemDrive% inetpub logs LogFiles

Sin embargo, es importante tener en cuenta que recuperar el archivo de registro de su sitio no siempre es tan simple y los desafíos comunes que se pueden enfrentar incluyen:

  • Descubrir que un administrador del servidor ha desactivado los archivos de registro y no están disponibles
  • Clientes u otros equipos internos que no estén dispuestos a proporcionar archivos de registro o acceso para recuperarlos
  • Tamaños de archivo enormes
  • Archivos de registro que solo almacenan datos recientes (basados ​​en varios días o visitas)
  • Problemas causados ​​por CDN
  • Formatos personalizados

Dicho esto, todos estos problemas tienen soluciones en las que generalmente se puede trabajar junto con un desarrollador o administrador del servidor.

Presentación del analizador de archivos de registro de Semrush

los Analizador de archivos de registro Semrush es una forma ideal de obtener una idea de cómo los motores de búsqueda están rastreando su sitio sin tener una amplia experiencia en auditarlos manualmente.

Ya hemos compartido cómo puede ser complejo y confuso para aquellos que nunca antes han realizado un análisis de archivo de registro. Sin embargo, nuestra herramienta puede ayudarlo a obtener los mismos conocimientos de manera simple y directa.

De hecho, nosotros recomendamos utilizar la herramienta por las siguientes razones:

Analizar un archivo de registro manualmente es tedioso. A menos que esté altamente capacitado en el análisis técnico de sitios web, puede ser una tarea ardua que lo deje bizco y confundido. Si desea la forma más rápida de leer un registro de acceso y comprender cómo los bots de Google interactúan con su sitio web, esta es la herramienta para usted.

El uso de la herramienta hace que el análisis de archivos de registro sea rápido y fácil de entender, y aquí hay un proceso paso a paso simple y directo:

1.Asegúrese de que su archivo de registro tenga el formato correcto

Antes de usar la herramienta, deberá asegurarse de que su archivo de registro tenga el formato correcto; ese es el formato de access.log adecuado. La herramienta también admite variaciones de formato de registro W3C, Kinsta y Combined.

El formato de archivo adecuado es "Formato de registro combinado" y utiliza la siguiente estructura:

%h %l %u %t "%r" %>s %b "%{Referer}i" "%{User-agent}i"

Dónde:

  • h – el host / dirección IP desde el cual se realizó la solicitud al servidor
  • l – ID de cliente, generalmente permanece en blanco (representado por un guión (-) en el archivo)
  • u – nombre de usuario, generalmente permanece en blanco (representado por un guión (-) en el archivo)
  • t: la hora y la zona horaria de la solicitud al servidor
  • r – el tipo de solicitud, su contenido y versión
  • s – el código de estado HTTP
  • b – el tamaño del objeto solicitado (en bytes)
  • Referer: la fuente de la URL de la solicitud (página anterior) a menudo permanece en blanco (representada por un guión (-) en el archivo)
  • User-Agent: el encabezado HTTP que contiene información sobre la solicitud (aplicación cliente, idioma, etc.)

También hay un tamaño máximo de carga de 1 GB que debe tener en cuenta.

2. Cargue su archivo de registro en la herramienta

Analizador de archivos de registro Semrush

Puede arrastrar y soltar su (s) archivo (s) de registro en la herramienta o buscar en su máquina el archivo para prepararse para ejecutar el análisis.

Asegúrese de que sus archivos de registro no contengan ningún dato personal como se recomienda en esta etapa. Es importante tener en cuenta que el análisis de archivos de registro para SEO solo requerirá datos GET y no datos POST (se pueden encontrar datos confidenciales dentro de este).

3. Inicie el analizador de archivos de registro

iniciar analizador de archivos de registro

Una vez que se haya cargado su archivo de registro, agregue otro archivo (en los casos en que los datos que desea analizar se dividan en dos o más archivos) o presione 'Iniciar analizador de archivos de registro' para comenzar el análisis.

Es posible que haya una breve espera mientras se ejecuta la herramienta, según el tamaño del archivo.

4. Analice los datos de su archivo de registro

Una vez que se haya analizado su archivo de registro, verá dos informes principales dentro de la herramienta:

  • Actividad del robot de Google
  • Visitas por páginas

Si observa primero la actividad del robot de Google, puede obtener información sobre la cantidad diaria de visitas de diferentes bots (bots), ver el desglose de los diferentes códigos de estado (códigos de estado) y ver la frecuencia con la que se han solicitado diferentes tipos de archivos (tipo de archivo) .

Bots:

bots "data-fullsize-src =" https://static.semrush.com/blog/uploads/media/6d/7e/6d7e4d990b6bde40a9f884878473c372/bots.png "data-source-height =" 654 "data-source-width = "2778" height = "208" src = "data: image / svg + xml,% 3Csvg% 20xmlns = 'http: //www.w3.org/2000/svg'%20viewBox='0%200%20885%20208 '% 3E% 3C / svg% 3E "width =" 885 "on =" tap: lightbox-img "tabindex =" 0 "role =" button "class =" b-lazyload lazyload b-lazyload__skeleton "onerror =" ventana. lazyLoadErrorFallback && window.lazyLoadErrorFallback.call (this) "></picture></span></p>
<p><noscript><img alt=

Códigos de estado:

códigos de estado

Tipos de archivo:

tipos de archivo

Puede utilizar estos conocimientos para comprender:

  • Cuántas solicitudes hacen a su sitio los distintos bots de motores de búsqueda cada día (Bots)
  • El desglose de los diferentes códigos de estado HTTP encontrados por día (códigos de estado)
  • Un desglose de los diferentes tipos de archivos rastreados cada día (tipos de archivo)

Estas estadísticas abarcan todo el sitio, pero para obtener información específica sobre cómo el robot de Google y otros rastreadores acceden al contenido de sus sitios, consulte la Visitas por páginas reporte.

hits por paginas

Aquí verá información para páginas específicas (Filtrar por ruta), ver cuál de las páginas o carpetas de su sitio tiene más o menos visitas de bot (ordenar por la columna Bot Hits), o ver cuáles se rastrean con mayor frecuencia.


El uso de la herramienta hace que el análisis de archivos de registro sea simple y directo. No hay ninguna razón por la que los SEO necesiten analizar manualmente su archivo de registro cuando pueden usar una herramienta para acelerar el proceso.

Dedique tiempo a optimizar su sitio, no a analizar datos.

Realizar un análisis de archivo de registro

con Semrush Log File Analyzer

Especifique un dominio válido, por ejemplo,
www.example.com