Cómo optimizar los sistemas de archivos ext3 y ext4.

[X_tatane_X]

 

Introducción.

Cuando se trabaja con servidores, y estaciones de trabajo, con instalaciones de Ubuntu, CentOS, Red Hat o Fedora, y se busca optimizar el uso del disco duro de sistemas de archivos en formato Ext3 o Ext4, hay ajustes que pueden mejorar el desempeño de manera significativa.

Acerca de Ext3.

 

Ext3 (third extended filesystem o tercer sistema de archivos extendido) se diferencia de ext2 en que trabaja con registro por diario (journaling), y porque utiliza un árbol binario balanceado (árbol AVL, creado por los matemáticos rusos Georgii Adelson-Velskii, y Yevgeniy Landis), y también por incorporar el método Orlov de asignación para bloques de disco (el mismo que se gestiona a través de los mandatos lsattr, y chattr). Además ext3 permite ser montado, y utilizado, como si fuera ext2, y actualizar desde ext2 hacia ext3 sin necesidad de formatear la partición y, por tanto, sin perder los datos almacenados en ésta. Es el sistema de archivos predeterminado en CentOS 5 y Red Hat Enterprise Linux 5.

Acerca de Ext4.

 

Ext4 (fourth extended filesystem, o cuarto sistema de archivos extendido) es un sistema de archivos con registro por diario, publicado como una mejora compatible con el formato Ext3, por por Andrew Morton, el 10 de octubre de 2006. El 25 de diciembre de 2008 se publicó la versión 2.6.28 del núcleo de Linux, la cual eliminó la etiqueta experimental de código de Ext4. Las mejoras respecto de Ext3 incluyen, entre otras cosas, el soporte de volúmenes de hasta 1024 PiB, soporte añadido de extents (conjunto de bloques físicos contiguos), menor uso de recursos de sistema, mejoras sustanciales en la velocidad de lectura, y escritura, y verificación más rápida con fsck. Es el sistema de archivos predeterminado en CentOS 6 y Red Hat Enterprise Linux 6.

Acerca del registro por diario (journaling).

 

El registro por diario (journaling) es un mecanismo por el cual un sistema de archivos implementa transacciones. Consiste en un registro en el que se almacena la información necesaria para restablecer los datos dañados por una transacción en caso de que ésta falle, como puede ocurrir durante una interrupción de energía.

Procedimientos

 

Para determinar que dispositivos corresponden a las particiones en el disco duro, se utiliza el mandato df. Ejemplo:

[root@servidor ~]# df

S.archivos Bloques de 1K Usado Dispon Uso% Montado en

/dev/hda2 19283024 17279260 1207584 94% /

/dev/sda1 77749 21905 51830 30% /boot

/dev/sdb1 17496684 10618980 5988912 64% /home

/dev/hda5 54158844 41284544 11223624 79% /var/ftp

/dev/sda2 15352348 4874232 9698164 34% /home/rpmbuild

tmpfs 777732 0 777732 0% /dev/shm

Una vez determinados que dispositivos corresponden a las diferentes particiones, pueden aplicarse varios métodos de optimización.

Utilizando el mandato e2fsck.

 

El mandato e2fsck se utiliza regularmente para revisar, y reparar, particiones con formato ext2, y ext3. Incluye la opción -D que realiza la optimización de directorios en el sistema de archivos. La optimización de todos los directorios de una partición consiste en volver a posicionar (reindexing) los directorios, cuando el sistema de archivos incluye soporte para tal, o volviendo a acomodar, y comprimiendo directorios. La opción -D se debe utilizar junto con la opción -f para forzar la verificación de la partición del disco duro.

Para optimizar una partición en formato ext3, es indispensable que ésta esté desmontada. Para poder desmontar una partición es indispensable que el sistema funcione sin procesos haciendo uso de contenidos en dicha partición. Puede utilizarse el mandato lsof para determinar ésto, y así definir que es lo que se debe detener momentáneamente. Si el sistema funciona sin procesos haciendo uso de contenidos en la partición, se puede seguir el procedimiento ejemplificado a continuación con el dispositivo /dev/sda3 que en este particular ejemplo corresponde a la partición para /home:

umount /home

e2fsck -f -D /dev/sda3

La salida puede devolver algo similar a lo siguiente:

[root@m100 SPECS]# e2fsck -D -f /dev/sda3

e2fsck 1.39 (29-May-2006)

Pass 1: Checking inodes, blocks, and sizes

Pass 2: Checking directory structure

Pass 3: Checking directory connectivity

Pass 3A: Optimizing directories

Pass 4: Checking reference counts

Pass 5: Checking group summary information

 

/home: ***** FILE SYSTEM WAS MODIFIED *****

/home: 13/5244736 files (7.7% non-contiguous), 208319/5243214 blocks

Una vez terminado el procedimiento, se pueden volver a montar las particiones optimizadas.

En el caso de tratarse de particiones que sea imposible desmontar por encontrarse en uso, puede utilizarse el disco de instalación de CentOS, Fedora o Red Hat, en modo de rescate, o un Disco Vivo (LiveCD), en el caso de Ubuntu, desmontando las particiones que se quieran optimizar antes de proceder con el mandato e2fsck -f -D.

Opciones de montado.

 

Los sistemas de archivos ext3 y ext4 permiten tres opciones que particularmente son útiles. Todas se especifican en la columna de opciones de los dispositivos en el archivo /etc/fstab.

Opción noatime (eliminar tiempos de acceso).

 

Es la forma más rápida, y fácil, de lograr mejoras en el desempeño. Esta opción impide se actualice los tiempos de acceso de los inodos (nodos índice), los cuales realmente son poco utilizados por la mayoría de los usuarios. Esto permite mejor desempeño en servidores de noticias y HTTP pues permite un más rápido acceso hacia el sistema de archivos. Es particularmente útil en computadoras portátiles pues reduce considerablemente la cantidad de procesos de E/S o Entrada, y Salida (I/O, o Input/Output), del disco duro. Equivale a utilizar chattr +A, pero aplicado a todos los datos de la partición.

En el siguiente ejemplo, se configurará la opción noatime para la partición /var/www en el archivo /etc/fstab de un servidor HTTP.

LABEL=/var/www /var/www ext3 defaults,noatime 1 2

Opción commit (consignación de cambios).

 

Esta opción controla el tiempo que se utilizará entra cada operación sincronización (sync) de datos y metadatos en una partición. El tiempo predeterminado es de 5 segundos. Puede incrementarse ligeramente para mejorar el desempeño, tomando en cuenta que si se específica demasiado tiempo, y ocurre una interrupción de energía antes de hacer una operación de sincronización (sync), se perderán los datos más recientes con los que se haya trabajado. Esta opción sólo se recomienda si se dispone de un sistema de respaldo de energía confiable.

En el siguiente ejemplo, se configurará la opción commit con el valor equivalente a 8 segundos para la partición /var/www en el archivo /etc/fstab de un servidor HTTP.

 

LABEL=/var/www /var/www ext3 defaults,commit=8 1 2

Opción data (datos).

 

Nota: Debido a que se debe desmontar, y volver a montar, las modificaciones de esta opción requieren que la partición esté sin utilizar. Por lo cual se recomienda realizar este procedimiento desde un disco de rescate o bien iniciando el sistema en nivel de ejecución 1 (monousuario).

Esta opción permite tres posibles valores:

• ordered: Es el valor predeterminado. Escribe los datos asociados a los metadatos primero en el sistema de archivos antes de hacerlo en el registro por diario. Si la prioridad es garantizar la integridad de datos o bien se carece de un sistema de respaldo de energía confiable, es la opción que debe utilizarse.
  
• journal: Es lo opuesto a ordered. Obliga a escribir primero los datos en el registro por diario, y luego en el sistema de archivos, por lo cual utiliza un registro por diario más grande, y el cual, por lo tanto, demora más tiempo en recuperarse en caso de una falla del sistema o interrupción de energía. Éste es, evidentemente, el método más lento en la mayoría de los casos, salvo que se realicen operaciones de lectura, y escritura, al mismo tiempo, como ocurre con las bases de datos.
  
• writeback: Hace que el sistema de archivos se comporte de manera similar a XFS. Sin preservar el ordenamiento al escribir en el disco, de modo que las consignaciones de cambios (commits) en el registro por diario puede ocurrir antes de la escritura en el sistema de archivos. Este método es el más rápido porque sólo los metadatos se almacenan en el registro por diario, pero puede hacer que se muestren datos viejos después de una falla del sistema o interrupción de energía. Sólo se recomienda si se dispone de un sistema de respaldo de energía confiable, o bien si en la partición configurada con este formato de registro por diario hay cambios poco frecuentes en los datos (como el caso de /boot, /, /usr, /opt, /usr/local, y, en algunos, escenarios para /var/www), o bien particiones para temporales o caches (como /tmp, /var/tmp, y /var/cache. Poco recomendado para particiones donde hay cambios frecuentes en los datos almacenados, como ocurre con /home o /var, /var/lib o /var/spool.
  

En el siguiente ejemplo se configurará en el archivo /etc/fstab de un servidor HTTP, y bases de datos, la partición /var/www con la opción data con el valor writeback, y la partición /var/lib, con la opción data, y el valor journal:

LABEL=/var/www /var/www ext3 defaults,data=writeback 1 2

LABEL=/var/lib /var/lib ext3 defaults,data=journal 1 2

Antes de desmontar, y volver a montar, o reiniciar, el sistema, hay que convertir los registros de diarios a writeback o bien journal, dependiendo el caso. Para tal fin se utiliza el mandato tune2fs del siguiente modo, en el caso donde se desea cambiar al modo writeback el registro por diario de la partición LABEL=/var/www:

tune2fs -o journal_data_writeback LABEL=/var/www

En el caso donde se desea cambiar al modo journal el registro por diario de la partición LABEL=/var/lib, se utiliza lo siguiente:

tune2fs -o journal_data LABEL=/var/lib

Para revertir el cambio, y volver a utilizar el modo ordered, se puede utilizar el mandato tune2fs con la opción -o journal_data.

Para aplicar los cambios, sin correr el riesgo de reiniciar con errores de sintaxis en el archivo /etc/fstab que impedirían montar las particiones configuradas, se puede utilizar el mandato umount para desmontar la partición a modificar, y posteriormente el mandato mount para volver a desmontarlas. Ejemplos:

umount /var/www

umount /var/lib

mount /var/www

mount /var/lib

Utilizar el mandato mount con la opción -o remount siempre devolverá un error de opción incorrecta. Esta es la razón por la cual se desmontan, y montan las particiones, para cambiar el tipo de registro por diario de las particiones.

Si lo anterior devuelve el símbolo de sistema sin errores, significa que las opciones se aplicaron correctamente, y que el sistema puede ser reiniciado con toda seguridad en el momento que se considere apropiado.

Para regresar todo a como estaba originalmente, se edita el archivo /etc/fstab, y se elimina la opción data=valor, de la partición ivolucrada:

LABEL=/var/www /var/www ext3 defaults 1 2

LABEL=/var/lib /var/lib ext3 defaults 1 2

Se desmontan las particiones:

umount /var/lib

umount /var/www

Y con el mandato tune2fs se define nuevamente el formato ordered:

tune2fs -o journal_data_ordered LABEL=/var/lib

tune2fs -o journal_data_ordered LABEL=/var/www

Y finalmente se vuelven a montar las particiones:

mount /var/lib

mount /var/www

Si lo anterior devuelve el símbolo de sistema sin errores, significa que las opciones fueron revertidas, y aplicadas, correctamente, y que el sistema puede ser reiniciado con toda seguridad en el momento que se considere apropiado.

Convirtiendo particiones de Ext3 a Ext4.

 

En CentOS 6 o Red Hat Enterprise Linux 6, el formato predeterminado en las particiones es Ext4, por lo cual es innecesario convertir de Ext3 a Ext4.

Ext4 ha demostrado ser un sistema de archivos con mucho mejor desempeño que su predecesor, Ext3. Si uno sólo necesita hacer pruebas, es posible montar una partición Ext3 como Ext4 modificando el archivo /etc/fstab, pero carecerá de muchas funciones propias de Ext4.

Instalando los paquetes correspondientes, CentOS 5.5, y versiones posteriores, incluye el soporte necesario para convertir al formato Ext4 las particiones Ext3, preservando los datos originales en el sistema de archivos, con la única restricción de que jamás se deberá convertir a Ext4 las particiones que correspondan /boot y /, debido a que en CentOS 5, y Red Hat Enterprise Linux 5 la versión de Grub, el gestor de arranque, carece de soporte para iniciar desde particiones Ext4.

Es muy importante realizar un respaldo de información importante antes de proceder, por si acaso algo saliese mal.. Nuevamente, si se utiliza CentOS 5 o Red Hat Enterprise Linux 5, jamás se deben convertir a Ext4 las particiones que correspondan a /boot o /.

En CentOS 5 o Red Hat Enterprise Linux 5, para poder utilizar el formato Ext4 en cualquier otra partición, se requiere que el sistema tenga instalado el paquete e4fsprogs:

yum -y install e4fsprogs

Este paquete incluye las herramientas necesarias para gestionar particiones Ext4, como son e4fsck, e4label, mke4fs, mkfs.ext4, y dumpe4fs, entre otras herramientas.

A partir de este punto, y con el objetivo de realizar pruebas, sólo será necesario editar el archivo /etc/fstab, y modificar la configuración de cualquier partición (excepto las que correspondan a /boot, y /), y cambiar ext3 por ext4. Hasta aquí, es posible revertir el cambio volviendo a editar el archivo /etc/fstab, y volviendo a definir ext3 como formato de la partición modificada.

Para convertir una partición por completo a Ext4, lo cual haría que de modo irreversible jamás se pueda volver a montar como Ext3, debe desmontarse primero la partición a convertir, y posteriormente utilizar el mandato tune4fs con las opciones -O extents,uninit_bg,dir_index. En el siguiente ejemplo se aplica el mandato tune4fs a la partición /dev/sda7, que correspondería a /tmp, para convertirla a Ext4.

umount /tmp

 

tune4fs -O extents,uninit_bg,dir_index /dev/sda7

Lo anterior sólo requiere utilizar en seguida el mandato fsck.ext4 para verificar la partición, y completar así los cambios necesarios en el sistema de archivos. El mandato fsck.ext4 debe utilizarse con las opciones -fyD (forzar verificación, contestar si a todas las modificaciones necesarias, y optimizar directorios).

fsck.ext4 -fyD /dev/sda7

Si la partición está en uso, como sería el caso de las correspondientes a /usr y/o /var, será necesario hacer lo anterior desde un disco vivo de Fedora, versión 13 en adelante. El modo de rescate del disco de instalación de CentOS, versión 5.5 en adelante, incluye también soporte básico para Ext4, aunque carece de soporte para convertir particiones de Ext3 a Ext4 a través del mandato tune2fs, y carece de mandato tune4fs. Por tanto, el intérprete de mandatos del modo de rescate del disco de instalación de CentOS 5.5 sólo permitirá verificar, y reparar, particiones Ext4 a través del mandato fsck.ext4.

En el archivo /etc/fstab se reemplaza LABEL=/tmp por el nombre real del dispositivo, y ext3 por ext4.

LABEL=/ / ext3 defaults 1 1

LABEL=/boot /boot ext3 defaults 1 2

/dev/sda7 /tmp ext4 defaults 1 2

tmpfs /dev/shm tmpfs defaults 0 0

devpts /dev/pts devpts gid=5,mode=620 0 0

sysfs /sys sysfs defaults 0 0

proc /proc proc defaults 0 0

LABEL=SWAP-hda3 swap swap defaults 0 0

Un punto importante a considerar es que Ext4 utiliza UUID (Universally Unique Identifier, o Identificador Universalmente Único) en lugar de etiquetas. El UUID se puede determinar utilizando el mandato blkid del siguiente modo:

blkid /dev/sda7

Lo cual devolvería algo similar a lo siguiente:

/dev/sda7: LABEL="/tmp" UUID="238e532b-250c-4a80-87a3-3aecc9715795" TYPE="ext4"

Con esta información, el archivo /etc/fstab quedaría del siguiente modo:

LABEL=/ / ext3 defaults 1 1

LABEL=/boot /boot ext3 defaults 1 2

UUID=238e532b-250c-4a80-87a3-3aecc9715795 /tmp ext4 defaults 1 2

tmpfs /dev/shm tmpfs defaults 0 0

devpts /dev/pts devpts gid=5,mode=620 0 0

sysfs /sys sysfs defaults 0 0

proc /proc proc defaults 0 0

LABEL=SWAP-hda3 swap swap defaults 0 0

Eliminando el registro por diario (journal) de Ext4.

 

Advertencias.

 

Este procedimiento aplica exclusivamente a las particiones con formato Ext4. El formato Ext3 carece de soporte para funcionar sin registro por diario.

Antes de comenzar, es importante aclarar que eliminar por completo el registro por diario implica perder una importante función que garantiza la integridad de los datos de una partición en caso de una interrupción de energía o una falla general del sistema. Sólo se recomienda eliminar el registro por diario en los casos donde se dispone de un buen respaldo de energía (ultra-portátiles, por ejemplo), un sistema operativo estable y/o se tienen particiones asignadas a directorios donde la información es poco relevante (como /tmp, /var/tmp o /var/cache). Este procedimiento está absolutamente contraindicado en servidores o donde se requiera una garantía absoluta de integridad de datos.

Hay que considerar además que la mejoría obtenida puede ser apenas perceptible, y, muy probablemente, sólo amerite eliminar el registro por diario en particiones en unidades de estado sólido (SSD).

Es importante también realizar un respaldo de información importante antes de proceder, por si acaso algo saliese mal..

Procedimientos.

 

Asumiendo que se dispone de una partición /dev/sda7, que en el ejemplo corresponde a /tmp, que fue previamente convertida a Ext4, utilizando el método descrito en este mismo documento, o formateada en Ext4, se debe desmontar la partición:

 

umount /tmp

Para eliminar el registro por diario de la partición /dev/sda7 en CentOS 5 o Red Hat Enterprise Linux 5, se requiere ejecutar el mandato tune4fs, de la siguiente forma:

tune4fs -O ^has_journal /dev/sda7

Para eliminar el registro por diario de la partición /dev/sda7 en CentOS 6 o Red Hat Enterprise Linux 6, se requiere ejecutar el mandato tune2fs, de la siguiente forma:

tune2fs -O ^has_journal /dev/sda7

El símbolo ^ (acento circunflejo) significa que se elimina una opción. En este caso la opción eliminada fue has_journal, que es las responsable del registro por diario.

sin importar la versión de sistema operativo, o anterior requiere utilizar en seguida el mandato fsck, con las opciones -pDf (reparar automáticamente lo que sea necesario, y que prescinda de interacción humana, optimizar re-ordenando directorios, y forzar verificación) a fin de realizar correcciones importantes e indispensables en el sistema de archivos.

fsck.ext4 -pDf /dev/sda7

Eliminar el registro por diario de una partición ext4 hace que irremediablemente se pierda el UUID, por lo cual invariablemente hay que editar el archivo /etc/fstab, y establecer el nombre real del dispositivo en lugar del UUID:

LABEL=/ / ext3 defaults 1 1

LABEL=/boot /boot ext3 defaults 1 2

/dev/sda7 /tmp ext4 defaults 1 2

tmpfs /dev/shm tmpfs defaults 0 0

devpts /dev/pts devpts gid=5,mode=620 0 0

sysfs /sys sysfs defaults 0 0

proc /proc proc defaults 0 0

LABEL=SWAP-hda3 swap swap defaults 0 0

Hecho lo anterior, se habrá completado el procedimiento. Basta con volver a montar la partición para verificar que todo funcione correctamente. La mejoría será apenas perceptible, pero brindará el máximo rendimiento posible para el sistema de archivos Ext4, superando incluso el desempeño en cuanto a velocidad de Ext2.

En un equipo con una partición /tmp con registro por diario, y la misma partición /tmp, sin registro por diario, la escritura de 1 GB de información demoró lo siguiente:

/tmp con registro por diario

real 0m9.796s

user 0m0.444s

sys 0m4.441s /tmp sin registro por diario

real 0m8.978s

user 0m0.487s

sys 0m3.811s

Como pude verse, la diferencia es muy poca, pero significativa.

En el dado caso que se quiera volver a utilizar el registro por diario, sólo basta con volver a iniciar con el disco vivo, abrir una terminal, y ejecutar lo siguiente.

su -l

umount /home

tune2fs -O has_journal /dev/sda7

fsck -pDf /dev/sda7

mount /home

-----------------------------

Lamentablemente no es trabajo mio así que todos los créditos van para : Joel Barrios Dueñas, de "alcancelibre.org".

 

Suerte :cool:

[pinox¹]

Gracias por el aporte, lo voy a probar en un hdd de mi centos, se recomienda backup antes de realizar los procedimientos

pd: como soy humano ocupo df -h ( -h, --human-readable print sizes in human readable format (e.g., 1K 234M 2G))

salu2