\layout Chapter
Introducción
+\layout Standard
+
+Esta es la documentación correspondiente a las API`s para el manejo de tres
+ organizaciones de archivo diferentes.
+ A continuación se describe cada una de ellas y su modo de funcionamiento
+ y sus características principales.
+ De la correcta elección de la organización, dependerá la eficiencia de
+ la aplicación que la utilice.
+
+\layout Standard
+
+EMUFS se presenta como un
+\emph on
+emulador
+\emph default
+ de un
+\emph on
+filesystem
+\emph default
+, capaz de administrar datos almacenados en cualquiera de las tres organizacione
+s de archivo previamente mencionadas, las cuales a saberse son:
+\layout Enumerate
+
+Registros de Longitud Variable, Bloques de tamaño parametrizable
+\layout Enumerate
+
+Registros de Longitud Variable, Sin Bloques
+\layout Enumerate
+
+Registros de Longitud Fija, Bloques de tamaño parametrizables
+\layout Standard
+
+A través de este trabajo, se podrán observar las diferencias entre distintos
+ tipos de organización de archivos, ventajas y desventajas de cada una de
+ ellas, y las situaciones particulares que deberá sortear un filesystem,
+ como la partición de registros en distintos bloques, manejo de espacio
+ libre, compactación de un archivo, etc.
+\layout Standard
+
+A continuación, veremos que el manejo de los archivos en EMUFS se realiza
+ a través de una estructura de control comun para cualquier tipo de archivo,
+ dandole flexibilidad y escalabilidad a nuestro sistema.
+\layout Standard
+
+Hacia el final de esta presentación, se observaran las pruebas realizadas
+ con las distintas organizaciones de archivos, y las conclusiones obtenidos
+ al respecto.
\layout Chapter
Estructura común
prooverá una interfaz (funciones) para su manejo).
\layout Subsection
+Tipos Comunes
+\layout Standard
+
+En la implementación de cada tipo de organización física, así como tambien
+ en las API de los archivos auxiliares comunes a ellas, se da la utilización
+ de tipo definidos para una clara interfaz entre las mismas, los cuales
+ son brevemente descriptos a continuación y pueden ser hallados en el archivo
+
+\series bold
+emufs.h
+\series default
+:
+\layout Itemize
+
+
+\family typewriter
+EMUFS_REG_ID
+\family default
+: usado para representar un
+\emph on
+Id
+\emph default
+ de un registro.
+\layout Itemize
+
+
+\family typewriter
+EMUFS_REG_SIZE
+\family default
+: usado para representar el tamaño en bytes de un registro.
+\layout Itemize
+
+
+\family typewriter
+EMUFS_BLOCK_ID
+\family default
+: usado para representar un número de bloque.
+\layout Itemize
+
+
+\family typewriter
+EMUFS_BLOCK_SIZE
+\family default
+: usado para representar el tamaño en bytes de un bloque.
+\layout Itemize
+
+
+\family typewriter
+EMUFS_FREE
+\family default
+: usado para representar espacio libre en bytes.
+\layout Itemize
+
+
+\family typewriter
+EMUFS_OFFSET
+\family default
+: usado para representar un offset.
+\layout Standard
+
+Todos son del tipo
+\family typewriter
+unsigned long
+\family default
+.
+\layout Subsection
+
EMUFS
\layout Standard
\begin_inset Quotes erd
\end_inset
- organizado de la forma 3, se invoca a la función
+ organizado de la forma 3, se invoca a la función:
+\layout Standard
+
+
\family typewriter
-EMUFS *emufs_crear(const char *filename, EMUFS_Tipo tipo,EMUFS_BLOCK_SIZE
- tam_bloque, EMUFS_REG_SIZE tam_reg),
+emufs_crear(filename,tipo,tam_bloque,tam_reg),
\family default
donde
\family typewriter
A saberse los valores y significado correspondiente que puede tomar este
tipo de dato son:
-\layout Enumerate
+\layout Itemize
-Archivos con registros de longitud variable y bloques parametrizables.
-\layout Enumerate
-Archivos con registros de longitud variable sin bloques.
-\layout Enumerate
+\series bold
+T1
+\series default
+ : Archivos con registros de longitud variable y bloques parametrizables.
+\layout Itemize
+
+
+\series bold
+T2
+\series default
+ : Archivos con registros de longitud variable sin bloques.
+\layout Itemize
+
-Archivos con registros de longitud fija y bloques parametrizables.
+\series bold
+T3
+\series default
+ : Archivos con registros de longitud fija y bloques parametrizables.
\layout Subsection
EMUFS_Estadisticas
\family typewriter
unsigned long
\family default
- tam_archivo: indica el tamaño del archivo de datos (.dat) en bytes.
+
+\family typewriter
+tam_archivo
+\family default
+: indica el tamaño del archivo de datos (.dat) en bytes.
\layout Itemize
\family typewriter
unsigned long
\family default
- tam_archivos_aux: indica el tamaño de los archivos auxiliares sumados en
- bytes.
+
+\family typewriter
+tam_archivos_aux
+\family default
+: indica el tamaño de los archivos auxiliares sumados en bytes.
\layout Itemize
\family typewriter
unsigned long
\family default
- tam_info_control_dat: indica la cantidad de bytes en información de control
- utilizados para el archivo.
+
+\family typewriter
+tam_info_control_dat
+\family default
+: indica la cantidad de bytes en información de control utilizados para
+ el archivo.
\layout Itemize
\family typewriter
unsigned long
\family default
- media_fs: promedio de espacio libre en el archivo de datos (por bloque
- o gap promedio segun la org)
+
+\family typewriter
+media_fs
+\family default
+: promedio de espacio libre en el archivo de datos (por bloque o gap promedio
+ segun la org)
\layout Itemize
\family typewriter
unsigned long
\family default
- total_fs: total de espacio libre en el archivo de datos.
+
+\family typewriter
+total_fs
+\family default
+: total de espacio libre en el archivo de datos.
\layout Itemize
\family typewriter
unsigned long
\family default
- max_fs: máximo espacio libre en el archivo de datos (en un bloque o máximo
- gap segun la org).
+
+\family typewriter
+max_fs
+\family default
+: máximo espacio libre en el archivo de datos (en un bloque o máximo gap
+ segun la org).
\layout Itemize
\family typewriter
unsigned long
\family default
- min_fs: idem pero mínimo.
+
+\family typewriter
+min_fs
+\family default
+: idem pero mínimo.
\layout Itemize
\family typewriter
unsigned long
\family default
- cant_bloques: cantidad de bloques en el archivo de datos (.
+
+\family typewriter
+cant_bloques
+\family default
+: cantidad de bloques en el archivo de datos (.
\series bold
dat
\series default
\family typewriter
unsigned long
\family default
- cant_registros: cantidad de registros en el archivo de datos (
+
+\family typewriter
+cant_registros
+\family default
+: cantidad de registros en el archivo de datos (
\series bold
.dat
\series default
\layout Standard
En base a la estructura descripta anteriormente y mediante la utilización
- de la función
+ de la función de lectura de estadísticas l
\family typewriter
emufs_leer_estadisticas()
\family default
cant bloques, tam archivo, etc):
\layout Itemize
-
-\emph on
Relación entre espacio libre y el tamaño del archivo de datos (
\series bold
.dat
Desviaciones extremas de espacio libre (máximo/mínimo espacio libre en bloque
o mayor/menor gap)
-\layout Subsection
-
-Tipos Comunes
-\layout Standard
-
-En la implementación de cada tipo de organización física, así como tambien
- en las API de los archivos auxiliares comunes a ellas, se da la utilización
- de tipo definidos para una clara interfaz entre las mismas, los cuales
- son brevemente descriptos a continuación y pueden ser hayados en el archivo
-
-\series bold
-emufs.h
-\series default
-:
-\layout Itemize
-
-typedef
-\family typewriter
-unsigned long EMUFS_REG_ID
-\family default
-: usado para representar un
-\emph on
-Id
-\emph default
- de un registro.
-\layout Itemize
-
-typdef
-\family typewriter
-unsigned long EMUFS_REG_SIZE
-\family default
-: usado para representar el tamaño en bytes de un registro.
-\layout Itemize
-
-typedef
-\family typewriter
-unsigned long EMUFS_BLOCK_ID
-\family default
-: usado para representar un número de bloque.
-\layout Itemize
-
-typdef
-\family typewriter
-unsigned long EMUFS_BLOCK_SIZE
-\family default
-: usado para representar el tamaño en bytes de un bloque.
-\layout Itemize
-
-typedef
-\family typewriter
-unsigned long EMUFS_FREE
-\family default
-: usado para representar espacio libre en bytes.
-\layout Itemize
-
-typedef
-\family typewriter
-unsigned long EMUFS_OFFSET
-\family default
-: usado para representar un offset.
\layout Section
\layout LyX-Code
/- 4 bytes -/
+\layout Section
+
+Uso de la estructura EMUFS
+\layout Standard
+
+Como fue mencionado anteriormente en la descripción de la estructura EMUFS,
+ la misma proporciona al usuario una interfaz a través de la cual puede
+ realizar el manejo de archivos en forma genérica, abstrayéndose del tipo
+ de organización física en particular que dicho archivo posea.
+ Se la declara en
+\series bold
+emufs.h
+\series default
+ y las funciones que inicializan la estructura se encuentran en
+\series bold
+emufs.c
+\layout Standard
+
+Es decir que a traves de esta estructura, podemos manejar cualquier tipo
+ de archivo, mediante una misma interfaz en común.
+ La estructura
+\family typewriter
+EMUFS
+\family default
+posee además de ciertos datos que describen la organización física de un
+ archivo dado como por ejemplo
+\series bold
+\emph on
+tamaño de registro
+\series default
+\emph default
+,
+\series bold
+\emph on
+tamaño de bloque
+\series default
+\emph default
+ y
+\series bold
+\emph on
+nombre del archivo
+\series default
+\emph default
+, una serie de punteros a funciones para el manejo del archivo del cual
+ es handler:
+\layout Standard
+
+Entre dichos funciones se encuentran:
+\family typewriter
+leer_registro()
+\family default
+,
+\family typewriter
+leer_bloque(), borrar_registro()
+\family default
+,
+\family typewriter
+agregar_registro()
+\family default
+,
+\family typewriter
+modificar_registro, leer_estadisticas()
+\family default
+,
+\family typewriter
+compactar().
+\layout Standard
+
+Para entender mejor el uso de esta estructura para el manejo de los archivos,
+ mostraremos un ejemplo concreto.
+ Supongamos que tenemos el siguiente código:
+\layout LyX-Code
+
+EMUFS *efs = emufs_crear(¨articulos.dat¨,T3,200,50);
+\layout Standard
+
+Esto hará que se cree el archivo de datos
+\series bold
+articulos.dat
+\series default
+, con la organización física tipo 3 con registros de longitud fija de 50
+ bytes y bloques de 200 bytes.
+ Al mismo tiempo, los se asginarán valores a los punteros a funciones que
+ posee dicha estructura, la cual de ahora en más estará en condiciones de
+ manejar un archivo del tipo 3.
+ Gráficamente lo que sucede es:
+\layout Standard
+
+
+\begin_inset Float figure
+placement H
+wide false
+collapsed true
+
+\layout Caption
+
+Inicialización de estructura EMUFS para un caso Archivo Tipo 3
+\layout Standard
+\align center
+
+\begin_inset Graphics
+ filename graphics/Emufsinit.png
+ scale 80
+
+\end_inset
+
+
+\end_inset
+
+
+\layout Standard
+
+Así pues, cuando se utilize la estructura para por ejemplo leer un registro,
+ sucedera lo siguiente:
+\layout LyX-Code
+
+efs->leer_registro(params) -- calls --> emufs_tipo3_leer_registro(params)
+\layout Standard
+
+Como se puede observar, la estructura
+\family typewriter
+EMUFS
+\family default
+ permitirá el manejo de cualquier tipo de archivo, a través del mismo código,
+ dandole gran flexibilidad a nuestro sistema, que podrá expandirse a más
+ tipos de archivos de ser necesario.
\layout Chapter
Archivos Auxiliares
):
\layout LyX-Code
-typedef unsigned long EMUFS_REG_ID;
-\layout LyX-Code
-
-typedef unsigned long EMUFS_OFFSET;
-\layout LyX-Code
-
typedef struct emufs_idx_t {
\layout LyX-Code
Baja:
\series default
Ante el borrado de un registro del archivo de datos, se accederá el registro
- correspondiente en el índice, y se actualizara su LOCATION, estableciendolo
- en el valor -1 UL, el cual indica que ese registro ha sido eliminado y
- por ende no se lo podrá localizar en el futuro.
+ correspondiente en el índice, y se actualizara su LOCATION, estableciendolo
+ en el valor especial
+\family typewriter
+EMUFS_NOT_FOUND
+\family default
+, el cual indica que ese registro ha sido eliminado y por ende no se lo
+ podrá localizar en el futuro.
Como se verá mas adelante, según el tipo de organización física, el registro
puede ser borrado concretamente del .
\series bold
typedef struct emufs_fsc_t {
\layout LyX-Code
- unsigned long int marker;
+ EMUFS_BLOCK_ID marker;
\layout LyX-Code
- unsigned long int freespace;
+ EMUFS_FREE freespace;
\layout LyX-Code
} EMUFS_FSC;
\layout List
\labelwidthstring 00.00.0000
-Baja Cuando el sistema desee grabar un nuevo registro en el archivo de datos,
+
+\series bold
+Baja
+\series default
+ Cuando el sistema desee grabar un nuevo registro en el archivo de datos,
este pedirá un
\family typewriter
id_reg
Bajas de registros
\layout Standard
+Al eliminar un registro lo primero que se hace es actualizar los archivos
+ de índice y de indentificadores recuperables, poniendo como número de bloque
+ el valor especial
+\family typewriter
+EMUFS_NOT_FOUND
+\family default
+ y agregando el identificador del registro a borrar respectivamente.
+ También se actualiza el archivo de control de espacio libre por cada bloque
+ (en caso de ser más de uno, en registros
+\emph on
+multibloque
+\emph default
+, se actualizan todos los bloques) y se carga el bloque en memoria para
+
+\emph on
+alinear los datos a izquierda
+\emph default
+ (en caso de ser un registro
+\emph on
+multibloque
+\emph default
+, esto se realiza sólo para el último bloque).
+ Para alinear los datos, se recorre secuencialmente en bloque (leyendo la
+ cabecera de cada registro y salteando los datos) hasta encontrar el registro
+ a borrar.
+ Encontrado el registro, se copian todos los bytes que se encuentran entre
+ el fin del registro a borrar y el fin del bloque, en el comienzo del bloque
+ borrado.
+\layout Standard
+
Ver:
\family typewriter
emufs_tipo1_borrar_registro()
Modificación de registros
\layout Standard
+Se optó por un algoritmo simple y general, que usa las funciones de alto
+ nivel mencionadas hasta ahora.
+ Simplemento borra el registro y vuelve a crearlo.
+ Al recuperar el último identificador de registro borrado, nos aseguramos
+ de que se mantenga el identificador del registro.
+\layout Standard
+
Ver:
\family typewriter
emufs_tipo1_modificar_registro()
Obtención de estadísticas
\layout Standard
+Es una función bastante simple, con una única complicación que mencionaremos
+ más adelante.
+\layout Standard
+
+Para obtener las máximas desviaciones, cantidad total de espacio libre,
+ cantidad de registros y tamaño de los archivos auxiliares se utilizan las
+ funciones apropiadas de los archivos auxiliares (ver secciones
+\begin_inset LatexCommand \ref{sec:idx}
+
+\end_inset
+
+,
+\begin_inset LatexCommand \ref{sec:fsc}
+
+\end_inset
+
+ y
+\begin_inset LatexCommand \ref{sec:did}
+
+\end_inset
+
+).
+\layout Standard
+
+Para obtener la cantidad de bloques se hace el siguiente calculo:
+\layout LyX-Code
+
+cant_bloques = (tamaño_archivo_datos - tamaño_cabecera_archivo_datos)
+\layout LyX-Code
+
+ / tamaño_bloque;
+\layout Standard
+
+Hasta aquí no hay mayores inconvenientes.
+ El problema se presenta para calcular el tamaño de la información de control
+ utilizada por el archivo de datos; se utiliza el siguiente cálculo:
+\layout LyX-Code
+
+tam_info_control_datos = tamaño_cabecera_archivo_datos
+\layout LyX-Code
+
+ + cant_registros * tamaño_cabecera_registro;
+\layout Standard
+
+Aunque a simple vista esto parece acertado, no contempla el caso de los
+ registros
+\emph on
+multibloque
+\emph default
+ (pág
+\begin_inset LatexCommand \pageref{sub:tipo1_reg_multi}
+
+\end_inset
+
+), estos registros almacenan
+\family typewriter
+tamaño_cabecera_registro * N
+\family default
+, donde
+\family typewriter
+N
+\family default
+ es la cantidad de bloques que ocupan.
+ Salvar este caso sería muy costoso, porque habría que recorrer el archivo
+ registro a registro,
+\emph on
+fragmento
+\emph default
+ a
+\emph on
+fragmento
+\emph default
+ e ir contando todas las cabeceras de registro que aparecen (similar a lo
+ que se hace en la compactación, ver sección
+\begin_inset LatexCommand \ref{sub:tipo1_compact}
+
+\end_inset
+
+).
+ Al tratarse este de un caso excepcional, se optó por mantener la función
+ simple ya que funciona bien en la mayoría de los casos.
+\layout Standard
+
Ver:
\family typewriter
emufs_tipo1_leer_estadisticas()
\layout Subsection
+
+\begin_inset LatexCommand \label{sub:tipo1_compact}
+
+\end_inset
+
Compactación del archivo de datos
\layout Standard
+Esta función es una de las más simples, porque se limita a un algoritmo
+ muy simple que utiliza las funciones de
+\emph on
+alto nivel
+\emph default
+ antes nombradas para realizar su tarea.
+ Básicamente recorre el archivo de índices de registros, de comienzo a fin,
+ leyendo el registro, borrándolo y volviéndolo a insertar.
+ Si había espacio libre en un bloque anterior al que estaba, será insertado
+ en él, si no volverá a grabarse en el lugar en que estaba.
+ De esta forma se aprovechan todos los espacios libres intermedios, concluyendo
+ con un archivo igual o más pequeño que el original.
+\layout Standard
+
+Esta implementación no es la más eficiente, pero siendo que esta es una
+ operación costosa y excepcional por naturaleza, se optó por mantener el
+ algoritmo simple a costo de un poco de eficiencia.
+\layout Standard
+
Ver:
\family typewriter
emufs_tipo1_compactar()
\begin_inset Float figure
placement H
wide false
-collapsed true
+collapsed false
\layout Caption
\series bold
.idx
\series default
-), permite la localizacin de los registros en el .DAT de forma directa, mediante
- la obtención de su offset o posición relativa respecto del inicio del
+), permite la localización de los registros en el .DAT de forma directa,
+ mediante la obtención de su offset o posición relativa respecto del inicio
+ del
\series bold
.dat
\series default
en donde se encuentra un registro dado, indicado por su ID.
\layout Standard
-Así pues, si tomamos el ejemplo descripto al inicio de este capítudlo, tendremos
- las siguientes entradas en el archivo indice
+Así pues, si tomamos el ejemplo descripto al inicio de este capítulo, tendremos
+ las siguientes entradas en el archivo índice
\series bold
.idx
\series default
Achivo de Gaps / Espacios Libres (.fsc)
\layout Standard
-El archivo de espacios libres o gaps (.fsc), tiene como función la administracion
+El archivo de espacios libres o gaps (.fsc), tiene como función la administración
del espacio libre o gaps (agujeros), generados por previas eliminaciones
de registros en el archivo de datos.
El mismo, nos indicará donde hay lugar para insertar un nuevo registro
(se podrán insertar en algún gap acorde, o bien al final del archivo).
- Este archivo será utilizado tambien para el proceso de compactación de
+ Este archivo será utilizado tambien para el proceso de compactación de
un archivo, explicado luego.
\layout Standard
\emph default
Por requerimiento del algoritmo de compactación, los gaps se graban en
forma ordenada en el (.fsc).
- (El orden se corresponde con lo que hay en el .dat)
+ (El orden se corresponde con lo que hay en el
+\series bold
+.dat
+\series default
+.
\layout Subsubsection*
GAP Merging
de registros del archivo, lo que provoca como consecuencia directa la fragmenta
ción del archivo, es decir, quedan huecos entre un registro y otro, lo que
produce un desperdicio de espacio.
+\layout Standard
+
+La implementación de este tipo de archivo puede ser encontrada en
+\family typewriter
+emufs/tipo3.c
+\family default
+ mientras que su interfaz pública está disponible en
+\family typewriter
+emufs/tipo3.h
+\family default
+.
\layout Section
Organización Física
Así como los graba, también tendrá la posibilidad de leer registros y borrarlos
del archivo.
+\layout Standard
+
+El archivo estara compuesto por una cabecera que da información sobre el
+ tipo de organización, el tamaño de los bloques y el tamaño de los registros.
\layout Subsection
-Comportamiento Particular de los Archivos Auxiliares
-\layout Subsubsection
+Organización Física de un Bloque
+\layout Standard
-Archivo de Bloques y Registros (.idx)
-\layout Comment
+Cada bloque será capaz de contener la cantidad de registros enteros que
+ quepan en él.
+ De esta manera un registro que no entre completamente en el bloque deberá
+ almacenarce en un bloque diferente.
+\layout Standard
-buscar algun caso extraordinario.
-\layout Subsubsection
+Los bloques no contienen ninguna información adicional, solo se conoce su
+ tamaño y se usa para delimitar
+\begin_inset Quotes eld
+\end_inset
-Archivo de Bloques y Espacio Libre (.fsc)
-\layout Subsubsection
+virtualmente
+\begin_inset Quotes erd
+\end_inset
+
+ zonas en el archivo.
+\layout Subsection
-Archivo de Id`s Borrados (.did)
+Organizacion Física de Registros
\layout Standard
-El comportamiento de este archivo, es común para todas las organizaciones
- y se ha explicado en 3.3.2.
+Cada registro se almacena en un bloque, y contiene una cabecera que indica
+ su
+\emph on
+ID,
+\emph default
+por este motivo al realizar la busqueda de espacio en un bloque se lo hará
+ preguntando por el tamaño del registro más
+\family typewriter
+sizeof(EMUFS_REG_ID).
+
+\layout Subsection
+
+Organización Física de Registros Multibloque
+\layout Standard
+
+Al ser los registros de longitud constante, se ha adoptado que un registro
+ multibloque nunca podra estar almacenado en algún lugar que no sea el comienzo
+ de un bloque.
+ De esta manera se puede calcular cuantos bloques ocupará un registro y
+ se podrá solicitar lugar para almacenarlo con la ayuda de la función
+\family typewriter
+emufs_fsc_buscar_n_lugares(),
+\family default
+que es muy importante para evitar el solapamiento de registros.
+ Esta consideración acarrea como consecuencia directa un alto costo en términos
+ del espacio desperdiciado.
\layout Section
Funciones Principales
para mantener la coherencia.
\layout Standard
+Cuando nos encontramos con registros multibloque, se calcula cuantos bloques
+ ocupará el registro de la siguiente manera:
+\family typewriter
+Cantidad de Bloques = 1 + Tamaño del Registro/(Tamaño del Bloque-Sizeof(EMUFS_RE
+G_ID)
+\layout Standard
+
+Esta ecuación solo falla en el caso que el tamaño del registro y el tamaño
+ del bloque sean iguales, en tal caso, se coloca el valor 1 en
+\family typewriter
+Cantidad de Bloques
+\family default
+ post verificación.
+\layout Standard
+
+Y con esta información se realiza un ciclo
+\family typewriter
+for
+\family default
+ que grabará tantas veces como sea necesario levantando y grabando los bloques
+ que correspondan.
+\layout Standard
+
Ver:
\family typewriter
emufs_tipo3_grabar_registro()
ser así, si no se realizara el mismo.
\layout Standard
+En el caso de los registros multibloque, se eliminará la porción del registro
+ contenida en el primer bloque y se actualizarán de manera conveniente los
+ archivos índice, para restaurarlos a un valor verdadero.
+\layout Standard
+
Ver:
\family typewriter
emufs_tipo3_borrar_registro()
\layout Section
Consideraciones y Políticas de Diseño
-\layout Comment
-
-Esto para mi va en organización física.
\layout Standard
Se han tomado ciertas consideraciones para algunos casos particulares que
projects / z.facultad / 75.06 / emufs.git / blobdiff