X-Git-Url: https://git.llucax.com/z.facultad/75.06/emufs.git/blobdiff_plain/d916a88e11de815e4793e54c61476376135aa94d..cd61d59673e28422ae9940d985868d436a75eed3:/doc/informe.lyx?ds=inline diff --git a/doc/informe.lyx b/doc/informe.lyx index 8e5ee5b..7139768 100644 --- a/doc/informe.lyx +++ b/doc/informe.lyx @@ -43,12 +43,137 @@ Ricardo Markiewicz \layout Chapter Introducción +\layout Standard + +Esta es la documentación correspondiente a las API`s para el manejo de tres + organizaciones de archivo diferentes. + A continuación se describe cada una de ellas y su modo de funcionamiento + y sus características principales. + De la correcta elección de la organización, dependerá la eficiencia de + la aplicación que la utilice. + +\layout Standard + +EMUFS se presenta como un +\emph on +emulador +\emph default + de un +\emph on +filesystem +\emph default +, capaz de administrar datos almacenados en cualquiera de las tres organizacione +s de archivo previamente mencionadas, las cuales a saberse son: +\layout Enumerate + +Registros de Longitud Variable, Bloques de tamaño parametrizable +\layout Enumerate + +Registros de Longitud Variable, Sin Bloques +\layout Enumerate + +Registros de Longitud Fija, Bloques de tamaño parametrizables +\layout Standard + +A través de este trabajo, se podrán observar las diferencias entre distintos + tipos de organización de archivos, ventajas y desventajas de cada una de + ellas, y las situaciones particulares que deberá sortear un filesystem, + como la partición de registros en distintos bloques, manejo de espacio + libre, compactación de un archivo, etc. +\layout Standard + +A continuación, veremos que el manejo de los archivos en EMUFS se realiza + a través de una estructura de control comun para cualquier tipo de archivo, + dandole flexibilidad y escalabilidad a nuestro sistema. +\layout Standard + +Hacia el final de esta presentación, se observaran las pruebas realizadas + con las distintas organizaciones de archivos, y las conclusiones obtenidos + al respecto. \layout Chapter Estructura común \layout Section Tipos +\layout Standard + +Se detallan a continuación los tipos de datos definidos y utilizados en + las distintas implementaciones que conforman nuestro sistema, siendo el + más importante de ellos, la estructura +\family typewriter +EMUFS +\family default + que actúa como interfaz común para el manejo de cualquier tipo de archivo + (no importa que tipo de organización física posea un archivo, esta estructura + prooverá una interfaz (funciones) para su manejo). +\layout Subsection + +Tipos Comunes +\layout Standard + +En la implementación de cada tipo de organización física, así como tambien + en las API de los archivos auxiliares comunes a ellas, se da la utilización + de tipo definidos para una clara interfaz entre las mismas, los cuales + son brevemente descriptos a continuación y pueden ser hallados en el archivo + +\series bold +emufs.h +\series default +: +\layout Itemize + + +\family typewriter +EMUFS_REG_ID +\family default +: usado para representar un +\emph on +Id +\emph default + de un registro. +\layout Itemize + + +\family typewriter +EMUFS_REG_SIZE +\family default +: usado para representar el tamaño en bytes de un registro. +\layout Itemize + + +\family typewriter +EMUFS_BLOCK_ID +\family default +: usado para representar un número de bloque. +\layout Itemize + + +\family typewriter +EMUFS_BLOCK_SIZE +\family default +: usado para representar el tamaño en bytes de un bloque. +\layout Itemize + + +\family typewriter +EMUFS_FREE +\family default +: usado para representar espacio libre en bytes. +\layout Itemize + + +\family typewriter +EMUFS_OFFSET +\family default +: usado para representar un offset. +\layout Standard + +Todos son del tipo +\family typewriter +unsigned long +\family default +. \layout Subsection EMUFS @@ -63,94 +188,101 @@ EMUFS \emph default es la estuctura principal que encapsula todas las funciones para el manejo de un archivo de datos. + Posee punteros a funciones que dependiendo de la organización fisica por + la cual se opte dentro del sistema, serán asignados de acorde. + \layout Standard -Esta estructura consta de: -\layout Enumerate +Su declaración puede ser observada en el archivo +\series bold +emufs.h +\series default +y la misma cuenta con los siguiente campos: +\layout Itemize \family typewriter EMUFS_Tipo \family default que es un tipo enumerado que indica cual es la organización. -\layout Enumerate +\layout Itemize \family typewriter EMUFS_BLOCK_SIZE \family default indica el tamaño del bloque para los tipos 1 y 3. -\layout Enumerate +\layout Itemize \family typewriter EMUFS_REG_SIZE \family default indica el tamaño del registro, para el tipo 3 que posee tamaño constante. -\layout Enumerate +\layout Itemize \family typewriter void **leer_bloque() \family default puntero a la función para leer un bloque. -\layout Enumerate +\layout Itemize \family typewriter void *leer_bloque_raw() \family default puntero a la función para leer un bloque, el anterior y el siguiente. -\layout Enumerate +\layout Itemize \family typewriter void **leer_registro() \family default puntero a la función para leer un registro. -\layout Enumerate +\layout Itemize \family typewriter void **leer_registro_raw() \family default puntero a la función para leer un registro con su encabezado. -\layout Enumerate +\layout Itemize \family typewriter EMUFS_REG_ID *grabar_registro() \family default puntero a la función para grabar un registro. -\layout Enumerate +\layout Itemize \family typewriter EMUFS_REG_ID *modificar_registro() \family default puntero a la función para modificar un registro. -\layout Enumerate +\layout Itemize \family typewriter int *borrar_registro() \family default puntero a la función para borrar un registro. -\layout Enumerate +\layout Itemize \family typewriter EMUFS_Estadisticas *leer_estadisticas() \family default puntero a la función para cargar una estructura con las estadísticas. -\layout Enumerate +\layout Itemize \family typewriter void *compactar() \family default puntero a la función para compactar un archivo. -\layout Enumerate +\layout Itemize \family typewriter @@ -160,7 +292,12 @@ char *nombre \layout Standard Esta estructura define los valores de sus punteros según el tipo de organización - que se desee manejar. + que se desee manejar y esto se realiza a través del API emufs, implementado + en +\series bold +emufs.c +\series default +, que se describirá posteriormente. \layout Standard Por ejemplo si se desea crear un archivo de nombre @@ -171,10 +308,12 @@ facturas \begin_inset Quotes erd \end_inset - organizado de la forma 3, se invoca a la función + organizado de la forma 3, se invoca a la función: +\layout Standard + + \family typewriter -EMUFS *emufs_crear(const char *filename, EMUFS_Tipo tipo,EMUFS_BLOCK_SIZE - tam_bloque, EMUFS_REG_SIZE tam_reg), +emufs_crear(filename,tipo,tam_bloque,tam_reg), \family default donde \family typewriter @@ -214,15 +353,211 @@ emufs_tipo3_leer_bloque() \layout Subsection EMUFS_Tipo +\layout Standard + + +\family typewriter +EMUFS_Tipo +\family default + es un tipo de dato enum, el cual será utilizado en la cabecera de todo + archivo de datos ( +\series bold +.dat +\series default +), para indicar los distintos tipos de organización física. + Su declaración puede verse en el archivo +\series bold +emufs.h. +\layout Standard + +A saberse los valores y significado correspondiente que puede tomar este + tipo de dato son: +\layout Itemize + + +\series bold +T1 +\series default + : Archivos con registros de longitud variable y bloques parametrizables. +\layout Itemize + + +\series bold +T2 +\series default + : Archivos con registros de longitud variable sin bloques. +\layout Itemize + + +\series bold +T3 +\series default + : Archivos con registros de longitud fija y bloques parametrizables. \layout Subsection EMUFS_Estadisticas -\layout Subsection +\layout Standard -EMUFS_BLOCK_ID + +\family typewriter +EMUFS_Estadisticas +\family default + es una estructura que almacenará los datos pertinentes a las estadísticas + de un archivo dado, y será utilizada para visualizar dichas observaciones + a través de la GUI. +\layout Standard + +Su declaración puede ser observada en el archivo +\series bold +emufs.h +\series default +y la misma cuenta con los siguiente campos: +\layout Itemize + + +\family typewriter +unsigned long +\family default + +\family typewriter +tam_archivo +\family default +: indica el tamaño del archivo de datos (.dat) en bytes. +\layout Itemize + + +\family typewriter +unsigned long +\family default + +\family typewriter +tam_archivos_aux +\family default +: indica el tamaño de los archivos auxiliares sumados en bytes. +\layout Itemize + + +\family typewriter +unsigned long +\family default + +\family typewriter +tam_info_control_dat +\family default +: indica la cantidad de bytes en información de control utilizados para + el archivo. +\layout Itemize + + +\family typewriter +unsigned long +\family default + +\family typewriter +media_fs +\family default +: promedio de espacio libre en el archivo de datos (por bloque o gap promedio + segun la org) +\layout Itemize + + +\family typewriter +unsigned long +\family default + +\family typewriter +total_fs +\family default +: total de espacio libre en el archivo de datos. +\layout Itemize + + +\family typewriter +unsigned long +\family default + +\family typewriter +max_fs +\family default +: máximo espacio libre en el archivo de datos (en un bloque o máximo gap + segun la org). +\layout Itemize + + +\family typewriter +unsigned long +\family default + +\family typewriter +min_fs +\family default +: idem pero mínimo. +\layout Itemize + + +\family typewriter +unsigned long +\family default + +\family typewriter +cant_bloques +\family default +: cantidad de bloques en el archivo de datos (. +\series bold +dat +\series default +) +\layout Itemize + + +\family typewriter +unsigned long +\family default + +\family typewriter +cant_registros +\family default +: cantidad de registros en el archivo de datos ( +\series bold +.dat +\series default +) \layout Standard -etc +En base a la estructura descripta anteriormente y mediante la utilización + de la función de lectura de estadísticas l +\family typewriter +emufs_leer_estadisticas() +\family default + disponible en la estructura común +\family typewriter +EMUFS +\family default + handler de cualquier tipo de archivo, podremos obtener una serie de estadística +s que pasamos a detallar (más alla de los datos básicos como cant registros, + cant bloques, tam archivo, etc): +\layout Itemize + +Relación entre espacio libre y el tamaño del archivo de datos ( +\series bold +.dat +\series default +) +\layout Itemize + +Relación entre el espacio ocupado por información de control y el tamaño + del archivo de datos ( +\series bold +.dat +\series default +) +\layout Itemize + +Cantidad promedio de espacio libre (en bloque o gap promedio) +\layout Itemize + +Desviaciones extremas de espacio libre (máximo/mínimo espacio libre en bloque + o mayor/menor gap) \layout Section @@ -319,12 +654,139 @@ archivo \layout LyX-Code /- 4 bytes -/ -\layout Chapter +\layout Section -Archivos Auxiliares +Uso de la estructura EMUFS \layout Standard -Acompañando al archivo de datos ( +Como fue mencionado anteriormente en la descripción de la estructura EMUFS, + la misma proporciona al usuario una interfaz a través de la cual puede + realizar el manejo de archivos en forma genérica, abstrayéndose del tipo + de organización física en particular que dicho archivo posea. + Se la declara en +\series bold +emufs.h +\series default + y las funciones que inicializan la estructura se encuentran en +\series bold +emufs.c +\layout Standard + +Es decir que a traves de esta estructura, podemos manejar cualquier tipo + de archivo, mediante una misma interfaz en común. + La estructura +\family typewriter +EMUFS +\family default +posee además de ciertos datos que describen la organización física de un + archivo dado como por ejemplo +\series bold +\emph on +tamaño de registro +\series default +\emph default +, +\series bold +\emph on +tamaño de bloque +\series default +\emph default + y +\series bold +\emph on +nombre del archivo +\series default +\emph default +, una serie de punteros a funciones para el manejo del archivo del cual + es handler: +\layout Standard + +Entre dichos funciones se encuentran: +\family typewriter +leer_registro() +\family default +, +\family typewriter +leer_bloque(), borrar_registro() +\family default +, +\family typewriter +agregar_registro() +\family default +, +\family typewriter +modificar_registro, leer_estadisticas() +\family default +, +\family typewriter +compactar(). +\layout Standard + +Para entender mejor el uso de esta estructura para el manejo de los archivos, + mostraremos un ejemplo concreto. + Supongamos que tenemos el siguiente código: +\layout LyX-Code + +EMUFS *efs = emufs_crear(¨articulos.dat¨,T3,200,50); +\layout Standard + +Esto hará que se cree el archivo de datos +\series bold +articulos.dat +\series default +, con la organización física tipo 3 con registros de longitud fija de 50 + bytes y bloques de 200 bytes. + Al mismo tiempo, los se asginarán valores a los punteros a funciones que + posee dicha estructura, la cual de ahora en más estará en condiciones de + manejar un archivo del tipo 3. + Gráficamente lo que sucede es: +\layout Standard + + +\begin_inset Float figure +placement H +wide false +collapsed true + +\layout Caption + +Inicialización de estructura EMUFS para un caso Archivo Tipo 3 +\layout Standard +\align center + +\begin_inset Graphics + filename graphics/Emufsinit.png + scale 75 + keepAspectRatio + +\end_inset + + +\end_inset + + +\layout Standard + +Así pues, cuando se utilize la estructura para por ejemplo leer un registro, + sucedera lo siguiente: +\layout LyX-Code + +efs->leer_registro(params) -- calls --> emufs_tipo3_leer_registro(params) +\layout Standard + +Como se puede observar, la estructura +\family typewriter +EMUFS +\family default + permitirá el manejo de cualquier tipo de archivo, a través del mismo código, + dandole gran flexibilidad a nuestro sistema, que podrá expandirse a más + tipos de archivos de ser necesario. +\layout Chapter + +Archivos Auxiliares +\layout Standard + +Acompañando al archivo de datos ( \series bold .dat \series default @@ -402,12 +864,6 @@ EMUFS_IDX ): \layout LyX-Code -typedef unsigned long EMUFS_REG_ID; -\layout LyX-Code - -typedef unsigned long EMUFS_OFFSET; -\layout LyX-Code - typedef struct emufs_idx_t { \layout LyX-Code @@ -421,16 +877,17 @@ typedef struct emufs_idx_t { \layout Standard -\series bold -\emph on -Ejemplo de registro en archivo índice (.idx), para un archivo de organizacion - Tipo 1 y 3: -\newline +\begin_inset Float table +placement H +wide false +collapsed true -\series default -\emph default +\layout Caption + +Ejemplo de registro en archivo índice (.idx), para un archivo de organizacion + Tipo 1 y 3 +\layout Standard -\newline \begin_inset Tabular @@ -494,22 +951,20 @@ Indica que el registro de id_reg = 5, se encuentra en el bloque 54 \end_inset -\layout Standard +\end_inset -\SpecialChar ~ + +\begin_inset Float table +placement H +wide false +collapsed true -\newline +\layout Caption -\series bold -\emph on Ejemplo de registro en archivo índice (.idx), para un archivo de organizacion - Tipo 2: -\series default -\emph default - -\newline - -\newline + Tipo 2 +\layout Standard + \begin_inset Tabular @@ -573,14 +1028,14 @@ Indica que el registro de id_reg = 5, se encuentra en el bloque 54 \end_inset +\end_inset + + \layout Standard \series bold \emph on -\SpecialChar ~ - -\newline Nota: \series default \emph default @@ -634,21 +1089,22 @@ id_reg .dat \series default ). - -\newline +\series bold \newline -NOTA: Cabe aclarar que por si bien el indice se encuentra ordenado por +NOTA: +\series default + Cabe aclarar que por si bien el indice se encuentra ordenado por \family typewriter id_reg \family default -, los registros en el archivo de datos, por lo general no lo estarán. - (ordenados por id). +, los registros en el archivo de datos, por lo general no lo estarán (ordenados + por id). \newline Ver: \family typewriter -emufs_idx_buscar_registro() +emufs_idx_buscar_registro(), emufs_idx_get() \layout List \labelwidthstring 00.00.0000 @@ -671,9 +1127,13 @@ emufs_idx_agregar() Baja: \series default Ante el borrado de un registro del archivo de datos, se accederá el registro - correspondiente en el índice, y se actualizara su LOCATION, estableciendolo - en el valor -1 UL, el cual indica que ese registro ha sido eliminado y - por ende no se lo podrá localizar en el futuro. + correspondiente en el índice, y se actualizara su LOCATION, estableciendolo + en el valor especial +\family typewriter +EMUFS_NOT_FOUND +\family default +, el cual indica que ese registro ha sido eliminado y por ende no se lo + podrá localizar en el futuro. Como se verá mas adelante, según el tipo de organización física, el registro puede ser borrado concretamente del . \series bold @@ -732,8 +1192,6 @@ Para el caso de una organizaci Los registros de este archivo se encuentran representados una estructura que indica un número de bloque u offset y el espacio libre disponible en el mismo (o apartir del mismo en el caso del offset). -\newline - \layout Standard @@ -760,10 +1218,10 @@ EMUFS_FSC typedef struct emufs_fsc_t { \layout LyX-Code - unsigned long int marker; + EMUFS_BLOCK_ID marker; \layout LyX-Code - unsigned long int freespace; + EMUFS_FREE freespace; \layout LyX-Code } EMUFS_FSC; @@ -772,14 +1230,18 @@ typedef struct emufs_fsc_t { \series bold \emph on -Ejemplo de registro en archivo de espacio libre en bloque (.fsc), para un - archivo de organizacion Tipo 1 y 3: -\newline -\series default -\emph default +\begin_inset Float table +placement H +wide false +collapsed true + +\layout Caption + +Ejemplo de registro en archivo de control de espacio libre para un archivo + con bloques +\layout Standard -\newline \begin_inset Tabular @@ -843,22 +1305,23 @@ Indica que en el bloque 12, hay 120 bytes libres al final del mismo. \end_inset -\layout Standard +\end_inset -\SpecialChar ~ + +\begin_inset Float table +placement H +wide false +collapsed true -\newline +\layout Caption -\series bold +Ejemplo de registro en archivo de \emph on -Ejemplo de registro en archivo de gaps o espacios libres en archivo (.fsc), - para un archivo de organizacion Tipo 2: -\series default +gaps \emph default - -\newline - -\newline + para un archivo sin bloques +\layout Standard + \begin_inset Tabular @@ -922,14 +1385,14 @@ Indica que a partir del byte 12 del archivo de datos, hay 120 bytes libres. \end_inset +\end_inset + + \layout Standard \series bold \emph on -\SpecialChar ~ - -\newline Nota: \series default \emph default @@ -938,7 +1401,7 @@ Como se puede observar, para distintas organizaciones el significado de en consecuencia. \layout Subsection -Comportamiento +Funciones principales \layout Standard Las declaraciones e implementación se pueden encontrar en @@ -967,17 +1430,27 @@ B \family typewriter nro_bloque \family default - se posee espacio suficiente para albergar el nuevo registro. + se posee espacio suficiente para albergar el nuevo registro (o a partir + de qué +\family typewriter +nro_bloque +\family default + se encuentran +\family typewriter +N +\family default + bloques consecutivos libres). En el caso de organizacion sin bloque, se buscará un gap o espacio libre en el archivo, obteniéndose en consecuencia, el \family typewriter offset \family default hasta el mismo. + \newline Ver: \family typewriter -emufs_fsc_buscar_lugar() +emufs_fsc_buscar_lugar(), emufs_fsc_buscar_n_lugares() \layout List \labelwidthstring 00.00.0000 @@ -1067,7 +1540,7 @@ emufs_fsc_borrar_gap() \end_inset -Archivo de índices recuperables +Archivo de id's recuperables \layout Standard El archivo de Id's liberado ( @@ -1119,7 +1592,7 @@ EMUFS_REG_ID el cual simboliza al id que fue liberado en un proceso de baja de registros. \layout Subsection -Comportamiento +Funciones principales \layout Standard Las declaraciones e implementación se pueden encontrar en @@ -1166,7 +1639,11 @@ emufs_did_agregar() \layout List \labelwidthstring 00.00.0000 -Baja Cuando el sistema desee grabar un nuevo registro en el archivo de datos, + +\series bold +Baja +\series default + Cuando el sistema desee grabar un nuevo registro en el archivo de datos, este pedirá un \family typewriter id_reg @@ -1264,7 +1741,7 @@ archivo +-----------+-----------+------------------------//-+ \layout LyX-Code -| tipo | tam bloque| Cero o más bloques ... +| tipo | tam_bloque| Cero o más bloques ... \backslash @@ -1272,67 +1749,591 @@ archivo | \layout LyX-Code -+-----------+-----------+------------------------//-+ ++-----------+-----------+------------------------//-+ +\layout LyX-Code + +/- 4 bytes -/- 4 bytes -/ +\layout Subsection + +Organización física de un bloque +\layout Standard + +Cada bloque no guarda información en sí, sólo se comporta como un contenedor + de registros. + Esto no significa que un bloque no tenga utilidad, el bloque es utilizado + para proveer un acceso semi-aleatorio a los registros. + Para esto se utiliza el archivo de índice (ver página +\begin_inset LatexCommand \ref{sec:idx} + +\end_inset + +), que almacena pares [identificador de registro, número de bloque]. + Para que sea suficiente este único índice para hallar un registro (siendo + que puede haber más de un registro por bloque), es necesario +\emph on +alinear los registros a izquierda +\emph default +. + Esto significa que hay que asegurar que siempre los registros en un bloque + se presenten de forma consecutiva, jamás permitiendo que haya un espacio + libre entre registros (en un mismo bloque). +\layout Standard + +Podemos ver un ejemplo de esto en forma gráfica: +\layout LyX-Code + +bloque N-1 | bloque N | bloque N+1 +\layout LyX-Code + +/----------+------------+------------+---------------+-----------/ +\layout LyX-Code + + +\backslash + | registro 1 | registro 2 | espacio libre | +\backslash + +\layout LyX-Code + +/----------+------------+------------+---------------+-----------/ +\layout LyX-Code + + /------------- tamaño del bloque ---------/ +\layout Standard + +De esta forma, una vez obtenido el número de bloque, se pueda recorrer secuencia +lmente hasta encontrar el registro deseado. + A fin de llevar el conteo de espacio libre se utiliza el archivo de control + de espacio libre (ver página +\begin_inset LatexCommand \ref{sec:fsc} + +\end_inset + +), de forma tal que no sea necesario recorrer secuencialmente en busca de + espacio libre al hacer una inserción. +\layout Standard + +Puede darse un caso excepcional en el que un registro sea más grande que + un bloque, en este caso el registro se almacenará en N bloques consecutivos + (siendo N la cantidad de bloques que necesita el registro), ocupando completos + los todos los bloques a excepción del último, en el que posteriormente + se pueden agregar más registros. +\layout Subsubsection + + +\begin_inset LatexCommand \label{sub:tipo1_reg} + +\end_inset + +Organización física de un registro. +\layout Standard + +El registro es el que representa al dato realmente que se quiere almacenar. + Para representar ese dato se necesita una determinada información de control, + tanto para poder identificar el registro en un bloque (en búsquedas secuenciale +s dentro del bloque) como para saber su longitud (dado que este tipo de + archivo utiliza registros de tamaño variable). +\layout Standard + +Siguiendo la metodología general de E +\begin_inset Formula $\mu$ +\end_inset + +FS, se optó por incluir esta información de control como una cabecera al + comienzo del registro, siguiendo a esta los datos en sí. + La cabecera está compuesta por un identificador ( +\family typewriter +id +\family default +) de registro (EMUFS_REG_ID, 4 bytes) seguido por el tamaño ( +\family typewriter +tamaño +\family default +) del registros (EMUFS_REG_SIZE, 4 bytes). + Podemos ver gráficamente como se se compone un registro: +\layout LyX-Code + +registro [id] +\layout LyX-Code + ++-----------+-----------+------------------+ +\layout LyX-Code + +| id | tamaño | datos ... + | +\layout LyX-Code + ++-----------+-----------+------------------+ +\layout LyX-Code + +/- 4 bytes -/- 4 bytes -/- [tamaño] bytes -/ +\layout Subsubsection + + +\begin_inset LatexCommand \label{sub:tipo1_reg_multi} + +\end_inset + +Organización física de un registro más grande que un bloque (registro +\emph on +multibloque +\emph default +). +\layout Standard + +Puede darse el caso excepcional en que un registro sea de mayor longitud + que un bloque. + Al ser una situación excepcional, no siempre se resuelve de la forma más + eficiente ni se mínimiza el espacio ocupado por datos de control (como + se dijo anteriormente, se prefirió conservar la simpleza del código, adoptando + algoritmos generales aunque no sea de la forma más eficiente o maximizando + el uso del espacio para no perjudicar la mantenibilidad). +\layout Standard + +Para menejar un registro +\emph on +multibloque +\emph default +se optó por limitarlo a la siguiente estructura (suponiendo que el registro + ocupa N bloques, con N > 1 y que un +\emph on +fragmento +\emph default + es una porción del registro que entra en un bloque): +\layout Itemize + +Los primeros N-1 +\emph on +fragmentos +\emph default + se almacenan en bloques completos consecutivos. +\layout Itemize + +El último fragmento se almacena al comienzo del bloque inmediatamente posterior + al penúltimo. +\layout Itemize + +Cada framento posee las cabeceras mencionadas en la sección +\begin_inset LatexCommand \ref{sub:tipo1_reg} + +\end_inset + +, cuyo contenido es el siguiente: +\begin_deeper +\layout Itemize + +En +\family typewriter +id +\family default + se almacena el identificador único obtenido al hacer el alta. +\layout Itemize + +En +\family typewriter +tamaño +\family default + se almacena el tamaño del +\emph on +fragmento +\emph default + actual más los tamaños de los +\emph on +fragmentos +\emph default + posteriores, quedando en el primer +\emph on +fragmento +\emph default + el tamaño completo del registro y en el último sólo el tamaño del +\emph on +fragmento +\emph default + final. +\end_deeper +\layout Standard + +Como puede observarse, la información de control en los +\emph on +fragmentos +\emph default + intermedios puede ser redundante, pero se conserva para poder realizar + algoritmos genéricos (que se basan en que al principio de un bloque, si + no está vacío, hay una cabecera de un registro) y para facilitar chequeos + de integridad del archivo. +\layout Standard + +A continuación se presenta un ejemplo gráfico de un registro multibloque + de 10 bytes (de contenido +\begin_inset Quotes eld +\end_inset + +1234567890 +\begin_inset Quotes erd +\end_inset + +) almacenado en un archivo con bloques de 12 bytes (4 para datos): +\layout LyX-Code + +| bloque 0 | bloque 1 | bloque 2 +\layout LyX-Code + ++-------------------+-------------------+-------------------+-//-+ +\layout LyX-Code + +| registro 0 - 1/3 | registro 0 - 2/3 | registro 0 - 3/3..| +\backslash + +\backslash + | +\layout LyX-Code + +|+----+-----+------+|+----+-----+------+|+----+-----+----+..| // | +\layout LyX-Code + +|| id | tam | datos||| id | tam | datos||| id | tam |dato|..| +\backslash + +\backslash + | +\layout LyX-Code + +||----+-----+------+||----+-----+------+||----+-----+----+..| // | +\layout LyX-Code + +|| 0 | 10 | 1234 ||| 0 | 6 | 5678 ||| 0 | 2 | 90 |..| +\backslash + +\backslash + | +\layout LyX-Code + +|+----+-----+------+|+----+-----+------+|+----+-----+----+..| // | +\layout LyX-Code + ++-------------------+-------------------+-------------------+- +\backslash + +\backslash +-+ +\layout LyX-Code + + ^^ +\layout LyX-Code + + 2 bytes libres al final del bloque 2 +\layout Standard + +Este es un ejemplo figurativo, ya que se puso como límite mínimo de tamaño + de bloque 16 bytes (para que haya al menos la misma cantidad de espacio + para datos que para información de control). + Este límite mínimo ya roza lo absurdo (es muy ineficiente por la gran cantidad + de accesos a disco que necesita). + El límite físico es de 9 bytes (8 para información de control, 1 para datos). +\layout Section + +Funciones principales +\layout Standard + +Las funciones principales son las necesarias para completar la estructura + EMUFS (ver página +\begin_inset LatexCommand \pageref{sub:EMUFS} + +\end_inset + +). +\layout Subsection + +Lectura de registros +\layout Standard + +Para leer un registro se hace uso del archivo de índice (ver página +\begin_inset LatexCommand \pageref{sec:idx} + +\end_inset + +), obteniéndose el número de bloque en donde está almacenado el registro + a buscar. + Una vez obtenido, se carga en memoria el bloque entero y se busca secuencialmen +te en él (leyendo la cabecera de cada registro y salteando los datos) hasta + encontrar el registro pedido. + Una vez encontrado se lo copia y devuelve. +\layout Standard + +Si se tratara de un registro +\emph on +multibloque +\emph default + (ver sección +\begin_inset LatexCommand \ref{sub:tipo1_reg_multi} + +\end_inset + +), se procede forma similar, sólo que se cargan en memoria uno a uno los + bloques que componen el registro y se van copiando (y uniendo) los +\emph on +fragmentos +\emph default + hasta completarlo. +\layout Standard + +Ver: +\family typewriter +emufs_tipo1_leer_registro() +\layout Subsection + +Altas de registros +\layout Standard + +Para realizar el alta de un registro, lo primero que se obtiene es un identifica +dor, buscando primero en el archivo de identificadores recuperables (pág. + +\begin_inset LatexCommand \ref{sec:did} + +\end_inset + +) y de no haber ninguno, buscando el mayor identificador presente en el + archivo de índice (pág. + +\begin_inset LatexCommand \ref{sec:idx} + +\end_inset + +) y sumándole uno. + El paso siguiente es buscar un bloque con espacio libre suficiente como + para almacenar el registro (y su cabecera) en el archivo de control de + espacio libre (pág. + +\begin_inset LatexCommand \ref{sec:fsc} + +\end_inset + +) y cargarlo completo en memoria. + De no encontrarse, se crea un bloque nuevo al final de archivo. + En el bloque cargado en memoria, se agrega el registro nuevo (con su cabecera) + al comienzo del espacio libre (calculado a partir del tamaño del bloque + y el espacio libre en bloque) y se lo graba en disco. + Finalmente se agrega (o actualiza) el identificador al archivo índice y + el espacio libre en el bloque. +\layout Standard + +Si el registro ocupara más de un bloque (ver sección +\begin_inset LatexCommand \ref{sub:tipo1_reg_multi} + +\end_inset + +), se buscan N bloques consecutivos (todos los que necesite el registro) + absolutamente libres +\begin_inset Foot +collapsed true + +\layout Standard + +Incluso el último bloque debe estar absolutamente libre para cumplir con + las condiciones presentadas en la sección +\begin_inset LatexCommand \ref{sub:tipo1_reg_multi} + +\end_inset + +. +\end_inset + + y graba bloque a bloque cada +\emph on +fragmento +\emph default + del registro (con sus cabeceras intermedias), al último +\emph on +fragmento +\emph default + se lo trata de forma análoga a un registro +\emph on +simple +\emph default +. + Por cada bloque utilizado se actualiza el archivo de control de espacio + libre. +\layout Standard + +Ver: +\family typewriter +emufs_tipo1_agregar_registro() +\layout Subsection + +Bajas de registros +\layout Standard + +Al eliminar un registro lo primero que se hace es actualizar los archivos + de índice y de indentificadores recuperables, poniendo como número de bloque + el valor especial +\family typewriter +EMUFS_NOT_FOUND +\family default + y agregando el identificador del registro a borrar respectivamente. + También se actualiza el archivo de control de espacio libre por cada bloque + (en caso de ser más de uno, en registros +\emph on +multibloque +\emph default +, se actualizan todos los bloques) y se carga el bloque en memoria para + +\emph on +alinear los datos a izquierda +\emph default + (en caso de ser un registro +\emph on +multibloque +\emph default +, esto se realiza sólo para el último bloque). + Para alinear los datos, se recorre secuencialmente en bloque (leyendo la + cabecera de cada registro y salteando los datos) hasta encontrar el registro + a borrar. + Encontrado el registro, se copian todos los bytes que se encuentran entre + el fin del registro a borrar y el fin del bloque, en el comienzo del bloque + borrado. +\layout Standard + +Ver: +\family typewriter +emufs_tipo1_borrar_registro() +\layout Subsection + +Modificación de registros +\layout Standard + +Se optó por un algoritmo simple y general, que usa las funciones de alto + nivel mencionadas hasta ahora. + Simplemento borra el registro y vuelve a crearlo. + Al recuperar el último identificador de registro borrado, nos aseguramos + de que se mantenga el identificador del registro. +\layout Standard + +Ver: +\family typewriter +emufs_tipo1_modificar_registro() +\layout Subsection + +Obtención de estadísticas +\layout Standard + +Es una función bastante simple, con una única complicación que mencionaremos + más adelante. +\layout Standard + +Para obtener las máximas desviaciones, cantidad total de espacio libre, + cantidad de registros y tamaño de los archivos auxiliares se utilizan las + funciones apropiadas de los archivos auxiliares (ver secciones +\begin_inset LatexCommand \ref{sec:idx} + +\end_inset + +, +\begin_inset LatexCommand \ref{sec:fsc} + +\end_inset + + y +\begin_inset LatexCommand \ref{sec:did} + +\end_inset + +). +\layout Standard + +Para obtener la cantidad de bloques se hace el siguiente calculo: +\layout LyX-Code + +cant_bloques = (tamaño_archivo_datos - tamaño_cabecera_archivo_datos) +\layout LyX-Code + + / tamaño_bloque; +\layout Standard + +Hasta aquí no hay mayores inconvenientes. + El problema se presenta para calcular el tamaño de la información de control + utilizada por el archivo de datos; se utiliza el siguiente cálculo: \layout LyX-Code -/- 4 bytes -/- 4 bytes -/ -\layout Subsection +tam_info_control_datos = tamaño_cabecera_archivo_datos +\layout LyX-Code -Organización física de un bloque + + cant_registros * tamaño_cabecera_registro; \layout Standard -Cada bloque no guarda información en sí, sólo se comporta como un contenedor - de registros. - Esto no significa que un bloque no tenga utilidad, el bloque es utilizado - para proveer un acceso semi-aleatorio a los registros. - Para esto se utiliza el archivo de índice (ver página -\begin_inset LatexCommand \ref{sec:idx} +Aunque a simple vista esto parece acertado, no contempla el caso de los + registros +\emph on +multibloque +\emph default + (pág +\begin_inset LatexCommand \pageref{sub:tipo1_reg_multi} \end_inset -), que almacena pares (identificador de registro, número de bloque). - Para que sea suficiente este único índice para hallar un registro (siendo - que puede haber más de un registro por bloque), es necesario +), estos registros almacenan +\family typewriter +tamaño_cabecera_registro * N +\family default +, donde +\family typewriter +N +\family default + es la cantidad de bloques que ocupan. + Salvar este caso sería muy costoso, porque habría que recorrer el archivo + registro a registro, \emph on -alinear los registros a izquierda +fragmento \emph default -. -\layout LyX-Code + a +\emph on +fragmento +\emph default + e ir contando todas las cabeceras de registro que aparecen (similar a lo + que se hace en la compactación, ver sección +\begin_inset LatexCommand \ref{sub:tipo1_compact} -bloque N-1 | bloque N | bloque N+1 -\layout LyX-Code +\end_inset -/----------+------------+------------+-------------------+-----------/ -\layout LyX-Code +). + Al tratarse este de un caso excepcional, se optó por mantener la función + simple ya que funciona bien en la mayoría de los casos. +\layout Standard +Ver: +\family typewriter +emufs_tipo1_leer_estadisticas() +\layout Subsection -\backslash - | registro 1 | registro 2 | espacio libre ... - | -\backslash - /----------+------------+------------+-------------------+-----------/ -\layout Standard -De forma tal que una vez obtenido el número de bloque se pueda recorrer - secuencialmente hasta encontrar el registro deseado. - A fin de llevar el conteo de espacio libre se utiliza el archivo de control - de espacio libre (ver página -\begin_inset LatexCommand \ref{sec:fsc} +\begin_inset LatexCommand \label{sub:tipo1_compact} \end_inset -), de forma tal que no sea necesario recorrer secuencialmente en busca de - espacio libre al hacer una inserción. +Compactación del archivo de datos \layout Standard -Puede darse un caso excepcional en el que un registro sea más grande que - un bloque, en este caso el registro se almacenará en N bloques consecutivos - (siendo N la cantidad de bloques que necesita el registro), ocupando completos - los todos los bloques a excepción del último, en el que posteriormente - se pueden agregar más registros. -\layout Section +Esta función es una de las más simples, porque se limita a un algoritmo + muy simple que utiliza las funciones de +\emph on +alto nivel +\emph default + antes nombradas para realizar su tarea. + Básicamente recorre el archivo de índices de registros, de comienzo a fin, + leyendo el registro, borrándolo y volviéndolo a insertar. + Si había espacio libre en un bloque anterior al que estaba, será insertado + en él, si no volverá a grabarse en el lugar en que estaba. + De esta forma se aprovechan todos los espacios libres intermedios, concluyendo + con un archivo igual o más pequeño que el original. +\layout Standard -Comportamiento (funciones de la interfáz) +Esta implementación no es la más eficiente, pero siendo que esta es una + operación costosa y excepcional por naturaleza, se optó por mantener el + algoritmo simple a costo de un poco de eficiencia. +\layout Standard + +Ver: +\family typewriter + emufs_tipo1_compactar() \layout Section Detalles de implementación (funciones internas, ver si lo ponemos o no) @@ -1410,7 +2411,7 @@ o freespace \begin_inset Float figure placement H wide false -collapsed true +collapsed false \layout Caption @@ -1478,22 +2479,29 @@ El archivo indice ( \series bold .idx \series default -), permite la localizacin de los registros en el .DAT de forma directa, mediante - la obtención de su offset o posición relativa respecto del inicio del +), permite la localización de los registros en el .DAT de forma directa, + mediante la obtención de su offset o posición relativa respecto del inicio + del \series bold .dat \series default en donde se encuentra un registro dado, indicado por su ID. \layout Standard -Así pues, si tomamos el ejemplo descripto al inicio de este capítudlo, tendremos - las siguientes entradas en el archivo indice +Así pues, si tomamos el ejemplo descripto al inicio de este capítulo, tendremos + las siguientes entradas en el archivo índice \series bold .idx \series default - : -\newline +: +\begin_inset Float table +placement H +wide false +collapsed true + +\layout Caption +Organización física del archivo de índice o posiciones relativas. \layout Standard @@ -1595,14 +2603,14 @@ El segundo registro (reg1) comienza en el byte 60 \end_inset +\end_inset + + \layout Standard \series bold \emph on -\SpecialChar ~ - -\newline Observación: \series default \emph default @@ -1613,12 +2621,12 @@ te luego del header tendremos el registro en s Achivo de Gaps / Espacios Libres (.fsc) \layout Standard -El archivo de espacios libres o gaps (.fsc), tiene como función la administracion +El archivo de espacios libres o gaps (.fsc), tiene como función la administración del espacio libre o gaps (agujeros), generados por previas eliminaciones de registros en el archivo de datos. El mismo, nos indicará donde hay lugar para insertar un nuevo registro (se podrán insertar en algún gap acorde, o bien al final del archivo). - Este archivo será utilizado tambien para el proceso de compactación de + Este archivo será utilizado tambien para el proceso de compactación de un archivo, explicado luego. \layout Standard @@ -1627,10 +2635,21 @@ As \series bold .fsc \series default - : -\newline +: +\begin_inset Float table +placement H +wide false +collapsed true + +\layout Caption + +Organización física del archivo de +\emph on +gaps +\emph default +o control de espacio libre. +\layout Standard -\newline \begin_inset Tabular @@ -1702,20 +2721,24 @@ FREESPACE \end_inset +\end_inset + + \layout Standard \series bold \emph on -\SpecialChar ~ - -\newline Nota: \series default \emph default Por requerimiento del algoritmo de compactación, los gaps se graban en forma ordenada en el (.fsc). - (El orden se corresponde con lo que hay en el .dat) + (El orden se corresponde con lo que hay en el +\series bold +.dat +\series default +. \layout Subsubsection* GAP Merging @@ -1749,7 +2772,7 @@ El archivo de ID's liberados no presenta ning su estructura y funcionamiento. \layout Section -Comportamiento (funciones de la interfaz) +Funciones Principales \layout Standard Dentro de @@ -2258,9 +3281,9 @@ Damos por terminada as para el caso del tipo 2, es realmente bastante sencillo. \layout Standard -Ver: +Ver: \family typewriter -void emufs_tipo2_compactar() + emufs_tipo2_compactar() \layout Section Consideraciones y Políticas de Diseño @@ -2362,6 +3385,17 @@ En este caso veremos que sucede luego de agregar y borrar una gran cantidad de registros del archivo, lo que provoca como consecuencia directa la fragmenta ción del archivo, es decir, quedan huecos entre un registro y otro, lo que produce un desperdicio de espacio. +\layout Standard + +La implementación de este tipo de archivo puede ser encontrada en +\family typewriter +emufs/tipo3.c +\family default + mientras que su interfaz pública está disponible en +\family typewriter +emufs/tipo3.h +\family default +. \layout Section Organización Física @@ -2375,49 +3409,211 @@ Esta organizaci Así como los graba, también tendrá la posibilidad de leer registros y borrarlos del archivo. +\layout Standard + +El archivo estara compuesto por una cabecera que da información sobre el + tipo (2, o el valor T3 del tipo +\family typewriter +EMUFS_Tipo +\family default + en este caso) de organización, el tamaño de los bloques y el tamaño de + los registros. +\layout LyX-Code + +archivo +\layout LyX-Code + ++-----------+-----------+-----------+------------------------//-+ +\layout LyX-Code + +| tipo | tam_bloque| tam_reg | Cero o más bloques ... + +\backslash + +\backslash + | +\layout LyX-Code + ++-----------+-----------+-----------+------------------------//-+ +\layout LyX-Code + +/- 4 bytes -/- 4 bytes -/- 4 bytes -/ \layout Subsection -Comportamiento Particular de los Archivos Auxiliares -\layout Subsubsection +Organización Física de un Bloque +\layout Standard -Archivo de Bloques y Registros (.idx) -\layout Comment +Cada bloque será capaz de contener la cantidad de registros enteros que + quepan en él. + De esta manera un registro que no entre completamente en el bloque deberá + almacenarce en un bloque diferente. +\layout Standard -buscar algun caso extraordinario. -\layout Subsubsection +Los bloques no contienen ninguna información adicional, solo se conoce su + tamaño y se usa para delimitar +\begin_inset Quotes eld +\end_inset -Archivo de Bloques y Espacio Libre (.fsc) -\layout Subsubsection +virtualmente +\begin_inset Quotes erd +\end_inset + + zonas en el archivo y obtener de esta manera acceso semi-aleatoreo a los + registros. +\layout LyX-Code + +bloque N-1 | bloque N | bloque N+1 +\layout LyX-Code + +/----------+------------+------------+---------------+-----------/ +\layout LyX-Code + + +\backslash + | registro 1 | registro 2 | espacio libre | +\backslash + +\layout LyX-Code + +/----------+------------+------------+---------------+-----------/ +\layout LyX-Code + + /------------- tamaño del bloque ---------/ +\layout Subsection -Archivo de Id`s Borrados (.did) +Organizacion Física de Registros \layout Standard -El comportamiento de este archivo, es común para todas las organizaciones - y se ha explicado en 3.3.2. -\layout Section +Cada registro se almacena en un bloque, y contiene una cabecera que indica + su +\emph on +ID, +\emph default +por este motivo al realizar la busqueda de espacio en un bloque se lo hará + preguntando por el tamaño del registro más +\family typewriter +sizeof(EMUFS_REG_ID). +\layout LyX-Code -Funciones Principales +registro [id] +\layout LyX-Code + ++-----------+-------------------+ +\layout LyX-Code + +| id | datos ... + | +\layout LyX-Code + ++-----------+-------------------+ +\layout LyX-Code + +/- 4 bytes -/- [tam_reg] bytes -/ \layout Subsection -EMUFS Tipo 3 +Organización Física de Registros +\emph on +Multibloque \layout Standard -Dento de +Al ser los registros de longitud constante, se ha adoptado que un registro + \emph on -tipo3.h +multibloque \emph default + nunca podrá estar almacenado en algún lugar que no sea el comienzo de un + bloque. + De esta manera se puede calcular cuantos bloques ocupará un registro y + se podrá solicitar lugar para almacenarlo con la ayuda de la función +\family typewriter +emufs_fsc_buscar_n_lugares(), +\family default +que es muy importante para evitar el solapamiento de registros. + Esta consideración acarrea como consecuencia directa un alto costo en términos + del espacio desperdiciado. +\layout Standard + +A continuación se presenta un ejemplo gráfico de un registro multibloque + de 26 bytes (de contenido +\begin_inset Quotes eld +\end_inset + +12345678901234567890123456 +\begin_inset Quotes erd +\end_inset + +) almacenado en un archivo con bloques de bytes 14 bytes (10 para datos) + y registros de 38 bytes: +\layout LyX-Code + +| bloque 0 | bloque 1 | bloque 2 +\layout LyX-Code + ++-------------------+-------------------+-------------------+-//-+ +\layout LyX-Code + +| registro 0 - 1/3 | registro 0 - 2/3 | registro 0 - 3/3..| +\backslash + +\backslash + | +\layout LyX-Code + +|+----+------------+|+----+------------+|+----+--------+....| // | +\layout LyX-Code + +|| id | datos ||| id | datos ||| id | datos |....| +\backslash + +\backslash + | +\layout LyX-Code + +||----+------------+||----+------------+||----+--------+....| // | +\layout LyX-Code + +|| 0 | 1234567890 ||| 0 | 1234567890 ||| 0 | 123456 |....| +\backslash + +\backslash + | +\layout LyX-Code + +|+----+------------+|+----+------------+|+----+--------+....| // | +\layout LyX-Code + ++-------------------+-------------------+-------------------+- +\backslash + +\backslash +-+ +\layout LyX-Code + + ^^^^ +\layout LyX-Code + + 4 bytes libres (e inutilizables) al final del bloque 2 +\layout Section + +Funciones Principales +\layout Standard + +Dento de +\family typewriter +tipo3.h +\family default y -\emph on +\family typewriter tipo3.c -\emph default +\family default se encuentran las cabeceras y la implementación de las funciones principales respectivamente, las cuales dan funcionalidad a esta organización. \layout Standard A continuación se comentará la descripción de algunas acciones importantes. -\layout Subsubsection +\layout Subsection -Leer Registro +Lectura de registros \layout Standard La lectura de un registro se realiza con la ayuda del archivo . @@ -2437,9 +3633,9 @@ ID Ver: \family typewriter emufs_tipo3_leer_registro() -\layout Subsubsection +\layout Subsection -Grabar Registro +Alta de registros \layout Standard Graba un registro en un bloque donde haya espacio suficiente, y si no crea @@ -2450,12 +3646,35 @@ Luego de grabar un registro, actualiza los archivos de para mantener la coherencia. \layout Standard +Cuando nos encontramos con registros multibloque, se calcula cuantos bloques + ocupará el registro de la siguiente manera: +\family typewriter +Cantidad de Bloques = 1 + Tamaño del Registro/(Tamaño del Bloque-Sizeof(EMUFS_RE +G_ID) +\layout Standard + +Esta ecuación solo falla en el caso que el tamaño del registro y el tamaño + del bloque sean iguales, en tal caso, se coloca el valor 1 en +\family typewriter +Cantidad de Bloques +\family default + post verificación. +\layout Standard + +Y con esta información se realiza un ciclo +\family typewriter +for +\family default + que grabará tantas veces como sea necesario levantando y grabando los bloques + que correspondan. +\layout Standard + Ver: \family typewriter emufs_tipo3_grabar_registro() -\layout Subsubsection +\layout Subsection -Borrar Registro +Baja de registros \layout Standard Borra un registro del archivo de datos, para esto levanta el bloque al que @@ -2472,9 +3691,19 @@ Cabe destacar que para dar de baja un registro no hace falta borrarlo del presente en el archivo de datos. Esto es una consecuencia del ajuste al borrar un registro, pudiendo no ser así, si no se realizara el mismo. -\layout Subsubsection +\layout Standard + +En el caso de los registros multibloque, se eliminará la porción del registro + contenida en el primer bloque y se actualizarán de manera conveniente los + archivos índice, para restaurarlos a un valor verdadero. +\layout Standard + +Ver: +\family typewriter +emufs_tipo3_borrar_registro() +\layout Subsection -Leer Estadísticas +Obtención de estadísticas \layout Standard Se puede tener acceso a las estadísticas generales del archivo, por ejemplo, @@ -2495,9 +3724,9 @@ Completa una estructura del tipo EMUFS_Estadisticas con las estad Ver: \family typewriter emufs_tipo3_leer_estadisticas() -\layout Subsubsection +\layout Subsection -Compactar el Archivo +Compactación del archivo de datos \layout Standard Esta función intenta reorganizar el archivo de manera que el espacio libre @@ -2544,9 +3773,6 @@ void emufs_tipo3_compactar() \layout Section Consideraciones y Políticas de Diseño -\layout Comment - -Esto para mi va en organización física. \layout Standard Se han tomado ciertas consideraciones para algunos casos particulares que