emufs/tipo2.c

   1 /* vim: set noexpandtab tabstop=4 shiftwidth=4:
   2  *----------------------------------------------------------------------------
   3  *                                  emufs
   4  *----------------------------------------------------------------------------
   5  * This file is part of emufs.
   6  *
   7  * emufs is free software; you can redistribute it and/or modify it under the
   8  * terms of the GNU General Public License as published by the Free Software
   9  * Foundation; either version 2 of the License, or (at your option) any later
  10  * version.
  11  *
  12  * emufs is distributed in the hope that it will be useful, but WITHOUT ANY
  13  * WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS
  14  * FOR A PARTICULAR PURPOSE. See the GNU General Public License for more
  15  * details.
  16  *
  17  * You should have received a copy of the GNU General Public License along
  18  * with emufs; if not, write to the Free Software Foundation, Inc., 59 Temple
  19  * Place, Suite 330, Boston, MA  02111-1307  USA
  20  *----------------------------------------------------------------------------
  21  * Creado:  Fri Apr 10 17:10:00 ART 2004
  22  * Autores: Alan Kennedy <kennedya@3dgames.com.ar>
  23  *----------------------------------------------------------------------------
  24  *
  25  * $Id: tipo3.c 85 2004-04-08 23:39:28Z sagar $
  26  *
  27  */
  28
  29 /** \file
  30  * Archivo con registros de longitud variable, sin bloques.
  31  *
  32  * <b>Implementacion del Archivo Tipo 2</b>
  33  *
  34  * La organizacion interna de un archivo de tipo 2, presenta registros de longitud variable,
  35  * los cuales son grabados secuencialmente, o bien en gaps (espacios libres) que se presenten en
  36  * el archivo de datos, pero no se encuentran contenidos por bloques.
  37  *
  38  */
  39
  40 #include "tipo2.h"
  41 #include "idx.h"
  42 #include "fsc.h"
  43 #include "did.h"
  44 #include "error.h"
  45 #include "common.h"
  46 #include <unistd.h>
  47 #include <stdio.h>
  48 #include <string.h>
  49
  50 /* Asigna los punteros a las funciones apropiadas para el Tipo2 */
  51 int emufs_tipo2_inicializar(EMUFS* efs)
  52 {
  53         efs->grabar_registro = emufs_tipo2_grabar_registro;
  54         efs->borrar_registro = emufs_tipo2_borrar_registro;
  55         efs->leer_registro = emufs_tipo2_leer_registro;
  56         efs->leer_registro_raw = emufs_tipo2_leer_registro_raw;
  57         efs->modificar_registro = emufs_tipo2_modificar_registro;
  58         efs->leer_estadisticas = emufs_tipo2_leer_estadisticas;
  59         efs->compactar = emufs_tipo2_compactar;
  60
  61         return 0;
  62 }
  63
  64 /* Lee y devuelve un registro de un archivo del Tipo 2. */
  65 void *emufs_tipo2_leer_registro(EMUFS* efs, CLAVE clave, EMUFS_REG_SIZE* reg_size, int *err)
  66 {
  67         FILE* f_data;
  68         char *registro; /* registro a leer */
  69         char  name_f[255];
  70         EMUFS_OFFSET reg_offset; /* offset donde se encuentra el registro */
  71         EMUFS_REG_ID id_reg;
  72         INDICE_DATO dato;
  73
  74         strcpy(name_f,efs->nombre);
  75         strcat(name_f,".dat");
  76
  77         /* Obtenemos la posicion del registro en el .dat */
  78         /*si existe, lo busco en el archivo de bloques*/
  79         /* TODO VER COMO SACAR EL ERROR!=1 por otra cosa!! XXX */
  80         if ((efs->indices != NULL) && (*err != 1)) {
  81                 /* TODO : Verificar donde esta el indice primario */
  82                 dato = efs->indices->existe_entrada(efs->indices, clave);
  83                 reg_offset = dato.bloque;
  84                 id_reg = dato.id;
  85         } else {
  86                 id_reg = clave.i_clave;
  87                 reg_offset = emufs_idx_buscar_registro(efs, id_reg);
  88                 (*err) = 0;
  89         }
  90         if (reg_offset == EMUFS_NOT_FOUND) {
  91                 PERR("Registro no encontrado");
  92                 *err = EMUFS_NOT_FOUND;
  93                 return NULL;
  94         }
  95
  96         /* Levantamos el registro */
  97         if ((f_data = fopen(name_f, "rb")) == NULL) {
  98                 PERR("No se puede abrir archivo");
  99                 *err = EMUFS_ERROR_CANT_OPEN_FILE;
 100                 return NULL;
 101         }
 102         fseek(f_data,reg_offset+sizeof(EMUFS_REG_ID),SEEK_SET);
 103         fread(reg_size,sizeof(EMUFS_REG_SIZE),1,f_data);
 104         registro = (char*)malloc(*reg_size);
 105         fread(registro,*reg_size,1,f_data);
 106         fclose(f_data);
 107
 108         return registro;
 109 }
 110
 111 /* Grabar un registro en un archivo del Tipo 2. */
 112 EMUFS_REG_ID emufs_tipo2_grabar_registro(EMUFS *efs, void *ptr, EMUFS_REG_SIZE reg_size, int* err)
 113 {
 114         INDICE_DATO idx_data;
 115         EMUFS_REG_ID id_reg;
 116         EMUFS_FREE freespace;
 117         EMUFS_OFFSET wrt_offset,reg_offset;
 118         unsigned long int fisic_size;
 119         FILE *f_data;
 120         char name_f[255];
 121
 122         /* Armamos el filename del archivo de datos */
 123         strcpy(name_f,efs->nombre);
 124         strcat(name_f,".dat");
 125
 126         if ( (f_data = fopen(name_f,"r+"))==NULL ) {
 127                 PERR("ERROR AL ABRIR EL ARCHIVO");
 128                 return -1; /*ERROR*/
 129         }
 130
 131         /* Obtengo un offset en donde iniciar la escritura de mi registro */
 132         /* de manera segura (habra espacio suficiente) */
 133         fisic_size = sizeof(EMUFS_REG_ID)+sizeof(EMUFS_REG_SIZE)+reg_size;
 134         wrt_offset = emufs_fsc_buscar_lugar(efs,fisic_size,&freespace);
 135
 136         /* Si no encontre un gap, entonces escribo el registro al final */
 137         if (wrt_offset == -1) {
 138
 139                 /* Obtengo un ID libre para el registro y luego grabo a disco */
 140                 id_reg = emufs_idx_get_new_id(efs, err);
 141                 fseek(f_data, 0, SEEK_END);
 142                 reg_offset = ftell(f_data);
 143
 144                 /* Escribo [RegId]|[RegSize]|[RegData] */
 145                 fwrite(&id_reg,sizeof(EMUFS_REG_ID),1,f_data);
 146                 fwrite(&reg_size,sizeof(EMUFS_REG_SIZE),1,f_data);
 147                 fwrite(ptr,reg_size,1,f_data);
 148
 149                 /* Bye */
 150                 /*printf("Tipo2.c >> RegNr: %lu with FisicSize: %lu inserted at Offset: %lu\n",n_IdReg,n_FisicSize,n_RegOffset);*/
 151                 fclose(f_data);
 152
 153         } else {
 154
 155                 /* Obtengo un ID libre para el registro y luego grabo en disco */
 156                 id_reg = emufs_idx_get_new_id(efs, err);
 157                 reg_offset = wrt_offset;
 158                 fseek(f_data,reg_offset,0);
 159
 160     /* Escribo [RegId]|[RegSize]|[RegData] */
 161                 fwrite(&id_reg,sizeof(EMUFS_REG_ID),1,f_data);
 162                 fwrite(&reg_size,sizeof(EMUFS_REG_SIZE),1,f_data);
 163                 fwrite(ptr,reg_size,1,f_data);
 164
 165                 /* Bye */
 166                 /*printf("Tipo2.c >> RegNr: %lu with FisicSize: %lu inserted at Offset: %lu\n",n_IdReg,n_FisicSize,n_RegOffset);*/
 167                 fclose(f_data);
 168
 169                 /* Actualizo el espacio libre en el GAP donde puse el registro */
 170                 if ((freespace-fisic_size) == 0) emufs_fsc_remove_gap(efs,reg_offset);
 171                 else emufs_fsc_actualizar_gap(efs,reg_offset,freespace-fisic_size);
 172         }
 173
 174         /* Finalmente, actualizamos el indice de registros (offsets) */
 175         emufs_idx_agregar(efs,id_reg,reg_offset);
 176         idx_data.id = id_reg;
 177         idx_data.bloque = reg_offset;
 178         emufs_indice_agregar(efs->indices, (char *)ptr, idx_data);
 179
 180         return id_reg;
 181 }
 182
 183 /* Borra un registro determinado y actualiza los archivos de Posicion Relativa (Indice-Offset) y el de Gaps */
 184 int emufs_tipo2_borrar_registro(EMUFS *efs, CLAVE k, INDICE_DATO dato1)
 185 {
 186         EMUFS_OFFSET reg_offset,reg_size;
 187         EMUFS_REG_ID id_reg;
 188         INDICE_DATO dato;
 189
 190         if (efs->indices != NULL) {
 191                 dato = efs->indices->existe_entrada(efs->indices, k);
 192                 id_reg = dato.id;
 193                 reg_offset = dato.bloque;
 194         } else {
 195                 /* Obtenemos el offset donde arranca el registro */
 196                 id_reg = k.i_clave;
 197                 if ((reg_offset = emufs_idx_buscar_registro(efs,id_reg)) == EMUFS_NOT_FOUND) {
 198                         PERR("Registro no encontrado");
 199                 return EMUFS_NOT_FOUND;
 200                 }
 201         }
 202
 203         if (id_reg == -1) return EMUFS_NOT_FOUND;
 204
 205         emufs_indice_borrar(efs->indices, k, dato1);
 206         /* Obtenemos el Size del Registro en cuestion y hacemos un dummyfill*/
 207         emufs_tipo2_get_regsize(efs,reg_offset,&reg_size);
 208         emufs_tipo2_dummyfill(efs,reg_offset,reg_size);
 209
 210         /* Agregamos el GAP en el archivo de FSC, el cual hara un merge con */
 211         /* otro GAP por delante y/o por detras en caso de hallarlo. */
 212         emufs_fsc_agregar_gap(efs,reg_offset,reg_size+sizeof(EMUFS_REG_ID)+sizeof(EMUFS_REG_SIZE));
 213
 214         /* Agrego el ID que se ha liberado al archivo de ID's Libres */
 215         emufs_did_agregar(efs,id_reg);
 216
 217         /* Borramos el registro del indice de posiciones relativas */
 218         emufs_idx_borrar(efs,id_reg);
 219
 220         return(0);
 221 }
 222
 223 /* Devuelve el tamanio de un registro, dado su init offset */
 224 int emufs_tipo2_get_regsize(EMUFS *efs, EMUFS_OFFSET reg_pos, EMUFS_REG_SIZE *reg_size)
 225 {
 226     FILE *f_data;
 227         char name_f[255];
 228
 229     /* Armamos el filename del archivo de datos */
 230         strcpy(name_f,efs->nombre);
 231         strcat(name_f,".dat");
 232
 233     if ((f_data = fopen(name_f,"r+")) == NULL) return -1; /* ERROR */
 234         fseek(f_data,reg_pos+sizeof(EMUFS_REG_ID),SEEK_SET);
 235         fread(reg_size,sizeof(EMUFS_REG_SIZE),1,f_data);
 236         fclose(f_data);
 237
 238         return (0);
 239 }
 240
 241
 242 /* Pisa con basura lo que es hasta el momento un reg en el disco para indicar su borrado (Debug Purposes Only) */
 243 int emufs_tipo2_dummyfill(EMUFS *efs, EMUFS_OFFSET reg_pos, EMUFS_REG_SIZE amount)
 244 {
 245         FILE *f_data;
 246         char name_f[255];
 247         char *dummyfill;
 248         unsigned long fill_size;
 249
 250         /* Armamos el filename del archivo de datos */
 251         strcpy(name_f,efs->nombre);
 252         strcat(name_f,".dat");
 253
 254         if ((f_data = fopen(name_f,"rb+")) == NULL) return -1; /* ERROR */
 255
 256         /* Preparo el garbage y se lo tiro encima */
 257         fill_size = amount+sizeof(EMUFS_REG_ID)+sizeof(EMUFS_REG_SIZE);
 258         dummyfill = (char*)malloc(fill_size);
 259         memset(dummyfill, 0, fill_size);
 260         fseek(f_data,reg_pos,SEEK_SET);
 261         fwrite(dummyfill,fill_size,1,f_data);
 262         fclose(f_data);
 263
 264         free(dummyfill);
 265         return (0);
 266 }
 267
 268 /* Realiza la actualizacin de un registro ya existente */
 269 EMUFS_REG_ID emufs_tipo2_modificar_registro(EMUFS *efs, CLAVE k, void *data, EMUFS_REG_SIZE size, int *error, INDICE_DATO dato)
 270 {
 271         emufs_tipo2_borrar_registro(efs, k, dato);
 272         return emufs_tipo2_grabar_registro(efs, data, size, error);
 273 }
 274
 275 /* Recompila y devuelve ciertas estadisticas del archivo indicado */
 276 EMUFS_Estadisticas emufs_tipo2_leer_estadisticas(EMUFS *efs)
 277 {
 278     EMUFS_Estadisticas stats;
 279         EMUFS_REG_ID *tmp;
 280         int err = 0, err1 = 0, err2 = 0, err3 = 0;
 281         char name_f[255];
 282
 283         /* Inicializo las stats por si hay error somewhere */
 284         stats.tam_archivo = 0;
 285         stats.tam_archivos_aux = 0;
 286         stats.tam_info_control_dat = 0;
 287         stats.media_fs = 0;
 288         stats.total_fs = 0;
 289         stats.max_fs = 0;
 290         stats.min_fs = 0;
 291         stats.cant_bloques = 0;
 292         stats.cant_registros = 0;
 293
 294         /* Obtengo el tamaño del .dat */
 295         strcpy(name_f,efs->nombre);
 296         strcat(name_f,".dat");
 297         stats.tam_archivo = emufs_common_get_file_size(name_f,&err);
 298         if (err) {
 299                 PERR("no se pudo obtener el tamaño del archivo");
 300                 return stats;
 301         }
 302
 303         /* Obtengo las stats de FSC */
 304         stats.total_fs = emufs_fsc_get_total_fs(efs);
 305         stats.media_fs = emufs_fsc_get_media_fs(efs);
 306         emufs_fsc_get_max_min_fs(efs,&stats.min_fs,&stats.max_fs);
 307
 308         /* Cant registros */
 309         tmp = emufs_idx_get(efs,&stats.cant_registros);
 310         if (tmp) free(tmp);
 311
 312         /* Cantidad de bytes de info de control del .dat */
 313         stats.tam_info_control_dat = (sizeof(EMUFS_REG_ID) + sizeof(EMUFS_REG_SIZE)) * stats.cant_registros + sizeof(EMUFS_Tipo);
 314
 315         /* Cantidad de bytes en info de control archivos auxiliares */
 316         stats.tam_archivos_aux = emufs_idx_get_file_size(efs,&err1) + emufs_fsc_get_file_size(efs,&err2) + emufs_did_get_file_size(efs,&err3);
 317         if (err1 || err2 || err3) {
 318                 PERR("Hubo problemas en lectura de filesize archivos auxiliares");
 319                 return stats;
 320         }
 321
 322         return(stats);
 323 }
 324
 325 /* Compacta el archivo eliminando espacios libres, alineando a izquierda */
 326 void emufs_tipo2_compactar(EMUFS *efs)
 327 {
 328         char name_fdat[255],name_ffsc[255];
 329         FILE *datfile;
 330         FILE *fscfile;
 331         EMUFS_FSC reg1,reg2;
 332         unsigned long cant_gaps = 0,mustmove_bytes = 0,source = 0,
 333                                   destination = 0,datsize = 0,totalfsc = 0;
 334
 335         strcpy(name_fdat,efs->nombre);
 336         strcpy(name_ffsc,efs->nombre);
 337         strcat(name_fdat,".dat");
 338         strcat(name_ffsc,EMUFS_FSC_EXT);
 339
 340         /* Obtengo el tamanio del .dat */
 341         if ( (datfile = fopen(name_fdat,"rb+")) == NULL){
 342                         PERR("No se pudo abrir el archivo");
 343                         return;
 344         }
 345         fseek(datfile,0,SEEK_END);
 346         datsize = ftell(datfile);
 347
 348         /* Obtengo la cantidad de gaps */
 349         if ( (fscfile = fopen(name_ffsc,"rb")) == NULL){
 350                         PERR("No se pudo abrir el archivo");
 351                         fclose(datfile);
 352                         return;
 353         }
 354         fseek(fscfile,0,SEEK_END);
 355         cant_gaps = ftell(fscfile)/sizeof(EMUFS_FSC);
 356
 357         if (cant_gaps == 0) {
 358                 fclose(datfile);
 359                 fclose(fscfile);
 360                 return;
 361         }
 362         if (cant_gaps == 1) {
 363                 /* Un solo gap, muevo toda la data luego del gap y trunco */
 364                 fseek(fscfile,0,SEEK_SET);
 365                 fread(&reg1,sizeof(EMUFS_FSC),1,fscfile);
 366                 source = reg1.marker + reg1.freespace;
 367                 destination = reg1.marker;
 368                 mustmove_bytes = datsize - source;
 369                 /*printf("Para recompactar, must move: %lu bytes\n",mustmove_bytes);
 370                 printf("Will move from: %lu  to  %lu\n",source,destination);*/
 371                 emufs_tipo2_movedata(datfile,&source,&destination,mustmove_bytes);
 372         }
 373         if (cant_gaps > 1)
 374         {
 375                 /* Comienzo leyendo un gap */
 376                 fseek(fscfile,0,SEEK_SET);
 377                 fread(&reg1,sizeof(EMUFS_FSC),1,fscfile);
 378                 destination = reg1.marker;
 379                 --cant_gaps;
 380
 381                 while (cant_gaps > 0)
 382                 {
 383                         /* El source siempre sera el fin del anteultimo gap leido */
 384                         source = reg1.marker + reg1.freespace;
 385                         /* Leemos otro gap para calcular cuanto debemos mover */
 386                         fread(&reg2,sizeof(EMUFS_FSC),1,fscfile);
 387                         mustmove_bytes = reg2.marker - source;
 388                         /*printf("Para recompactar, must move: %lu bytes\n",mustmove_bytes);
 389                         printf("Will move from: %lu  to  %lu\n",source,destination);*/
 390                         emufs_tipo2_movedata(datfile,&source,&destination,mustmove_bytes);
 391                         /* Guardo el nuevo destino que es donde termino de mover */
 392                         destination = ftell(datfile);
 393                         /* El ultimo gap leido, pasa a ser el de referencia ahora */
 394                         reg1.marker = reg2.marker;
 395                         reg1.freespace = reg2.freespace;
 396                         --cant_gaps;
 397                 }
 398
 399                 /* Realizo el movimiento del ultimo chunk de datos */
 400                 source = reg1.marker + reg1.freespace;
 401                 mustmove_bytes = datsize - source;
 402                 emufs_tipo2_movedata(datfile,&source,&destination,mustmove_bytes);
 403         }
 404
 405         fclose(datfile);
 406         fclose(fscfile);
 407
 408         /* Trunco el dat para que no quede el espacio vacio al final */
 409         totalfsc = emufs_fsc_get_total_fs(efs);
 410         truncate(name_fdat,datsize - totalfsc);
 411         truncate(name_ffsc,0);
 412
 413         /* Recreo el Indice con los nuevos offsets */
 414         emufs_tipo2_updateidx(efs);
 415 }
 416
 417 /* Mueve data desde un source a un destination, de a chunks */
 418 void emufs_tipo2_movedata(FILE *datfile,EMUFS_OFFSET *source, EMUFS_OFFSET *destination, EMUFS_BLOCK_SIZE mustmove_bytes)
 419 {
 420     int chunksize = 25;
 421         char *chunk = malloc(chunksize*sizeof(char));
 422         unsigned long cant_chunks = 0,left_chunk = 0;
 423
 424         /* Obtengo cuantos bloques de a CHUNKSIZE bytes debo mover. Si la cantidad es no entera */
 425         cant_chunks = floor(mustmove_bytes/chunksize);
 426         left_chunk = fmod(mustmove_bytes,chunksize);
 427
 428         /*printf ("Cantidad de chunk de %i bytes movidos: %lu\n",chunksize,cant_chunks);
 429         printf ("Left chunk movido fue de: %lu bytes\n",left_chunk);*/
 430
 431         while(cant_chunks > 0)
 432         {
 433                 fseek(datfile,*source,SEEK_SET);
 434                 fread(chunk,chunksize,1,datfile);
 435                 fseek(datfile,*destination,SEEK_SET);
 436                 fwrite(chunk,chunksize,1,datfile);
 437                 *source += chunksize;
 438                 *destination += chunksize;
 439                 --cant_chunks;
 440         }
 441
 442         if (left_chunk > 0)
 443         {
 444                 fseek(datfile,*source,SEEK_SET);
 445                 fread(chunk,left_chunk,1,datfile);
 446                 fseek(datfile,*destination,SEEK_SET);
 447                 fwrite(chunk,left_chunk,1,datfile);
 448         }
 449
 450         free(chunk);
 451 }
 452
 453 /* Sincroniza el Index con las posiciones de los datos, luego de un recompactar */
 454 int emufs_tipo2_updateidx(EMUFS *efs)
 455 {
 456         char name_fdat[255];
 457         FILE *datfile;
 458         EMUFS_REG_ID reg_id = -1;
 459         EMUFS_OFFSET reg_offset = -1;
 460         EMUFS_REG_SIZE reg_size = -1;
 461
 462         strcpy(name_fdat,efs->nombre);
 463         strcat(name_fdat,".dat");
 464
 465         /* Obtengo el tamanio del .dat */
 466         if ( (datfile = fopen(name_fdat,"rb+")) == NULL){
 467                         PERR("No se pudo abrir el archivo");
 468                         return -1;
 469         }
 470
 471         /* Recorremos el archivo y actualizamos el .idx */
 472         fseek(datfile,sizeof(EMUFS_Tipo),SEEK_SET);
 473         while (!feof(datfile))
 474         {
 475                 /* Leo un ID y actualizo el offset en el .idx */
 476                 reg_offset = ftell(datfile);
 477                 if (fread(&reg_id,sizeof(EMUFS_REG_ID),1,datfile) != 1) continue;
 478                 emufs_idx_actualizar(efs,reg_id,reg_offset);
 479                 /* Salteo la data del registro, para leer el proximo header */
 480                 fread(&reg_size,sizeof(EMUFS_REG_SIZE),1,datfile);
 481                 fseek(datfile,reg_size,SEEK_CUR);
 482         }
 483
 484         return 0;
 485 }
 486
 487 void* emufs_tipo2_leer_registro_raw(EMUFS *efs, EMUFS_REG_ID id, EMUFS_REG_SIZE *size, int *pos)
 488 {
 489         FILE* f_data;
 490         char *registro; /* registro a leer */
 491         char  name_f[255];
 492         EMUFS_OFFSET reg_offset; /* offset donde se encuentra el registro */
 493
 494         strcpy(name_f,efs->nombre);
 495         strcat(name_f,".dat");
 496
 497         /* Obtenemos la posicion del registro en el .dat */
 498         reg_offset = emufs_idx_buscar_registro(efs, id);
 499         if (reg_offset == EMUFS_NOT_FOUND) {
 500                 PERR("Registro no encontrado");
 501                 return NULL;
 502         }
 503
 504         /* Levantamos el registro */
 505         if ((f_data = fopen(name_f, "rb")) == NULL) {
 506                 PERR("No se puede abrir archivo");
 507                 return NULL;
 508         }
 509         fseek(f_data,reg_offset+sizeof(EMUFS_REG_ID), SEEK_SET);
 510         fread(size,sizeof(EMUFS_REG_SIZE),1,f_data);
 511         registro = (char*)malloc(*size+sizeof(EMUFS_REG_ID)+sizeof(EMUFS_REG_SIZE)+100);
 512         if (reg_offset >= 50) {
 513                 fseek(f_data, reg_offset - 50, SEEK_SET);
 514                 (*pos) = 50;
 515         } else {
 516                 /* Si no hay 50 antes mio, estoy cerca del 0! */
 517                 (*pos) = reg_offset;
 518                 fseek(f_data, 0, SEEK_SET);
 519         }
 520         (*size) += sizeof(EMUFS_REG_ID)+sizeof(EMUFS_REG_SIZE)+100;
 521         fread(registro,*size, 1,f_data);
 522         fclose(f_data);
 523
 524         return registro;
 525 }