src/statichuff/statichuff.c

   1
   2 #include "statichuff.h"
   3 #include <stdlib.h>
   4 #include <string.h>
   5
   6 /** Coloca un bit en un buffer statico */
   7 void putbit(char bit, char restart, char flush, VFILE *fp)
   8 {
   9         static unsigned long int bits_buffer = 0;
  10         static unsigned char bits_used = 0;
  11
  12         /* me obligan a emitir el output */
  13         if ((flush == 1) && (bits_used > 0)) {
  14                 bits_buffer = bits_buffer << ((sizeof(unsigned long int)*8) - bits_used);
  15                 vfwrite(&bits_buffer,sizeof(unsigned long int),1,fp);
  16                 bits_buffer = 0;
  17                 bits_used = 0;
  18                 return;
  19         }
  20         /* me indican que comienza un nuevo output */
  21         if (restart) {
  22                 bits_buffer = 0;
  23                 bits_used = 0;
  24         }
  25         /* inserto el bit en el buffer */
  26         bits_buffer = bits_buffer << 1;
  27         bits_buffer |= bit;
  28         bits_used++;
  29
  30         /* lleno el buffer, escribo */
  31         if (bits_used == 32) {
  32                 vfwrite(&bits_buffer,sizeof(unsigned long int),1,fp);
  33                 bits_buffer = 0;
  34                 bits_used = 0;
  35         }
  36         return;
  37 }
  38
  39 /** Realiza la copia de los datos de un nodo de huffman a otro */
  40 void shuff_cpynode(SHUFFNODE *node1, SHUFFNODE *node2)
  41 {
  42         node1->symbol = node2->symbol;
  43         node1->freq = node2->freq;
  44         node1->lchild = node2->lchild;
  45         node1->rchild = node2->rchild;
  46 }
  47
  48 /** Realiza una comparacion de dos nodos de huffman */
  49 int shuff_compnode(const void *node1, const void *node2)
  50 {
  51         if (((SHUFFNODE*)node1)->freq < ((SHUFFNODE*)node2)->freq) return 1;
  52         if (((SHUFFNODE*)node1)->freq > ((SHUFFNODE*)node2)->freq) return -1;
  53         return 0;
  54 }
  55
  56 /** Destruye un arbol de huffman recursivamente */
  57 void shuff_destroy_tree(SHUFFNODE *node) {
  58         /* Si llegue a una hoja, destruyo y vuelvo */
  59         if (node->symbol < 256) {
  60                 free(node);
  61                 return;
  62         }
  63         else {
  64                 /* Desciendo por izq, luego por derecha y luego libero */
  65                 shuff_destroy_tree(node->lchild);
  66                 shuff_destroy_tree(node->rchild);
  67                 free(node);
  68                 return;
  69         }
  70 }
  71
  72 /** Reescala las frecuencias de huffman a la mitad */
  73 int shuff_rescalefreq(t_freq *freqtable)
  74 {
  75         int i;
  76         t_freq totalfreq = 0;
  77
  78         /* Divido por la mitad las frecuencias, asegurando de no perder */
  79         for (i = 0; i < 256; i++) {
  80                 freqtable[i] = (freqtable[i] >> 2) | 1;
  81                 totalfreq += freqtable[i];
  82         }
  83
  84         return totalfreq;
  85 }
  86
  87 /** Escanea las frecuencias de un chunk de datos */
  88 int shuff_scanfreq_chunk(HUFF_STATE *chunkshuff, char* chunk, int chunksize)
  89 {
  90         /* Locals */
  91         int i = 0;
  92         unsigned char symbol = 0;
  93
  94         /* Contamos las frecuencias del chunk a menos que se use un canonico */
  95         if (!chunkshuff->canonic) {
  96                 for (i = 0; i < chunksize; ++i) {
  97                         symbol = chunk[i];
  98                         chunkshuff->freqtable[symbol] += 1;
  99                         chunkshuff->sumfreq += 1;
 100
 101                         /* Si llegue al tope de freq acumulada, halve em */
 102                         if (chunkshuff->sumfreq == 14930352)
 103                                 chunkshuff->sumfreq = shuff_rescalefreq(chunkshuff->freqtable);
 104                 }
 105         }
 106
 107         /* Dumpeamos el chunk en el temporal homero */
 108         fwrite(chunk,chunksize,1,chunkshuff->coderfp);
 109
 110         return 1;
 111 }
 112
 113 /** Escanea las frecuencias de un archivo y genera el modelo */
 114 int shuff_scanfreq(char *inputfile, t_freq *freqtable)
 115 {
 116         /* Locals */
 117         FILE *fp;
 118         t_freq sumfreq = 0;
 119         int i,symbol;
 120
 121         /* Inicializamos la tabla de frecuencias */
 122         for (i = 0; i < 256; ++i) freqtable[i] = 0;
 123
 124         /* Abrimos el file */
 125         if ((fp = fopen(inputfile,"r")) == NULL) return 0;
 126         while (!feof(fp)) {
 127                 /* Contamos las frecuencias */
 128                 symbol = fgetc(fp);
 129                 if (symbol == EOF) continue;
 130
 131                 freqtable[symbol]++;
 132                 ++sumfreq;
 133
 134                 /* Si llegue al tope de freq acumulada, halve em */
 135                 if (sumfreq == 14930352)
 136                         sumfreq = shuff_rescalefreq(freqtable);
 137         }
 138
 139         fclose(fp);
 140         return 1;
 141 }
 142
 143 /** Genera un input list que sera utilizada para generar el arbol */
 144 SHUFFNODE *shuff_buildlist(t_freq *freqtable, int *nonzerofreqs)
 145 {
 146         int i,j = 0,nonzero = 0;
 147         SHUFFNODE *inputlist;
 148
 149         /* Calculo cuantas frequencias > 0 hay y creo la tabla */
 150         for (i = 0; i < 256; ++i) if (freqtable[i] > 0) nonzero++;
 151         inputlist = (SHUFFNODE*)malloc(sizeof(SHUFFNODE)*nonzero);
 152
 153         /* Cargo la inputlist del huffman solo con freqs > 0 */
 154         for (i = 0; i < 256; ++i)
 155                 if (freqtable[i] > 0) {
 156                         inputlist[j].symbol = i;
 157                         inputlist[j].freq = freqtable[i];
 158                         inputlist[j].lchild = NULL;
 159                         inputlist[j].rchild = NULL;
 160                         j++;
 161                 }
 162
 163         *nonzerofreqs = nonzero;
 164         return inputlist;
 165 }
 166
 167 /** Genera el arbol de huffman en base a la tabla de frecuencias */
 168 SHUFFNODE *shuff_buildtree(t_freq *ftable)
 169 {
 170         SHUFFNODE *lastsymbol;
 171         SHUFFNODE *node1,*node2,*root;
 172         SHUFFNODE *inputlist;
 173         int freqcount = 0;
 174
 175         /* Genero la input list en base a la cual genera el arbol */
 176         inputlist = shuff_buildlist(ftable, &freqcount);
 177         lastsymbol = inputlist+(freqcount-1);
 178
 179         while (lastsymbol > inputlist) {
 180                 /* Ordeno la lista por frecuencia descendente */
 181                 qsort(inputlist,freqcount,sizeof(SHUFFNODE),shuff_compnode);
 182                 /* Tomo los ultimos dos elementos, generando dos nodos del arbol */
 183                 node1 = (SHUFFNODE*)malloc(sizeof(SHUFFNODE));
 184                 node2 = (SHUFFNODE*)malloc(sizeof(SHUFFNODE));
 185                 shuff_cpynode(node1,lastsymbol-1);
 186                 shuff_cpynode(node2,lastsymbol);
 187                 lastsymbol -= 1;
 188                 /* Nodo ficticio con la suma de las probs y los ptros a childs */
 189                 lastsymbol->symbol = 256;
 190                 lastsymbol->freq = node1->freq + node2->freq;
 191                 lastsymbol->lchild = node1;
 192                 lastsymbol->rchild = node2;
 193                 --freqcount;
 194         }
 195
 196         /* Copio la raiz para poder liberar la lista sin perderla */
 197         root = (SHUFFNODE*)malloc(sizeof(SHUFFNODE));
 198         shuff_cpynode(root,lastsymbol);
 199
 200         /* Free up mem */
 201         free(inputlist);
 202
 203         /* Devuelvo el puntero a la raiz del arbol de huffman */
 204         return root;
 205 }
 206
 207 /** Imprime los codigos prefijos generados para los symbolos */
 208 void shuff_printcodes(SHUFFCODE *codetable,t_freq *freqtable)
 209 {
 210         int i,j;
 211         unsigned short int auxcode;
 212         unsigned char bit;
 213
 214         for (i = 0; i < 256; ++i) {
 215                 if (codetable[i].codelength > 0) {
 216                         auxcode = codetable[i].code;
 217                         printf("Symbol:%i  Freq: %lu  Code:",i,freqtable[i]);
 218                         for (j = codetable[i].codelength-1; j >= 0; --j) {
 219                                 auxcode = codetable[i].code;
 220                                 auxcode = auxcode >> j;
 221                                 bit = auxcode & 1;
 222                                 printf("%i",bit);
 223                         }
 224                         printf("  Length:%i\n",codetable[i].codelength);
 225                 }
 226         }
 227 }
 228
 229 /** Inicializa la tabla de codigos prefijos */
 230 void shuff_zerocodes(SHUFFCODE *table)
 231 {
 232         int i;
 233
 234         /* Inicializo los codigos prefijos */
 235         for (i = 0; i < 256; ++i) {
 236                 table[i].code = 0;
 237                 table[i].codelength = 0;
 238         }
 239 }
 240
 241 /** Genera la tabla de codigos prefijos en base al árbol de huffman */
 242 void shuff_buildcodes(SHUFFCODE *table, SHUFFNODE *node, int level, int code)
 243 {
 244         if (node->symbol < 256) {
 245                 /* Guardo el codigo en la tabla */
 246                 table[node->symbol].code = code;
 247                 table[node->symbol].codelength = level;
 248         }
 249         else {
 250                 code = code << 1;
 251                 shuff_buildcodes(table,node->lchild,level+1,code);
 252                 code |= 1;
 253                 shuff_buildcodes(table,node->rchild,level+1,code);
 254         }
 255 }
 256
 257 /** Realiza la compresion / encoding efectivo de un archivo */
 258 int shuff_encode_symbols(HUFF_STATE *shuff, SHUFFCODE *ctable)
 259 {
 260         FILE *fpsource;
 261         VFILE *fpdest;
 262         int symbol,i;
 263         unsigned long int sourcesize;
 264         char bit;
 265         SHUFFCODE symbolcode;
 266
 267         /* Abrimos el source y el destino */
 268         if (shuff->coderfp != NULL) {
 269                 fclose(shuff->coderfp); /* close bychunk temp file */
 270                 shuff->coderfp = NULL;
 271         }
 272         if ((fpsource = fopen(shuff->sourcefile,"r")) == NULL) return 0;
 273         if ((fpdest = vfopen(shuff->targetfile,"w",shuff->volsize)) == NULL) return 0;
 274
 275         /* Guardamos el size el archivo original e inputlist como header */
 276         fseek(fpsource,0,SEEK_END);
 277         sourcesize = ftell(fpsource);
 278         vfwrite(&sourcesize,sizeof(unsigned long int),1,fpdest);
 279         vfwrite(shuff->freqtable,sizeof(t_freq),256,fpdest);
 280
 281         /* Encodeo */
 282         fseek(fpsource,0,SEEK_SET);
 283         while (!feof(fpsource)) {
 284                 /* Levanto un symbolo (byte) */
 285                 symbol = fgetc(fpsource);
 286                 if (symbol == EOF) continue;
 287
 288                 /* Cargamos el codigo y lo emitimos */
 289                 symbolcode = ctable[symbol];
 290                 for (i = symbolcode.codelength; i > 0; --i) {
 291                         bit = (symbolcode.code >> (i-1)) & 1;
 292                         putbit(bit,0,0,fpdest);
 293                 }
 294         }
 295
 296         /* Hacemos un flush de lo que haya quedado en el buffer de salida */
 297         putbit(0,0,1,fpdest);
 298         fclose(fpsource);
 299         vfclose(fpdest);
 300         return 1;
 301 }
 302
 303 /** Prepara las estructuras de datos necesarias para una compresion */
 304 int shuff_encode_file(HUFF_STATE *shuff)
 305 {
 306         /* Locals */
 307         SHUFFCODE *codetable = (SHUFFCODE*)malloc(sizeof(SHUFFCODE)*256);
 308
 309         /* Veo si debo armar una freqtable o si esta preloaded */
 310         if ((!shuff->canonic) && (!shuff->bychunk))
 311                 if (!shuff_scanfreq(shuff->sourcefile,shuff->freqtable)) return 0;
 312
 313         /* Genero el arbol de huffman */
 314         shuff->codetree = shuff_buildtree(shuff->freqtable);
 315
 316         /* Armo la tabla de codigos prefijos para el encoder */
 317         shuff_zerocodes(codetable);
 318         shuff_buildcodes(codetable,shuff->codetree,0,0);
 319         /*shuff_printcodes(codetable,shuff->freqtable);*/
 320
 321         /* Encodeo byte per byte */
 322         shuff_encode_symbols(shuff,codetable);
 323
 324         /* Free up memory baby yeah */
 325         free(codetable);
 326
 327         return 1;
 328 }
 329
 330 /** Decodifica una serie de bits en un symbolo y lo devuelve */
 331 SHUFFNODE *shuff_decode_symbols(SHUFFNODE *entrynode, unsigned long int buffer,
 332                                                          int *bitsleft, unsigned short int *symbol)
 333 {
 334         char bit = 0;
 335
 336         /* Levanto el symbolo y si es uno valido, devuelvo */
 337         *symbol = entrynode->symbol;
 338         if (*symbol != 256) return entrynode;
 339         if (*bitsleft == 0) return entrynode;
 340
 341         /* Obtengo otro bit a procesar y me muevo en el arbol */
 342         bit = (buffer >> ((*bitsleft)-1)) & 1;
 343         --(*bitsleft);
 344         if (bit == 0) return shuff_decode_symbols(entrynode->lchild,buffer,bitsleft,symbol);
 345         else return shuff_decode_symbols(entrynode->rchild,buffer,bitsleft,symbol);
 346 }
 347
 348 /** Decodifica chunksize symbolos y los devuelve en un chunk de datos */
 349 int shuff_decode_chunk(HUFF_STATE *shuff, char *chunk, int chunksize, unsigned long int *decodedbytes)
 350 {
 351         SHUFFNODE *currnode = shuff->codetree;
 352         unsigned short int decoded_symbol;
 353         *decodedbytes = 0;
 354
 355         while (!vfeof(shuff->decoderfp) && (shuff->bytesleft > 0) && (*decodedbytes < chunksize)) {
 356
 357                 /* Leo un buffer de 32 bits si es que quedo vacio el anterior */
 358                 if (shuff->bitsleft == 0) {
 359                         if (vfread(&(shuff->codebuffer),sizeof(unsigned long int),1,shuff->decoderfp) != 1) continue;
 360                         shuff->bitsleft = sizeof(unsigned long int) * 8;
 361                 }
 362
 363                 /* Proceso el buffer sacando simbolos till se me agote el buffer, file o chunk */
 364                 while ((shuff->bitsleft > 0) && (shuff->bytesleft > 0) && (*decodedbytes < chunksize)) {
 365                         currnode = shuff_decode_symbols(currnode,shuff->codebuffer,&(shuff->bitsleft),&decoded_symbol);
 366                         /* Si obtuve un symbolo valido lo emito*/
 367                         if (decoded_symbol != 256) {
 368                                 chunk[(*decodedbytes)++] = decoded_symbol;
 369                                 currnode = shuff->codetree;
 370                                 --(shuff->bytesleft);
 371                         }
 372                 }
 373         }
 374
 375         if (shuff->bytesleft == 0) return 0;
 376         else return 1;
 377 }
 378
 379 /** Realiza la descompresión de un archivo comprimido */
 380 int shuff_decode_file(HUFF_STATE *shuff)
 381 {
 382         SHUFFNODE *currnode;
 383         unsigned long int codebuffer;
 384         FILE *fpdest;
 385         unsigned short int decoded_symbol;
 386         int bitsleft;
 387
 388         /* Comienzo a decodificar, pues la tabla ya la levante en el decinit */
 389         if ((fpdest = fopen(shuff->targetfile,"w")) == NULL) return 0;
 390         currnode = shuff->codetree;
 391
 392         while (!vfeof(shuff->decoderfp) && (shuff->bytesleft > 0)) {
 393
 394                 /* Leo un buffer de 32 bits */
 395                 if (vfread(&codebuffer,sizeof(unsigned long int),1,shuff->decoderfp) != 1) continue;
 396                 bitsleft = sizeof(unsigned long int) * 8;
 397
 398                 /* Proceso el buffer sacando simbolos hasta que se me agote */
 399                 while ((bitsleft > 0) && (shuff->bytesleft > 0)) {
 400                         currnode = shuff_decode_symbols(currnode,codebuffer,&bitsleft,&decoded_symbol);
 401                         /* Si obtuve un symbolo valido lo emito*/
 402                         if (decoded_symbol != 256) {
 403                                 fputc(decoded_symbol,fpdest);
 404                                 currnode = shuff->codetree;
 405                                 --(shuff->bytesleft);
 406                         }
 407                 }
 408         }
 409
 410         /* Close destination */
 411         fclose(fpdest);
 412
 413         return 1;
 414 }
 415
 416 /** Inicializa un descompresor de huffman */
 417 HUFF_STATE *shuff_init_decoder(char *inputfile, char *outputfile)
 418 {
 419         /* Locals */
 420         HUFF_STATE *shuff = (HUFF_STATE*)malloc(sizeof(HUFF_STATE));
 421         shuff->freqtable = (t_freq*)malloc(sizeof(t_freq)*256);
 422
 423         /* Init fields */
 424         shuff->codebuffer = 0;
 425         shuff->bitsleft = 0;
 426         shuff->coderfp = NULL;
 427         shuff->targetfile = NULL;
 428         shuff->sourcefile = (char*)malloc(sizeof(char)*(strlen(inputfile)+1));
 429         strcpy(shuff->sourcefile,inputfile);
 430         if (outputfile != NULL) {
 431                 shuff->targetfile = (char*)malloc(sizeof(char)*(strlen(outputfile)+1));
 432                 strcpy(shuff->targetfile,outputfile);
 433         }
 434
 435         /* Levanto cuantos bytes debo decodificar y la freqtable */
 436         if ((shuff->decoderfp = vfopen(shuff->sourcefile,"r",0)) == NULL) return NULL;
 437         vfread(&(shuff->bytesleft),sizeof(unsigned long int),1,shuff->decoderfp);
 438         vfread(shuff->freqtable,sizeof(t_freq),256,shuff->decoderfp);
 439         /* Armo el arbol de huffman que uso para decodificar */
 440         shuff->codetree = shuff_buildtree(shuff->freqtable);
 441
 442         return shuff;
 443 }
 444
 445 /** Inicializa compresor de huffman por archivo */
 446 HUFF_STATE *shuff_init_encoder_byfile(char *inputfile, char *outputfile, long volsize)
 447 {
 448         /* Locals */
 449         HUFF_STATE *fshuff = (HUFF_STATE*)malloc(sizeof(HUFF_STATE));
 450         int i;
 451
 452         /* Inicializo la estructura para trabajar con Huff Static by File */
 453         fshuff->coderfp = NULL;
 454         fshuff->decoderfp = NULL;
 455         fshuff->sourcefile = (char*)malloc(sizeof(char)*(strlen(inputfile)+1));
 456         fshuff->targetfile = (char*)malloc(sizeof(char)*(strlen(outputfile)+1));
 457         strcpy(fshuff->sourcefile,inputfile);
 458         strcpy(fshuff->targetfile,outputfile);
 459         fshuff->volsize = volsize;
 460         fshuff->bychunk = 0;
 461         fshuff->canonic = 0;
 462         fshuff->freqtable = (t_freq*)malloc(sizeof(t_freq)*256);
 463         for (i = 0; i < 256; ++i) fshuff->freqtable[i] = 0;
 464         fshuff->sumfreq = 0;
 465         fshuff->codetree = NULL;
 466
 467         return fshuff;
 468 }
 469
 470 /** Inicializa compresor de huffman de a chunks */
 471 HUFF_STATE *shuff_init_encoder_bychunk(char *outputfile, long volsize)
 472 {
 473         /* Locals */
 474         HUFF_STATE *cshuff = (HUFF_STATE*)malloc(sizeof(HUFF_STATE));
 475         int i;
 476
 477         /* Inicializo la estructura para trabajar con Huff Static by Chunks */
 478         cshuff->decoderfp = NULL;
 479         cshuff->sourcefile = (char*)malloc(sizeof(char)*(strlen(outputfile)+2));
 480         cshuff->targetfile = (char*)malloc(sizeof(char)*(strlen(outputfile)+1));
 481         strcpy(cshuff->targetfile,outputfile);
 482         strcpy(cshuff->sourcefile,outputfile);
 483         strcat(cshuff->sourcefile,"~");
 484         cshuff->volsize = volsize;
 485         cshuff->bychunk = 1;
 486         cshuff->canonic = 0;
 487         cshuff->freqtable = (t_freq*)malloc(sizeof(t_freq)*256);
 488         for (i = 0; i < 256; ++i) cshuff->freqtable[i] = 0;
 489         cshuff->sumfreq = 0;
 490         cshuff->codetree = NULL;
 491
 492         /* Abrimos un archivo temporal para ir tirando los chunks */
 493         if ((cshuff->coderfp = fopen(cshuff->sourcefile,"w")) == NULL) return NULL;
 494
 495         return cshuff;
 496 }
 497
 498 /** Carga un modelo estadistico para huffman */
 499 int shuff_loadmodel(HUFF_STATE *shuff, char *modelfile) {
 500
 501         FILE *fp;
 502
 503         if ((shuff) && (shuff->freqtable) && (modelfile)) {
 504                 /* Cargo el modelo de disco */
 505                 if ((fp = fopen(modelfile,"r")) == NULL) return 0;
 506                 if (fread(shuff->freqtable,sizeof(t_freq),256,fp) != 256) return 0;
 507                 shuff->canonic = 1;
 508                 if (fp) fclose(fp);
 509                 return 1;
 510         }
 511         return 0;
 512 }
 513
 514 /** Graba un modelo estadístico de huffman */
 515 int shuff_savemodel(HUFF_STATE *shuff) {
 516
 517         FILE *fp;
 518         char *auxfilename;
 519         char *stopchar;
 520
 521         if ((shuff) && (shuff->targetfile) && (shuff->freqtable)) {
 522                 /* Preparo el nombre del archivo con la tabla */
 523                 auxfilename = (char*)malloc(strlen(shuff->targetfile)+1);
 524                 stopchar = strrchr(shuff->targetfile,'.');
 525                 strncpy(auxfilename,shuff->targetfile,stopchar - shuff->targetfile);
 526                 auxfilename[stopchar - shuff->targetfile] = 0;
 527                 strcat(auxfilename,".ftb");
 528
 529                 /* Lo creamos y dumpeamos la tabla de frecuencias (modelo) */
 530                 if ((fp = fopen(auxfilename,"w")) == NULL) return 0;
 531                 fwrite(shuff->freqtable,sizeof(t_freq),256,fp);
 532                 if (fp) fclose(fp);
 533
 534                 return 1;
 535         }
 536         return 0;
 537 }
 538
 539 /** Desinicializa un compresor de huffman */
 540 void shuff_deinit_encoder(HUFF_STATE *shuff)
 541 {
 542         /* Libero mallocs y cierro archivos */
 543         if (shuff->freqtable) free(shuff->freqtable);
 544         if (shuff->coderfp) fclose(shuff->coderfp);
 545         if (shuff->bychunk) unlink(shuff->sourcefile);
 546         if (shuff->sourcefile) free(shuff->sourcefile);
 547         if (shuff->targetfile) free(shuff->targetfile);
 548
 549         /* Destruyo recursivamente el arbol de codigos */
 550         if (shuff->codetree) shuff_destroy_tree(shuff->codetree);
 551 }
 552
 553 /** Desinicializa un descompresor de huffman */
 554 void shuff_deinit_decoder(HUFF_STATE *shuff)
 555 {
 556         /* Libero mallocs y cierro archivos */
 557         if (shuff->freqtable) free(shuff->freqtable);
 558         if (shuff->sourcefile != NULL) free(shuff->sourcefile);
 559         if (shuff->targetfile != NULL) free(shuff->targetfile);
 560         if (shuff->decoderfp != NULL) vfclose(shuff->decoderfp);
 561
 562         /* Destruyo recursivamente el arbol de codigos */
 563         if (shuff->codetree) shuff_destroy_tree(shuff->codetree);
 564 }