Ahora si, me habia olvidado de hacer el Decoder de Jacu chunkeable y sin archivo temporal. Done and tested for good

Se quita el archivo temporal del jacu.c y se modifica para usar Huffman por Chunks. Se lo prueba con test_es respecto del compresor con archivo temporal con MD5SUM para comprobar que quedo andando bien. Las pruebas se realizaron con y sin zerogrouping

Listo Huffman Canonico, con dos nuevos parametros s y m se permite grabar una tabla luego de una compresion (-s = save) y tambien se permite cargar una tabla/modelo antes de encodear y utilizarla, salteando el scan por supuesto (-m modelfile = carga una tabla de freq de disco). Todo esto, tanto para huff por archivo o por chunk, same deal por lo que ya esta listo para usar en el TP

Mejor manejo de memoria, still debe haber sus buenos holes en un rato lo reviso con valgrind

Modifico el main del Jacu para que compile con la nueva API de Huffman por lo que puedan hacer svn up tranquilos. No obstante, dado que estoy muy cansado, sigue usando el archivo temporal y a huffman por file, pero ya esta implementado huffman by chunks que en cuanto este un poco mas depurado jacu en si, lo metemos.

Listo en teoria Huffman Compresor/Descompresor ByFile y Bychunk. Maniana detallo un poco el API y si tengo pilas ahora lo acoplo en JACU, sino tomorrow porque no doy mas. Vamo que llegamos al viernes..

Another safe upload..

Safe upload, minimo cambio de nuevo al API, still working on decompression per chunk

 cosas y mas cosas de prueba

Huffman con capacidad de comprimir chunks y presentando nueva API. El descompresor por chunks no esta implementado aun, do not try at home

Se pasan mensajes de debug a stderr.

 Bugfixes, saco algunos prints ... algunos md5 no me dan bien :-/

Borro .o en subdirectorios en el make clean.

copio el z para que no se tenga que procesar todo el choclo de nuevo

 DESCOMPRIME !!!!!!!!!!!!!!!!!!

 BUGFIX al MTF. Se estaba guardando el Z final y no el inicial y eso hacia cagadas.

 De todos modos me falta algo porque el archivo final contiene basura al descomprimir (tal
 vez mi bs_restore ?)

 Bugfixes y mas cosas a la pantalla

 algunos () para que se note mejor los caracteres que no se imprimen.

 Subo esto que tira mucha fruta, pero ayuda a visualizar las cosas

 mas cosas

 BUGFIX : se estaba guardando mal el pagesize

Cambio flag "p" por "q" para cambiar el nivel de compresion con valores predefinidos (de tamaño de página): 0..9 (1K..512K). Por default es 5 (32K).

 retorques

 "completo" descompresor ... se pierde todos los datos :-/

 leak

 * Agrego al MTF 2 parametros para recuperar el Z y Z_len a fin de meterlos en el archivo.

Se cambia por un nombre mas representativo.

Se cambia por un nombre mas representativo.

 idem anterior

 Para que quede mas prolijo

 fixed

 fixed

Me esta tirando un segmentation fault en el free(salida), si alguien lo puede ver... :-/

Hago que imprima bpb al terminar :)

Bugfix. Habían muchos int* que debían ser char*, por favor fijense si estoy errado, pero al menos ahora no tira el segmentation fault.

Agrego opción para incluir ZG en jacu (sólo en la compresión, por ahora).

Para que no ponga warning.

Se completa el decoder de ZG.

 Agrego descompresor. No funciona porque me esta faltando el vector "pos" del MTF que no estoy
 seguro de donde sacarlo, hay que ver donde lo guardamos en el archivo (delante de cada bloque ?)

Se implementa zerogrouping sin uso de buffer (caracter a caracter). Esto mejora
la eficacia porque si el buffer partía una serie de ceros, la serie ocupaba 4
bytes (2 en el primer buffer y 2 en el segundo) en vez de 2.

 Algunas mejoras, comentarios y arreglos

Primera versión del ZG, todavía no está el "decoder".

primera implementacion del decoder mtf, diganme si hace falta devolver algun otro valor util

 * Mejor guardo el k al principio y tambien guardo el tamaño del bloque (sera necesario hacer esto?)
 porque hay veces que no tengo un bloque completo, y para recuperar me pa' que lo voy a necesitar.

 * Guardo el k en el array de salida del BS para que el MTF lo tenga en cuenta.

Makefiles actualizados (nada importante).

Bugfix. vfread() ya anda bien.

pongo un char* en lugar de un int, no se quien lo cambio... en todo caso cambienlo de nuevo

 Agrego un paper sobre tecnicas para preprocesar antes del BS.

Agrego -p para setear el tamaño de página del BS.

 Ajusto compilacion

Uso vfeof agregado por luca

Se agregar vfeof(). Falta testeo.

Huffman ya comprime multivolumen, pero aun funciona descompresion de multivolumen o volumen unico. Pareceria que el problema esta en el vfwrite. Agrego el vfile.c desde el statichuffman.c pero a lo guapo, asi que quizas no compile el test del all in one, no soy bueno con los makefiles, alguien que lo vea

 Sorry

Se borra archivo de prueba.

Se mueven cosas de internet.

 borro el archivo temporal cuando no lo uso mas.

Borro archivo de prueba que ya esta al gas supongo.

 Algunos cambios para que todo compile.

 Inicio para jacu main program

 * Ajusto las cosas en los directorios que van.

 BUGFIX : Se sacan cosasq ue no se necesitan mas y se arregla la funcion de comparacion
 para que el qsort ordene bien.

  * Modifico el main para que acepte el modo Luca y el modo Gazer :-)
* Agrego qsort para ordenar en el BS (tengo que revisar, algo falla un poquito)

Taken care of mem leaks

Se agrega keyword Id del svn.

Se mejora el Makefile y se agregan dependencias.

Agrando buffer para procesar archivos "chicos" completos y saco salida por salida estandar de forma binaria. De nuevo, espero que no moleste (parece que ya anda bien, no?)

Cambio para que tome datos de la entrada estandar, espero que no joda.

Utilidad para arreglar PDFs importados a texto.

Cambio de formato.

Cambio estetico :)

Se termina de implementar vfread() y vfwrite. Falta testeo.

Fix

Minor fix en la declaracion de la funcion de comparacion para que no se queje el compiler

Listo Huffman, Encoding y Decoding con Codigos de 32 bits maximo. Tambien arme el ejecutable para que tome los parametros como los pide el TP, no es que vaya a usarse mi ejecutable, pero para que lo puedan probar tranquilo. Aun NO SOPORTA multivolumen, ahora me pongo a ver los 40 mails sobre el VFILE que no logre ver en la semana para ver como acoplo lo que tengo. Ademas hay que ver como acopla el Huffman con la salida el MTF, porque por el momento lo arme para que reciba archivos, no chunks, o cosas por el estilo, lo charlamos luego, me parece mejor ver el tema VFILE first pero avisen

arreglos minimos, saco los printf feos

 Fucking olvidada :-D

Reemplazo printf() por fprintf(stderr) para hacer pruebas.
Ahora el ejecutable de prueba toma los datos por la entrada estandar (solo los
primeros BUFSIZ caracteres) para poder hacer pruebas mas facil combinando los
distintos algoritmos a traves de pipes.
Para ejecutar el ejemplo original seria: echo RDARCAAAABB | ./mtf
(espero que no les moleste mucho, si no lo vuelvo para atras y hago un fork)

Agrego Makefile y e #include para evitar warnings.

Reordeno un poco el codigo para hacerlo mas modular, igualmente en cuanto vea el tema de multivolumen y de como me van a enviar los datos desde el MTF, seguramente va a sufrir algunos cambios lindos

 Reestructuracion

 detalle

 * Ordeno el Z en forma dinamica

 buscar_z ahora parece funcionar

 Bugfixes

 * BUGFIX : Mal uso de realloc.

 * BUGFIX : Se estaba reservando mail la memoria, faltaba el sizeof(int)

 Agrego makefile y algunas .h para sacar warnings.

 * Agrego bs_restore para rehacer el array original.

anda un rato y despues no anda mas, seguro que estoy pisando mucha memoria

Encodeo, pero me falta guardar la de frecuencias, y ver como marco el fin de archivo, es decir como hago el output del ultimo buffer de 32 bits que es lo que utilizo para hacer output de bits (se va llenando y cuando se llena se emite. Al fin del archivo, se fuerza un flush de lo que haya dentro). Sidenote: Ahora los codigos son maximo 32 bits, con 16 bits andaba para atras, igualmente no se si esta encodeando joya, pero al menos comprime y no expande. Limo los detalles y me mando con el decompresor que es bastante zonzo asi encuentro la verdad Scully

Fix plus comment in main

Compresor Huffman, todo salvo el encodeado final, pero ya se obtiene la tabla de codigos prefijos, toy a un paso. Nevertheless, tengo que ver varias cositas como por ejemplo limitar los codigos a 32 bits max en vez de 16 como lo hize porque meparece que se pierden poder de compresion. Con texto pinta lindo, con un mp3, medio choto pero bueno after all un mp3 ya esta comprimido a su manera.

Bugfixes.

Se toma segundo argumento en KB.

Parece andar todo bien.

Primera aproximacion de VFILE. Hace algo pero seguro que mal.

Minioptimizacion para que la tabla de orden-(-1) se ajuste mejor a archivos de texto. Sirve de poco y nada.

Se arregla la identacion/etc.