-.. Describe más detalladamente los problemas actuales del recolector de
- basura de D, sentando las bases para el análisis de los requerimientos
- de recolección de basura en dicho lenguaje (se explica por qué las
- particularidades descriptas en la sección anterior complican la
- recolección de basura y cuales son las que más molestan).
- ESTADO: TERMINADO
-
-
.. _dgc:
Recolección de basura en D
============================================================================
D_ propone un nuevo desafío en cuanto al diseño de un recolector de basura,
-debido a la gran cantidad características que tiene y paradigmas que soporta.
+debido a la gran cantidad de características que tiene y paradigmas que
+soporta.
D_ ya cuenta con un recolector que hace lo necesario para funcionar de forma
-aceptable, pero su diseño e implementación son relativamente sencillas
-comparadas con el :ref:`estado del arte <gc_art>` de la recolección de basura
+aceptable, pero su diseño e implementación son relativamente sencillos
+comparados con el :ref:`estado del arte <gc_art>` de la recolección de basura
en general. Además la implementación actual presenta una serie de problemas
que se evidencia en las quejas que regularmente la comunidad de usuarios de D_
menciona en el grupo de noticias.
En esta sección se analizarán las necesidades particulares de D_ con respecto
a la recolección de basura. También se analiza el diseño e implementación del
-recolector actual y finalmente se presenta una recompilación de los
-principales problemas que presenta.
+recolector actual, presentando sus fortalezas y debilidades. Finalmente se
+analiza la viabilidad de los diferentes algoritmos vistos en :ref:`gc_art`.
a excepción de recolectores conservativos diseñados para C/C++ que tienen las
mismas (o más) limitaciones.
-El control sobre la alineación de memoria es otra complicación sobre el
-recolector de basura, incluso aunque éste sea conservativo. Dado que tratar la
-memoria de forma conservativa byte a byte sería impracticable (tanto por la
-cantidad de falsos positivos que esto provocaría como por el impacto en el
-rendimiento por el exceso de posibles punteros a revisar, además de lo
+La posibilidad de controlar la alineación de memoria es otra complicación
+sobre el recolector de basura, incluso aunque éste sea conservativo. Dado que
+tratar la memoria de forma conservativa byte a byte sería impracticable (tanto
+por la cantidad de *falsos positivos* que esto provocaría como por el impacto
+en el rendimiento por el exceso de posibles punteros a revisar, además de lo
ineficiente que es operar sobre memoria no alineada), en general el recolector
asume que el usuario nunca va a tener la única referencia a un objeto en una
estructura no alineada al tamaño de palabra.
que el recolector, al encontrar que no hay más referencias a un objeto, debe
ejecutar el destructor.
-La especificación dice:
+La especificación dice [DWDE]_:
The garbage collector is not guaranteed to run the destructor for all
unreferenced objects. Furthermore, the order in which the garbage collector
Afortunadamente el orden de finalización no está definido, ya que esto sería
extremadamente difícil de proveer por un recolector (si no imposible). Esto
-significa que si bien se ejecutan el destructores de los objetos que dejan de
+significa que si bien se ejecutan los destructores de los objetos que dejan de
ser alcanzables desde el *root set*, no se define en que orden se hace, y por
lo tanto un objeto no puede acceder a sus atributos que sean referencias
a otros objetos en un destructor.
orden en que fueron creados (y por lo tanto en que serán destruidos) se lo
permite.
-Sin embargo no hay forma actualmente de saber dentro de un destructor si este
+Sin embargo no hay forma actualmente de saber dentro de un destructor si éste
fue llamado determinísticamente o no, por lo tanto es virtualmente imposible
hacer uso de esta distinción, a menos que una clase sea declarada para ser
creada solamente utilizando la palabra reservada ``scope``.
-Cabe aclarar que estrictamente hablando, según la especificación de D_, el
+Cabe aclarar que, estrictamente hablando y según la especificación de D_, el
recolector no debe garantizar la finalización de objetos bajo ninguna
circunstancia, es decir, el recolector podría no llamar a ningún destructor.
-Sin embargo esto es probablemente un problema de redacción vaga y dadas las
+Sin embargo esto es probablemente una vaguedad en la redacción y dadas las
garantías que provee la implementación actual la comunidad de D_ cuenta con
-ellas porque además son deseables (y sencillas de implementar).
+ellas.
Como paso básico fundamental para poder mejorar el recolector de basura de D_,
primero hay que entender la implementación actual, de forma de conocer sus
-puntos fuertes, problemas y limitaciones, de manera tal de poder analizar
-formas de mejorarlo.
+puntos fuertes, problemas y limitaciones.
-Como se mencionó en la sección :ref:`d_lang`, en D_ hay dos bibliotecas base
-para soportar el lenguaje (*runtimes*): Phobos_ y Tango_. La primera es la
+Como se mencionó en la sección :ref:`d_lang`, hay dos bibliotecas base para
+soportar el lenguaje (*runtimes*): Phobos_ y Tango_. La primera es la
biblioteca estándar de D_, la segunda un proyecto más abierto y dinámico que
-surgió como alternativa a Phobos_ debido a que Phobos_ es muy descuidada y que
-era muy difícil impulsar cambios en ella. Ahora Phobos_ tiene el agravante de
-estar *congelada* en su versión 1 (solo se realizan correcciones de errores).
+surgió como alternativa a Phobos_ dado que estaba muy descuidada y que era muy
+difícil impulsar cambios en ella. Ahora Phobos_ tiene el agravante de estar
+*congelada* en su versión 1 (solo se realizan correcciones de errores).
Dado que Tango_ está mejor organizada, su desarrollo es más abierto (aceptan
cambios y mejoras) y que hay una mayor disponibilidad de programas
para indicar la continuación de un objeto grande (que ocupan más de una
página).
-.. fig:: fig:dgc-org
+.. flt:: fig:dgc-org
- Organización del *heap* del recolector de basura actual de D.
+ Organización del *heap* del recolector de basura actual de D
Organización del *heap*. En este ejemplo todos los *pools* tienen 2 páginas
excepto el *pool* 2 que tiene una sola. El tamaño de bloque que almacena
| +----------+ +----------+ +----------+ +----------+ |
+----------------------------------------------------------------------+
-Cada página de un *pool* puede estar asignada a contener bloques de un tamaño
-específico o puede estar libre. A su vez, cada bloque puede estar ocupado por
-una celda o estar libre. Los bloques libres de un tamaño específico (a
-excepción de aquellos bloques que ocupen una página entera) además forman
-parte de una :ref:`lista de libres <gc_free_list>` (ver figura
-:vref:`fig:dgc-free-list`). Esto permite asignar objetos relativamente
-pequeños de forma bastante eficiente.
+Cada página de un *pool* puede tener asignado un tamaño de bloque específico
+o puede estar libre. A su vez, cada bloque puede estar ocupado por una celda
+o estar libre. Los bloques libres de un tamaño específico (a excepción de
+aquellos bloques que ocupen una página entera) además forman parte de una
+:ref:`lista de libres <gc_free_list>` (ver figura :vref:`fig:dgc-free-list`).
+Esto permite asignar objetos relativamente pequeños de forma bastante
+eficiente.
-.. fig:: fig:dgc-free-list
+.. flt:: fig:dgc-free-list
- Ejemplo de listas de libres.
+ Ejemplo de listas de libres
.. digraph:: dgc_free_list
Cada *pool* tiene la siguiente información asociada:
*number_of_pages*
- cantidad de páginas que tiene. Esta cantidad es fija en toda la vida de un
+ Cantidad de páginas que tiene. Esta cantidad es fija en toda la vida de un
*pool*.
*pages*
- bloque de memoria contiguo de tamaño ``PAGE_SIZE * number_of_pages``
+ Bloque de memoria contiguo de tamaño ``PAGE_SIZE * number_of_pages``
(siendo ``PAGE_SIZE`` el tamaño de página, que normalmente son 4096 bytes).
significado especial:
``FREE``
- indica que la página está completamente libre y que la página está
- disponible para albergar cualquier tamaño de bloque que sea necesario (pero
- una vez que se le asignó un nuevo tamaño de bloque ya no puede ser cambiado
- hasta que la página vuelva a liberarse por completo).
+ Indica que la página está completamente libre y disponible para albergar
+ cualquier tamaño de bloque que sea necesario (pero una vez que se le asignó
+ un nuevo tamaño de bloque ya no puede ser cambiado hasta que la página
+ vuelva a liberarse por completo).
``CONTINUATION``
- indica que esta página es la continuación de un objeto grande (es decir,
- que ocupa una o más páginas). Luego se presentan más detalles sobre objetos
+ Indica que esta página es la continuación de un objeto grande (es decir,
+ que ocupa dos o más páginas). Luego se presentan más detalles sobre objetos
grandes.
-Las páginas con esto tamaños de bloque especiales (conceptualmente) no
+Las páginas con estos tamaños de bloque especiales conceptualmente no
contienen bloques.
Cada bloque tiene asociados varios atributos:
*mark*
- utilizado en la fase de :ref:`marcado <dgc_algo_mark>`, indica que un nodo
+ Utilizado en la fase de :ref:`marcado <dgc_algo_mark>`, indica que un nodo
ya fue visitado (serían las celdas *negras* en la :ref:`abstracción
tricolor <gc_intro_tricolor>`).
*scan*
- utilizado también en la fase de :ref:`marcado <dgc_algo_mark>`, indica que
+ Utilizado también en la fase de :ref:`marcado <dgc_algo_mark>`, indica que
una celda visitada todavía tiene *hijas* sin marcar (serían las celdas
*grises* en la :ref:`abstracción tricolor <gc_intro_tricolor>`).
*free*
- indica que el bloque está libre (no está siendo utilizado por ningún objeto
+ Indica que el bloque está libre (no está siendo utilizado por ningún objeto
*vivo*). Esto es necesario solo por la forma en la que realiza el
:ref:`marcado <dgc_algo_mark>` y :ref:`barrido <dgc_algo_sweep>` en el
- :ref:`algoritmo actual <dgc_algo>` (las celdas con el atributo este
- atributo son tomadas como *basura* aunque estén marcadas con *mark*).
+ :ref:`algoritmo actual <dgc_algo>` (las celdas con este atributo son
+ tomadas como *basura* aunque estén marcadas con *mark*).
*final*
- indica que el bloque contiene un objeto que tiene un destructor (que debe
+ Indica que el bloque contiene un objeto que tiene un destructor (que debe
ser llamado cuando la celda pasa de *viva* a *basura*).
*noscan*
- indica que el bloque contiene un objeto que no tiene punteros y por lo
- tanto no debe ser marcado de forma conservativa (no tiene *hijas*).
+ Indica que el bloque contiene un objeto que no tiene punteros y por lo
+ tanto no debe ser escaneado (no tiene *hijas*).
Objetos grandes
Fase de marcado
^^^^^^^^^^^^^^^
-Esta fase consiste de varios pasos, que pueden resumirse en el siguiente
+Esta fase consiste de varios pasos, que pueden describirse con el siguiente
algoritmo::
function mark_phase() is
clear_mark_scan_bits()
mark_free_lists()
mark_static_data()
- push_registers_into_stack()
+ push_registers_into_stack(thread_self)
thread_self.stack.end = get_stack_top()
mark_stacks()
- pop_registers_from_stack()
+ pop_registers_from_stack(thread_self)
mark_user_roots()
mark_heap()
start_the_world()
Las funciones ``stop_the_world()`` y ``start_the_world()`` pausan y reanudan
todos los hilos respectivamente (salvo el actual). Al pausar los hilos además
-se guardan los registros del procesador en el *stack* y se guarda la posición
-actual del *stack* para que la fase de marcado pueda recorrerlos::
+se apilan los registros del procesador en el *stack* y se guarda la posición
+actual del *stack* para que la fase de marcado pueda recorrerlos [#dgcstw]_::
function stop_the_world() is
foreach thread in threads
if thread is thread_self
continue
thread.pause()
- push_registers_into_stack()
+ push_registers_into_stack(thread)
thread.stack.end = get_stack_top()
function start_the_world() is
- foreach thread in threads
+ foreach thread in reversed(threads)
if thread is thread_self
continue
- pop_registers_from_stack()
+ pop_registers_from_stack(thread)
thread.resume()
+.. [#dgcstw] El procedimiento para apilar y desapilar los registros en el
+ *stack* se realiza en realidad utilizando las señales ``SIGUSR1``
+ y ``SIGUSR2`` (respectivamente). Es el manejador de la señal el que en
+ realidad apila y desapila los registros y guarda el puntero al *stack*. Se
+ omiten los detalles para simplificar la explicación del algoritmo.
+
La función ``clear_mark_scan_bits()`` se encarga de restablecer todos los
atributos *mark* y *scan* de cada bloque del *heap*::
de marcado (que es iterativa y realiza varias pasadas sobre **todo** el
*heap*, incluyendo las celdas libres) no visite las celdas libres perdiendo
tiempo sin sentido y potencialmente manteniendo *vivas* celdas que en
-realidad son *basura* (falsos positivos)::
+realidad son *basura* (*falsos positivos*)::
function mark_free_lists() is
- foreach free_list in heap
+ foreach free_list in free_lists
foreach block in free_list
block.mark = true
block.free = true
Para poder tomar los registros como parte del *root set* primero se apilan
en el *stack* a través de la función::
- function push_registers_into_stack() is
- foreach register in registers
+ function push_registers_into_stack(thread) is
+ foreach register in thread.registers
push(register)
-Y luego se descartan (no es necesario ni correcto restablecer los valores ya
-que podrían tener nuevos valores) al sacarlos de la pila::
+Y luego, al reiniciar los hilos cuando se termina de marcar, se descartan
+sacándolos de la pila (no es necesario ni correcto restablecer los valores ya
+que podrían tener nuevos valores)::
- function pop_registers_from_stack() is
- foreach register in reverse(registers)
+ function pop_registers_from_stack(thread) is
+ foreach register in reverse(thread.registers)
pop()
Una vez hecho esto, basta marcar (de forma conservativa) los *stacks* de todos
big_object_end = find_big_object_end(pool, page)
if big_object_start <= pointer < big_object_end
return [pool, page, big_object_start]
- else if page.bloc_size < PAGE
+ else if page.block_size < PAGE
foreach block in page
block_start = cast(byte*) block
block_end = block_start + page.block_size
biblioteca *runtime* y en última instancia llama al destructor del objeto
almacenado en el bloque a liberar.
-Una vez marcados todos los bloques y páginas como libre, se procede
-a reconstruir las listas de libres. En el proceso buscan las páginas que
-tengan todos los bloques libres para marcar la página completa como libre (de
-manera que pueda utilizarse para albergar otro tamaño de bloque u objetos
-grandes de ser necesario)::
+Una vez marcados todos los bloques y páginas con ``free``, se procede
+a reconstruir las listas de libres. Como parte de este proceso se buscan las
+páginas que tengan todos los bloques libres para marcar la página completa
+como libre (de manera que pueda utilizarse para albergar otro tamaño de bloque
+u objetos grandes de ser necesario)::
function rebuild_free_lists() is
- foreach free_list in heap
+ foreach free_list in free_lists
free_list.clear()
foreach pool in heap
foreach page in pool
block = free_lists[block_size].pop_first()
return block
-Si no se puede obtener un bloque de la lista de libres correspondiente, se
-busca asignar una página libre al tamaño de bloque deseado de forma de
-*alimentar* la lista de libres con dicho tamaño::
+Donde ``pop_first()`` retorna ``null`` si la lista estaba vacía. Si no se
+puede obtener un bloque de la lista de libres correspondiente, se busca
+asignar una página libre al tamaño de bloque deseado de forma de *alimentar*
+la lista de libres con dicho tamaño::
function assign_page(block_size) is
foreach pool in heap
se agotó la memoria.
Si el tamaño de bloque necesario para cumplir con la asignación de memoria es
-de una página, entonces se utiliza otro algoritmo para alocar un objeto
+de una o más páginas, entonces se utiliza otro algoritmo para alocar un objeto
grande::
function new_big(size) is
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
Hay varias diferencias a nivel de implementación entre lo que se presentó en
-las secciones anteriores y como está implementado realmente el recolector
-actual. Con los conceptos e ideas principales del ya explicadas, se procede
-a ahondar con más detalle en como está construido el recolector y algunas de
-sus optimizaciones principales.
+las secciones anteriores y como está escrito realmente el recolector actual.
+Con los conceptos e ideas principales ya explicadas, se procede a ahondar con
+más detalle en como está construido el recolector y algunas de sus
+optimizaciones principales.
Vale aclarar que el recolector de basura actual está implementado en D_.
Raíces definidas por el usuario
*roots* (*nroots*, *rootdim*)
- arreglo variable de punteros simples que son tomados como raíces
+ Arreglo variable de punteros simples que son tomados como raíces
provistas por el usuario.
*ranges* (*nranges*, *rangedim*)
- arreglo variable de rangos de memoria que deben ser revisados (de forma
+ Arreglo variable de rangos de memoria que deben ser revisados (de forma
conservativa) como raíces provistas por el usuario. Un rango es una
estructura con dos punteros: ``pbot`` y ``ptop``. Toda la memoria entre
estos dos punteros se toma, palabra por palabra, como una raíz del
Estado interno del recolector
*anychanges*
- variable que indica si en la fase de marcado se encontraron nuevas
+ Variable que indica si en la fase de marcado se encontraron nuevas
celdas con punteros que deban ser visitados. Otra forma de verlo es como
un indicador de si el conjunto de celdas *grises* está vacío luego de
una iteración de marcado (utilizando la :ref:`abstracción tricolor
<gc_intro_tricolor>`). Es análoga a la variable ``more_to_scan``
presentada en :ref:`dgc_algo_mark`.
- *inited*
- indica si el recolector fue inicializado.
+ *inited* (sic)
+ Indica si el recolector fue inicializado.
*stackBottom*
- puntero a la base del *stack* (asumiendo que el stack crece hacia arriba).
+ Puntero a la base del *stack* (asumiendo que el stack crece hacia arriba).
Se utiliza para saber por donde comenzar a visitar el *stack* de forma
conservativa, tomándolo con una raíz del recolector.
*Pools* (*pooltable*, *npools*)
- arreglo variable de punteros a estructuras ``Pool`` (ver más adelante).
+ Arreglo variable de punteros a estructuras ``Pool`` (ver más adelante).
Este arreglo se mantiene siempre ordenado de menor a mayor según la
dirección de memoria de la primera página que almacena.
*bucket*
- listas de libres. Es un arreglo de estructuras ``List`` utilizadas para
+ Listas de libres. Es un arreglo de estructuras ``List`` utilizadas para
guardar la listas de libres de todos los tamaños de bloques posibles (ver
más adelante).
Atributos que cambian el comportamiento
*noStack*
- indica que no debe tomarse al *stack* como raíz del recolector. Esto es
+ Indica que no debe tomarse al *stack* como raíz del recolector. Esto es
muy poco seguro y no debería ser utilizado nunca, salvo casos
extremadamente excepcionales.
*log*
- indica si se debe guardar un registro de la actividad del recolector. Es
+ Indica si se debe guardar un registro de la actividad del recolector. Es
utilizado principalmente para depuración.
*disabled*
- indica que no se deben realizar recolecciones implícitamente. Si al
+ Indica que no se deben realizar recolecciones implícitamente. Si al
tratar de asignar memoria no se puede hallar celdas libres en el *heap*
del recolector, se pide más memoria al sistema operativo sin correr una
recolección para intentar recuperar espacio. Esto es particularmente
Optimizaciones
*p_cache*, *size_cache*
- obtener el tamaño de un bloque dado un puntero es una tarea costosa
- y común. Para evitarla en casos donde se calcula de forma sucesiva el
- tamaño del mismo bloque (como puede ocurrir al concatenar arreglos
- dinámicos) se guarda el último calculado en estas variables a modo de
- *caché*.
+ Caché del tamaño de bloque para un puntero dado. Obtener el tamaño de un
+ bloque es una tarea costosa y común. Para evitarla en casos donde se
+ calcula de forma sucesiva el tamaño del mismo bloque (como puede ocurrir
+ al concatenar arreglos dinámicos) se guarda en un caché (de un solo
+ elemento) el último valor calculado.
*minAddr*, *maxAddr*
- punteros al principio y fin del *heap*. Pueden haber *huecos* entre
+ Punteros al principio y fin del *heap*. Pueden haber *huecos* entre
estos dos punteros que no pertenezcan al *heap* pero siempre se cumple
que si un puntero apunta al *heap* debe estar en este rango. Esto es
útil para hacer un cálculo rápido para descartar punteros que fueron
dinámicos de D_ (ver sección :ref:`d_high_level`) dado que éstos utilizan de
forma implícita el recolector de basura, por lo tanto todos los arreglos
variables del recolector se implementan utilizando las funciones de
-C ``malloc()``, ``realloc()`` y ``free()`` directamente.
+C :manpage:`malloc(3)`, :manpage:`realloc(3)` y :manpage:`free(3)`
+directamente.
La estructura ``Pool`` está compuesta por los siguientes atributos (ver figura
:vref:`fig:dgc-pool`):
-.. fig:: fig:dgc-pool
+.. flt:: fig:dgc-pool
- Vista gráfica de la estructura de un *pool* de memoria.
+ Vista gráfica de la estructura de un *pool* de memoria
.. aafig::
:scale: 120
+--------+--------+-----+--------+-----+-------------------+
*baseAddr* y *topAddr*
- punteros al comienzo y fin de la memoria que almacena todas las páginas del
+ Punteros al comienzo y fin de la memoria que almacena todas las páginas del
*pool* (*baseAddr* es análogo al atributo *pages* utilizado en las
secciones anteriores para mayor claridad).
*mark*, *scan*, *freebits*, *finals*, *noscan*
- conjunto de bits (*bitsets*) para almacenar los indicadores descriptos en
+ Conjuntos de bits (*bitsets*) para almacenar los indicadores descriptos en
:ref:`dgc_org` para todos los bloques de todas las páginas del *pool*.
*freebits* es análogo a *free* y *finals* a *final* en los atributos
descriptos en las secciones anteriores.
*npages*
- cantidad de páginas que contiene este *pool* (fue nombrado
+ Cantidad de páginas que contiene este *pool* (fue nombrado
*number_of_pages* en las secciones anteriores para mayor claridad).
*ncommitted*
- cantidad de páginas *encomendadas* al sistema operativo (*committed* en
+ Cantidad de páginas *encomendadas* al sistema operativo (*committed* en
inglés). Este atributo no se mencionó anteriormente porque el manejo de
páginas encomendadas le agrega una complejidad bastante notable al
recolector y es solo una optimización para un sistema operativo en
particular (Microsoft Windows).
*pagetable*
- arreglo de indicadores de tamaño de bloque de cada página de este *pool*.
+ Arreglo de indicadores de tamaño de bloque de cada página de este *pool*.
Los indicadores válidos son ``B_16`` a ``B_2048`` (pasando por los valores
posibles de bloque mencionados anteriormente, todos con el prefijo
"``B_``"), ``B_PAGE``, ``B_PAGEPLUS`` (análogo a ``CONTINUATION``),
Como se observa, además de la información particular del *pool* se almacena
toda la información de páginas y bloques enteramente en el *pool* también.
-Esto simplifica el manejo de que lo es memoria *pura* del *heap*, ya que queda
+Esto simplifica el manejo de lo que es memoria *pura* del *heap*, ya que queda
una gran porción continua de memoria sin estar intercalada con
meta-información del recolector.
Listas de libres
^^^^^^^^^^^^^^^^
Las listas de libres se almacenan en el recolector como un arreglo de
-estructuras ``Lista``, que se compone solamente de un atributo ``List* next``
+estructuras ``List``, que se compone solamente de un atributo ``List* next``
(es decir, un puntero al siguiente). Entonces cada elemento de ese arreglo es
un puntero al primer elemento de la lista en particular.
^^^^^^^^^^
Los algoritmos en la implementación real son considerablemente menos modulares
que los presentados en la sección :ref:`dgc_algo`. Por ejemplo, la función
-``collect()`` es una gran función de 300 líneas de código.
+``collect()`` es una gran función de 300 líneas de código fuente.
A continuación se resumen las funciones principales, separadas en categorías
para facilitar la comprensión. Los siguientes son métodos de la estructura
Inicialización y terminación
*initialize()*
- inicializa las estructuras internas del recolector para que pueda ser
+ Inicializa las estructuras internas del recolector para que pueda ser
utilizado. Esta función la llama la biblioteca *runtime* antes de que el
programa comience a correr.
*Dtor()*
- libera todas las estructuras que utiliza el recolector.
+ Libera todas las estructuras que utiliza el recolector.
Manipulación de raíces definidas por el usuario
*addRoot(p)*, *removeRoot(p)*, *rootIter(dg)*
- agrega, remueve e itera sobre las raíces simples definidas por el
+ Agrega, remueve e itera sobre las raíces simples definidas por el
usuario.
*addRange(pbot, ptop)*, *remove range(pbot)*, *rangeIter(dg)*
- agrega, remueve e itera sobre los rangos de raíces definidas por el
+ Agrega, remueve e itera sobre los rangos de raíces definidas por el
usuario.
-Manipulación de indicadores
+Manipulación de bits indicadores
*getBits(pool, biti)*
- obtiene los indicadores especificados para el bloque de índice ``biti``
+ Obtiene los indicadores especificados para el bloque de índice ``biti``
en el *pool* ``pool``.
*setBits(pool, biti, mask)*
- establece los indicadores especificados en ``mask`` para el bloque de
+ Establece los indicadores especificados en ``mask`` para el bloque de
índice ``biti`` en el *pool* ``pool``.
*clrBits(pool, biti, mask)*
- limpia los indicadores especificados en ``mask`` para el bloque de
+ Limpia los indicadores especificados en ``mask`` para el bloque de
índice ``biti`` en el *pool* ``pool``.
Cada bloque (*bin* en la terminología de la implementación del recolector)
compuesta por la conjunción de los siguientes valores:
*FINALIZE*
- el objeto almacenado en el bloque tiene un destructor (indicador
+ El objeto almacenado en el bloque tiene un destructor (indicador
*finals*).
*NO_SCAN*
- el objeto almacenado en el bloque no contiene punteros (indicador
+ El objeto almacenado en el bloque no contiene punteros (indicador
*noscan*).
*NO_MOVE*
- el objeto almacenado en el bloque no debe ser movido [#dgcmove]_.
+ El objeto almacenado en el bloque no debe ser movido [#dgcmove]_.
.. [#dgcmove] Si bien el recolector actual no tiene la capacidad de mover
objetos, la interfaz del recolector hacer que sea posible una
Búsquedas
*findPool(p)*
- busca el *pool* al que pertenece el objeto apuntado por ``p``.
+ Busca el *pool* al que pertenece el objeto apuntado por ``p``.
*findBase(p)*
- busca la dirección base (el inicio) del bloque apuntado por ``p``
+ Busca la dirección base (el inicio) del bloque apuntado por ``p``
(``find_block()`` según la sección :ref:`dgc_algo_mark`).
*findSize(p)*
- busca el tamaño del bloque apuntado por ``p``.
+ Busca el tamaño del bloque apuntado por ``p``.
*getInfo(p)*
- obtiene información sobre el bloque apuntado por ``p``. Dicha
+ Obtiene información sobre el bloque apuntado por ``p``. Dicha
información se retorna en una estructura ``BlkInfo`` que contiene los
siguientes atributos: ``base`` (dirección del inicio del bloque),
``size`` (tamaño del bloque) y ``attr`` (atributos o indicadores del
bloque, los que se pueden obtener con ``getBits()``).
*findBin(size)*
- calcula el tamaño de bloque más pequeño que pueda contener un objeto de
+ Calcula el tamaño de bloque más pequeño que pueda contener un objeto de
tamaño ``size`` (``find_block_size()`` según lo visto en
:ref:`dgc_algo_alloc`).
Asignación de memoria
*reserve(size)*
- reserva un nuevo *pool* de al menos ``size`` bytes. El algoritmo nunca
+ Reserva un nuevo *pool* de al menos ``size`` bytes. El algoritmo nunca
crea un *pool* con menos de 256 páginas (es decir, 1 MiB).
*minimize()*
- minimiza el uso de la memoria retornando *pools* sin páginas usadas al
+ Minimiza el uso de la memoria retornando *pools* sin páginas usadas al
sistema operativo.
*newPool(n)*
- reserva un nuevo *pool* con al menos ``n`` páginas. Junto con
+ Reserva un nuevo *pool* con al menos ``n`` páginas. Junto con
``Pool.initialize()`` es análoga a ``new_pool()``, solo que esta función
siempre incrementa el número de páginas a, al menos, 256 páginas (es
decir, los *pools* son siempre mayores a 1 MiB). Si la cantidad de
*pools* de 8 MiB o la cantidad pedida, si ésta es mayor.
*Pool.initialize(n_pages)*
- inicializa un nuevo *pool* de memoria. Junto con ``newPool()`` es
+ Inicializa un nuevo *pool* de memoria. Junto con ``newPool()`` es
análoga a ``new_pool()``. Mientras ``newPool()`` es la encargada de
calcular la cantidad de páginas y crear el objeto *pool*, esta función
es la que pide la memoria al sistema operativo. Además inicializa los
``finals`` de todo el *pool*.
*allocPage(bin)*
- asigna a una página libre el tamaño de bloque ``bin`` y enlaza los
+ Asigna a una página libre el tamaño de bloque ``bin`` y enlaza los
nuevos bloques libres a la lista de libres correspondiente (análogo
a ``assign_page()``).
a ``find_pages(n)``).
*malloc(size, bits)*
- asigna memoria para un objeto de tamaño ``size`` bytes. Análoga al
+ Asigna memoria para un objeto de tamaño ``size`` bytes. Análoga al
algoritmo ``new(size, attr)`` presentado, excepto que introduce además
un caché para no recalcular el tamaño de bloque necesario si se realizan
múltiples asignaciones consecutivas de objetos del mismo tamaño y que la
asignación de objetos pequeños no está separada en una función aparte.
*bigAlloc(size)*
- asigna un objeto grande (análogo a ``new_big()``). La implementación es
+ Asigna un objeto grande (análogo a ``new_big()``). La implementación es
mucho más compleja que la presentada en ``new_big()``, pero la semántica
es la misma. La única diferencia es que esta función aprovecha que
``fullcollectshell()`` / ``fullcollect()`` retornan la cantidad de
objeto grande y pasar directamente a crear un nuevo *pool*.
*free(p)*
- libera la memoria apuntada por ``p`` (análoga a ``delete()`` de la
+ Libera la memoria apuntada por ``p`` (análoga a ``delete()`` de la
sección anterior).
Recordar que la ``pooltable`` siempre se mantiene ordenada según la
Recolección
*mark(pbot, ptop)*
- marca un rango de memoria. Este método es análogo al ``mark_range()``
+ Marca un rango de memoria. Este método es análogo al ``mark_range()``
presentado en la sección :ref:`dgc_algo_mark`.
*fullcollectshell()*
- guarda los registros en el *stack* y llama a ``fullcollect()``. El
- algoritmo presentado en :ref:`dgc_algo_mark` es simbólico, ya que si los
- registros se apilaran en el *stack* dentro de otra función, al salir de
- esta se volverían a des-apilar, por lo tanto debe ser hecho en la misma
- función ``collect()`` o en una función que luego la llame (como en este
- caso).
+ Guarda los registros del procesador asignado al hilo actual en su
+ *stack* y llama a ``fullcollect()``. El resto de los hilos son pausados
+ y sus registros apilados por la función del *runtime*
+ ``thread_suspendAll()`` (y restablecidos y reiniciados por
+ ``thread_resumeAll()``.
*fullcollect(stackTop)*
- realiza la recolección de basura. Es análoga a ``collect()`` pero es
+ Realiza la recolección de basura. Es análoga a ``collect()`` pero es
considerablemente menos modular, todos los pasos se hacen directamente
en esta función: marcado del *root set*, marcado iterativo del *heap*,
barrido y reconstrucción de la lista de libres. Además devuelve la
El algoritmo actual divide un *pool* en dos áreas: memoria *encomendada*
(*committed* en inglés) y *no-encomendada*. Esto se debe a que originalmente
el compilador de D_ DMD_ solo funcionaba en Microsoft Windows y este sistema
-operativo puede asignar memoria en dos niveles. Por un lado puede asignar al
-proceso un espacio de memoria (*address space*) pero sin asignarle la memoria
-correspondiente. En un paso posterior se puede *encomendar* la memoria (es
-decir, asignar realmente la memoria).
+operativo puede asignar memoria en dos niveles. En principio se puede asignar
+al proceso un espacio de memoria (*address space*) pero sin asignarle la
+memoria virtual correspondiente. En un paso posterior se puede *encomendar* la
+memoria (es decir, asignar realmente la memoria virtual).
Para aprovechar esta característica el recolector diferencia estos dos
niveles. Sin embargo, esta diferenciación introduce una gran complejidad (que
para todos los demás (ya que los cálculos extra se realizan pero sin ningún
sentido). De hecho hay sistemas operativos, como Linux_, que realizan este
trabajo automáticamente (la memoria no es asignada realmente al programa hasta
-que el programa no haga uso de ella; esta capacidad se denomina *overcommit*).
+que el programa no haga uso de ella; a esta capacidad se la denomina
+*overcommit*).
-Como se vio en la figura :vref:`fig:dgc-pool`, lás páginas de un *pool* se
+Como se vio en la figura :vref:`fig:dgc-pool`, las páginas de un *pool* se
dividen en *committed* y *uncommitted*. Siempre que el recolector recorre un
*pool* en busca de una página o bloque, lo hace hasta la memoria *committed*,
porque la *uncommitted* es como si jamás se hubiera pedido al sistema
Todas las operaciones sobre el recolector que se llaman externamente están
sincronizadas utilizando un *lock* global (excepto cuando hay un solo hilo
*mutator*, en cuyo caso se omite la sincronización). Esto afecta también a la
-asignación de memoria.
+asignación de memoria y cualquier otro servicio provisto por el recolector.
recolector actual, sin embargo, cambia complejidad en espacio por complejidad
en tiempo, utilizando un algoritmo iterativo que es constante (:math:`O(1)`)
en espacio, pero que requiere varias pasada sobre el *heap* en vez de una (la
-cantidad de pasadas es en el peor caso, al igual que la cantidad de
-recursiones del algoritmo recursivo, :math:`O(|Live \thickspace set|)`, pero
-cada pasada se realiza por sobre todo el *heap*).
+cantidad de pasadas en el peor caso es :math:`O(|Live \thickspace set|)`, al
+igual que la profundidad del algoritmo recursivo, pero cada pasada se realiza
+sobre todo el *heap*).
Conjuntos de bits para indicadores
``SENTINEL``
Su función detectar errores producidos por escribir más allá (o antes) del
- área de memoria solicitada y está implementado reservando un poco más de
- memoria de la que pide el usuario, devolviendo un puntero a un bloque
- ubicado dentro del bloque real reservado (en vez de al inicio) y finalmente
- escribiendo un patrón de bits en los extremos del borde real (ver figura
- :vref:`fig:sentinel`), de forma de poder verificar en distintas situación
- (por ejemplo al barrer el bloque) que esas áreas de más con los patrones de
- bits estén intactas. Esto permite detectar de forma temprana errores tanto
- en el recolector como en el programa del usuario.
+ área de memoria solicitada. Está implementado reservando un poco más de
+ memoria de la que pide el usuario y devolviendo un puntero a un bloque
+ ubicado dentro del bloque real reservado (en vez de al inicio). Escribiendo
+ un patrón de bits en los extremos del bloque real (ver figura
+ :vref:`fig:sentinel`) se puede verificar, en distintas situaciones (como
+ por ejemplo al barrer el bloque), que esas guardas con los patrones de bits
+ estén intactas (en caso contrario se ha escrito por fuera de los límites
+ del bloque solicitado). Esto permite detectar de forma temprana errores
+ tanto en el recolector como en el programa del usuario.
- .. fig:: fig:sentinel
+ .. flt:: fig:sentinel
- Esquema de un bloque cuando está activada la opción ``SENTINEL``.
+ Esquema de un bloque cuando está activada la opción ``SENTINEL``
.. aafig::
:textual:
Además, como se comentó en la sección anterior, los algoritmos en la
implementación real son considerablemente menos modulares que los presentados
-en la sección :ref:`dgc_algo`. Por ejemplo, la función ``fullcollect()`` son
-300 líneas de código.
+en la sección :ref:`dgc_algo`. Por ejemplo, la función ``fullcollect()`` tiene
+300 líneas de código fuente.
Memoria *encomendada*
particular para sistemas operativos que no hacen esta distinción, al menos
explícitamente, donde no hay ningún beneficio en realizar esta distinción).
-Incluso para Microsoft Windows, la ventaja de realizar esta distinción es
-discutible.
+Incluso para Microsoft Windows, la ventaja de realizar esta distinción debería
+ser comprobada.
Precisión
De todas maneras queda mucho lugar para mejoras, y es un tema recurrente en el
grupo de noticias de D_ y se han discutido formas de poder hacer que, al menos
el *heap* sea preciso [NGD44607]_ [NGD29291]_. Además se mostró un interés
-general por tener un recolector más preciso [NGDN87831]_, pero no han habido
-avances al respecto.
+general por tener un recolector más preciso [NGD87831]_, pero no han habido
+avances al respecto hasta hace muy poco tiempo.
Otra forma de minimizar los efectos de la falta de precisión que se ha
sugerido reiteradamente en el grupo es teniendo la
Referencias débiles
^^^^^^^^^^^^^^^^^^^
-El recolector actual no dispone de soporte de *referencias débiles*
-[#dgcweakref]_, sin embargo hay una demanda apreciable [NGD86840]_ [NGD13301]_
-[NGL8264]_ [NGD69761]_ [NGD74624]_ [NGD88065]_.
+Si bien el recolector de Tango_ tiene un soporte limitado de *referencias
+débiles* [#dgcweakref]_, el de Phobos_ no dispone de ningún soporte (por lo
+tanto no está contemplado oficialmente el lenguaje). Sin embargo hay una
+demanda apreciable [NGD86840]_ [NGD13301]_ [NGL8264]_ [NGD69761]_ [NGD74624]_
+[NGD88065]_.
.. [#dgcweakref] Una referencia débil (o *weak reference* en inglés) es
aquella que que no protege al objeto referenciado de ser reciclado por el
recolector.
Para cubrir esta demanda, se han implementado soluciones como biblioteca para
-suplir la inexistencia de una implementación oficial [NGA9103]_.
+suplir la inexistencia de una implementación oficial [NGA9103]_ (la
+implementación de Tango_ es otro ejemplo).
-Sin embargo éstas son en general poco robustas, extremadamente dependientes
-de la implementación del recolector y, en general, presentan problemas muy
+Sin embargo éstas son en general poco robustas, extremadamente dependientes de
+la implementación del recolector y, en general, presentan problemas muy
sutiles [NGD88065]_. Por esta razón se ha discutido la posibilidad de incluir
la implementación de *referencias débiles* como parte del lenguaje
[NGD88559]_.
Se ha sugerido en el pasado el uso de *pools* y listas de libres específicos
de hilos, de manera de disminuir la contención, al menos para la asignación de
-memoria [NGD75952]_ [NGDN87831]_.
+memoria [NGD75952]_ [NGD87831]_.
Además se ha mostrado un interés por tener un nivel de concurrencia aún mayor
-en el recolector, para aumentar la concurrencia en ambientes *multi-core* en
+en el recolector, para aumentar la eficiencia en ambientes *multi-core* en
general pero en particular para evitar grandes pausas en programas con
requerimientos de tiempo real, históricamente una de las principales críticas
-al lenguaje [NGDN87831]_ [NGL3937]_ [NGD22968]_ [NGA15246]_ [NGD5622]_
+al lenguaje [NGD87831]_ [NGL3937]_ [NGD22968]_ [NGA15246]_ [NGD5622]_
[NGD2547]_ [NGD18354]_.
Finalización
^^^^^^^^^^^^
El recolector actual no garantiza la finalización de objetos. En particular
-los objetos no son finalizados (es decir, no se llama a sus destructores)
-si aún alcanzables desde el *root set* cuando el programa termina. Cabe
-destacar que esto puede darse porque hay una referencia real desde el *root
-set* (en cuyo caso queda bajo el control del usuario) pero también, dado que
-el *root set* se visita de forma conservativa, se puede deber a un falso
-positivo, en cuyo caso la omisión de la finalización queda por completo fuera
-del control del usuario (y lo que es aún peor, el usuario no puede ser
-siquiera notificado de esta anomalía).
-
-Si bien la especificación de D_ no requiere esta capacidad (de hecho,
-rigurosamente hablando la especificación de D_ no garantiza la finalización de
-objetos bajo ninguna circunstancia), no hay mayores problemas para implementar
-un recolector que de este tipo de garantías [NGD88298]_.
+los objetos no son finalizados (es decir, no se llama a sus destructores) si
+aún alcanzables desde el *root set* cuando el programa termina. Cabe destacar
+que esto puede darse porque hay una referencia real desde el *root set* (en
+cuyo caso queda bajo el control del usuario) pero también, dado que el *root
+set* se visita de forma conservativa, se puede deber a un *falso positivo*, en
+cuyo caso la omisión de la finalización queda por completo fuera del control
+del usuario (y lo que es aún peor, el usuario no puede ser siquiera notificado
+de esta anomalía).
+
+Si bien la especificación de D_ no requiere esta capacidad, no hay mayores
+problemas para implementar un recolector que dé este tipo de garantías
+[NGD88298]_.
Además los objetos pueden ser finalizados tanto determinísticamente
(utilizando ``delete`` o ``scope``; ver secciones :ref:`d_low_level`
Dado que es imposible que un recolector sea óptimo para todo tipo de
programas, es muy deseable permitir una configuración de parámetros del
-recolector que permitan al usuario ajustarlo a las necesidades particulares de
-sus programas.
+recolector que permitan al usuario ajustarlos a las necesidades particulares
+de sus aplicaciones.
.. _dgc_bad_ocup:
mejorarse:
Listas de libres
- hay 12 listas de libres, como para guardar bloques de tamaño de ``B_16``
+ Hay 12 listas de libres, como para guardar bloques de tamaño de ``B_16``
a ``B_2048``, ``B_PAGE``, ``B_PAGEPLUS``, ``B_UNCOMMITTED`` y ``B_FREE``;
sin embargo solo tienen sentido los bloques de tamaño ``B_16``
a ``B_2048``, por lo que 4 de esas listas no se utilizan.
Conjuntos de bits para indicadores
- los indicadores para la fase de marcado y otras propiedades de un bloque
+ Los indicadores para la fase de marcado y otras propiedades de un bloque
son almacenados en conjuntos de bits que almacenan los indicadores de todos
los bloques de un *pool*. Si bien se ha mencionado esto como una ventaja,
hay lugar todavía como para algunas mejoras. Como un *pool* tiene páginas
actualmente). Esto es propenso a errores y difícil de mantener.
Uso de señales
- el recolector actual utiliza las señales del sistema operativo ``SIGUSR1``
+ El recolector actual utiliza las señales del sistema operativo ``SIGUSR1``
y ``SIGUSR2`` para pausar y reanudar los hilos respectivamente. Esto
puede traer inconvenientes a usuarios que desean utilizar estas
señales en sus programas (o peor aún, si interactúan con bibliotecas
de C que hacen uso de estas señales) [NGD5821]_.
Marcado iterativo
- si bien esto se mencionó como algo bueno del recolector actual, es un
+ Si bien esto se mencionó como algo bueno del recolector actual, es un
compromiso entre tiempo y espacio, y puede ser interesante analizar otros
métodos para evitar la recursión que no requieran tantas pasadas sobre el
*heap*.
-.. Esto sería muy similar a la sección de "Recolección de basura) pero en
- vez de ir describiendo los algoritmos iría comentando por qué los tomo
- o descarto
- ESTADO: INCOMPLETO
-
-
.. _dgc_via:
Análisis de viabilidad
Una de ellas es la inter-operatividad con C. El utilizar un contador de
referencias requiere la manipulación del contador por parte del código C con
el que se interactúe. Si bien este problema ya está presente si código
-C guarda un puntero a un objeto almacenado en el *heap* del recolector de D_
-en el *heap* de C (es decir, en una celda de memoria asignada por
-``malloc()``), esto es poco común. Sin embargo, mientras que una función de
+C guarda en su *headp* un puntero a un objeto almacenado en el *heap* del
+recolector de D_, esto es poco común. Sin embargo, mientras que una función de
C se está ejecutando, es extremadamente común que pueda almacenar en el
*stack* una referencia a un objeto de D_ y en ese caso el recolector actual
puede manejarlo (mientras la función de C esté corriendo en un hilo creado por
En general en la comunidad de D_ no hay mayores críticas al marcado y barrido
en sí, si no más bien a problemas asociados a la implementación actual,
principalmente a las grandes pausas o la falta de :ref:`precisión
-<gc_conserv>` [NGD54084]_ [NGL13744]_ [NGD44607]_ [NGD29291]_ [NGDN87831]_
-[NGDN87831]_ [NGL3937]_ [NGD22968]_ [NGA15246]_ [NGD5622]_ [NGD2547]_
+<gc_conserv>` [NGD54084]_ [NGL13744]_ [NGD44607]_ [NGD29291]_ [NGD87831]_
+[NGD87831]_ [NGL3937]_ [NGD22968]_ [NGA15246]_ [NGD5622]_ [NGD2547]_
[NGD18354]_.
Esta familia de algoritmos se adapta bien a los requerimientos principales de
considerable.
Una de las principales mejoras que pueden realizarse es hacer al recolector
-:ref:`concurrente <gc_concurrent>` y parcialmente más :ref:`preciso
-<gc_conserv>`. Estas dos mejoras solamente alcanzarían para mejorar de forma
-notable el tiempo de pausa en las recolecciones y la cantidad de memoria
-retenida debido a falsos positivos.
+:ref:`concurrente <gc_concurrent>` y más :ref:`preciso <gc_conserv>`. Estas
+dos mejoras solamente alcanzarían para mejorar de forma notable el tiempo de
+pausa en las recolecciones y la cantidad de memoria retenida debido a *falsos
+positivos*.
Más adelante veremos detalles sobre algunos de estos aspectos y sobre algunos
algoritmos particulares que permiten hacer concurrente al recolector actual.
El recolector actual es *stop-the-world*, sin embargo esta es una de las
principales críticas que tiene. El recolector se podría ver beneficiado de
recolección paralela, tanto para realizar la recolección más velozmente en
-ambientes multi-procesador, como para disminuir el tiempo de pausa. Sin
-embargo, el hecho de que todos los hilos se pausen para realizar parte del
-trabajo del recolector puede ser contraproducente para programas *real-time*
-que pretendan usar un hilo que no sufra de la latencia del recolector,
-asegurando que nunca lo use (aunque se podrían ver esquemas para ajustarse
-a estas necesidades).
+ambientes *multi-core*, como para disminuir el tiempo de pausa, un factor muy
+importante para programas que necesiten tener baja latencia, como programas
+*real-time*.
En general los recolectores concurrentes necesitan también instrumentar el
*mutator* para reportar cambios en el grafo de conectividad al recolector,
determinado momento. Sin embargo el costo de pedir al usuario este tipo de
restricción puede ser muy alto.
-Sin embargo, ya hay un trabajo relacionado avanzando en este sentido, que
-agrega precisión al marcado del *heap*. David Simcha comienza con este trabajo
-explorando la posibilidad de agregar precisión parcial al recolector,
-generando información sobre la ubicación de los punteros para cada tipo
-[DBZ3463]_. Su trabajo se limita a una implementación a nivel biblioteca de
-usuario y sobre `D 2.0`_. Desafortunadamente su trabajo pasa desapercibido
+Durante el desarrollo de este trabajo se encontra un trabajo relacionado
+avanzando en este sentido, que agrega precisión al marcado del *heap*. David
+Simcha comienza explorando la posibilidad de agregar precisión parcial al
+recolector, generando información sobre la ubicación de los punteros para cada
+tipo [DBZ3463]_. Su trabajo se limita a una implementación a nivel biblioteca
+de usuario y sobre `D 2.0`_. Desafortunadamente su trabajo pasa desapercibido
por un buen tiempo.
Sin embargo un tiempo después Vincent Lang (mejor conocido como *wm4* en la
particiones, requiere grandes cambios en el compilador y realizar análisis
estático bastante complejo [HIRZ03]_. Además al ser D_ un lenguaje de bajo
nivel, es muy difícil garantizar que estas conexiones inter-particiones no
-puedan existir realmente; y de poder lograrlo, podría ser demasiado
-restrictivo.
+puedan existir realmente; y de hacerlo, podría ser demasiado restrictivo.
.. include:: links.rst
projects / z.facultad / 75.00 / informe.git / blobdiff