Cambiar RET_FAIL para que sea signal-friendly.

[software/sercom.git] / sercom / tester.py

diff --git a/sercom/tester.py b/sercom/tester.py
index 05ea4b6381ce43c684c60ea79f6ac08e39ae5dbd..01b1e6f6a651d4461f34c0fe63f186335d9ad808 100644 (file)
--- a/sercom/tester.py
+++ b/sercom/tester.py
@@ -6,34 +6,35 @@ from zipfile import ZipFile, BadZipfile
 from cStringIO import StringIO
 from shutil import rmtree
 from datetime import datetime
 from cStringIO import StringIO
 from shutil import rmtree
 from datetime import datetime

-from subprocess import Popen, PIPE, call #, check_call XXX Python 2.5

 from os.path import join
 from turbogears import config
 from os.path import join
 from turbogears import config

-import os
+import subprocess as sp
+import os, sys, pwd, grp

 import resource as rsrc
 import logging
 
 import resource as rsrc
 import logging
 

-# Ahora somos mortales
-euid = config.get('sercom.tester.uid', 65534)
-egid = config.get('sercom.tester.gid', 65534)
-os.setegid(egid)
-os.seteuid(euid)
-

 log = logging.getLogger('sercom.tester')
 
 log = logging.getLogger('sercom.tester')
 

-class CalledProcessError(Exception): #{{{ Python 2.5 forward-compatibility
-    """This exception is raised when a process run by check_call() returns
-    a non-zero exit status.  The exit status will be stored in the
-    returncode attribute."""
-    def __init__(self, returncode, cmd):
-        self.returncode = returncode
-        self.cmd = cmd
-    def __str__(self):
-        return ("Command '%s' returned non-zero exit status %d"
-            % (self.cmd, self.returncode))
+error_interno = _(u'\n**Error interno al preparar la entrega.**')
+
+class UserInfo(object): #{{{
+    def __init__(self, user):
+        try:
+            info = pwd.getpwnam(user)
+        except:
+            info = pwd.get(int(user))
+        self.user = info[0]
+        self.uid = info[2]
+        self.gid = info[3]
+        self.name = info[4]
+        self.home = info[5]
+        self.shell = info[6]
+        self.group = grp.getgrgid(self.gid)[0]

 #}}}
 
 #}}}
 

-def check_call(*popenargs, **kwargs): #{{{ Python 2.5 forward-compatibility
+user_info = UserInfo(config.get('sercom.tester.user', 65534))
+
+def check_call(*popenargs, **kwargs): #{{{ XXX Python 2.5 forward-compatibility

     """Run command with arguments.  Wait for command to complete.  If
     the exit code was zero then return, otherwise raise
     CalledProcessError.  The CalledProcessError object will have the
     """Run command with arguments.  Wait for command to complete.  If
     the exit code was zero then return, otherwise raise
     CalledProcessError.  The CalledProcessError object will have the


@@ -44,13 +45,29 @@ def check_call(*popenargs, **kwargs): #{{{ Python 2.5 forward-compatibility
 
     check_call(["ls", "-l"])
     """
 
     check_call(["ls", "-l"])
     """

-    retcode = call(*popenargs, **kwargs)
+    retcode = sp.call(*popenargs, **kwargs)

     cmd = kwargs.get("args")
     if cmd is None:
         cmd = popenargs[0]
     if retcode:
     cmd = kwargs.get("args")
     if cmd is None:
         cmd = popenargs[0]
     if retcode:

-        raise CalledProcessError(retcode, cmd)
+        raise sp.CalledProcessError(retcode, cmd)

     return retcode
     return retcode

+sp.check_call = check_call
+#}}}
+
+#{{{ Excepciones
+
+class CalledProcessError(Exception): #{{{ XXX Python 2.5 forward-compatibility
+    """This exception is raised when a process run by check_call() returns
+    a non-zero exit status.  The exit status will be stored in the
+    returncode attribute."""
+    def __init__(self, returncode, cmd):
+        self.returncode = returncode
+        self.cmd = cmd
+    def __str__(self):
+        return ("Command '%s' returned non-zero exit status %d"
+            % (self.cmd, self.returncode))
+sp.CalledProcessError = CalledProcessError

 #}}}
 
 class Error(StandardError): pass
 #}}}
 
 class Error(StandardError): pass


@@ -59,20 +76,27 @@ class ExecutionFailure(Error, RuntimeError): pass
 
 class RsyncError(Error, EnvironmentError): pass
 
 
 class RsyncError(Error, EnvironmentError): pass
 

-error_interno = _(u'\n**Error interno al preparar la entrega.**')
+#}}}

 
 

-def unzip(bytes, dst): # {{{
-    log.debug(_(u'Intentando descomprimir en %s'), dst)
+def unzip(bytes, default_dst='.', specific_dst=dict()): # {{{
+    """Descomprime un buffer de datos en formato ZIP.
+    Los archivos se descomprimen en default_dst a menos que exista una entrada
+    en specific_dst cuya clave sea el nombre de archivo a descomprimir, en
+    cuyo caso, se descomprime usando como destino el valor de dicha clave.
+    """
+    log.debug(_(u'Intentando descomprimir'))

     if bytes is None:
         return
     zfile = ZipFile(StringIO(bytes), 'r')
     for f in zfile.namelist():
     if bytes is None:
         return
     zfile = ZipFile(StringIO(bytes), 'r')
     for f in zfile.namelist():

+        dst = join(specific_dst.get(f, default_dst), f)

         if f.endswith(os.sep):
         if f.endswith(os.sep):

-            log.debug(_(u'Creando directorio %s'), f)
-            os.mkdir(join(dst, f))
+            log.debug(_(u'Creando directorio "%s" en "%s"'), f, dst)
+            os.mkdir(dst)

         else:
         else:

-            log.debug(_(u'Descomprimiendo archivo %s'), f)
-            file(join(dst, f), 'w').write(zfile.read(f))
+            log.debug(_(u'Descomprimiendo archivo "%s" en "%s"'), f, dst)
+            file(dst, 'w').write(zfile.read(f))
+    zfile.close()

 #}}}
 
 class SecureProcess(object): #{{{
 #}}}
 
 class SecureProcess(object): #{{{


@@ -84,24 +108,39 @@ class SecureProcess(object): #{{{
         max_cant_procesos   = 0,
         max_locks_memoria   = 0,
     )
         max_cant_procesos   = 0,
         max_locks_memoria   = 0,
     )

-    gid = config.get('sercom.tester.chroot.gid', 65534)
-    uid = config.get('sercom.tester.chroot.uid', 65534)
+    uid = config.get('sercom.tester.chroot.user', 65534)

     MB = 1048576
     # XXX probar! make de un solo archivo lleva nproc=100 y nofile=15
     MB = 1048576
     # XXX probar! make de un solo archivo lleva nproc=100 y nofile=15

-    def __init__(self, comando, chroot, cwd):
-            self.comando = comando
-            self.chroot = chroot
-            self.cwd = cwd
+    def __init__(self, comando, chroot, cwd, close_stdin=False,
+                 close_stdout=False, close_stderr=False):
+        self.comando = comando
+        self.chroot = chroot
+        self.cwd = cwd
+        self.close_stdin = close_stdin
+        self.close_stdout = close_stdout
+        self.close_stderr = close_stderr
+        log.debug('Proceso segurizado: chroot=%s, cwd=%s, user=%s, cpu=%s, '
+            'as=%sMiB, fsize=%sMiB, nofile=%s, nproc=%s, memlock=%s',
+            self.chroot, self.cwd, self.uid, self.max_tiempo_cpu,
+            self.max_memoria, self.max_tam_archivo, self.max_cant_archivos,
+            self.max_cant_procesos, self.max_locks_memoria)

     def __getattr__(self, name):
         if getattr(self.comando, name) is not None:
             return getattr(self.comando, name)
         return config.get('sercom.tester.limits.' + name, self.default[name])
     def __call__(self):
         x2 = lambda x: (x, x)
     def __getattr__(self, name):
         if getattr(self.comando, name) is not None:
             return getattr(self.comando, name)
         return config.get('sercom.tester.limits.' + name, self.default[name])
     def __call__(self):
         x2 = lambda x: (x, x)

+        if self.close_stdin:
+            os.close(0)
+        if self.close_stdout:
+            os.close(1)
+        if self.close_stderr:
+            os.close(2)

         os.chroot(self.chroot)
         os.chdir(self.cwd)
         os.chroot(self.chroot)
         os.chdir(self.cwd)

-        os.setgid(self.gid)
-        os.setuid(self.uid)
+        uinfo = UserInfo(self.uid)
+        os.setgid(uinfo.gid)
+        os.setuid(uinfo.uid) # Somos mortales irreversiblemente

         rsrc.setrlimit(rsrc.RLIMIT_CPU, x2(self.max_tiempo_cpu))
         rsrc.setrlimit(rsrc.RLIMIT_AS, x2(self.max_memoria*self.MB))
         rsrc.setrlimit(rsrc.RLIMIT_FSIZE, x2(self.max_tam_archivo*self.MB)) # XXX calcular en base a archivos esperados?
         rsrc.setrlimit(rsrc.RLIMIT_CPU, x2(self.max_tiempo_cpu))
         rsrc.setrlimit(rsrc.RLIMIT_AS, x2(self.max_memoria*self.MB))
         rsrc.setrlimit(rsrc.RLIMIT_FSIZE, x2(self.max_tam_archivo*self.MB)) # XXX calcular en base a archivos esperados?


@@ -109,12 +148,6 @@ class SecureProcess(object): #{{{
         rsrc.setrlimit(rsrc.RLIMIT_NPROC, x2(self.max_cant_procesos))
         rsrc.setrlimit(rsrc.RLIMIT_MEMLOCK, x2(self.max_locks_memoria))
         rsrc.setrlimit(rsrc.RLIMIT_CORE, x2(0))
         rsrc.setrlimit(rsrc.RLIMIT_NPROC, x2(self.max_cant_procesos))
         rsrc.setrlimit(rsrc.RLIMIT_MEMLOCK, x2(self.max_locks_memoria))
         rsrc.setrlimit(rsrc.RLIMIT_CORE, x2(0))

-        log.debug('Proceso segurizado: chroot=%s, cwd=%s, uid=%s, gid=%s, '
-            'cpu=%s, as=%s, fsize=%s, nofile=%s, nproc=%s, memlock=%s',
-            self.chroot, self.cwd, self.uid, self.gid, self.max_tiempo_cpu,
-            self.max_memoria*self.MB, self.max_tam_archivo*self.MB,
-            self.max_cant_archivos, self.max_cant_procesos,
-            self.max_locks_memoria)

         # Tratamos de forzar un sync para que entre al sleep del padre FIXME
         import time
         time.sleep(0)
         # Tratamos de forzar un sync para que entre al sleep del padre FIXME
         import time
         time.sleep(0)


@@ -127,6 +160,11 @@ class Tester(object): #{{{
         self.path = path
         self.home = home
         self.queue = queue
         self.path = path
         self.home = home
         self.queue = queue

+        # Ahora somos mortales (oid mortales)
+        log.debug(_(u'Cambiando usuario y grupo efectivos a %s:%s (%s:%s)'),
+            user_info.user, user_info.group, user_info.uid, user_info.gid)
+        os.setegid(user_info.gid)
+        os.seteuid(user_info.uid)

 
     @property
     def build_path(self):
 
     @property
     def build_path(self):


@@ -139,11 +177,11 @@ class Tester(object): #{{{
     @property
     def chroot(self):
         return join(self.path, 'chroot_' + self.name)
     @property
     def chroot(self):
         return join(self.path, 'chroot_' + self.name)

-    #}}}

 
     @property
     def orig_chroot(self):
         return join(self.path, 'chroot')
 
     @property
     def orig_chroot(self):
         return join(self.path, 'chroot')

+    #}}}

 
     def run(self): #{{{
         entrega_id = self.queue.get() # blocking
 
     def run(self): #{{{
         entrega_id = self.queue.get() # blocking


@@ -187,14 +225,16 @@ class Tester(object): #{{{
         rsync = ('rsync', '--stats', '--itemize-changes', '--human-readable',
             '--archive', '--acls', '--delete-during', '--force', # TODO config
             join(self.orig_chroot, ''), self.chroot)
         rsync = ('rsync', '--stats', '--itemize-changes', '--human-readable',
             '--archive', '--acls', '--delete-during', '--force', # TODO config
             join(self.orig_chroot, ''), self.chroot)

-        log.debug(_(u'Ejecutando: %s'), ' '.join(rsync))
+        log.debug(_(u'Ejecutando como root: %s'), ' '.join(rsync))

         os.seteuid(0) # Dios! (para chroot)
         os.setegid(0)
         try:
         os.seteuid(0) # Dios! (para chroot)
         os.setegid(0)
         try:

-            check_call(rsync)
+            sp.check_call(rsync)

         finally:
         finally:

-            os.setegid(egid) # Mortal de nuevo
-            os.seteuid(euid)
+            log.debug(_(u'Cambiando usuario y grupo efectivos a %s:%s (%s:%s)'),
+                user_info.user, user_info.group, user_info.uid, user_info.gid)
+            os.setegid(user_info.gid) # Mortal de nuevo
+            os.seteuid(user_info.uid)

         unzip(entrega.archivos, self.build_path)
 
     def clean_chroot(self, entrega):
         unzip(entrega.archivos, self.build_path)
 
     def clean_chroot(self, entrega):


@@ -230,13 +270,13 @@ def ejecutar_caso_de_prueba(self, path, entrega): #{{{
             for tarea in tareas:
                 tarea.ejecutar(path, prueba)
         except ExecutionFailure, e:
             for tarea in tareas:
                 tarea.ejecutar(path, prueba)
         except ExecutionFailure, e:

-            prueba.pasada = False
+            prueba.exito = False

             if self.rechazar_si_falla:
                 entrega.exito = False
             if self.terminar_si_falla:
                 raise ExecutionError(e.comando, e.tarea, prueba)
         else:
             if self.rechazar_si_falla:
                 entrega.exito = False
             if self.terminar_si_falla:
                 raise ExecutionError(e.comando, e.tarea, prueba)
         else:

-            prueba.pasada = True
+            prueba.exito = True

     finally:
         prueba.fin = datetime.now()
 CasoDePrueba.ejecutar = ejecutar_caso_de_prueba
     finally:
         prueba.fin = datetime.now()
 CasoDePrueba.ejecutar = ejecutar_caso_de_prueba


@@ -273,26 +313,65 @@ TareaPrueba.ejecutar = ejecutar_tarea_prueba
 def ejecutar_comando_fuente(self, path, entrega): #{{{
     log.debug(_(u'ComandoFuente.ejecutar(path=%s, entrega=%s)'), path,
         entrega.shortrepr())
 def ejecutar_comando_fuente(self, path, entrega): #{{{
     log.debug(_(u'ComandoFuente.ejecutar(path=%s, entrega=%s)'), path,
         entrega.shortrepr())

-    unzip(self.archivos_entrada, path) # TODO try/except

     comando_ejecutado = entrega.add_comando_ejecutado(self)
     comando_ejecutado = entrega.add_comando_ejecutado(self)

-    # Abro archivos para fds básicos (FIXME)
-    options = dict(close_fds=True, stdin=None, stdout=None, stderr=None,
-        preexec_fn=SecureProcess(self, 'var/chroot_pepe', '/home/sercom/build'))
-    log.debug(_(u'Ejecutando %s'), ' '.join(self.comando))
+    unzip(self.archivos_entrada, path, # TODO try/except
+        dict(__stdin__='/tmp/sercom.tester.%s.stdin' % comando_ejecutado.id)) # TODO /var/run/sercom
+    options = dict(
+        close_fds=True,
+        shell=True,
+        preexec_fn=SecureProcess(self, 'var/chroot_pepe', '/home/sercom/build')
+    )
+    if os.path.exists('/tmp/sercom.tester.%s.stdin' % comando_ejecutado.id): # TODO
+        options['stdin'] = file('/tmp/sercom.tester.%s.stdin' % comando_ejecutado.id, 'r') # TODO
+    else:
+        options['preexec_fn'].close_stdin = True
+    if self.guardar_stdouterr:
+        options['stdout'] = file('/tmp/sercom.tester.%s.stdouterr'
+            % comando_ejecutado.id, 'w') #TODO /var/run/sercom?
+        options['stderr'] = sp.STDOUT
+    else:
+        if self.guardar_stdout:
+            options['stdout'] = file('/tmp/sercom.tester.%s.stdout'
+                % comando_ejecutado.id, 'w') #TODO /run/lib/sercom?
+        else:
+            options['preexec_fn'].close_stdout = True
+        if self.guardar_stderr:
+            options['stderr'] = file('/tmp/sercom.tester.%s.stderr'
+                % comando_ejecutado.id, 'w') #TODO /var/run/sercom?
+        else:
+            options['preexec_fn'].close_stderr = True
+    log.debug(_(u'Ejecutando como root: %s'), self.comando)

     os.seteuid(0) # Dios! (para chroot)
     os.setegid(0)
     try:
         try:
     os.seteuid(0) # Dios! (para chroot)
     os.setegid(0)
     try:
         try:

-            proc = Popen(self.comando, **options)
+            proc = sp.Popen(self.comando, **options)

         finally:
         finally:

-            os.setegid(egid) # Mortal de nuevo
-            os.seteuid(euid)
-    except Exception, e: # FIXME poner en el manejo de exceptiones estandar
+            log.debug(_(u'Cambiando usuario y grupo efectivos a %s:%s (%s:%s)'),
+                user_info.user, user_info.group, user_info.uid, user_info.gid)
+            os.setegid(user_info.gid) # Mortal de nuevo
+            os.seteuid(user_info.uid)
+    except Exception, e:

         if hasattr(e, 'child_traceback'):
             log.error(_(u'Error en el hijo: %s'), e.child_traceback)
         raise
         if hasattr(e, 'child_traceback'):
             log.error(_(u'Error en el hijo: %s'), e.child_traceback)
         raise

-    proc.wait()
+    proc.wait() #TODO un sleep grande nos caga todo, ver sercom viejo

     comando_ejecutado.fin = datetime.now()
     comando_ejecutado.fin = datetime.now()

+    buffer = StringIO()
+    zip = ZipFile(buffer, 'w')
+    if self.guardar_stdouterr:
+        zip.write('/tmp/sercom.tester.%s.stdouterr'
+            % comando_ejecutado.id, '__stdouterr__')
+    else:
+        if self.guardar_stdout:
+            azipwrite('/tmp/sercom.tester.%s.stdout'
+                % comando_ejecutado.id, '__stdout__')
+        if self.guardar_stderr:
+            zip.write('/tmp/sercom.tester.%s.stderr'
+                % comando_ejecutado.id, '__stderr__')
+    zip.close()
+    comando_ejecutado.archivos_guardados = buffer.getvalue()
+

 #    if no_anda_ejecucion: # TODO
 #        comando_ejecutado.exito = False
 #        comando_ejecutado.observaciones += 'No anduvo xxx' # TODO mas info
 #    if no_anda_ejecucion: # TODO
 #        comando_ejecutado.exito = False
 #        comando_ejecutado.observaciones += 'No anduvo xxx' # TODO mas info