#!/usr/bin/env python2.4 # -*- encoding: iso-8859-1 -*- # vim: set et sw=4 sts=4 : # Módulos estándar import os import pwd import time import signal import glob import shutil import datetime import subprocess # Módulos locales import sercom import sercom.dbo from sercom.dbo import * class secure_process: def __init__(self, chroot, uid, gid, cpu): self.chroot = chroot self.uid = uid self.gid = gid self.cpu = cpu def __call__(self): from os import chroot, setuid, setgid import resource chroot(self.chroot) setgid(self.gid) setuid(self.uid) x2 = lambda val: (val, val) # Devuelve una tupla con val 2 veces resource.setrlimit(resource.RLIMIT_AS, x2(20*1024*1024)) resource.setrlimit(resource.RLIMIT_CORE, x2(0)) resource.setrlimit(resource.RLIMIT_CPU, x2(self.cpu)) resource.setrlimit(resource.RLIMIT_DATA, x2(20*1024*1024)) resource.setrlimit(resource.RLIMIT_FSIZE, x2(20*1024*1024)) #XXX Obtener de archivos esperados? #resource.setrlimit(resource.RLIMIT_LOCKS, x2(100)) XXX NO EXISTE EN python resource.setrlimit(resource.RLIMIT_MEMLOCK, x2(100)) resource.setrlimit(resource.RLIMIT_NOFILE, x2(100)) resource.setrlimit(resource.RLIMIT_NPROC, x2(0)) # Tratamos de forzar un sync para que entre al sleep del padre time.sleep(0) def sigchld(signum, frame): """Signal handler para SIGCHILD.""" global hijo_muerto, log log.debug('Murió el hijo') hijo_muerto = True def sigterm(signum, frame): """Signal handler para SIGTERM y SIGINT.""" global continuar, log continuar = False log.debug('Señal %d recibida', signum) def chroot_dir(intento): return os.path.join(intento.path, 'chroot') def compilar(intento): global log # Busco makefile makefile = os.path.join(intento.entrega.ejercicio.path, 'Makefile') # Compilo log.debug('Ejecutando: make -f %s', makefile) intento.inicioCompila = datetime.datetime.now() make = subprocess.Popen(('make', '-f', makefile), stdout=subprocess.PIPE, stderr=subprocess.PIPE, cwd=intento.path) make.wait() intento.finCompila = datetime.datetime.now() log.debug('Fin del comando: make -f %s', makefile) # Verifico compilación if make.returncode: log.debug('Error al compilar, código de retorno: %d, salida estándar: ' '%s, salida de error: %s)', make.returncode, make.stdout.read(), make.stderr.read()) intento.compila = False #TODO enviar_respuesta(R_ERR, $mail, "ERROR AL COMPILAR!\n\n$err\n\nCódigo de retorno: $ret\n", $intento); return False log.debug('Compilado OK') intento.compila = True #TODO mail acumulativo return True def preparar(intento): # Creo chroot - TODO copiarlo de algún lado donde ande el valgrind? os.mkdir(chroot_dir(intento)) shutil.copy(os.path.join(intento.path, 'tp'), os.path.join(chroot_dir(intento), 'tp')) def limpiar(intento): # Borro chroot entero shutil.rmtree(chroot_dir(intento)) def probar(intento, caso_de_prueba): # Cosas útiles global log, conn, conf, uid, gid # Para manejo de SIGCHLD global hijo_muerto hijo_muerto = False # Obtengo datos útiles del caso de prueba tiempo_cpu = caso_de_prueba.tiempoCpu if tiempo_cpu is None: tiempo_cpu = conf.get('general', 'tiempo_cpu') tiempo_cpu = int(tiempo_cpu) # Creo prueba nueva prueba = Prueba(intento=intento, casoDePrueba=caso_de_prueba, inicio=datetime.datetime.now(), connection=conn) log.debug('Iniciando prueba: %s', prueba) # Abro archivos para fds básicos #XXX sacar nombres de archivos de prueba???? options = { 'cwd': chroot_dir(intento), 'close_fds': True, 'preexec_fn': secure_process(chroot_dir(intento), uid, gid, tiempo_cpu), } if os.path.exists(os.path.join(caso_de_prueba.path, 'stdin')): options['stdin'] = file(os.path.join(caso_de_prueba.path, 'stdin'), 'r') if os.path.exists(os.path.join(caso_de_prueba.path, 'stdout')): options['stdout'] = subprocess.PIPE if os.path.exists(os.path.join(caso_de_prueba.path, 'stderr')): options['stderr'] = subprocess.PIPE # Ejecuto programa params = ['/tp'] if caso_de_prueba.parametros: params += params2seq(caso_de_prueba.parametros) log.debug('Ejecutando %s', ' '.join(params)) os.seteuid(0) # Dios! (para chroot) try: proc = subprocess.Popen(params, **options) except Exception, e: # FIXME poner en el manejo de exceptiones estandar try: print e.child_traceback raise except: raise os.seteuid(uid) # Mortal de nuevo if not hijo_muerto: # Recibido por el sigchld, para saber si murió time.sleep(tiempo_cpu) # Si el proceso sigue andando lo tenemos que matar if not hijo_muerto: log.debug('La prueba tardó más del tiempo permitido (%d segundos)', tiempo_cpu) os.seteuid(0) # Dios! (corre como Dios, hay que matarlo como Dios) os.kill(proc.pid, signal.SIGKILL) os.seteuid(uid) # Mortal de nuevo log.debug('Prueba cancelada (kill)') proc.wait() prueba.observaciones = 'Excedió el límite de tiempo de ejecución ' \ '(%d seg)' % tiempo_cpu prueba.fin = datetime.datetime.now() prueba.pasada = False return prueba proc.wait() # Para que no queden zombies prueba.fin = str(datetime.datetime.now()) # Salió con una señal? if proc.returncode < 0: sig = -proc.returncode log.debug('El programa salió con la señal %d', sig) prueba.pasada = False #TODO otras señales conocidas if sig == signal.SIGXCPU: prueba.observaciones = 'Excedió el límite de tiempo de CPU ' \ '(%d seg)' % tiempo_cpu else: prueba.observaciones = 'Salió con la señal %d' % sig return prueba # Si tenemos que verificar el código de retorno if caso_de_prueba.codigoRetorno is not None: #FIXME trucho lo de 256 # Si el código de error esperado es 256 => el código de error debe ser != 0 # Si no el código de error esperado debe ser igual al obtenido if caso_de_prueba.codigoRetorno != proc.returncode \ or caso_de_prueba.codigoRetorno == 256 \ and proc.returncode != 0: log.debug('Código de retorno incorrecto (debía ser %d y se obtuvo %d)', caso_de_prueba.codigoRetorno, proc.returncode) prueba.pasada = False prueba.observaciones = 'Código de retorno incorrecto (debía ' \ 'ser %d y se obtuvo %d)' % (caso_de_prueba.codigoRetorno, proc.returncode) #TODO verificar salidas, hacer diff log.debug('Fin de ejecución de caso de prueba (hijo: %d, ret: %d)', proc.pid, proc.returncode) prueba.pasada = True log.debug('Prueba OK: %s', prueba) return prueba def params2seq(params): r"""Parsea un string de forma similar al bash, separando por espacios y teniendo en cuenta comillas simples y dobles para agrupar. Para poner comillas se puede usar el \ como caracter de escape (\' y \") y también interpreta \n y \t. Devuelve una lista con los parámetros encontrados.""" # Constantes SEP, TOKEN, DQUOTE, SQUOTE = ' ', None, '"', "'" seq = [] buff = '' escape = False state = SEP for c in params: # Es un caracter escapado if escape: if c == 'n': buff += '\n' elif c == 't': buff += '\t' else: buff += c escape = False continue # Es una secuencia de escape if c == '\\': escape = True continue # Si está buscando espacios if state == SEP: if c == SEP: continue else: state = TOKEN # Encontró if state == TOKEN: if c == DQUOTE: state = DQUOTE continue if c == SQUOTE: state = SQUOTE continue if c == SEP: state = SEP seq.append(buff) buff = '' continue buff += c continue if state == DQUOTE: if c == DQUOTE: state = TOKEN continue buff += c continue if state == SQUOTE: if c == SQUOTE: state = TOKEN continue buff += c continue raise Exception, 'No tiene sentido' if state == DQUOTE or state == SQUOTE: raise Exception, 'Parse error, falta cerrar comilla (%s)' % state if buff: seq.append(buff) return seq # Manejadores de señales signal.signal(signal.SIGTERM, sigterm) signal.signal(signal.SIGINT, sigterm) signal.signal(signal.SIGCHLD, sigchld) hijo_muerto = False # Cambia con SIGCHLD continuar = True # Cambia con SIGTERM o SIGINT # Inicializo conf, conn, log = sercom.init('test') log.info('Iniciado') # Obtengo id de usuario con el cual ejecutar las pruebas uid, gid = pwd.getpwnam(conf.get('general', 'user'))[2:4] # Cambio UID efectivo os.seteuid(uid) # Atajo intervalo = float(conf.get('general', 'intervalo')) # Utilizo el directorio de datos como base para todos los SQLObjects sercom.dbo.dir_base = conf.get('general', 'data_dir') # Hasta que nos maten while continuar: # Busco intento a probar intento = Intento.getProximoAProbar(conn) if not intento: log.debug('No hay intento para probar') time.sleep(intervalo) continue log.info('Nuevo intento a probar (%s)', intento) # Compila if not compilar(intento): #TODO mandar mail continue # Ejecución de casos de prueba intento.inicioPruebas = datetime.datetime.now() pruebas = [] for caso_de_prueba in intento.entrega.ejercicio.casosDePrueba: # Preparo chroot preparar(intento) # Pruebo y agrego prueba a la lista pruebas.append(probar(intento, caso_de_prueba)) # Limpio chroot limpiar(intento) intento.finPruebas = datetime.datetime.now() # Limpio directorio log.debug('Borrando ejecutable y código objeto (*.o)') os.remove(os.path.join(intento.path, 'tp')) [os.remove(obj) for obj in glob.glob(os.path.join(intento.path, '*.o'))] #TODO Armar mail de respuesta al alumno for prueba in pruebas: #TODO Si es publica, veo si se hizo ok o no y voy creando mail pass time.sleep(intervalo)