-#!/usr/bin/php
-<?php // vim: set binary noeol et sw=4 sts=4:
-
-require_once 'T/general.php';
-
-define('R_ERR', 0);
-define('R_OK', 1);
-
-$LOGLEVEL = DEBUG;
-
-$gconf = $CONF['general'];
-
-// Obtengo id de usuario con el cual ejecutar las pruebas.
-if (!($usrinfo = @posix_getpwnam($gconf['user']))) {
- logserr("No existe el usuario '{$gconf['user']}'");
- exit(10); // salgo con error
-}
-$UID = $usrinfo['uid'];
-$GID = $usrinfo['gid'];
-/*if (!@posix_seteuid($usrinfo['uid'])) {
- logserr("No se puede cambiar el uid efectivo a '{$usrinfo['uid']}'");
- exit(11); // salgo con error
-}*/
-
-$intento = new T_Intento;
-
-// Sin cesar.
-while (1) {
- if (!($mail = $intento->proximo_a_probar())) {
- logs('No hay intento para probar', DEBUG);
- sleep($gconf['intervalo']);
- continue;
- }
- logs('Nuevo intento a probar (' . $intento->to_line() . ')');
-
- $intento_dir = "{$gconf['data_dir']}/" . $intento->path();
- $entrega_dir = "{$gconf['data_dir']}/" . $intento->base_path('entregas');
-
- if (is_readable("$entrega_dir/Makefile")) {
- $makefile = "$entrega_dir/Makefile";
-//XXX @copy("$entrega_dir/Makefile", "$intento_dir/Makefile")
-// or logserr("Error al copiar Makefile (de '$entrega_dir/Makefile' a '$intento_dir/Makefile'");
- // Fallback
- } elseif (is_readable("{$gconf['data_dir']}/Makefile")) {
- $makefile = "{$gconf['data_dir']}/Makefile";
-//XXX if (!@copy("{$gconf['data_dir']}/Makefile", "$intento_dir/Makefile")) {
- } else {
- enviar_respuesta_error_log($mail, 'No hay un Makefile disponible', $intento);
- continue;
- }
-
- $currdir = getcwd();
- if (!@chdir($intento_dir)) {
- enviar_respuesta_error_log($mail, 'Error al cambiar al directorio del tp', $intento);
- continue;
- }
- logs("Cambio de directorio '$currdir' -> '$intento_dir'", DEBUG);
- logs('Ejecutando el comando: make -f '.escapeshellarg($makefile), DEBUG);
- if (exec_get_info('make -f '.escapeshellarg($makefile), $ret, $err, $out)) {
- if ($ret) {
- logs('Error al compilar');
- logs("Código de retorno: $ret, mensaje: $err)", DEBUG);
- //XXX $intento->informar_compilacion(false);
- enviar_respuesta(R_ERR, $mail, "ERROR AL COMPILAR!\n\n$err\n\nCódigo de retorno: $ret\n", $intento);
- continue;
- } else {
- logs('Compilado OK');
- //XXX $intento->informar_compilacion(true);
- // TODO mail acumulativo
- // enviar_respuesta(R_OK, $mail, 'El intento fue compilado con éxito!', $intento);
- }
- } else {
- //XXX $intento->informar_compilacion(false);
- enviar_respuesta_error_log($mail, 'No se pudo ejecutar make', $intento);
- continue;
- }
- if (!@mkdir('chroot')) {
- enviar_respuesta_error_log($mail, 'Error al crear directorio para chroot', $intento);
+#!/usr/bin/env python2.4
+# -*- encoding: iso-8859-1 -*-
+# vim: set et sw=4 sts=4 :
+
+# Módulos estándar
+import os
+import sys
+import pwd
+import time
+import signal
+import locale
+import shutil
+import datetime
+import logging
+import logging.config
+import subprocess
+import ConfigParser
+# Módulos externos
+import sqlobject
+# Módulos locales
+from sercom.dbo import *
+
+class secure:
+ def __init__(self, chroot, uid, gid, cpu):
+ self.chroot = chroot
+ self.uid = uid
+ self.gid = gid
+ self.cpu = cpu
+ def __call__(self):
+ from os import chroot, setuid, setgid
+ import resource
+ chroot(self.chroot)
+ setgid(self.gid)
+ setuid(self.uid)
+ resource.setrlimit(resource.RLIMIT_AS, 20*1024*1024)
+ resource.setrlimit(resource.RLIMIT_CORE, 0)
+ resource.setrlimit(resource.RLIMIT_CPU, (self.cpu, self.cpu))
+ resource.setrlimit(resource.RLIMIT_DATA, 20*1024*1024)
+ resource.setrlimit(resource.RLIMIT_FSIZE, 20*1024*1024) #XXX Obtener de archivos esperados?
+ resource.setrlimit(resource.RLIMIT_LOCKS, 100)
+ resource.setrlimit(resource.RLIMIT_MEMLOCK, 100)
+ resource.setrlimit(resource.RLIMIT_NOFILE, 100)
+ resource.setrlimit(resource.RLIMIT_NPROC, 0)
+
+def logger():
+ log = None
+ for log_conf in ('log.ini', os.path.expanduser('~/.sercom/log.ini'), '/etc/sercom/log.ini'):
+ if (os.access(log_conf, os.R_OK)):
+ logging.config.fileConfig(log_conf)
+ log = logging.getLogger('test')
+ return log
+
+def sigchld(signum, frame):
+ """Signal handler para SIGCHILD."""
+ #global hijo_muerto
+ #hijo_muerto = True
+ pass
+
+def sigterm(signum, frame):
+ """Signal handler para SIGTERM y SIGINT."""
+ global continuar, log
+ continuar = False
+ log.debug('Señal %d recibida', signum)
+
+
+# Seteo locale
+locale.setlocale(locale.LC_ALL, '')
+
+# Obtengo configuración
+conf = ConfigParser.SafeConfigParser()
+if not conf.read(('/etc/sercom/sercom.ini', os.path.expanduser('~/.sercom/sercom.ini'), 'sercom.ini')):
+ sys.stderr.write('No se pudo obtener configuración!\n')
+ sys.exit(1)
+
+# Obtengo id de usuario con el cual ejecutar las pruebas
+(uid, gid) = pwd.getpwnam(conf.get('general', 'user'))[2:4]
+
+# Cambio UID efectivo
+os.seteuid(uid)
+
+# Seteo umask para que el grupo pueda leer
+os.umask(00027)
+
+# Conecto señales
+signal.signal(signal.SIGCHLD, sigchld)
+signal.signal(signal.SIGTERM, sigterm)
+signal.signal(signal.SIGINT, sigterm)
+
+# Conexión a la DB
+conn = sqlobject.connectionForURI(conf.get('dbo', 'database'))
+
+# Cargo config del logger
+log = logger()
+if not log:
+ print >>sys.stderr, 'No se pudo cargar archivo de configuración de log.'
+ sys.exit(1)
+log.info('Iniciado')
+
+# Algunas variables de configuración útiles
+data_dir = conf.get('general', 'data_dir')
+intervalo = float(conf.get('general', 'intervalo'))
+
+# Hasta que nos maten
+continuar = True # Cambia con una señal
+while continuar:
+ # Busco intento a probar
+ intento = Intento.getProximoAProbar(conn)
+ if not intento:
+ log.debug('No hay intento para probar')
+ time.sleep(intervalo)
+ continue
+ log.info('Nuevo intento a probar (%s)', intento)
+ # Obtengo paths
+ intento_dir = os.path.join(data_dir, intento.path('intentos'))
+ entrega_dir = os.path.join(data_dir, 'ejercicios', str(intento.entrega.ejercicioID))
+ print entrega_dir
+ # Busco makefile
+ makefile = os.path.join(entrega_dir, 'Makefile')
+ if not os.path.exists(makefile):
+ makefile = os.path.join(data_dir, 'Makefile')
+ shutil.copy(makefile, intento_dir)
+ # Compilo
+ log.debug('Ejecutando: make -f %s', makefile)
+ intento.inicioCompila = datetime.datetime.now()
+ make = subprocess.Popen(('make', '-f', makefile), stdout=subprocess.PIPE,
+ stderr=subprocess.PIPE, cwd=intento_dir)
+ make.wait()
+ intento.finCompila = datetime.datetime.now()
+ log.debug('Fin del comando: make -f %s', makefile)
+ # Verifico compilación
+ if make.returncode:
+ log.debug('Error al compilar, código de retorno: %d, salida estándar: '
+ '%s, salida de error: %s)', make.returncode, make.stdout.read(),
+ make.stderr.read())
+ intento.compila = False
+ #TODO enviar_respuesta(R_ERR, $mail, "ERROR AL COMPILAR!\n\n$err\n\nCódigo de retorno: $ret\n", $intento);
continue;
- }
- if (!@rename('tp', 'chroot/tp')) {
- enviar_respuesta_error_log($mail, 'Error al mover el tp al chroot', $intento);
- continue;
- }
- if (!@copy("{$gconf['data_dir']}/redir", 'chroot/redir')) {
- enviar_respuesta_error_log($mail, 'Error al copiar redireccionador al chroot', $intento);
- continue;
- }
- if ($err = chmod_own_grp('chroot', 02770, $UID, $GID)) {
- enviar_respuesta_error_log($mail, $err, $intento);
- continue;
- }
- if ($err = chmod_own_grp('chroot/tp', 0550, $UID, $GID)) {
- enviar_respuesta_error_log($mail, $err, $intento);
- continue;
- }
- if ($err = chmod_own_grp('chroot/redir', 0550, 0, 0)) {
- enviar_respuesta_error_log($mail, $err, $intento);
- continue;
- }
-
- // comienza la ejecución de casos de prueba
- while ($prueba = $intento->pedir_caso_de_prueba()) {
- logs('Prueba: ' . $prueba->to_line(), DEBUG);
- // ejecuta con fork
- $pid = pcntl_fork();
- if ($pid == -1) {
- // Error al forkear
- $intento->resultado_de_prueba($prueba, false, 'Error al forkear proceso');
- enviar_respuesta_error_log($mail, 'Error al forkear proceso', $intento);
- continue 2;
- } elseif ($pid) {
- // Estamos en el padre, controlamos el tiempo.
- logs("En el padre (hijo: $pid)", DEBUG);
- // TODO controlar tiempo.
- pcntl_waitpid($pid, $exitcode);
- logs("Fin de ejecución de caso de prueba (hijo: $pid, ret: $exitcode)", DEBUG);
- $stderr = false; // FIXME ver si salida de error es vacia.
- if ($exitcode or $stderr) {
- logs('Comando ejecutado ERROR', DEBUG);
- if ($ret) {
- $msg = "El programa salió con código de error $ret";
- $msgs[] = $msg;
- logs($msg, DEBUG);
- }
- if ($stderr) {
- $msg = "El programa imprimió mensajes en la salida de error: '$stderr'";
- $msgs[] = $msg;
- logs($msg, DEBUG);
- }
- $msg = join("\n", $msgs);
- $intento->resultado_de_prueba($prueba, false, $msg);
- enviar_respuesta(R_ERR, $mail, $msg, $intento);
- exit(0); // salgo ok del hijo
- } else { // Sin errores en la ejecución.
- logs('Comando ejecutado OK', DEBUG);
- // TODO
- $salidas = array();
- foreach ($prueba->salidas as $salida) {
- // TODO hacer diffs.
- if ($salida == 'stdout') {
- $salidas[$salida] = $stdout;
- } else {
- $salidas[$salida] = file_get_contents($salida);
- }
- }
- logs('Salidas: ' . var_export($salidas, true), DEBUG);
- $intento->resultado_de_prueba($prueba, true, 'Salidas: ' . var_export($salidas, true));
- enviar_respuesta(R_ERR, $mail, 'Salidas: ' . var_export($salidas, true), $intento);
- exit(0); // salgo ok del hijo
- }
- } else {
- // Estamos en el hijo, corremos en chroot.
- logs('En el hijo', DEBUG);
- // Hago chroot.
- if (!@chroot('chroot')) {
- $intento->resultado_de_prueba($prueba, false, 'Error al hacer chroot');
- enviar_respuesta_error_log($mail, 'Error al hacer chroot', $intento);
- exit(1); // salgo del hijo
- }
- logs('Chrooteado, cwd = '.getcwd(), DEBUG);
- if (!@posix_setuid($usrinfo['uid'])) {
- $intento->resultado_de_prueba($prueba, false, "Error al cambiar al uid '{$usrinfo['uid']}'");
- enviar_respuesta_error_log($mail, "Error al cambiar al uid '{$usrinfo['uid']}'", $intento);
- exit(2); // salgo del hijo
- }
- // TODO poner stdout y stderr en archivos para hacer diff o hacer diffs en memoria
- $stdout = null;
- if (in_array('stdout', $prueba->salidas)) $stdout = '';
- logs('Se ejecutará: chroot chroot /tp ' . escapeshellarg($prueba->params), DEBUG);
- if (!pcntl_exec('/redir', array('tp', 'stdin', 'stdout', 'stderr', '/tp', '0', $prueba->params))) {
- logserr('No se pudo ejecutar el comando');
- $intento->resultado_de_prueba($prueba, false, 'No se pudo ejecutar el tp');
- enviar_respuesta_error_log($mail, 'No se pudo ejecutar el tp', $intento);
- exit(4); // salgo del hijo
- }
- exit(100); // salgo del hijo (no deberia llegar nunca aca).
- }
- break; // FIXME
- }
-
- // TODO make clean
-}
-
-
-/**
- * Ejecuta un comando devolviendo el código de error y las salidas.
- *
- * @param cmd Comando a ejecutar.
- * @param ret Código de retorno.
- * @param err Salida de error (se obtiene sólo si es != null).
- * @param out Salida estándar (se obtiene sólo si es != null).
- * @param in Entrada a enviarle al comando (null si no se le envía nada).
- * @return true si se ejecutó el comando, false si no.
- */
-function exec_fds($cmd, &$ret, $in = false, $out = false, $in = false) {
- $descriptors = array();
- if ($in) $descriptors[0] = get_fd_type($in, 'r');
- if ($out) $descriptors[1] = get_fd_type($out, 'w');
- if ($err) $descriptors[2] = get_fd_type($err, 'w');
-var_dump($descriptors);
- $proc = proc_open($cmd, $descriptors, $pipes);
- if (is_resource($proc)) {
- $ret = proc_close($proc);
- return true;
- }
- return false;
-}
-
-/**
- * Obtiene un tipo de descriptor para proc_open().
- *
- * @param fd Tipo de descriptor: si es true, se usa un pipe, si es un array
- * se usa el array y si es otra cosa se usa un archivo con este
- * nombre.
- * @param mode Modo de apertura, sólo se usa si es true o string.
- * @return Array a pasar a proc_open().
- */
-function get_fd_type($fd, $mode = false) {
- if ($fd === true) {
- return array('pipe', $mode);
- } elseif (is_array($fd)) {
- return $fd;
- }
- return array('file', $fd, $mode);
-}
-
-/**
- * Ejecuta un comando devolviendo el código de error y las salidas.
- *
- * @param cmd Comando a ejecutar.
- * @param ret Código de retorno.
- * @param err Salida de error (se obtiene sólo si es != null).
- * @param out Salida estándar (se obtiene sólo si es != null).
- * @param in Entrada a enviarle al comando (null si no se le envía nada).
- * @return true si se ejecutó el comando, false si no.
- */
-function exec_get_info($cmd, &$ret, &$err, &$out, $in = null) {
- $descriptors = array(array('pipe', 'r'), array('pipe', 'w'), array('pipe', 'w'));
- $proc = proc_open($cmd, $descriptors, $pipes);
- if (is_resource($proc)) {
- if (is_null($in)) {
- fputs($pipes[0], $in);
- }
- if (is_null($out)) {
- $out = stream_get_contents($pipes[1]);
- }
- if (is_null($err)) {
- $err = stream_get_contents($pipes[2]);
- }
- foreach (array(0,1,2) as $i) {
- fclose($pipes[$i]);
- }
- $ret = proc_close($proc);
- return true;
- }
- return false;
-}
-
-function enviar_respuesta($tipo, $to, $mensaje = '', $intento = null) {
- $mconf = $GLOBALS['CONF']['mail'];
- $subject = '[' . $NAME . '] Prueba ';
- if ($tipo == R_OK) $estado = 'OK';
- else $estado = 'ERROR';
- $subject .= $estado;
- $body .= "Estado: $estado\n";
- if ($mensaje) $body .= "\n$mensaje\n";
- if ($intento) $body .= "\n" . $intento->__toString() . "\n";
- logs("Envío de mail '$subject' a '$to'\n$body\n", DEBUG);
- $headers = <<<EOT
-From: {$mconf['from']}
-Reply-To: {$mconf['admin']}
-X-Mailer: $NAME $VERSION
-X-Priority: 5
-EOT;
- mail($to, $subject, $body, $headers);
- //mail($mconf['admin'], $subject, $body, $headers);
- return true;
-}
-
-/**
- * Cambia permisos, dueño y grupo a un archivo, devuelve string con error o
- * false si no hay error.
- */
-function chmod_own_grp($file, $mod, $own, $grp) {
- if (!@chmod($file, $mod)) return "Error al cambiar permisos [$mod] a '$file'";
- if (!@chown($file, $own)) return "Error al cambiar dueño [$own] a '$file'";
- if (!@chgrp($file, $grp)) return "Error al cambiar grupo [$grp] a '$file'";
- return false;
-}
-
-function enviar_respuesta_error_log($to, $msg = '', $intento = null) {
- logserr($msg);
- enviar_respuesta(R_ERR, $to, "ERROR: $msg\n\nSe envió un mail al administrador para revisar el problema.\n", $intento);
- enviar_respuesta(R_ERR, $GLOBALS['CONF']['mail']['admin'], $msg, $intento);
-}
+ else:
+ log.debug('Compilado OK')
+ intento.compila = True
+ #TODO mail acumulativo
+ # Creo chroot - TODO copiarlo de algún lado donde ande el valgrind?
+ chroot_dir = os.path.join(intento_dir, 'chroot')
+ ejecutable = os.path.join(chroot_dir, 'tp')
+ os.mkdir(chroot_dir)
+ shutil.move(os.path.join(intento_dir, 'tp'), ejecutable)
+ # Cambio permisos - XXX al pedo? Hice seteuid()
+ os.chmod(chroot_dir, 02770)
+ os.chown(chroot_dir, uid, gid)
+ os.chmod(ejecutable, 0550)
+ os.chown(ejecutable, uid, gid)
+ # Ejecución de casos de prueba
+ intento.inicioPruebas = datetime.datetime.now()
+ for caso_de_prueba in intento.entrega.ejercicio.casosDePrueba:
+ # Obtengo datos útiles del caso de prueba
+ tiempo_cpu = caso_de_prueba.tiempoCpu
+ if tiempo_cpu is None:
+ tiempo_cpu = conf.get('general', 'tiempo_cpu')
+ # Creo prueba nueva
+ prueba = Prueba(intento.id, caso_de_prueba.id, datetime.datetime.now())
+ log.debug('Prueba: %s', prueba)
+ # Abro archivos para fds básicos
+ #XXX sacar nombres de archivos de prueba????
+ stdin = file(os.path.join(intento_dir, 'stdin'), 'r')
+ stdout = file(os.path.join(intento_dir, 'stdout'), 'w')
+ stderr = file(os.path.join(intento_dir, 'stderr'), 'w')
+ # Ejecuto programa
+ log.debug('Ejecutando /tp %s', prueba.params)
+ os.seteuid(0) # Dios! (para chroot)
+ proc = subprocess.Popen('/tp', stdin=stdin, stdout=stdout, stderr=stderr,
+ preexec_fn=secure(chroot_dir, uid, gid, tiempo_cpu))
+ os.seteuid(uid) # Mortal de nuevo
+ time.sleep(tiempo_cpu)
+ # Si el proceso sigue andando lo tenemos que matar
+ if proc.poll() is None:
+ log.debug('La prueba tardó más del tiempo permitido (%d segundos)',
+ tiempo_cpu)
+ os.seteuid(0) # Dios! (corre como Dios, hay que matarlo como Dios)
+ os.kill(proc.pid, signal.SIGKILL)
+ os.seteuid(uid) # Mortal de nuevo
+ log.debug('Prueba cancelada (kill)')
+ proc.wait()
+ prueba.observaciones = 'Excedió el límite de tiempo de ejecución ' \
+ '(%d seg)' % tiempo_cpu
+ prueba.fin = datetime.datetime.now()
+ prueba.pasada = False
+ continue
+ proc.wait() # Para que no queden zombies
+ prueba.fin = datetime.datetime.now()
+ # Salió con una señal?
+ if proc.returncode < 0:
+ sig = -proc.returncode
+ log.debug('El programa salió con la señal %d', sig)
+ prueba.pasada = False
+ #TODO otras señales conocidas
+ if sig == signal.SIGXCPU:
+ prueba.observaciones = 'Excedió el límite de tiempo de CPU ' \
+ '(%d seg)' % tiempo_cpu
+ else:
+ prueba.observaciones = 'Salió con la señal %d' % sig
+ continue
+ # Si tenemos que verificar el código de retorno
+ if caso_de_prueba.codigoRetorno is not None:
+ #FIXME trucho lo de 256
+ # Si el código de error esperado es 256 => el código de error debe ser != 0
+ # Si no el código de error esperado debe ser igual al obtenido
+ if caso_de_prueba.codigoRetorno != proc.returncode \
+ or caso_de_prueba.codigoRetorno == 256 \
+ and proc.returncode != 0:
+ log.debug('Código de retorno incorrecto (debía ser %d y se obtuvo %d)',
+ caso_de_prueba.codigoRetorno, proc.returncode)
+ prueba.pasada = False
+ prueba.observaciones = 'Código de retorno incorrecto (debía ' \
+ 'ser %d y se obtuvo %d)' % (caso_de_prueba.codigoRetorno,
+ proc.returncode)
+ #TODO verificar salidas, hacer diff
+ log.debug('Fin de ejecución de caso de prueba (hijo: %d, ret: %d)',
+ proc.pid, proc.returncode)
+ log.debug('Prueba OK')
+ prueba.pasada = True
+ intento.finPruebas = datetime.datetime.now()
+ #TODO make clean
+ #TODO Armar mail de respuesta al alumno
+ for prueba in Prueba.selectBy(conn, Prueba.q.intento == intento):
+ #TODO Si es publica, veo si se hizo ok o no y voy creando mail
+ pass
+ time.sleep(conf.get('general', 'intervalo'))
-?>
\ No newline at end of file
projects / software / sercom-old.git / blobdiff