-#!/usr/bin/php
-<?php // vim: set binary noeol et sw=4 sts=4:
+#!/usr/bin/env python2.4
+# -*- encoding: iso-8859-1 -*-
+# vim: set et sw=4 sts=4 :
+
+# Módulos estándar
+import os
+import pwd
+import time
+import signal
+import shutil
+import datetime
+import subprocess
+# Módulos locales
+import sercom
+from sercom.dbo import *
+
+class secure_process:
+ def __init__(self, chroot, uid, gid, cpu):
+ self.chroot = chroot
+ self.uid = uid
+ self.gid = gid
+ self.cpu = cpu
+ def __call__(self):
+ from os import chroot, setuid, setgid
+ import resource
+ chroot(self.chroot)
+ setgid(self.gid)
+ setuid(self.uid)
+ x2 = lambda val: (val, val) # Devuelve una tupla con val 2 veces
+ resource.setrlimit(resource.RLIMIT_AS, x2(20*1024*1024))
+ resource.setrlimit(resource.RLIMIT_CORE, x2(0))
+ resource.setrlimit(resource.RLIMIT_CPU, x2(self.cpu))
+ resource.setrlimit(resource.RLIMIT_DATA, x2(20*1024*1024))
+ resource.setrlimit(resource.RLIMIT_FSIZE, x2(20*1024*1024)) #XXX Obtener de archivos esperados?
+ #resource.setrlimit(resource.RLIMIT_LOCKS, x2(100)) XXX NO EXISTE EN python
+ resource.setrlimit(resource.RLIMIT_MEMLOCK, x2(100))
+ resource.setrlimit(resource.RLIMIT_NOFILE, x2(100))
+ resource.setrlimit(resource.RLIMIT_NPROC, x2(0))
+
+def sigchld(signum, frame):
+ """Signal handler para SIGCHILD."""
+ #global hijo_muerto
+ #hijo_muerto = True
+ pass
+
+def sigterm(signum, frame):
+ """Signal handler para SIGTERM y SIGINT."""
+ global continuar, log
+ continuar = False
+ log.debug('Señal %d recibida', signum)
+
+def compilar(intento, intento_dir, entrega_dir, log):
+ # Busco makefile
+ makefile = os.path.join(entrega_dir, 'Makefile')
+ if not os.path.exists(makefile):
+ makefile = os.path.join(data_dir, 'Makefile')
+ shutil.copy(makefile, intento_dir)
+ # Compilo
+ log.debug('Ejecutando: make -f %s', makefile)
+ intento.inicioCompila = datetime.datetime.now()
+ make = subprocess.Popen(('make', '-f', makefile), stdout=subprocess.PIPE,
+ stderr=subprocess.PIPE, cwd=intento_dir)
+ make.wait()
+ intento.finCompila = datetime.datetime.now()
+ log.debug('Fin del comando: make -f %s', makefile)
+ # Verifico compilación
+ if make.returncode:
+ log.debug('Error al compilar, código de retorno: %d, salida estándar: '
+ '%s, salida de error: %s)', make.returncode, make.stdout.read(),
+ make.stderr.read())
+ intento.compila = False
+ #TODO enviar_respuesta(R_ERR, $mail, "ERROR AL COMPILAR!\n\n$err\n\nCódigo de retorno: $ret\n", $intento);
+ return False
+ log.debug('Compilado OK')
+ intento.compila = True
+ #TODO mail acumulativo
+ return True
+
+def preparar(intento_dir, chroot_dir):
+ # Creo chroot - TODO copiarlo de algún lado donde ande el valgrind?
+ ejecutable = os.path.join(chroot_dir, 'tp')
+ os.mkdir(chroot_dir)
+ shutil.move(os.path.join(intento_dir, 'tp'), ejecutable)
+
+def probar(intento, caso_de_prueba, uid, gid, chroot_dir, conf, conn, log):
+ # Obtengo datos útiles del caso de prueba
+ tiempo_cpu = caso_de_prueba.tiempoCpu
+ if tiempo_cpu is None:
+ tiempo_cpu = conf.get('general', 'tiempo_cpu')
+ tiempo_cpu = int(tiempo_cpu)
+ # Creo prueba nueva
+ prueba = Prueba(intento=intento, casoDePrueba=caso_de_prueba,
+ inicio=datetime.datetime.now(), connection = conn)
+ log.debug('Prueba: %s', prueba)
+ # Abro archivos para fds básicos
+ #XXX sacar nombres de archivos de prueba????
+ #stdin = file(os.path.join(intento_dir, 'stdin'), 'r')
+ stdout = file(os.path.join(intento_dir, 'stdout'), 'w')
+ stderr = file(os.path.join(intento_dir, 'stderr'), 'w')
+ # Ejecuto programa
+ log.debug('Ejecutando /tp %s', caso_de_prueba.parametros)
+ os.seteuid(0) # Dios! (para chroot)
+ # FIXME caso_de_prueba.parametros
+ try:
+ proc = subprocess.Popen('/tp', stdout=stdout, stderr=stderr, #stdin=stdin,
+ preexec_fn=secure_process(chroot_dir, uid, gid, tiempo_cpu))
+ except Exception, e: # FIXME poner en el manejo de exceptiones estandar
+ try:
+ print e.child_traceback
+ raise
+ except:
+ raise
+ os.seteuid(uid) # Mortal de nuevo
+ time.sleep(tiempo_cpu)
+ # Si el proceso sigue andando lo tenemos que matar
+ if proc.poll() is None:
+ log.debug('La prueba tardó más del tiempo permitido (%d segundos)',
+ tiempo_cpu)
+ os.seteuid(0) # Dios! (corre como Dios, hay que matarlo como Dios)
+ os.kill(proc.pid, signal.SIGKILL)
+ os.seteuid(uid) # Mortal de nuevo
+ log.debug('Prueba cancelada (kill)')
+ proc.wait()
+ prueba.observaciones = 'Excedió el límite de tiempo de ejecución ' \
+ '(%d seg)' % tiempo_cpu
+ prueba.fin = datetime.datetime.now()
+ prueba.pasada = False
+ return prueba
+ proc.wait() # Para que no queden zombies
+ prueba.fin = str(datetime.datetime.now())
+ # Salió con una señal?
+ if proc.returncode < 0:
+ sig = -proc.returncode
+ log.debug('El programa salió con la señal %d', sig)
+ prueba.pasada = False
+ #TODO otras señales conocidas
+ if sig == signal.SIGXCPU:
+ prueba.observaciones = 'Excedió el límite de tiempo de CPU ' \
+ '(%d seg)' % tiempo_cpu
+ else:
+ prueba.observaciones = 'Salió con la señal %d' % sig
+ return prueba
+ # Si tenemos que verificar el código de retorno
+ if caso_de_prueba.codigoRetorno is not None:
+ #FIXME trucho lo de 256
+ # Si el código de error esperado es 256 => el código de error debe ser != 0
+ # Si no el código de error esperado debe ser igual al obtenido
+ if caso_de_prueba.codigoRetorno != proc.returncode \
+ or caso_de_prueba.codigoRetorno == 256 \
+ and proc.returncode != 0:
+ log.debug('Código de retorno incorrecto (debía ser %d y se obtuvo %d)',
+ caso_de_prueba.codigoRetorno, proc.returncode)
+ prueba.pasada = False
+ prueba.observaciones = 'Código de retorno incorrecto (debía ' \
+ 'ser %d y se obtuvo %d)' % (caso_de_prueba.codigoRetorno,
+ proc.returncode)
+ #TODO verificar salidas, hacer diff
+ log.debug('Fin de ejecución de caso de prueba (hijo: %d, ret: %d)',
+ proc.pid, proc.returncode)
+ prueba.pasada = True
+ log.debug('Prueba OK: %s', prueba)
+ return prueba
+
+# Conecto señales
+signal.signal(signal.SIGCHLD, sigchld)
+signal.signal(signal.SIGTERM, sigterm)
+signal.signal(signal.SIGINT, sigterm)
+
+# Inicializo
+conf, conn, log = sercom.init('test')
+log.info('Iniciado')
+
+# Obtengo id de usuario con el cual ejecutar las pruebas
+(uid, gid) = pwd.getpwnam(conf.get('general', 'user'))[2:4]
+
+# Cambio UID efectivo
+os.seteuid(uid)
+
+# Algunas variables de configuración útiles
+data_dir = conf.get('general', 'data_dir')
+intervalo = float(conf.get('general', 'intervalo'))
+
+# Hasta que nos maten
+continuar = True # Cambia con una señal
+while continuar:
+ # Busco intento a probar
+ intento = Intento.getProximoAProbar(conn)
+ if not intento:
+ log.debug('No hay intento para probar')
+ time.sleep(intervalo)
+ continue
+ log.info('Nuevo intento a probar (%s)', intento)
+ # Obtengo paths
+ intento_dir = os.path.join(data_dir, intento.path('intentos'))
+ entrega_dir = os.path.join(data_dir, 'ejercicios', str(intento.entrega.ejercicioID))
+ chroot_dir = os.path.join(intento_dir, 'chroot')
+ # Compila
+ if not compilar(intento, intento_dir, entrega_dir, log):
+ continue
+ # Prepara archivos
+ preparar(intento_dir, chroot_dir)
+ # Ejecución de casos de prueba
+ intento.inicioPruebas = datetime.datetime.now()
+ pruebas = []
+ for caso_de_prueba in intento.entrega.ejercicio.casosDePrueba:
+ pruebas.append(probar(intento, caso_de_prueba, uid, gid, chroot_dir, conf, conn, log))
+ intento.finPruebas = datetime.datetime.now()
+ #TODO make clean
+ #TODO Armar mail de respuesta al alumno
+ for prueba in pruebas:
+ #TODO Si es publica, veo si se hizo ok o no y voy creando mail
+ pass
+ time.sleep(intervalo)
-require_once 'T/general.php';
-
-define('R_ERR', 0);
-define('R_OK', 1);
-
-$LOGLEVEL = L_ALL;
-
-$gconf = $CONF['general'];
-
-// Obtengo id de usuario con el cual ejecutar las pruebas.
-if (!($usrinfo = @posix_getpwnam($gconf['user']))) {
- logserr("No existe el usuario '{$gconf['user']}'");
- exit(10); // salgo con error
-}
-$UID = $usrinfo['uid'];
-$GID = $usrinfo['gid'];
-/*if (!@posix_seteuid($usrinfo['uid'])) {
- logserr("No se puede cambiar el uid efectivo a '{$usrinfo['uid']}'");
- exit(11); // salgo con error
-}*/
-
-$intento = new T_Intento;
-
-// Sin cesar.
-while (1) {
- if (!($mail = $intento->proximo_a_probar())) {
- logs('No hay intento para probar', L_DBG);
- sleep($gconf['intervalo']);
- continue;
- }
- logs('Nuevo intento a probar (' . $intento->to_line() . ')');
-
- $intento_dir = "{$gconf['data_dir']}/" . $intento->path();
- $entrega_dir = "{$gconf['data_dir']}/" . $intento->base_path('entregas');
-
- if (is_readable("$entrega_dir/Makefile")) {
- $makefile = "$entrega_dir/Makefile";
-//XXX @copy("$entrega_dir/Makefile", "$intento_dir/Makefile")
-// or logserr("Error al copiar Makefile (de '$entrega_dir/Makefile' a '$intento_dir/Makefile'");
- // Fallback
- } elseif (is_readable("{$gconf['data_dir']}/Makefile")) {
- $makefile = "{$gconf['data_dir']}/Makefile";
-//XXX if (!@copy("{$gconf['data_dir']}/Makefile", "$intento_dir/Makefile")) {
- } else {
- enviar_respuesta_error_log($mail, 'No hay un Makefile disponible', $intento);
- continue;
- }
-
- $currdir = getcwd();
- if (!@chdir($intento_dir)) {
- enviar_respuesta_error_log($mail, 'Error al cambiar al directorio del tp', $intento);
- continue;
- }
- logs("Cambio de directorio '$currdir' -> '$intento_dir'", L_DBG);
- logs('Ejecutando el comando: make -f '.escapeshellarg($makefile), L_DBG);
- if (exec_get_info('make -f '.escapeshellarg($makefile), $ret, $err, $out)) {
- if ($ret) {
- logs('Error al compilar');
- logs("Código de retorno: $ret, mensaje: $err)", L_DBG);
- //XXX $intento->informar_compilacion(false);
- enviar_respuesta(R_ERR, $mail, "ERROR AL COMPILAR!\n\n$err\n\nCódigo de retorno: $ret\n", $intento);
- continue;
- } else {
- logs('Compilado OK');
- //XXX $intento->informar_compilacion(true);
- // TODO mail acumulativo
- // enviar_respuesta(R_OK, $mail, 'El intento fue compilado con éxito!', $intento);
- }
- } else {
- //XXX $intento->informar_compilacion(false);
- enviar_respuesta_error_log($mail, 'No se pudo ejecutar make', $intento);
- continue;
- }
- if (!@mkdir('chroot')) {
- enviar_respuesta_error_log($mail, 'Error al crear directorio para chroot', $intento);
- continue;
- }
- if (!@rename('tp', 'chroot/tp')) {
- enviar_respuesta_error_log($mail, 'Error al mover el tp al chroot', $intento);
- continue;
- }
- if (!@copy("{$gconf['data_dir']}/redir", 'chroot/redir')) {
- enviar_respuesta_error_log($mail, 'Error al copiar redireccionador al chroot', $intento);
- continue;
- }
- if ($err = chmod_own_grp('chroot', 02770, $UID, $GID)) {
- enviar_respuesta_error_log($mail, $err, $intento);
- continue;
- }
- if ($err = chmod_own_grp('chroot/tp', 0550, $UID, $GID)) {
- enviar_respuesta_error_log($mail, $err, $intento);
- continue;
- }
- if ($err = chmod_own_grp('chroot/redir', 0550, 0, 0)) {
- enviar_respuesta_error_log($mail, $err, $intento);
- continue;
- }
-
- // comienza la ejecución de casos de prueba
- while ($prueba = $intento->pedir_caso_de_prueba()) {
- logs('Prueba: ' . $prueba->to_line(), L_DBG);
- // ejecuta con fork
- $pid = pcntl_fork();
- if ($pid == -1) {
- // Error al forkear
- $intento->resultado_de_prueba($prueba, false, 'Error al forkear proceso');
- enviar_respuesta_error_log($mail, 'Error al forkear proceso', $intento);
- continue 2;
- } elseif ($pid) {
- // Estamos en el padre, controlamos el tiempo.
- logs("En el padre (hijo: $pid)", L_DBG);
- // TODO controlar tiempo.
- pcntl_waitpid($pid, $exitcode);
- logs("Fin de ejecución de caso de prueba (hijo: $pid, ret: $exitcode)", L_DBG);
- $stderr = false; // FIXME ver si salida de error es vacia.
- if ($exitcode or $stderr) {
- logs('Comando ejecutado ERROR', L_DBG);
- if ($ret) {
- $msg = "El programa salió con código de error $ret";
- $msgs[] = $msg;
- logs($msg, L_DBG);
- }
- if ($stderr) {
- $msg = "El programa imprimió mensajes en la salida de error: '$stderr'";
- $msgs[] = $msg;
- logs($msg, L_DBG);
- }
- $msg = join("\n", $msgs);
- $intento->resultado_de_prueba($prueba, false, $msg);
- enviar_respuesta(R_ERR, $mail, $msg, $intento);
- exit(0); // salgo ok del hijo
- } else { // Sin errores en la ejecución.
- logs('Comando ejecutado OK', L_DBG);
- // TODO
- $salidas = array();
- foreach ($prueba->salidas as $salida) {
- // TODO hacer diffs.
- if ($salida == 'stdout') {
- $salidas[$salida] = $stdout;
- } else {
- $salidas[$salida] = file_get_contents($salida);
- }
- }
- logs('Salidas: ' . var_export($salidas, true), L_DBG);
- $intento->resultado_de_prueba($prueba, true, 'Salidas: ' . var_export($salidas, true));
- enviar_respuesta(R_ERR, $mail, 'Salidas: ' . var_export($salidas, true), $intento);
- exit(0); // salgo ok del hijo
- }
- } else {
- // Estamos en el hijo, corremos en chroot.
- logs('En el hijo', L_DBG);
- // Hago chroot.
- if (!@chroot('chroot')) {
- $intento->resultado_de_prueba($prueba, false, 'Error al hacer chroot');
- enviar_respuesta_error_log($mail, 'Error al hacer chroot', $intento);
- exit(1); // salgo del hijo
- }
- logs('Chrooteado, cwd = '.getcwd(), L_DBG);
- if (!@posix_setuid($usrinfo['uid'])) {
- $intento->resultado_de_prueba($prueba, false, "Error al cambiar al uid '{$usrinfo['uid']}'");
- enviar_respuesta_error_log($mail, "Error al cambiar al uid '{$usrinfo['uid']}'", $intento);
- exit(2); // salgo del hijo
- }
- // TODO poner stdout y stderr en archivos para hacer diff o hacer diffs en memoria
- $stdout = null;
- if (in_array('stdout', $prueba->salidas)) $stdout = '';
- logs('Se ejecutará: chroot chroot /tp ' . escapeshellarg($prueba->params), L_DBG);
- if (!pcntl_exec('/redir', array('tp', 'stdin', 'stdout', 'stderr', '/tp', '0', $prueba->params))) {
- logserr('No se pudo ejecutar el comando');
- $intento->resultado_de_prueba($prueba, false, 'No se pudo ejecutar el tp');
- enviar_respuesta_error_log($mail, 'No se pudo ejecutar el tp', $intento);
- exit(4); // salgo del hijo
- }
- exit(100); // salgo del hijo (no deberia llegar nunca aca).
- }
- break; // FIXME
- }
-
- // TODO make clean
-}
-
-
-/**
- * Ejecuta un comando devolviendo el código de error y las salidas.
- *
- * @param cmd Comando a ejecutar.
- * @param ret Código de retorno.
- * @param err Salida de error (se obtiene sólo si es != null).
- * @param out Salida estándar (se obtiene sólo si es != null).
- * @param in Entrada a enviarle al comando (null si no se le envía nada).
- * @return true si se ejecutó el comando, false si no.
- */
-function exec_fds($cmd, &$ret, $in = false, $out = false, $in = false) {
- $descriptors = array();
- if ($in) $descriptors[0] = get_fd_type($in, 'r');
- if ($out) $descriptors[1] = get_fd_type($out, 'w');
- if ($err) $descriptors[2] = get_fd_type($err, 'w');
-var_dump($descriptors);
- $proc = proc_open($cmd, $descriptors, $pipes);
- if (is_resource($proc)) {
- $ret = proc_close($proc);
- return true;
- }
- return false;
-}
-
-/**
- * Obtiene un tipo de descriptor para proc_open().
- *
- * @param fd Tipo de descriptor: si es true, se usa un pipe, si es un array
- * se usa el array y si es otra cosa se usa un archivo con este
- * nombre.
- * @param mode Modo de apertura, sólo se usa si es true o string.
- * @return Array a pasar a proc_open().
- */
-function get_fd_type($fd, $mode = false) {
- if ($fd === true) {
- return array('pipe', $mode);
- } elseif (is_array($fd)) {
- return $fd;
- }
- return array('file', $fd, $mode);
-}
-
-/**
- * Ejecuta un comando devolviendo el código de error y las salidas.
- *
- * @param cmd Comando a ejecutar.
- * @param ret Código de retorno.
- * @param err Salida de error (se obtiene sólo si es != null).
- * @param out Salida estándar (se obtiene sólo si es != null).
- * @param in Entrada a enviarle al comando (null si no se le envía nada).
- * @return true si se ejecutó el comando, false si no.
- */
-function exec_get_info($cmd, &$ret, &$err, &$out, $in = null) {
- $descriptors = array(array('pipe', 'r'), array('pipe', 'w'), array('pipe', 'w'));
- $proc = proc_open($cmd, $descriptors, $pipes);
- if (is_resource($proc)) {
- if (is_null($in)) {
- fputs($pipes[0], $in);
- }
- if (is_null($out)) {
- $out = stream_get_contents($pipes[1]);
- }
- if (is_null($err)) {
- $err = stream_get_contents($pipes[2]);
- }
- foreach (array(0,1,2) as $i) {
- fclose($pipes[$i]);
- }
- $ret = proc_close($proc);
- return true;
- }
- return false;
-}
-
-function enviar_respuesta($tipo, $to, $mensaje = '', $intento = null) {
- $mconf = $GLOBALS['CONF']['mail'];
- $subject = $mconf['prefijo'] . ' Prueba ';
- if ($tipo == R_OK) $estado = 'OK';
- else $estado = 'ERROR';
- $subject .= $estado;
- $body .= "Estado: $estado\n";
- if ($mensaje) $body .= "\n$mensaje\n";
- if ($intento) $body .= "\n" . $intento->__toString() . "\n";
- logs("Envío de mail '$subject' a '$to'\n$body\n", L_DBG);
- $headers = <<<EOT
-From: {$mconf['from']}
-Reply-To: {$mconf['mail_admin']}
-X-Mailer: {$mconf['mailer']}
-X-Priority: 5
-EOT;
- mail($to, $subject, $body, $headers);
- mail($GLOBALS['CONF']['mail_admin'], $subject, $body, $headers);
- return true;
-}
-
-/**
- * Cambia permisos, dueño y grupo a un archivo, devuelve string con error o
- * false si no hay error.
- */
-function chmod_own_grp($file, $mod, $own, $grp) {
- if (!@chmod($file, $mod)) return "Error al cambiar permisos [$mod] a '$file'";
- if (!@chown($file, $own)) return "Error al cambiar dueño [$own] a '$file'";
- if (!@chgrp($file, $grp)) return "Error al cambiar grupo [$grp] a '$file'";
- return false;
-}
-
-function enviar_respuesta_error_log($to, $msg = '', $intento = null) {
- logserr($msg);
- enviar_respuesta(R_ERR, $to, "ERROR: $msg\n\nSe envió un mail al administrador para revisar el problema.\n", $intento);
- enviar_respuesta(R_ERR, $GLOBALS['CONF']['mail']['mail_admin'], $msg, $intento);
-}
-
-?>
\ No newline at end of file
projects / software / sercom-old.git / blobdiff