ev.c

   1 /*
   2  * libev event processing core, watcher management
   3  *
   4  * Copyright (c) 2007 Marc Alexander Lehmann <libev@schmorp.de>
   5  * All rights reserved.
   6  *
   7  * Redistribution and use in source and binary forms, with or without
   8  * modification, are permitted provided that the following conditions are
   9  * met:
  10  *
  11  *     * Redistributions of source code must retain the above copyright
  12  *       notice, this list of conditions and the following disclaimer.
  13  *
  14  *     * Redistributions in binary form must reproduce the above
  15  *       copyright notice, this list of conditions and the following
  16  *       disclaimer in the documentation and/or other materials provided
  17  *       with the distribution.
  18  *
  19  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  20  * "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  21  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
  22  * A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
  23  * OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  24  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
  25  * LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  26  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  27  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  28  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
  29  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  30  */
  31 #ifndef EV_STANDALONE
  32 # include "config.h"
  33
  34 # if HAVE_CLOCK_GETTIME
  35 #  define EV_USE_MONOTONIC 1
  36 #  define EV_USE_REALTIME  1
  37 # endif
  38
  39 # if HAVE_SELECT && HAVE_SYS_SELECT_H
  40 #  define EV_USE_SELECT 1
  41 # endif
  42
  43 # if HAVE_POLL && HAVE_POLL_H
  44 #  define EV_USE_POLL 1
  45 # endif
  46
  47 # if HAVE_EPOLL && HAVE_EPOLL_CTL && HAVE_SYS_EPOLL_H
  48 #  define EV_USE_EPOLL 1
  49 # endif
  50
  51 # if HAVE_KQUEUE && HAVE_WORKING_KQUEUE && HAVE_SYS_EVENT_H && HAVE_SYS_QUEUE_H
  52 #  define EV_USE_KQUEUE 1
  53 # endif
  54
  55 #endif
  56
  57 #include <math.h>
  58 #include <stdlib.h>
  59 #include <unistd.h>
  60 #include <fcntl.h>
  61 #include <signal.h>
  62 #include <stddef.h>
  63
  64 #include <stdio.h>
  65
  66 #include <assert.h>
  67 #include <errno.h>
  68 #include <sys/types.h>
  69 #ifndef WIN32
  70 # include <sys/wait.h>
  71 #endif
  72 #include <sys/time.h>
  73 #include <time.h>
  74
  75 /**/
  76
  77 #ifndef EV_USE_MONOTONIC
  78 # define EV_USE_MONOTONIC 1
  79 #endif
  80
  81 #ifndef EV_USE_SELECT
  82 # define EV_USE_SELECT 1
  83 #endif
  84
  85 #ifndef EV_USE_POLL
  86 # define EV_USE_POLL 0 /* poll is usually slower than select, and not as well tested */
  87 #endif
  88
  89 #ifndef EV_USE_EPOLL
  90 # define EV_USE_EPOLL 0
  91 #endif
  92
  93 #ifndef EV_USE_KQUEUE
  94 # define EV_USE_KQUEUE 0
  95 #endif
  96
  97 #ifndef EV_USE_WIN32
  98 # ifdef WIN32
  99 #  define EV_USE_WIN32 1
 100 # else
 101 #  define EV_USE_WIN32 0
 102 # endif
 103 #endif
 104
 105 #ifndef EV_USE_REALTIME
 106 # define EV_USE_REALTIME 1
 107 #endif
 108
 109 /**/
 110
 111 #ifndef CLOCK_MONOTONIC
 112 # undef EV_USE_MONOTONIC
 113 # define EV_USE_MONOTONIC 0
 114 #endif
 115
 116 #ifndef CLOCK_REALTIME
 117 # undef EV_USE_REALTIME
 118 # define EV_USE_REALTIME 0
 119 #endif
 120
 121 /**/
 122
 123 #define MIN_TIMEJUMP  1. /* minimum timejump that gets detected (if monotonic clock available) */
 124 #define MAX_BLOCKTIME 59.731 /* never wait longer than this time (to detect time jumps) */
 125 #define PID_HASHSIZE  16 /* size of pid hash table, must be power of two */
 126 /*#define CLEANUP_INTERVAL 300. /* how often to try to free memory and re-check fds */
 127
 128 #include "ev.h"
 129
 130 #if __GNUC__ >= 3
 131 # define expect(expr,value)         __builtin_expect ((expr),(value))
 132 # define inline                     inline
 133 #else
 134 # define expect(expr,value)         (expr)
 135 # define inline                     static
 136 #endif
 137
 138 #define expect_false(expr) expect ((expr) != 0, 0)
 139 #define expect_true(expr)  expect ((expr) != 0, 1)
 140
 141 #define NUMPRI    (EV_MAXPRI - EV_MINPRI + 1)
 142 #define ABSPRI(w) ((w)->priority - EV_MINPRI)
 143
 144 typedef struct ev_watcher *W;
 145 typedef struct ev_watcher_list *WL;
 146 typedef struct ev_watcher_time *WT;
 147
 148 static int have_monotonic; /* did clock_gettime (CLOCK_MONOTONIC) work? */
 149
 150 #if WIN32
 151 /* note: the comment below could not be substantiated, but what would I care */
 152 /* MSDN says this is required to handle SIGFPE */
 153 volatile double SIGFPE_REQ = 0.0f;
 154 #endif
 155
 156 /*****************************************************************************/
 157
 158 static void (*syserr_cb)(const char *msg);
 159
 160 void ev_set_syserr_cb (void (*cb)(const char *msg))
 161 {
 162   syserr_cb = cb;
 163 }
 164
 165 static void
 166 syserr (const char *msg)
 167 {
 168   if (!msg)
 169     msg = "(libev) system error";
 170
 171   if (syserr_cb)
 172     syserr_cb (msg);
 173   else
 174     {
 175       perror (msg);
 176       abort ();
 177     }
 178 }
 179
 180 static void *(*alloc)(void *ptr, long size);
 181
 182 void ev_set_allocator (void *(*cb)(void *ptr, long size))
 183 {
 184   alloc = cb;
 185 }
 186
 187 static void *
 188 ev_realloc (void *ptr, long size)
 189 {
 190   ptr = alloc ? alloc (ptr, size) : realloc (ptr, size);
 191
 192   if (!ptr && size)
 193     {
 194       fprintf (stderr, "libev: cannot allocate %ld bytes, aborting.", size);
 195       abort ();
 196     }
 197
 198   return ptr;
 199 }
 200
 201 #define ev_malloc(size) ev_realloc (0, (size))
 202 #define ev_free(ptr)    ev_realloc ((ptr), 0)
 203
 204 /*****************************************************************************/
 205
 206 typedef struct
 207 {
 208   WL head;
 209   unsigned char events;
 210   unsigned char reify;
 211 } ANFD;
 212
 213 typedef struct
 214 {
 215   W w;
 216   int events;
 217 } ANPENDING;
 218
 219 #if EV_MULTIPLICITY
 220
 221 struct ev_loop
 222 {
 223 # define VAR(name,decl) decl;
 224 # include "ev_vars.h"
 225 };
 226 # undef VAR
 227 # include "ev_wrap.h"
 228
 229 #else
 230
 231 # define VAR(name,decl) static decl;
 232 # include "ev_vars.h"
 233 # undef VAR
 234
 235 #endif
 236
 237 /*****************************************************************************/
 238
 239 inline ev_tstamp
 240 ev_time (void)
 241 {
 242 #if EV_USE_REALTIME
 243   struct timespec ts;
 244   clock_gettime (CLOCK_REALTIME, &ts);
 245   return ts.tv_sec + ts.tv_nsec * 1e-9;
 246 #else
 247   struct timeval tv;
 248   gettimeofday (&tv, 0);
 249   return tv.tv_sec + tv.tv_usec * 1e-6;
 250 #endif
 251 }
 252
 253 inline ev_tstamp
 254 get_clock (void)
 255 {
 256 #if EV_USE_MONOTONIC
 257   if (expect_true (have_monotonic))
 258     {
 259       struct timespec ts;
 260       clock_gettime (CLOCK_MONOTONIC, &ts);
 261       return ts.tv_sec + ts.tv_nsec * 1e-9;
 262     }
 263 #endif
 264
 265   return ev_time ();
 266 }
 267
 268 ev_tstamp
 269 ev_now (EV_P)
 270 {
 271   return rt_now;
 272 }
 273
 274 #define array_roundsize(base,n) ((n) | 4 & ~3)
 275
 276 #define array_needsize(base,cur,cnt,init)                       \
 277   if (expect_false ((cnt) > cur))                               \
 278     {                                                           \
 279       int newcnt = cur;                                         \
 280       do                                                        \
 281         {                                                       \
 282           newcnt = array_roundsize (base, newcnt << 1);         \
 283         }                                                       \
 284       while ((cnt) > newcnt);                                   \
 285                                                                 \
 286       base = ev_realloc (base, sizeof (*base) * (newcnt));      \
 287       init (base + cur, newcnt - cur);                          \
 288       cur = newcnt;                                             \
 289     }
 290
 291 #define array_slim(stem)                                        \
 292   if (stem ## max < array_roundsize (stem ## cnt >> 2))         \
 293     {                                                           \
 294       stem ## max = array_roundsize (stem ## cnt >> 1);         \
 295       base = ev_realloc (base, sizeof (*base) * (stem ## max)); \
 296       fprintf (stderr, "slimmed down " # stem " to %d\n", stem ## max);/*D*/\
 297     }
 298
 299 #define array_free(stem, idx) \
 300   ev_free (stem ## s idx); stem ## cnt idx = stem ## max idx = 0;
 301
 302 /*****************************************************************************/
 303
 304 static void
 305 anfds_init (ANFD *base, int count)
 306 {
 307   while (count--)
 308     {
 309       base->head   = 0;
 310       base->events = EV_NONE;
 311       base->reify  = 0;
 312
 313       ++base;
 314     }
 315 }
 316
 317 static void
 318 event (EV_P_ W w, int events)
 319 {
 320   if (w->pending)
 321     {
 322       pendings [ABSPRI (w)][w->pending - 1].events |= events;
 323       return;
 324     }
 325
 326   w->pending = ++pendingcnt [ABSPRI (w)];
 327   array_needsize (pendings [ABSPRI (w)], pendingmax [ABSPRI (w)], pendingcnt [ABSPRI (w)], );
 328   pendings [ABSPRI (w)][w->pending - 1].w      = w;
 329   pendings [ABSPRI (w)][w->pending - 1].events = events;
 330 }
 331
 332 static void
 333 queue_events (EV_P_ W *events, int eventcnt, int type)
 334 {
 335   int i;
 336
 337   for (i = 0; i < eventcnt; ++i)
 338     event (EV_A_ events [i], type);
 339 }
 340
 341 static void
 342 fd_event (EV_P_ int fd, int events)
 343 {
 344   ANFD *anfd = anfds + fd;
 345   struct ev_io *w;
 346
 347   for (w = (struct ev_io *)anfd->head; w; w = (struct ev_io *)((WL)w)->next)
 348     {
 349       int ev = w->events & events;
 350
 351       if (ev)
 352         event (EV_A_ (W)w, ev);
 353     }
 354 }
 355
 356 /*****************************************************************************/
 357
 358 static void
 359 fd_reify (EV_P)
 360 {
 361   int i;
 362
 363   for (i = 0; i < fdchangecnt; ++i)
 364     {
 365       int fd = fdchanges [i];
 366       ANFD *anfd = anfds + fd;
 367       struct ev_io *w;
 368
 369       int events = 0;
 370
 371       for (w = (struct ev_io *)anfd->head; w; w = (struct ev_io *)((WL)w)->next)
 372         events |= w->events;
 373
 374       anfd->reify = 0;
 375
 376       method_modify (EV_A_ fd, anfd->events, events);
 377       anfd->events = events;
 378     }
 379
 380   fdchangecnt = 0;
 381 }
 382
 383 static void
 384 fd_change (EV_P_ int fd)
 385 {
 386   if (anfds [fd].reify)
 387     return;
 388
 389   anfds [fd].reify = 1;
 390
 391   ++fdchangecnt;
 392   array_needsize (fdchanges, fdchangemax, fdchangecnt, );
 393   fdchanges [fdchangecnt - 1] = fd;
 394 }
 395
 396 static void
 397 fd_kill (EV_P_ int fd)
 398 {
 399   struct ev_io *w;
 400
 401   while ((w = (struct ev_io *)anfds [fd].head))
 402     {
 403       ev_io_stop (EV_A_ w);
 404       event (EV_A_ (W)w, EV_ERROR | EV_READ | EV_WRITE);
 405     }
 406 }
 407
 408 /* called on EBADF to verify fds */
 409 static void
 410 fd_ebadf (EV_P)
 411 {
 412   int fd;
 413
 414   for (fd = 0; fd < anfdmax; ++fd)
 415     if (anfds [fd].events)
 416       if (fcntl (fd, F_GETFD) == -1 && errno == EBADF)
 417         fd_kill (EV_A_ fd);
 418 }
 419
 420 /* called on ENOMEM in select/poll to kill some fds and retry */
 421 static void
 422 fd_enomem (EV_P)
 423 {
 424   int fd;
 425
 426   for (fd = anfdmax; fd--; )
 427     if (anfds [fd].events)
 428       {
 429         fd_kill (EV_A_ fd);
 430         return;
 431       }
 432 }
 433
 434 /* usually called after fork if method needs to re-arm all fds from scratch */
 435 static void
 436 fd_rearm_all (EV_P)
 437 {
 438   int fd;
 439
 440   /* this should be highly optimised to not do anything but set a flag */
 441   for (fd = 0; fd < anfdmax; ++fd)
 442     if (anfds [fd].events)
 443       {
 444         anfds [fd].events = 0;
 445         fd_change (EV_A_ fd);
 446       }
 447 }
 448
 449 /*****************************************************************************/
 450
 451 static void
 452 upheap (WT *heap, int k)
 453 {
 454   WT w = heap [k];
 455
 456   while (k && heap [k >> 1]->at > w->at)
 457     {
 458       heap [k] = heap [k >> 1];
 459       ((W)heap [k])->active = k + 1;
 460       k >>= 1;
 461     }
 462
 463   heap [k] = w;
 464   ((W)heap [k])->active = k + 1;
 465
 466 }
 467
 468 static void
 469 downheap (WT *heap, int N, int k)
 470 {
 471   WT w = heap [k];
 472
 473   while (k < (N >> 1))
 474     {
 475       int j = k << 1;
 476
 477       if (j + 1 < N && heap [j]->at > heap [j + 1]->at)
 478         ++j;
 479
 480       if (w->at <= heap [j]->at)
 481         break;
 482
 483       heap [k] = heap [j];
 484       ((W)heap [k])->active = k + 1;
 485       k = j;
 486     }
 487
 488   heap [k] = w;
 489   ((W)heap [k])->active = k + 1;
 490 }
 491
 492 /*****************************************************************************/
 493
 494 typedef struct
 495 {
 496   WL head;
 497   sig_atomic_t volatile gotsig;
 498 } ANSIG;
 499
 500 static ANSIG *signals;
 501 static int signalmax;
 502
 503 static int sigpipe [2];
 504 static sig_atomic_t volatile gotsig;
 505 static struct ev_io sigev;
 506
 507 static void
 508 signals_init (ANSIG *base, int count)
 509 {
 510   while (count--)
 511     {
 512       base->head   = 0;
 513       base->gotsig = 0;
 514
 515       ++base;
 516     }
 517 }
 518
 519 static void
 520 sighandler (int signum)
 521 {
 522 #if WIN32
 523   signal (signum, sighandler);
 524 #endif
 525
 526   signals [signum - 1].gotsig = 1;
 527
 528   if (!gotsig)
 529     {
 530       int old_errno = errno;
 531       gotsig = 1;
 532       write (sigpipe [1], &signum, 1);
 533       errno = old_errno;
 534     }
 535 }
 536
 537 static void
 538 sigcb (EV_P_ struct ev_io *iow, int revents)
 539 {
 540   WL w;
 541   int signum;
 542
 543   read (sigpipe [0], &revents, 1);
 544   gotsig = 0;
 545
 546   for (signum = signalmax; signum--; )
 547     if (signals [signum].gotsig)
 548       {
 549         signals [signum].gotsig = 0;
 550
 551         for (w = signals [signum].head; w; w = w->next)
 552           event (EV_A_ (W)w, EV_SIGNAL);
 553       }
 554 }
 555
 556 static void
 557 siginit (EV_P)
 558 {
 559 #ifndef WIN32
 560   fcntl (sigpipe [0], F_SETFD, FD_CLOEXEC);
 561   fcntl (sigpipe [1], F_SETFD, FD_CLOEXEC);
 562
 563   /* rather than sort out wether we really need nb, set it */
 564   fcntl (sigpipe [0], F_SETFL, O_NONBLOCK);
 565   fcntl (sigpipe [1], F_SETFL, O_NONBLOCK);
 566 #endif
 567
 568   ev_io_set (&sigev, sigpipe [0], EV_READ);
 569   ev_io_start (EV_A_ &sigev);
 570   ev_unref (EV_A); /* child watcher should not keep loop alive */
 571 }
 572
 573 /*****************************************************************************/
 574
 575 #ifndef WIN32
 576
 577 static struct ev_child *childs [PID_HASHSIZE];
 578 static struct ev_signal childev;
 579
 580 #ifndef WCONTINUED
 581 # define WCONTINUED 0
 582 #endif
 583
 584 static void
 585 child_reap (EV_P_ struct ev_signal *sw, int chain, int pid, int status)
 586 {
 587   struct ev_child *w;
 588
 589   for (w = (struct ev_child *)childs [chain & (PID_HASHSIZE - 1)]; w; w = (struct ev_child *)((WL)w)->next)
 590     if (w->pid == pid || !w->pid)
 591       {
 592         ev_priority (w) = ev_priority (sw); /* need to do it *now* */
 593         w->rpid         = pid;
 594         w->rstatus      = status;
 595         event (EV_A_ (W)w, EV_CHILD);
 596       }
 597 }
 598
 599 static void
 600 childcb (EV_P_ struct ev_signal *sw, int revents)
 601 {
 602   int pid, status;
 603
 604   if (0 < (pid = waitpid (-1, &status, WNOHANG | WUNTRACED | WCONTINUED)))
 605     {
 606       /* make sure we are called again until all childs have been reaped */
 607       event (EV_A_ (W)sw, EV_SIGNAL);
 608
 609       child_reap (EV_A_ sw, pid, pid, status);
 610       child_reap (EV_A_ sw,   0, pid, status); /* this might trigger a watcher twice, but event catches that */
 611     }
 612 }
 613
 614 #endif
 615
 616 /*****************************************************************************/
 617
 618 #if EV_USE_KQUEUE
 619 # include "ev_kqueue.c"
 620 #endif
 621 #if EV_USE_EPOLL
 622 # include "ev_epoll.c"
 623 #endif
 624 #if EV_USE_POLL
 625 # include "ev_poll.c"
 626 #endif
 627 #if EV_USE_SELECT
 628 # include "ev_select.c"
 629 #endif
 630
 631 int
 632 ev_version_major (void)
 633 {
 634   return EV_VERSION_MAJOR;
 635 }
 636
 637 int
 638 ev_version_minor (void)
 639 {
 640   return EV_VERSION_MINOR;
 641 }
 642
 643 /* return true if we are running with elevated privileges and should ignore env variables */
 644 static int
 645 enable_secure (void)
 646 {
 647 #ifdef WIN32
 648   return 0;
 649 #else
 650   return getuid () != geteuid ()
 651       || getgid () != getegid ();
 652 #endif
 653 }
 654
 655 int
 656 ev_method (EV_P)
 657 {
 658   return method;
 659 }
 660
 661 static void
 662 loop_init (EV_P_ int methods)
 663 {
 664   if (!method)
 665     {
 666 #if EV_USE_MONOTONIC
 667       {
 668         struct timespec ts;
 669         if (!clock_gettime (CLOCK_MONOTONIC, &ts))
 670           have_monotonic = 1;
 671       }
 672 #endif
 673
 674       rt_now    = ev_time ();
 675       mn_now    = get_clock ();
 676       now_floor = mn_now;
 677       rtmn_diff = rt_now - mn_now;
 678
 679       if (methods == EVMETHOD_AUTO)
 680         if (!enable_secure () && getenv ("LIBEV_METHODS"))
 681           methods = atoi (getenv ("LIBEV_METHODS"));
 682         else
 683           methods = EVMETHOD_ANY;
 684
 685       method = 0;
 686 #if EV_USE_WIN32
 687       if (!method && (methods & EVMETHOD_WIN32 )) method = win32_init  (EV_A_ methods);
 688 #endif
 689 #if EV_USE_KQUEUE
 690       if (!method && (methods & EVMETHOD_KQUEUE)) method = kqueue_init (EV_A_ methods);
 691 #endif
 692 #if EV_USE_EPOLL
 693       if (!method && (methods & EVMETHOD_EPOLL )) method = epoll_init  (EV_A_ methods);
 694 #endif
 695 #if EV_USE_POLL
 696       if (!method && (methods & EVMETHOD_POLL  )) method = poll_init   (EV_A_ methods);
 697 #endif
 698 #if EV_USE_SELECT
 699       if (!method && (methods & EVMETHOD_SELECT)) method = select_init (EV_A_ methods);
 700 #endif
 701
 702       ev_watcher_init (&sigev, sigcb);
 703       ev_set_priority (&sigev, EV_MAXPRI);
 704     }
 705 }
 706
 707 void
 708 loop_destroy (EV_P)
 709 {
 710   int i;
 711
 712 #if EV_USE_WIN32
 713   if (method == EVMETHOD_WIN32 ) win32_destroy  (EV_A);
 714 #endif
 715 #if EV_USE_KQUEUE
 716   if (method == EVMETHOD_KQUEUE) kqueue_destroy (EV_A);
 717 #endif
 718 #if EV_USE_EPOLL
 719   if (method == EVMETHOD_EPOLL ) epoll_destroy  (EV_A);
 720 #endif
 721 #if EV_USE_POLL
 722   if (method == EVMETHOD_POLL  ) poll_destroy   (EV_A);
 723 #endif
 724 #if EV_USE_SELECT
 725   if (method == EVMETHOD_SELECT) select_destroy (EV_A);
 726 #endif
 727
 728   for (i = NUMPRI; i--; )
 729     array_free (pending, [i]);
 730
 731   array_free (fdchange, );
 732   array_free (timer, );
 733   array_free (periodic, );
 734   array_free (idle, );
 735   array_free (prepare, );
 736   array_free (check, );
 737
 738   method = 0;
 739 }
 740
 741 static void
 742 loop_fork (EV_P)
 743 {
 744 #if EV_USE_EPOLL
 745   if (method == EVMETHOD_EPOLL ) epoll_fork  (EV_A);
 746 #endif
 747 #if EV_USE_KQUEUE
 748   if (method == EVMETHOD_KQUEUE) kqueue_fork (EV_A);
 749 #endif
 750
 751   if (ev_is_active (&sigev))
 752     {
 753       /* default loop */
 754
 755       ev_ref (EV_A);
 756       ev_io_stop (EV_A_ &sigev);
 757       close (sigpipe [0]);
 758       close (sigpipe [1]);
 759
 760       while (pipe (sigpipe))
 761         syserr ("(libev) error creating pipe");
 762
 763       siginit (EV_A);
 764     }
 765
 766   postfork = 0;
 767 }
 768
 769 #if EV_MULTIPLICITY
 770 struct ev_loop *
 771 ev_loop_new (int methods)
 772 {
 773   struct ev_loop *loop = (struct ev_loop *)ev_malloc (sizeof (struct ev_loop));
 774
 775   memset (loop, 0, sizeof (struct ev_loop));
 776
 777   loop_init (EV_A_ methods);
 778
 779   if (ev_method (EV_A))
 780     return loop;
 781
 782   return 0;
 783 }
 784
 785 void
 786 ev_loop_destroy (EV_P)
 787 {
 788   loop_destroy (EV_A);
 789   ev_free (loop);
 790 }
 791
 792 void
 793 ev_loop_fork (EV_P)
 794 {
 795   postfork = 1;
 796 }
 797
 798 #endif
 799
 800 #if EV_MULTIPLICITY
 801 struct ev_loop default_loop_struct;
 802 static struct ev_loop *default_loop;
 803
 804 struct ev_loop *
 805 #else
 806 static int default_loop;
 807
 808 int
 809 #endif
 810 ev_default_loop (int methods)
 811 {
 812   if (sigpipe [0] == sigpipe [1])
 813     if (pipe (sigpipe))
 814       return 0;
 815
 816   if (!default_loop)
 817     {
 818 #if EV_MULTIPLICITY
 819       struct ev_loop *loop = default_loop = &default_loop_struct;
 820 #else
 821       default_loop = 1;
 822 #endif
 823
 824       loop_init (EV_A_ methods);
 825
 826       if (ev_method (EV_A))
 827         {
 828           siginit (EV_A);
 829
 830 #ifndef WIN32
 831           ev_signal_init (&childev, childcb, SIGCHLD);
 832           ev_set_priority (&childev, EV_MAXPRI);
 833           ev_signal_start (EV_A_ &childev);
 834           ev_unref (EV_A); /* child watcher should not keep loop alive */
 835 #endif
 836         }
 837       else
 838         default_loop = 0;
 839     }
 840
 841   return default_loop;
 842 }
 843
 844 void
 845 ev_default_destroy (void)
 846 {
 847 #if EV_MULTIPLICITY
 848   struct ev_loop *loop = default_loop;
 849 #endif
 850
 851   ev_ref (EV_A); /* child watcher */
 852   ev_signal_stop (EV_A_ &childev);
 853
 854   ev_ref (EV_A); /* signal watcher */
 855   ev_io_stop (EV_A_ &sigev);
 856
 857   close (sigpipe [0]); sigpipe [0] = 0;
 858   close (sigpipe [1]); sigpipe [1] = 0;
 859
 860   loop_destroy (EV_A);
 861 }
 862
 863 void
 864 ev_default_fork (void)
 865 {
 866 #if EV_MULTIPLICITY
 867   struct ev_loop *loop = default_loop;
 868 #endif
 869
 870   if (method)
 871     postfork = 1;
 872 }
 873
 874 /*****************************************************************************/
 875
 876 static void
 877 call_pending (EV_P)
 878 {
 879   int pri;
 880
 881   for (pri = NUMPRI; pri--; )
 882     while (pendingcnt [pri])
 883       {
 884         ANPENDING *p = pendings [pri] + --pendingcnt [pri];
 885
 886         if (p->w)
 887           {
 888             p->w->pending = 0;
 889             p->w->cb (EV_A_ p->w, p->events);
 890           }
 891       }
 892 }
 893
 894 static void
 895 timers_reify (EV_P)
 896 {
 897   while (timercnt && ((WT)timers [0])->at <= mn_now)
 898     {
 899       struct ev_timer *w = timers [0];
 900
 901       assert (("inactive timer on timer heap detected", ev_is_active (w)));
 902
 903       /* first reschedule or stop timer */
 904       if (w->repeat)
 905         {
 906           assert (("negative ev_timer repeat value found while processing timers", w->repeat > 0.));
 907           ((WT)w)->at = mn_now + w->repeat;
 908           downheap ((WT *)timers, timercnt, 0);
 909         }
 910       else
 911         ev_timer_stop (EV_A_ w); /* nonrepeating: stop timer */
 912
 913       event (EV_A_ (W)w, EV_TIMEOUT);
 914     }
 915 }
 916
 917 static void
 918 periodics_reify (EV_P)
 919 {
 920   while (periodiccnt && ((WT)periodics [0])->at <= rt_now)
 921     {
 922       struct ev_periodic *w = periodics [0];
 923
 924       assert (("inactive timer on periodic heap detected", ev_is_active (w)));
 925
 926       /* first reschedule or stop timer */
 927       if (w->interval)
 928         {
 929           ((WT)w)->at += floor ((rt_now - ((WT)w)->at) / w->interval + 1.) * w->interval;
 930           assert (("ev_periodic timeout in the past detected while processing timers, negative interval?", ((WT)w)->at > rt_now));
 931           downheap ((WT *)periodics, periodiccnt, 0);
 932         }
 933       else
 934         ev_periodic_stop (EV_A_ w); /* nonrepeating: stop timer */
 935
 936       event (EV_A_ (W)w, EV_PERIODIC);
 937     }
 938 }
 939
 940 static void
 941 periodics_reschedule (EV_P)
 942 {
 943   int i;
 944
 945   /* adjust periodics after time jump */
 946   for (i = 0; i < periodiccnt; ++i)
 947     {
 948       struct ev_periodic *w = periodics [i];
 949
 950       if (w->interval)
 951         {
 952           ev_tstamp diff = ceil ((rt_now - ((WT)w)->at) / w->interval) * w->interval;
 953
 954           if (fabs (diff) >= 1e-4)
 955             {
 956               ev_periodic_stop (EV_A_ w);
 957               ev_periodic_start (EV_A_ w);
 958
 959               i = 0; /* restart loop, inefficient, but time jumps should be rare */
 960             }
 961         }
 962     }
 963 }
 964
 965 inline int
 966 time_update_monotonic (EV_P)
 967 {
 968   mn_now = get_clock ();
 969
 970   if (expect_true (mn_now - now_floor < MIN_TIMEJUMP * .5))
 971     {
 972       rt_now = rtmn_diff + mn_now;
 973       return 0;
 974     }
 975   else
 976     {
 977       now_floor = mn_now;
 978       rt_now = ev_time ();
 979       return 1;
 980     }
 981 }
 982
 983 static void
 984 time_update (EV_P)
 985 {
 986   int i;
 987
 988 #if EV_USE_MONOTONIC
 989   if (expect_true (have_monotonic))
 990     {
 991       if (time_update_monotonic (EV_A))
 992         {
 993           ev_tstamp odiff = rtmn_diff;
 994
 995           for (i = 4; --i; ) /* loop a few times, before making important decisions */
 996             {
 997               rtmn_diff = rt_now - mn_now;
 998
 999               if (fabs (odiff - rtmn_diff) < MIN_TIMEJUMP)
1000                 return; /* all is well */
1001
1002               rt_now    = ev_time ();
1003               mn_now    = get_clock ();
1004               now_floor = mn_now;
1005             }
1006
1007           periodics_reschedule (EV_A);
1008           /* no timer adjustment, as the monotonic clock doesn't jump */
1009           /* timers_reschedule (EV_A_ rtmn_diff - odiff) */
1010         }
1011     }
1012   else
1013 #endif
1014     {
1015       rt_now = ev_time ();
1016
1017       if (expect_false (mn_now > rt_now || mn_now < rt_now - MAX_BLOCKTIME - MIN_TIMEJUMP))
1018         {
1019           periodics_reschedule (EV_A);
1020
1021           /* adjust timers. this is easy, as the offset is the same for all */
1022           for (i = 0; i < timercnt; ++i)
1023             ((WT)timers [i])->at += rt_now - mn_now;
1024         }
1025
1026       mn_now = rt_now;
1027     }
1028 }
1029
1030 void
1031 ev_ref (EV_P)
1032 {
1033   ++activecnt;
1034 }
1035
1036 void
1037 ev_unref (EV_P)
1038 {
1039   --activecnt;
1040 }
1041
1042 static int loop_done;
1043
1044 void
1045 ev_loop (EV_P_ int flags)
1046 {
1047   double block;
1048   loop_done = flags & (EVLOOP_ONESHOT | EVLOOP_NONBLOCK) ? 1 : 0;
1049
1050   do
1051     {
1052       /* queue check watchers (and execute them) */
1053       if (expect_false (preparecnt))
1054         {
1055           queue_events (EV_A_ (W *)prepares, preparecnt, EV_PREPARE);
1056           call_pending (EV_A);
1057         }
1058
1059       /* we might have forked, so reify kernel state if necessary */
1060       if (expect_false (postfork))
1061         loop_fork (EV_A);
1062
1063       /* update fd-related kernel structures */
1064       fd_reify (EV_A);
1065
1066       /* calculate blocking time */
1067
1068       /* we only need this for !monotonic clockor timers, but as we basically
1069          always have timers, we just calculate it always */
1070 #if EV_USE_MONOTONIC
1071       if (expect_true (have_monotonic))
1072         time_update_monotonic (EV_A);
1073       else
1074 #endif
1075         {
1076           rt_now = ev_time ();
1077           mn_now = rt_now;
1078         }
1079
1080       if (flags & EVLOOP_NONBLOCK || idlecnt)
1081         block = 0.;
1082       else
1083         {
1084           block = MAX_BLOCKTIME;
1085
1086           if (timercnt)
1087             {
1088               ev_tstamp to = ((WT)timers [0])->at - mn_now + method_fudge;
1089               if (block > to) block = to;
1090             }
1091
1092           if (periodiccnt)
1093             {
1094               ev_tstamp to = ((WT)periodics [0])->at - rt_now + method_fudge;
1095               if (block > to) block = to;
1096             }
1097
1098           if (block < 0.) block = 0.;
1099         }
1100
1101       method_poll (EV_A_ block);
1102
1103       /* update rt_now, do magic */
1104       time_update (EV_A);
1105
1106       /* queue pending timers and reschedule them */
1107       timers_reify (EV_A); /* relative timers called last */
1108       periodics_reify (EV_A); /* absolute timers called first */
1109
1110       /* queue idle watchers unless io or timers are pending */
1111       if (!pendingcnt)
1112         queue_events (EV_A_ (W *)idles, idlecnt, EV_IDLE);
1113
1114       /* queue check watchers, to be executed first */
1115       if (checkcnt)
1116         queue_events (EV_A_ (W *)checks, checkcnt, EV_CHECK);
1117
1118       call_pending (EV_A);
1119     }
1120   while (activecnt && !loop_done);
1121
1122   if (loop_done != 2)
1123     loop_done = 0;
1124 }
1125
1126 void
1127 ev_unloop (EV_P_ int how)
1128 {
1129   loop_done = how;
1130 }
1131
1132 /*****************************************************************************/
1133
1134 inline void
1135 wlist_add (WL *head, WL elem)
1136 {
1137   elem->next = *head;
1138   *head = elem;
1139 }
1140
1141 inline void
1142 wlist_del (WL *head, WL elem)
1143 {
1144   while (*head)
1145     {
1146       if (*head == elem)
1147         {
1148           *head = elem->next;
1149           return;
1150         }
1151
1152       head = &(*head)->next;
1153     }
1154 }
1155
1156 inline void
1157 ev_clear_pending (EV_P_ W w)
1158 {
1159   if (w->pending)
1160     {
1161       pendings [ABSPRI (w)][w->pending - 1].w = 0;
1162       w->pending = 0;
1163     }
1164 }
1165
1166 inline void
1167 ev_start (EV_P_ W w, int active)
1168 {
1169   if (w->priority < EV_MINPRI) w->priority = EV_MINPRI;
1170   if (w->priority > EV_MAXPRI) w->priority = EV_MAXPRI;
1171
1172   w->active = active;
1173   ev_ref (EV_A);
1174 }
1175
1176 inline void
1177 ev_stop (EV_P_ W w)
1178 {
1179   ev_unref (EV_A);
1180   w->active = 0;
1181 }
1182
1183 /*****************************************************************************/
1184
1185 void
1186 ev_io_start (EV_P_ struct ev_io *w)
1187 {
1188   int fd = w->fd;
1189
1190   if (ev_is_active (w))
1191     return;
1192
1193   assert (("ev_io_start called with negative fd", fd >= 0));
1194
1195   ev_start (EV_A_ (W)w, 1);
1196   array_needsize (anfds, anfdmax, fd + 1, anfds_init);
1197   wlist_add ((WL *)&anfds[fd].head, (WL)w);
1198
1199   fd_change (EV_A_ fd);
1200 }
1201
1202 void
1203 ev_io_stop (EV_P_ struct ev_io *w)
1204 {
1205   ev_clear_pending (EV_A_ (W)w);
1206   if (!ev_is_active (w))
1207     return;
1208
1209   wlist_del ((WL *)&anfds[w->fd].head, (WL)w);
1210   ev_stop (EV_A_ (W)w);
1211
1212   fd_change (EV_A_ w->fd);
1213 }
1214
1215 void
1216 ev_timer_start (EV_P_ struct ev_timer *w)
1217 {
1218   if (ev_is_active (w))
1219     return;
1220
1221   ((WT)w)->at += mn_now;
1222
1223   assert (("ev_timer_start called with negative timer repeat value", w->repeat >= 0.));
1224
1225   ev_start (EV_A_ (W)w, ++timercnt);
1226   array_needsize (timers, timermax, timercnt, );
1227   timers [timercnt - 1] = w;
1228   upheap ((WT *)timers, timercnt - 1);
1229
1230   assert (("internal timer heap corruption", timers [((W)w)->active - 1] == w));
1231 }
1232
1233 void
1234 ev_timer_stop (EV_P_ struct ev_timer *w)
1235 {
1236   ev_clear_pending (EV_A_ (W)w);
1237   if (!ev_is_active (w))
1238     return;
1239
1240   assert (("internal timer heap corruption", timers [((W)w)->active - 1] == w));
1241
1242   if (((W)w)->active < timercnt--)
1243     {
1244       timers [((W)w)->active - 1] = timers [timercnt];
1245       downheap ((WT *)timers, timercnt, ((W)w)->active - 1);
1246     }
1247
1248   ((WT)w)->at = w->repeat;
1249
1250   ev_stop (EV_A_ (W)w);
1251 }
1252
1253 void
1254 ev_timer_again (EV_P_ struct ev_timer *w)
1255 {
1256   if (ev_is_active (w))
1257     {
1258       if (w->repeat)
1259         {
1260           ((WT)w)->at = mn_now + w->repeat;
1261           downheap ((WT *)timers, timercnt, ((W)w)->active - 1);
1262         }
1263       else
1264         ev_timer_stop (EV_A_ w);
1265     }
1266   else if (w->repeat)
1267     ev_timer_start (EV_A_ w);
1268 }
1269
1270 void
1271 ev_periodic_start (EV_P_ struct ev_periodic *w)
1272 {
1273   if (ev_is_active (w))
1274     return;
1275
1276   assert (("ev_periodic_start called with negative interval value", w->interval >= 0.));
1277
1278   /* this formula differs from the one in periodic_reify because we do not always round up */
1279   if (w->interval)
1280     ((WT)w)->at += ceil ((rt_now - ((WT)w)->at) / w->interval) * w->interval;
1281
1282   ev_start (EV_A_ (W)w, ++periodiccnt);
1283   array_needsize (periodics, periodicmax, periodiccnt, );
1284   periodics [periodiccnt - 1] = w;
1285   upheap ((WT *)periodics, periodiccnt - 1);
1286
1287   assert (("internal periodic heap corruption", periodics [((W)w)->active - 1] == w));
1288 }
1289
1290 void
1291 ev_periodic_stop (EV_P_ struct ev_periodic *w)
1292 {
1293   ev_clear_pending (EV_A_ (W)w);
1294   if (!ev_is_active (w))
1295     return;
1296
1297   assert (("internal periodic heap corruption", periodics [((W)w)->active - 1] == w));
1298
1299   if (((W)w)->active < periodiccnt--)
1300     {
1301       periodics [((W)w)->active - 1] = periodics [periodiccnt];
1302       downheap ((WT *)periodics, periodiccnt, ((W)w)->active - 1);
1303     }
1304
1305   ev_stop (EV_A_ (W)w);
1306 }
1307
1308 void
1309 ev_idle_start (EV_P_ struct ev_idle *w)
1310 {
1311   if (ev_is_active (w))
1312     return;
1313
1314   ev_start (EV_A_ (W)w, ++idlecnt);
1315   array_needsize (idles, idlemax, idlecnt, );
1316   idles [idlecnt - 1] = w;
1317 }
1318
1319 void
1320 ev_idle_stop (EV_P_ struct ev_idle *w)
1321 {
1322   ev_clear_pending (EV_A_ (W)w);
1323   if (ev_is_active (w))
1324     return;
1325
1326   idles [((W)w)->active - 1] = idles [--idlecnt];
1327   ev_stop (EV_A_ (W)w);
1328 }
1329
1330 void
1331 ev_prepare_start (EV_P_ struct ev_prepare *w)
1332 {
1333   if (ev_is_active (w))
1334     return;
1335
1336   ev_start (EV_A_ (W)w, ++preparecnt);
1337   array_needsize (prepares, preparemax, preparecnt, );
1338   prepares [preparecnt - 1] = w;
1339 }
1340
1341 void
1342 ev_prepare_stop (EV_P_ struct ev_prepare *w)
1343 {
1344   ev_clear_pending (EV_A_ (W)w);
1345   if (ev_is_active (w))
1346     return;
1347
1348   prepares [((W)w)->active - 1] = prepares [--preparecnt];
1349   ev_stop (EV_A_ (W)w);
1350 }
1351
1352 void
1353 ev_check_start (EV_P_ struct ev_check *w)
1354 {
1355   if (ev_is_active (w))
1356     return;
1357
1358   ev_start (EV_A_ (W)w, ++checkcnt);
1359   array_needsize (checks, checkmax, checkcnt, );
1360   checks [checkcnt - 1] = w;
1361 }
1362
1363 void
1364 ev_check_stop (EV_P_ struct ev_check *w)
1365 {
1366   ev_clear_pending (EV_A_ (W)w);
1367   if (ev_is_active (w))
1368     return;
1369
1370   checks [((W)w)->active - 1] = checks [--checkcnt];
1371   ev_stop (EV_A_ (W)w);
1372 }
1373
1374 #ifndef SA_RESTART
1375 # define SA_RESTART 0
1376 #endif
1377
1378 void
1379 ev_signal_start (EV_P_ struct ev_signal *w)
1380 {
1381 #if EV_MULTIPLICITY
1382   assert (("signal watchers are only supported in the default loop", loop == default_loop));
1383 #endif
1384   if (ev_is_active (w))
1385     return;
1386
1387   assert (("ev_signal_start called with illegal signal number", w->signum > 0));
1388
1389   ev_start (EV_A_ (W)w, 1);
1390   array_needsize (signals, signalmax, w->signum, signals_init);
1391   wlist_add ((WL *)&signals [w->signum - 1].head, (WL)w);
1392
1393   if (!((WL)w)->next)
1394     {
1395 #if WIN32
1396       signal (w->signum, sighandler);
1397 #else
1398       struct sigaction sa;
1399       sa.sa_handler = sighandler;
1400       sigfillset (&sa.sa_mask);
1401       sa.sa_flags = SA_RESTART; /* if restarting works we save one iteration */
1402       sigaction (w->signum, &sa, 0);
1403 #endif
1404     }
1405 }
1406
1407 void
1408 ev_signal_stop (EV_P_ struct ev_signal *w)
1409 {
1410   ev_clear_pending (EV_A_ (W)w);
1411   if (!ev_is_active (w))
1412     return;
1413
1414   wlist_del ((WL *)&signals [w->signum - 1].head, (WL)w);
1415   ev_stop (EV_A_ (W)w);
1416
1417   if (!signals [w->signum - 1].head)
1418     signal (w->signum, SIG_DFL);
1419 }
1420
1421 void
1422 ev_child_start (EV_P_ struct ev_child *w)
1423 {
1424 #if EV_MULTIPLICITY
1425   assert (("child watchers are only supported in the default loop", loop == default_loop));
1426 #endif
1427   if (ev_is_active (w))
1428     return;
1429
1430   ev_start (EV_A_ (W)w, 1);
1431   wlist_add ((WL *)&childs [w->pid & (PID_HASHSIZE - 1)], (WL)w);
1432 }
1433
1434 void
1435 ev_child_stop (EV_P_ struct ev_child *w)
1436 {
1437   ev_clear_pending (EV_A_ (W)w);
1438   if (ev_is_active (w))
1439     return;
1440
1441   wlist_del ((WL *)&childs [w->pid & (PID_HASHSIZE - 1)], (WL)w);
1442   ev_stop (EV_A_ (W)w);
1443 }
1444
1445 /*****************************************************************************/
1446
1447 struct ev_once
1448 {
1449   struct ev_io io;
1450   struct ev_timer to;
1451   void (*cb)(int revents, void *arg);
1452   void *arg;
1453 };
1454
1455 static void
1456 once_cb (EV_P_ struct ev_once *once, int revents)
1457 {
1458   void (*cb)(int revents, void *arg) = once->cb;
1459   void *arg = once->arg;
1460
1461   ev_io_stop (EV_A_ &once->io);
1462   ev_timer_stop (EV_A_ &once->to);
1463   ev_free (once);
1464
1465   cb (revents, arg);
1466 }
1467
1468 static void
1469 once_cb_io (EV_P_ struct ev_io *w, int revents)
1470 {
1471   once_cb (EV_A_ (struct ev_once *)(((char *)w) - offsetof (struct ev_once, io)), revents);
1472 }
1473
1474 static void
1475 once_cb_to (EV_P_ struct ev_timer *w, int revents)
1476 {
1477   once_cb (EV_A_ (struct ev_once *)(((char *)w) - offsetof (struct ev_once, to)), revents);
1478 }
1479
1480 void
1481 ev_once (EV_P_ int fd, int events, ev_tstamp timeout, void (*cb)(int revents, void *arg), void *arg)
1482 {
1483   struct ev_once *once = ev_malloc (sizeof (struct ev_once));
1484
1485   if (!once)
1486     cb (EV_ERROR | EV_READ | EV_WRITE | EV_TIMEOUT, arg);
1487   else
1488     {
1489       once->cb  = cb;
1490       once->arg = arg;
1491
1492       ev_watcher_init (&once->io, once_cb_io);
1493       if (fd >= 0)
1494         {
1495           ev_io_set (&once->io, fd, events);
1496           ev_io_start (EV_A_ &once->io);
1497         }
1498
1499       ev_watcher_init (&once->to, once_cb_to);
1500       if (timeout >= 0.)
1501         {
1502           ev_timer_set (&once->to, timeout, 0.);
1503           ev_timer_start (EV_A_ &once->to);
1504         }
1505     }
1506 }
1507