ev.c

   1 /*
   2  * libev event processing core, watcher management
   3  *
   4  * Copyright (c) 2007 Marc Alexander Lehmann <libev@schmorp.de>
   5  * All rights reserved.
   6  *
   7  * Redistribution and use in source and binary forms, with or without
   8  * modification, are permitted provided that the following conditions are
   9  * met:
  10  *
  11  *     * Redistributions of source code must retain the above copyright
  12  *       notice, this list of conditions and the following disclaimer.
  13  *
  14  *     * Redistributions in binary form must reproduce the above
  15  *       copyright notice, this list of conditions and the following
  16  *       disclaimer in the documentation and/or other materials provided
  17  *       with the distribution.
  18  *
  19  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  20  * "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  21  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
  22  * A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
  23  * OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  24  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
  25  * LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  26  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  27  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  28  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
  29  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  30  */
  31 #ifndef EV_STANDALONE
  32 # include "config.h"
  33
  34 # if HAVE_CLOCK_GETTIME
  35 #  define EV_USE_MONOTONIC 1
  36 #  define EV_USE_REALTIME  1
  37 # endif
  38
  39 # if HAVE_SELECT && HAVE_SYS_SELECT_H
  40 #  define EV_USE_SELECT 1
  41 # endif
  42
  43 # if HAVE_POLL && HAVE_POLL_H
  44 #  define EV_USE_POLL 1
  45 # endif
  46
  47 # if HAVE_EPOLL && HAVE_EPOLL_CTL && HAVE_SYS_EPOLL_H
  48 #  define EV_USE_EPOLL 1
  49 # endif
  50
  51 # if HAVE_KQUEUE && HAVE_WORKING_KQUEUE && HAVE_SYS_EVENT_H && HAVE_SYS_QUEUE_H
  52 #  define EV_USE_KQUEUE 1
  53 # endif
  54
  55 #endif
  56
  57 #include <math.h>
  58 #include <stdlib.h>
  59 #include <fcntl.h>
  60 #include <stddef.h>
  61
  62 #include <stdio.h>
  63
  64 #include <assert.h>
  65 #include <errno.h>
  66 #include <sys/types.h>
  67 #include <time.h>
  68
  69 #include <signal.h>
  70
  71 #ifndef WIN32
  72 # include <unistd.h>
  73 # include <sys/time.h>
  74 # include <sys/wait.h>
  75 #endif
  76 /**/
  77
  78 #ifndef EV_USE_MONOTONIC
  79 # define EV_USE_MONOTONIC 1
  80 #endif
  81
  82 #ifndef EV_USE_SELECT
  83 # define EV_USE_SELECT 1
  84 #endif
  85
  86 #ifndef EV_USE_POLL
  87 # define EV_USE_POLL 0 /* poll is usually slower than select, and not as well tested */
  88 #endif
  89
  90 #ifndef EV_USE_EPOLL
  91 # define EV_USE_EPOLL 0
  92 #endif
  93
  94 #ifndef EV_USE_KQUEUE
  95 # define EV_USE_KQUEUE 0
  96 #endif
  97
  98 #ifndef EV_USE_WIN32
  99 # ifdef WIN32
 100 #  define EV_USE_WIN32 0 /* it does not exist, use select */
 101 #  undef EV_USE_SELECT
 102 #  define EV_USE_SELECT 1
 103 # else
 104 #  define EV_USE_WIN32 0
 105 # endif
 106 #endif
 107
 108 #ifndef EV_USE_REALTIME
 109 # define EV_USE_REALTIME 1
 110 #endif
 111
 112 /**/
 113
 114 #ifndef CLOCK_MONOTONIC
 115 # undef EV_USE_MONOTONIC
 116 # define EV_USE_MONOTONIC 0
 117 #endif
 118
 119 #ifndef CLOCK_REALTIME
 120 # undef EV_USE_REALTIME
 121 # define EV_USE_REALTIME 0
 122 #endif
 123
 124 /**/
 125
 126 #define MIN_TIMEJUMP  1. /* minimum timejump that gets detected (if monotonic clock available) */
 127 #define MAX_BLOCKTIME 59.731 /* never wait longer than this time (to detect time jumps) */
 128 #define PID_HASHSIZE  16 /* size of pid hash table, must be power of two */
 129 /*#define CLEANUP_INTERVAL 300. /* how often to try to free memory and re-check fds */
 130
 131 #include "ev.h"
 132
 133 #if __GNUC__ >= 3
 134 # define expect(expr,value)         __builtin_expect ((expr),(value))
 135 # define inline                     inline
 136 #else
 137 # define expect(expr,value)         (expr)
 138 # define inline                     static
 139 #endif
 140
 141 #define expect_false(expr) expect ((expr) != 0, 0)
 142 #define expect_true(expr)  expect ((expr) != 0, 1)
 143
 144 #define NUMPRI    (EV_MAXPRI - EV_MINPRI + 1)
 145 #define ABSPRI(w) ((w)->priority - EV_MINPRI)
 146
 147 typedef struct ev_watcher *W;
 148 typedef struct ev_watcher_list *WL;
 149 typedef struct ev_watcher_time *WT;
 150
 151 static int have_monotonic; /* did clock_gettime (CLOCK_MONOTONIC) work? */
 152
 153 #include "ev_win32.c"
 154
 155 /*****************************************************************************/
 156
 157 static void (*syserr_cb)(const char *msg);
 158
 159 void ev_set_syserr_cb (void (*cb)(const char *msg))
 160 {
 161   syserr_cb = cb;
 162 }
 163
 164 static void
 165 syserr (const char *msg)
 166 {
 167   if (!msg)
 168     msg = "(libev) system error";
 169
 170   if (syserr_cb)
 171     syserr_cb (msg);
 172   else
 173     {
 174       perror (msg);
 175       abort ();
 176     }
 177 }
 178
 179 static void *(*alloc)(void *ptr, long size);
 180
 181 void ev_set_allocator (void *(*cb)(void *ptr, long size))
 182 {
 183   alloc = cb;
 184 }
 185
 186 static void *
 187 ev_realloc (void *ptr, long size)
 188 {
 189   ptr = alloc ? alloc (ptr, size) : realloc (ptr, size);
 190
 191   if (!ptr && size)
 192     {
 193       fprintf (stderr, "libev: cannot allocate %ld bytes, aborting.", size);
 194       abort ();
 195     }
 196
 197   return ptr;
 198 }
 199
 200 #define ev_malloc(size) ev_realloc (0, (size))
 201 #define ev_free(ptr)    ev_realloc ((ptr), 0)
 202
 203 /*****************************************************************************/
 204
 205 typedef struct
 206 {
 207   WL head;
 208   unsigned char events;
 209   unsigned char reify;
 210 } ANFD;
 211
 212 typedef struct
 213 {
 214   W w;
 215   int events;
 216 } ANPENDING;
 217
 218 #if EV_MULTIPLICITY
 219
 220 struct ev_loop
 221 {
 222 # define VAR(name,decl) decl;
 223 # include "ev_vars.h"
 224 };
 225 # undef VAR
 226 # include "ev_wrap.h"
 227
 228 #else
 229
 230 # define VAR(name,decl) static decl;
 231 # include "ev_vars.h"
 232 # undef VAR
 233
 234 #endif
 235
 236 /*****************************************************************************/
 237
 238 inline ev_tstamp
 239 ev_time (void)
 240 {
 241 #if EV_USE_REALTIME
 242   struct timespec ts;
 243   clock_gettime (CLOCK_REALTIME, &ts);
 244   return ts.tv_sec + ts.tv_nsec * 1e-9;
 245 #else
 246   struct timeval tv;
 247   gettimeofday (&tv, 0);
 248   return tv.tv_sec + tv.tv_usec * 1e-6;
 249 #endif
 250 }
 251
 252 inline ev_tstamp
 253 get_clock (void)
 254 {
 255 #if EV_USE_MONOTONIC
 256   if (expect_true (have_monotonic))
 257     {
 258       struct timespec ts;
 259       clock_gettime (CLOCK_MONOTONIC, &ts);
 260       return ts.tv_sec + ts.tv_nsec * 1e-9;
 261     }
 262 #endif
 263
 264   return ev_time ();
 265 }
 266
 267 ev_tstamp
 268 ev_now (EV_P)
 269 {
 270   return rt_now;
 271 }
 272
 273 #define array_roundsize(type,n) ((n) | 4 & ~3)
 274
 275 #define array_needsize(type,base,cur,cnt,init)                  \
 276   if (expect_false ((cnt) > cur))                               \
 277     {                                                           \
 278       int newcnt = cur;                                         \
 279       do                                                        \
 280         {                                                       \
 281           newcnt = array_roundsize (type, newcnt << 1);         \
 282         }                                                       \
 283       while ((cnt) > newcnt);                                   \
 284                                                                 \
 285       base = (type *)ev_realloc (base, sizeof (type) * (newcnt));\
 286       init (base + cur, newcnt - cur);                          \
 287       cur = newcnt;                                             \
 288     }
 289
 290 #define array_slim(type,stem)                                   \
 291   if (stem ## max < array_roundsize (stem ## cnt >> 2))         \
 292     {                                                           \
 293       stem ## max = array_roundsize (stem ## cnt >> 1);         \
 294       base = (type *)ev_realloc (base, sizeof (type) * (stem ## max));\
 295       fprintf (stderr, "slimmed down " # stem " to %d\n", stem ## max);/*D*/\
 296     }
 297
 298 /* microsoft's pseudo-c is quite far from C as the rest of the world and the standard knows it */
 299 /* bringing us everlasting joy in form of stupid extra macros that are not required in C */
 300 #define array_free_microshit(stem) \
 301   ev_free (stem ## s); stem ## cnt = stem ## max = 0;
 302
 303 #define array_free(stem, idx) \
 304   ev_free (stem ## s idx); stem ## cnt idx = stem ## max idx = 0;
 305
 306 /*****************************************************************************/
 307
 308 static void
 309 anfds_init (ANFD *base, int count)
 310 {
 311   while (count--)
 312     {
 313       base->head   = 0;
 314       base->events = EV_NONE;
 315       base->reify  = 0;
 316
 317       ++base;
 318     }
 319 }
 320
 321 static void
 322 event (EV_P_ W w, int events)
 323 {
 324   if (w->pending)
 325     {
 326       pendings [ABSPRI (w)][w->pending - 1].events |= events;
 327       return;
 328     }
 329
 330   w->pending = ++pendingcnt [ABSPRI (w)];
 331   array_needsize (ANPENDING, pendings [ABSPRI (w)], pendingmax [ABSPRI (w)], pendingcnt [ABSPRI (w)], (void));
 332   pendings [ABSPRI (w)][w->pending - 1].w      = w;
 333   pendings [ABSPRI (w)][w->pending - 1].events = events;
 334 }
 335
 336 static void
 337 queue_events (EV_P_ W *events, int eventcnt, int type)
 338 {
 339   int i;
 340
 341   for (i = 0; i < eventcnt; ++i)
 342     event (EV_A_ events [i], type);
 343 }
 344
 345 static void
 346 fd_event (EV_P_ int fd, int events)
 347 {
 348   ANFD *anfd = anfds + fd;
 349   struct ev_io *w;
 350
 351   for (w = (struct ev_io *)anfd->head; w; w = (struct ev_io *)((WL)w)->next)
 352     {
 353       int ev = w->events & events;
 354
 355       if (ev)
 356         event (EV_A_ (W)w, ev);
 357     }
 358 }
 359
 360 /*****************************************************************************/
 361
 362 static void
 363 fd_reify (EV_P)
 364 {
 365   int i;
 366
 367   for (i = 0; i < fdchangecnt; ++i)
 368     {
 369       int fd = fdchanges [i];
 370       ANFD *anfd = anfds + fd;
 371       struct ev_io *w;
 372
 373       int events = 0;
 374
 375       for (w = (struct ev_io *)anfd->head; w; w = (struct ev_io *)((WL)w)->next)
 376         events |= w->events;
 377
 378       anfd->reify = 0;
 379
 380       method_modify (EV_A_ fd, anfd->events, events);
 381       anfd->events = events;
 382     }
 383
 384   fdchangecnt = 0;
 385 }
 386
 387 static void
 388 fd_change (EV_P_ int fd)
 389 {
 390   if (anfds [fd].reify)
 391     return;
 392
 393   anfds [fd].reify = 1;
 394
 395   ++fdchangecnt;
 396   array_needsize (int, fdchanges, fdchangemax, fdchangecnt, (void));
 397   fdchanges [fdchangecnt - 1] = fd;
 398 }
 399
 400 static void
 401 fd_kill (EV_P_ int fd)
 402 {
 403   struct ev_io *w;
 404
 405   while ((w = (struct ev_io *)anfds [fd].head))
 406     {
 407       ev_io_stop (EV_A_ w);
 408       event (EV_A_ (W)w, EV_ERROR | EV_READ | EV_WRITE);
 409     }
 410 }
 411
 412 static int
 413 fd_valid (int fd)
 414 {
 415 #ifdef WIN32
 416   return !!win32_get_osfhandle (fd);
 417 #else
 418   return fcntl (fd, F_GETFD) != -1;
 419 #endif
 420 }
 421
 422 /* called on EBADF to verify fds */
 423 static void
 424 fd_ebadf (EV_P)
 425 {
 426   int fd;
 427
 428   for (fd = 0; fd < anfdmax; ++fd)
 429     if (anfds [fd].events)
 430       if (!fd_valid (fd) == -1 && errno == EBADF)
 431         fd_kill (EV_A_ fd);
 432 }
 433
 434 /* called on ENOMEM in select/poll to kill some fds and retry */
 435 static void
 436 fd_enomem (EV_P)
 437 {
 438   int fd;
 439
 440   for (fd = anfdmax; fd--; )
 441     if (anfds [fd].events)
 442       {
 443         fd_kill (EV_A_ fd);
 444         return;
 445       }
 446 }
 447
 448 /* usually called after fork if method needs to re-arm all fds from scratch */
 449 static void
 450 fd_rearm_all (EV_P)
 451 {
 452   int fd;
 453
 454   /* this should be highly optimised to not do anything but set a flag */
 455   for (fd = 0; fd < anfdmax; ++fd)
 456     if (anfds [fd].events)
 457       {
 458         anfds [fd].events = 0;
 459         fd_change (EV_A_ fd);
 460       }
 461 }
 462
 463 /*****************************************************************************/
 464
 465 static void
 466 upheap (WT *heap, int k)
 467 {
 468   WT w = heap [k];
 469
 470   while (k && heap [k >> 1]->at > w->at)
 471     {
 472       heap [k] = heap [k >> 1];
 473       ((W)heap [k])->active = k + 1;
 474       k >>= 1;
 475     }
 476
 477   heap [k] = w;
 478   ((W)heap [k])->active = k + 1;
 479
 480 }
 481
 482 static void
 483 downheap (WT *heap, int N, int k)
 484 {
 485   WT w = heap [k];
 486
 487   while (k < (N >> 1))
 488     {
 489       int j = k << 1;
 490
 491       if (j + 1 < N && heap [j]->at > heap [j + 1]->at)
 492         ++j;
 493
 494       if (w->at <= heap [j]->at)
 495         break;
 496
 497       heap [k] = heap [j];
 498       ((W)heap [k])->active = k + 1;
 499       k = j;
 500     }
 501
 502   heap [k] = w;
 503   ((W)heap [k])->active = k + 1;
 504 }
 505
 506 /*****************************************************************************/
 507
 508 typedef struct
 509 {
 510   WL head;
 511   sig_atomic_t volatile gotsig;
 512 } ANSIG;
 513
 514 static ANSIG *signals;
 515 static int signalmax;
 516
 517 static int sigpipe [2];
 518 static sig_atomic_t volatile gotsig;
 519 static struct ev_io sigev;
 520
 521 static void
 522 signals_init (ANSIG *base, int count)
 523 {
 524   while (count--)
 525     {
 526       base->head   = 0;
 527       base->gotsig = 0;
 528
 529       ++base;
 530     }
 531 }
 532
 533 static void
 534 sighandler (int signum)
 535 {
 536 #if WIN32
 537   signal (signum, sighandler);
 538 #endif
 539
 540   signals [signum - 1].gotsig = 1;
 541
 542   if (!gotsig)
 543     {
 544       int old_errno = errno;
 545       gotsig = 1;
 546 #ifdef WIN32
 547       send (sigpipe [1], &signum, 1, MSG_DONTWAIT);
 548 #else
 549       write (sigpipe [1], &signum, 1);
 550 #endif
 551       errno = old_errno;
 552     }
 553 }
 554
 555 static void
 556 sigcb (EV_P_ struct ev_io *iow, int revents)
 557 {
 558   WL w;
 559   int signum;
 560
 561 #ifdef WIN32
 562   recv (sigpipe [0], &revents, 1, MSG_DONTWAIT);
 563 #else
 564   read (sigpipe [0], &revents, 1);
 565 #endif
 566   gotsig = 0;
 567
 568   for (signum = signalmax; signum--; )
 569     if (signals [signum].gotsig)
 570       {
 571         signals [signum].gotsig = 0;
 572
 573         for (w = signals [signum].head; w; w = w->next)
 574           event (EV_A_ (W)w, EV_SIGNAL);
 575       }
 576 }
 577
 578 static void
 579 siginit (EV_P)
 580 {
 581 #ifndef WIN32
 582   fcntl (sigpipe [0], F_SETFD, FD_CLOEXEC);
 583   fcntl (sigpipe [1], F_SETFD, FD_CLOEXEC);
 584
 585   /* rather than sort out wether we really need nb, set it */
 586   fcntl (sigpipe [0], F_SETFL, O_NONBLOCK);
 587   fcntl (sigpipe [1], F_SETFL, O_NONBLOCK);
 588 #endif
 589
 590   ev_io_set (&sigev, sigpipe [0], EV_READ);
 591   ev_io_start (EV_A_ &sigev);
 592   ev_unref (EV_A); /* child watcher should not keep loop alive */
 593 }
 594
 595 /*****************************************************************************/
 596
 597 static struct ev_child *childs [PID_HASHSIZE];
 598
 599 #ifndef WIN32
 600
 601 static struct ev_signal childev;
 602
 603 #ifndef WCONTINUED
 604 # define WCONTINUED 0
 605 #endif
 606
 607 static void
 608 child_reap (EV_P_ struct ev_signal *sw, int chain, int pid, int status)
 609 {
 610   struct ev_child *w;
 611
 612   for (w = (struct ev_child *)childs [chain & (PID_HASHSIZE - 1)]; w; w = (struct ev_child *)((WL)w)->next)
 613     if (w->pid == pid || !w->pid)
 614       {
 615         ev_priority (w) = ev_priority (sw); /* need to do it *now* */
 616         w->rpid         = pid;
 617         w->rstatus      = status;
 618         event (EV_A_ (W)w, EV_CHILD);
 619       }
 620 }
 621
 622 static void
 623 childcb (EV_P_ struct ev_signal *sw, int revents)
 624 {
 625   int pid, status;
 626
 627   if (0 < (pid = waitpid (-1, &status, WNOHANG | WUNTRACED | WCONTINUED)))
 628     {
 629       /* make sure we are called again until all childs have been reaped */
 630       event (EV_A_ (W)sw, EV_SIGNAL);
 631
 632       child_reap (EV_A_ sw, pid, pid, status);
 633       child_reap (EV_A_ sw,   0, pid, status); /* this might trigger a watcher twice, but event catches that */
 634     }
 635 }
 636
 637 #endif
 638
 639 /*****************************************************************************/
 640
 641 #if EV_USE_KQUEUE
 642 # include "ev_kqueue.c"
 643 #endif
 644 #if EV_USE_EPOLL
 645 # include "ev_epoll.c"
 646 #endif
 647 #if EV_USE_POLL
 648 # include "ev_poll.c"
 649 #endif
 650 #if EV_USE_SELECT
 651 # include "ev_select.c"
 652 #endif
 653
 654 int
 655 ev_version_major (void)
 656 {
 657   return EV_VERSION_MAJOR;
 658 }
 659
 660 int
 661 ev_version_minor (void)
 662 {
 663   return EV_VERSION_MINOR;
 664 }
 665
 666 /* return true if we are running with elevated privileges and should ignore env variables */
 667 static int
 668 enable_secure (void)
 669 {
 670 #ifdef WIN32
 671   return 0;
 672 #else
 673   return getuid () != geteuid ()
 674       || getgid () != getegid ();
 675 #endif
 676 }
 677
 678 int
 679 ev_method (EV_P)
 680 {
 681   return method;
 682 }
 683
 684 static void
 685 loop_init (EV_P_ int methods)
 686 {
 687   if (!method)
 688     {
 689 #if EV_USE_MONOTONIC
 690       {
 691         struct timespec ts;
 692         if (!clock_gettime (CLOCK_MONOTONIC, &ts))
 693           have_monotonic = 1;
 694       }
 695 #endif
 696
 697       rt_now    = ev_time ();
 698       mn_now    = get_clock ();
 699       now_floor = mn_now;
 700       rtmn_diff = rt_now - mn_now;
 701
 702       if (methods == EVMETHOD_AUTO)
 703         if (!enable_secure () && getenv ("LIBEV_METHODS"))
 704           methods = atoi (getenv ("LIBEV_METHODS"));
 705         else
 706           methods = EVMETHOD_ANY;
 707
 708       method = 0;
 709 #if EV_USE_WIN32
 710       if (!method && (methods & EVMETHOD_WIN32 )) method = win32_init  (EV_A_ methods);
 711 #endif
 712 #if EV_USE_KQUEUE
 713       if (!method && (methods & EVMETHOD_KQUEUE)) method = kqueue_init (EV_A_ methods);
 714 #endif
 715 #if EV_USE_EPOLL
 716       if (!method && (methods & EVMETHOD_EPOLL )) method = epoll_init  (EV_A_ methods);
 717 #endif
 718 #if EV_USE_POLL
 719       if (!method && (methods & EVMETHOD_POLL  )) method = poll_init   (EV_A_ methods);
 720 #endif
 721 #if EV_USE_SELECT
 722       if (!method && (methods & EVMETHOD_SELECT)) method = select_init (EV_A_ methods);
 723 #endif
 724
 725       ev_watcher_init (&sigev, sigcb);
 726       ev_set_priority (&sigev, EV_MAXPRI);
 727     }
 728 }
 729
 730 void
 731 loop_destroy (EV_P)
 732 {
 733   int i;
 734
 735 #if EV_USE_WIN32
 736   if (method == EVMETHOD_WIN32 ) win32_destroy  (EV_A);
 737 #endif
 738 #if EV_USE_KQUEUE
 739   if (method == EVMETHOD_KQUEUE) kqueue_destroy (EV_A);
 740 #endif
 741 #if EV_USE_EPOLL
 742   if (method == EVMETHOD_EPOLL ) epoll_destroy  (EV_A);
 743 #endif
 744 #if EV_USE_POLL
 745   if (method == EVMETHOD_POLL  ) poll_destroy   (EV_A);
 746 #endif
 747 #if EV_USE_SELECT
 748   if (method == EVMETHOD_SELECT) select_destroy (EV_A);
 749 #endif
 750
 751   for (i = NUMPRI; i--; )
 752     array_free (pending, [i]);
 753
 754   /* have to use the microsoft-never-gets-it-right macro */
 755   array_free_microshit (fdchange);
 756   array_free_microshit (timer);
 757   array_free_microshit (periodic);
 758   array_free_microshit (idle);
 759   array_free_microshit (prepare);
 760   array_free_microshit (check);
 761
 762   method = 0;
 763 }
 764
 765 static void
 766 loop_fork (EV_P)
 767 {
 768 #if EV_USE_EPOLL
 769   if (method == EVMETHOD_EPOLL ) epoll_fork  (EV_A);
 770 #endif
 771 #if EV_USE_KQUEUE
 772   if (method == EVMETHOD_KQUEUE) kqueue_fork (EV_A);
 773 #endif
 774
 775   if (ev_is_active (&sigev))
 776     {
 777       /* default loop */
 778
 779       ev_ref (EV_A);
 780       ev_io_stop (EV_A_ &sigev);
 781       close (sigpipe [0]);
 782       close (sigpipe [1]);
 783
 784       while (pipe (sigpipe))
 785         syserr ("(libev) error creating pipe");
 786
 787       siginit (EV_A);
 788     }
 789
 790   postfork = 0;
 791 }
 792
 793 #if EV_MULTIPLICITY
 794 struct ev_loop *
 795 ev_loop_new (int methods)
 796 {
 797   struct ev_loop *loop = (struct ev_loop *)ev_malloc (sizeof (struct ev_loop));
 798
 799   memset (loop, 0, sizeof (struct ev_loop));
 800
 801   loop_init (EV_A_ methods);
 802
 803   if (ev_method (EV_A))
 804     return loop;
 805
 806   return 0;
 807 }
 808
 809 void
 810 ev_loop_destroy (EV_P)
 811 {
 812   loop_destroy (EV_A);
 813   ev_free (loop);
 814 }
 815
 816 void
 817 ev_loop_fork (EV_P)
 818 {
 819   postfork = 1;
 820 }
 821
 822 #endif
 823
 824 #if EV_MULTIPLICITY
 825 struct ev_loop default_loop_struct;
 826 static struct ev_loop *default_loop;
 827
 828 struct ev_loop *
 829 #else
 830 static int default_loop;
 831
 832 int
 833 #endif
 834 ev_default_loop (int methods)
 835 {
 836   if (sigpipe [0] == sigpipe [1])
 837     if (pipe (sigpipe))
 838       return 0;
 839
 840   if (!default_loop)
 841     {
 842 #if EV_MULTIPLICITY
 843       struct ev_loop *loop = default_loop = &default_loop_struct;
 844 #else
 845       default_loop = 1;
 846 #endif
 847
 848       loop_init (EV_A_ methods);
 849
 850       if (ev_method (EV_A))
 851         {
 852           siginit (EV_A);
 853
 854 #ifndef WIN32
 855           ev_signal_init (&childev, childcb, SIGCHLD);
 856           ev_set_priority (&childev, EV_MAXPRI);
 857           ev_signal_start (EV_A_ &childev);
 858           ev_unref (EV_A); /* child watcher should not keep loop alive */
 859 #endif
 860         }
 861       else
 862         default_loop = 0;
 863     }
 864
 865   return default_loop;
 866 }
 867
 868 void
 869 ev_default_destroy (void)
 870 {
 871 #if EV_MULTIPLICITY
 872   struct ev_loop *loop = default_loop;
 873 #endif
 874
 875 #ifndef WIN32
 876   ev_ref (EV_A); /* child watcher */
 877   ev_signal_stop (EV_A_ &childev);
 878 #endif
 879
 880   ev_ref (EV_A); /* signal watcher */
 881   ev_io_stop (EV_A_ &sigev);
 882
 883   close (sigpipe [0]); sigpipe [0] = 0;
 884   close (sigpipe [1]); sigpipe [1] = 0;
 885
 886   loop_destroy (EV_A);
 887 }
 888
 889 void
 890 ev_default_fork (void)
 891 {
 892 #if EV_MULTIPLICITY
 893   struct ev_loop *loop = default_loop;
 894 #endif
 895
 896   if (method)
 897     postfork = 1;
 898 }
 899
 900 /*****************************************************************************/
 901
 902 static int
 903 any_pending (EV_P)
 904 {
 905   int pri;
 906
 907   for (pri = NUMPRI; pri--; )
 908     if (pendingcnt [pri])
 909       return 1;
 910
 911   return 0;
 912 }
 913
 914 static void
 915 call_pending (EV_P)
 916 {
 917   int pri;
 918
 919   for (pri = NUMPRI; pri--; )
 920     while (pendingcnt [pri])
 921       {
 922         ANPENDING *p = pendings [pri] + --pendingcnt [pri];
 923
 924         if (p->w)
 925           {
 926             p->w->pending = 0;
 927             p->w->cb (EV_A_ p->w, p->events);
 928           }
 929       }
 930 }
 931
 932 static void
 933 timers_reify (EV_P)
 934 {
 935   while (timercnt && ((WT)timers [0])->at <= mn_now)
 936     {
 937       struct ev_timer *w = timers [0];
 938
 939       assert (("inactive timer on timer heap detected", ev_is_active (w)));
 940
 941       /* first reschedule or stop timer */
 942       if (w->repeat)
 943         {
 944           assert (("negative ev_timer repeat value found while processing timers", w->repeat > 0.));
 945           ((WT)w)->at = mn_now + w->repeat;
 946           downheap ((WT *)timers, timercnt, 0);
 947         }
 948       else
 949         ev_timer_stop (EV_A_ w); /* nonrepeating: stop timer */
 950
 951       event (EV_A_ (W)w, EV_TIMEOUT);
 952     }
 953 }
 954
 955 static void
 956 periodics_reify (EV_P)
 957 {
 958   while (periodiccnt && ((WT)periodics [0])->at <= rt_now)
 959     {
 960       struct ev_periodic *w = periodics [0];
 961
 962       assert (("inactive timer on periodic heap detected", ev_is_active (w)));
 963
 964       /* first reschedule or stop timer */
 965       if (w->reschedule_cb)
 966         {
 967           ev_tstamp at = ((WT)w)->at = w->reschedule_cb (w, rt_now + 0.0001);
 968
 969           assert (("ev_periodic reschedule callback returned time in the past", ((WT)w)->at > rt_now));
 970           downheap ((WT *)periodics, periodiccnt, 0);
 971         }
 972       else if (w->interval)
 973         {
 974           ((WT)w)->at += floor ((rt_now - ((WT)w)->at) / w->interval + 1.) * w->interval;
 975           assert (("ev_periodic timeout in the past detected while processing timers, negative interval?", ((WT)w)->at > rt_now));
 976           downheap ((WT *)periodics, periodiccnt, 0);
 977         }
 978       else
 979         ev_periodic_stop (EV_A_ w); /* nonrepeating: stop timer */
 980
 981       event (EV_A_ (W)w, EV_PERIODIC);
 982     }
 983 }
 984
 985 static void
 986 periodics_reschedule (EV_P)
 987 {
 988   int i;
 989
 990   /* adjust periodics after time jump */
 991   for (i = 0; i < periodiccnt; ++i)
 992     {
 993       struct ev_periodic *w = periodics [i];
 994
 995       if (w->reschedule_cb)
 996         ((WT)w)->at = w->reschedule_cb (w, rt_now);
 997       else if (w->interval)
 998         ((WT)w)->at += ceil ((rt_now - ((WT)w)->at) / w->interval) * w->interval;
 999     }
1000
1001   /* now rebuild the heap */
1002   for (i = periodiccnt >> 1; i--; )
1003     downheap ((WT *)periodics, periodiccnt, i);
1004 }
1005
1006 inline int
1007 time_update_monotonic (EV_P)
1008 {
1009   mn_now = get_clock ();
1010
1011   if (expect_true (mn_now - now_floor < MIN_TIMEJUMP * .5))
1012     {
1013       rt_now = rtmn_diff + mn_now;
1014       return 0;
1015     }
1016   else
1017     {
1018       now_floor = mn_now;
1019       rt_now = ev_time ();
1020       return 1;
1021     }
1022 }
1023
1024 static void
1025 time_update (EV_P)
1026 {
1027   int i;
1028
1029 #if EV_USE_MONOTONIC
1030   if (expect_true (have_monotonic))
1031     {
1032       if (time_update_monotonic (EV_A))
1033         {
1034           ev_tstamp odiff = rtmn_diff;
1035
1036           for (i = 4; --i; ) /* loop a few times, before making important decisions */
1037             {
1038               rtmn_diff = rt_now - mn_now;
1039
1040               if (fabs (odiff - rtmn_diff) < MIN_TIMEJUMP)
1041                 return; /* all is well */
1042
1043               rt_now    = ev_time ();
1044               mn_now    = get_clock ();
1045               now_floor = mn_now;
1046             }
1047
1048           periodics_reschedule (EV_A);
1049           /* no timer adjustment, as the monotonic clock doesn't jump */
1050           /* timers_reschedule (EV_A_ rtmn_diff - odiff) */
1051         }
1052     }
1053   else
1054 #endif
1055     {
1056       rt_now = ev_time ();
1057
1058       if (expect_false (mn_now > rt_now || mn_now < rt_now - MAX_BLOCKTIME - MIN_TIMEJUMP))
1059         {
1060           periodics_reschedule (EV_A);
1061
1062           /* adjust timers. this is easy, as the offset is the same for all */
1063           for (i = 0; i < timercnt; ++i)
1064             ((WT)timers [i])->at += rt_now - mn_now;
1065         }
1066
1067       mn_now = rt_now;
1068     }
1069 }
1070
1071 void
1072 ev_ref (EV_P)
1073 {
1074   ++activecnt;
1075 }
1076
1077 void
1078 ev_unref (EV_P)
1079 {
1080   --activecnt;
1081 }
1082
1083 static int loop_done;
1084
1085 void
1086 ev_loop (EV_P_ int flags)
1087 {
1088   double block;
1089   loop_done = flags & (EVLOOP_ONESHOT | EVLOOP_NONBLOCK) ? 1 : 0;
1090
1091   do
1092     {
1093       /* queue check watchers (and execute them) */
1094       if (expect_false (preparecnt))
1095         {
1096           queue_events (EV_A_ (W *)prepares, preparecnt, EV_PREPARE);
1097           call_pending (EV_A);
1098         }
1099
1100       /* we might have forked, so reify kernel state if necessary */
1101       if (expect_false (postfork))
1102         loop_fork (EV_A);
1103
1104       /* update fd-related kernel structures */
1105       fd_reify (EV_A);
1106
1107       /* calculate blocking time */
1108
1109       /* we only need this for !monotonic clock or timers, but as we basically
1110          always have timers, we just calculate it always */
1111 #if EV_USE_MONOTONIC
1112       if (expect_true (have_monotonic))
1113         time_update_monotonic (EV_A);
1114       else
1115 #endif
1116         {
1117           rt_now = ev_time ();
1118           mn_now = rt_now;
1119         }
1120
1121       if (flags & EVLOOP_NONBLOCK || idlecnt)
1122         block = 0.;
1123       else
1124         {
1125           block = MAX_BLOCKTIME;
1126
1127           if (timercnt)
1128             {
1129               ev_tstamp to = ((WT)timers [0])->at - mn_now + method_fudge;
1130               if (block > to) block = to;
1131             }
1132
1133           if (periodiccnt)
1134             {
1135               ev_tstamp to = ((WT)periodics [0])->at - rt_now + method_fudge;
1136               if (block > to) block = to;
1137             }
1138
1139           if (block < 0.) block = 0.;
1140         }
1141
1142       method_poll (EV_A_ block);
1143
1144       /* update rt_now, do magic */
1145       time_update (EV_A);
1146
1147       /* queue pending timers and reschedule them */
1148       timers_reify (EV_A); /* relative timers called last */
1149       periodics_reify (EV_A); /* absolute timers called first */
1150
1151       /* queue idle watchers unless io or timers are pending */
1152       if (idlecnt && !any_pending (EV_A))
1153         queue_events (EV_A_ (W *)idles, idlecnt, EV_IDLE);
1154
1155       /* queue check watchers, to be executed first */
1156       if (checkcnt)
1157         queue_events (EV_A_ (W *)checks, checkcnt, EV_CHECK);
1158
1159       call_pending (EV_A);
1160     }
1161   while (activecnt && !loop_done);
1162
1163   if (loop_done != 2)
1164     loop_done = 0;
1165 }
1166
1167 void
1168 ev_unloop (EV_P_ int how)
1169 {
1170   loop_done = how;
1171 }
1172
1173 /*****************************************************************************/
1174
1175 inline void
1176 wlist_add (WL *head, WL elem)
1177 {
1178   elem->next = *head;
1179   *head = elem;
1180 }
1181
1182 inline void
1183 wlist_del (WL *head, WL elem)
1184 {
1185   while (*head)
1186     {
1187       if (*head == elem)
1188         {
1189           *head = elem->next;
1190           return;
1191         }
1192
1193       head = &(*head)->next;
1194     }
1195 }
1196
1197 inline void
1198 ev_clear_pending (EV_P_ W w)
1199 {
1200   if (w->pending)
1201     {
1202       pendings [ABSPRI (w)][w->pending - 1].w = 0;
1203       w->pending = 0;
1204     }
1205 }
1206
1207 inline void
1208 ev_start (EV_P_ W w, int active)
1209 {
1210   if (w->priority < EV_MINPRI) w->priority = EV_MINPRI;
1211   if (w->priority > EV_MAXPRI) w->priority = EV_MAXPRI;
1212
1213   w->active = active;
1214   ev_ref (EV_A);
1215 }
1216
1217 inline void
1218 ev_stop (EV_P_ W w)
1219 {
1220   ev_unref (EV_A);
1221   w->active = 0;
1222 }
1223
1224 /*****************************************************************************/
1225
1226 void
1227 ev_io_start (EV_P_ struct ev_io *w)
1228 {
1229   int fd = w->fd;
1230
1231   if (ev_is_active (w))
1232     return;
1233
1234   assert (("ev_io_start called with negative fd", fd >= 0));
1235
1236   ev_start (EV_A_ (W)w, 1);
1237   array_needsize (ANFD, anfds, anfdmax, fd + 1, anfds_init);
1238   wlist_add ((WL *)&anfds[fd].head, (WL)w);
1239
1240   fd_change (EV_A_ fd);
1241 }
1242
1243 void
1244 ev_io_stop (EV_P_ struct ev_io *w)
1245 {
1246   ev_clear_pending (EV_A_ (W)w);
1247   if (!ev_is_active (w))
1248     return;
1249
1250   wlist_del ((WL *)&anfds[w->fd].head, (WL)w);
1251   ev_stop (EV_A_ (W)w);
1252
1253   fd_change (EV_A_ w->fd);
1254 }
1255
1256 void
1257 ev_timer_start (EV_P_ struct ev_timer *w)
1258 {
1259   if (ev_is_active (w))
1260     return;
1261
1262   ((WT)w)->at += mn_now;
1263
1264   assert (("ev_timer_start called with negative timer repeat value", w->repeat >= 0.));
1265
1266   ev_start (EV_A_ (W)w, ++timercnt);
1267   array_needsize (struct ev_timer *, timers, timermax, timercnt, (void));
1268   timers [timercnt - 1] = w;
1269   upheap ((WT *)timers, timercnt - 1);
1270
1271   assert (("internal timer heap corruption", timers [((W)w)->active - 1] == w));
1272 }
1273
1274 void
1275 ev_timer_stop (EV_P_ struct ev_timer *w)
1276 {
1277   ev_clear_pending (EV_A_ (W)w);
1278   if (!ev_is_active (w))
1279     return;
1280
1281   assert (("internal timer heap corruption", timers [((W)w)->active - 1] == w));
1282
1283   if (((W)w)->active < timercnt--)
1284     {
1285       timers [((W)w)->active - 1] = timers [timercnt];
1286       downheap ((WT *)timers, timercnt, ((W)w)->active - 1);
1287     }
1288
1289   ((WT)w)->at = w->repeat;
1290
1291   ev_stop (EV_A_ (W)w);
1292 }
1293
1294 void
1295 ev_timer_again (EV_P_ struct ev_timer *w)
1296 {
1297   if (ev_is_active (w))
1298     {
1299       if (w->repeat)
1300         {
1301           ((WT)w)->at = mn_now + w->repeat;
1302           downheap ((WT *)timers, timercnt, ((W)w)->active - 1);
1303         }
1304       else
1305         ev_timer_stop (EV_A_ w);
1306     }
1307   else if (w->repeat)
1308     ev_timer_start (EV_A_ w);
1309 }
1310
1311 void
1312 ev_periodic_start (EV_P_ struct ev_periodic *w)
1313 {
1314   if (ev_is_active (w))
1315     return;
1316
1317   if (w->reschedule_cb)
1318     ((WT)w)->at = w->reschedule_cb (w, rt_now);
1319   else if (w->interval)
1320     {
1321       assert (("ev_periodic_start called with negative interval value", w->interval >= 0.));
1322       /* this formula differs from the one in periodic_reify because we do not always round up */
1323       ((WT)w)->at += ceil ((rt_now - ((WT)w)->at) / w->interval) * w->interval;
1324     }
1325
1326   ev_start (EV_A_ (W)w, ++periodiccnt);
1327   array_needsize (struct ev_periodic *, periodics, periodicmax, periodiccnt, (void));
1328   periodics [periodiccnt - 1] = w;
1329   upheap ((WT *)periodics, periodiccnt - 1);
1330
1331   assert (("internal periodic heap corruption", periodics [((W)w)->active - 1] == w));
1332 }
1333
1334 void
1335 ev_periodic_stop (EV_P_ struct ev_periodic *w)
1336 {
1337   ev_clear_pending (EV_A_ (W)w);
1338   if (!ev_is_active (w))
1339     return;
1340
1341   assert (("internal periodic heap corruption", periodics [((W)w)->active - 1] == w));
1342
1343   if (((W)w)->active < periodiccnt--)
1344     {
1345       periodics [((W)w)->active - 1] = periodics [periodiccnt];
1346       downheap ((WT *)periodics, periodiccnt, ((W)w)->active - 1);
1347     }
1348
1349   ev_stop (EV_A_ (W)w);
1350 }
1351
1352 void
1353 ev_periodic_again (EV_P_ struct ev_periodic *w)
1354 {
1355   ev_periodic_stop (EV_A_ w);
1356   ev_periodic_start (EV_A_ w);
1357 }
1358
1359 void
1360 ev_idle_start (EV_P_ struct ev_idle *w)
1361 {
1362   if (ev_is_active (w))
1363     return;
1364
1365   ev_start (EV_A_ (W)w, ++idlecnt);
1366   array_needsize (struct ev_idle *, idles, idlemax, idlecnt, (void));
1367   idles [idlecnt - 1] = w;
1368 }
1369
1370 void
1371 ev_idle_stop (EV_P_ struct ev_idle *w)
1372 {
1373   ev_clear_pending (EV_A_ (W)w);
1374   if (ev_is_active (w))
1375     return;
1376
1377   idles [((W)w)->active - 1] = idles [--idlecnt];
1378   ev_stop (EV_A_ (W)w);
1379 }
1380
1381 void
1382 ev_prepare_start (EV_P_ struct ev_prepare *w)
1383 {
1384   if (ev_is_active (w))
1385     return;
1386
1387   ev_start (EV_A_ (W)w, ++preparecnt);
1388   array_needsize (struct ev_prepare *, prepares, preparemax, preparecnt, (void));
1389   prepares [preparecnt - 1] = w;
1390 }
1391
1392 void
1393 ev_prepare_stop (EV_P_ struct ev_prepare *w)
1394 {
1395   ev_clear_pending (EV_A_ (W)w);
1396   if (ev_is_active (w))
1397     return;
1398
1399   prepares [((W)w)->active - 1] = prepares [--preparecnt];
1400   ev_stop (EV_A_ (W)w);
1401 }
1402
1403 void
1404 ev_check_start (EV_P_ struct ev_check *w)
1405 {
1406   if (ev_is_active (w))
1407     return;
1408
1409   ev_start (EV_A_ (W)w, ++checkcnt);
1410   array_needsize (struct ev_check *, checks, checkmax, checkcnt, (void));
1411   checks [checkcnt - 1] = w;
1412 }
1413
1414 void
1415 ev_check_stop (EV_P_ struct ev_check *w)
1416 {
1417   ev_clear_pending (EV_A_ (W)w);
1418   if (ev_is_active (w))
1419     return;
1420
1421   checks [((W)w)->active - 1] = checks [--checkcnt];
1422   ev_stop (EV_A_ (W)w);
1423 }
1424
1425 #ifndef SA_RESTART
1426 # define SA_RESTART 0
1427 #endif
1428
1429 void
1430 ev_signal_start (EV_P_ struct ev_signal *w)
1431 {
1432 #if EV_MULTIPLICITY
1433   assert (("signal watchers are only supported in the default loop", loop == default_loop));
1434 #endif
1435   if (ev_is_active (w))
1436     return;
1437
1438   assert (("ev_signal_start called with illegal signal number", w->signum > 0));
1439
1440   ev_start (EV_A_ (W)w, 1);
1441   array_needsize (ANSIG, signals, signalmax, w->signum, signals_init);
1442   wlist_add ((WL *)&signals [w->signum - 1].head, (WL)w);
1443
1444   if (!((WL)w)->next)
1445     {
1446 #if WIN32
1447       signal (w->signum, sighandler);
1448 #else
1449       struct sigaction sa;
1450       sa.sa_handler = sighandler;
1451       sigfillset (&sa.sa_mask);
1452       sa.sa_flags = SA_RESTART; /* if restarting works we save one iteration */
1453       sigaction (w->signum, &sa, 0);
1454 #endif
1455     }
1456 }
1457
1458 void
1459 ev_signal_stop (EV_P_ struct ev_signal *w)
1460 {
1461   ev_clear_pending (EV_A_ (W)w);
1462   if (!ev_is_active (w))
1463     return;
1464
1465   wlist_del ((WL *)&signals [w->signum - 1].head, (WL)w);
1466   ev_stop (EV_A_ (W)w);
1467
1468   if (!signals [w->signum - 1].head)
1469     signal (w->signum, SIG_DFL);
1470 }
1471
1472 void
1473 ev_child_start (EV_P_ struct ev_child *w)
1474 {
1475 #if EV_MULTIPLICITY
1476   assert (("child watchers are only supported in the default loop", loop == default_loop));
1477 #endif
1478   if (ev_is_active (w))
1479     return;
1480
1481   ev_start (EV_A_ (W)w, 1);
1482   wlist_add ((WL *)&childs [w->pid & (PID_HASHSIZE - 1)], (WL)w);
1483 }
1484
1485 void
1486 ev_child_stop (EV_P_ struct ev_child *w)
1487 {
1488   ev_clear_pending (EV_A_ (W)w);
1489   if (ev_is_active (w))
1490     return;
1491
1492   wlist_del ((WL *)&childs [w->pid & (PID_HASHSIZE - 1)], (WL)w);
1493   ev_stop (EV_A_ (W)w);
1494 }
1495
1496 /*****************************************************************************/
1497
1498 struct ev_once
1499 {
1500   struct ev_io io;
1501   struct ev_timer to;
1502   void (*cb)(int revents, void *arg);
1503   void *arg;
1504 };
1505
1506 static void
1507 once_cb (EV_P_ struct ev_once *once, int revents)
1508 {
1509   void (*cb)(int revents, void *arg) = once->cb;
1510   void *arg = once->arg;
1511
1512   ev_io_stop (EV_A_ &once->io);
1513   ev_timer_stop (EV_A_ &once->to);
1514   ev_free (once);
1515
1516   cb (revents, arg);
1517 }
1518
1519 static void
1520 once_cb_io (EV_P_ struct ev_io *w, int revents)
1521 {
1522   once_cb (EV_A_ (struct ev_once *)(((char *)w) - offsetof (struct ev_once, io)), revents);
1523 }
1524
1525 static void
1526 once_cb_to (EV_P_ struct ev_timer *w, int revents)
1527 {
1528   once_cb (EV_A_ (struct ev_once *)(((char *)w) - offsetof (struct ev_once, to)), revents);
1529 }
1530
1531 void
1532 ev_once (EV_P_ int fd, int events, ev_tstamp timeout, void (*cb)(int revents, void *arg), void *arg)
1533 {
1534   struct ev_once *once = (struct ev_once *)ev_malloc (sizeof (struct ev_once));
1535
1536   if (!once)
1537     cb (EV_ERROR | EV_READ | EV_WRITE | EV_TIMEOUT, arg);
1538   else
1539     {
1540       once->cb  = cb;
1541       once->arg = arg;
1542
1543       ev_watcher_init (&once->io, once_cb_io);
1544       if (fd >= 0)
1545         {
1546           ev_io_set (&once->io, fd, events);
1547           ev_io_start (EV_A_ &once->io);
1548         }
1549
1550       ev_watcher_init (&once->to, once_cb_to);
1551       if (timeout >= 0.)
1552         {
1553           ev_timer_set (&once->to, timeout, 0.);
1554           ev_timer_start (EV_A_ &once->to);
1555         }
1556     }
1557 }
1558