]> git.llucax.com Git - software/libev.git/blob - ev.c
e87da22585746f6470433433d27988503ee77760
[software/libev.git] / ev.c
1 /*
2  * libev event processing core, watcher management
3  *
4  * Copyright (c) 2007 Marc Alexander Lehmann <libev@schmorp.de>
5  * All rights reserved.
6  *
7  * Redistribution and use in source and binary forms, with or without
8  * modification, are permitted provided that the following conditions are
9  * met:
10  *
11  *     * Redistributions of source code must retain the above copyright
12  *       notice, this list of conditions and the following disclaimer.
13  *
14  *     * Redistributions in binary form must reproduce the above
15  *       copyright notice, this list of conditions and the following
16  *       disclaimer in the documentation and/or other materials provided
17  *       with the distribution.
18  *
19  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
20  * "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
21  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
22  * A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
23  * OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
24  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
25  * LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
26  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
27  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
28  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
29  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
30  */
31
32 #ifdef __cplusplus
33 extern "C" {
34 #endif
35
36 #ifndef EV_STANDALONE
37 # ifdef EV_CONFIG_H
38 #  include EV_CONFIG_H
39 # else
40 #  include "config.h"
41 # endif
42
43 # if HAVE_CLOCK_GETTIME
44 #  ifndef EV_USE_MONOTONIC
45 #   define EV_USE_MONOTONIC 1
46 #  endif
47 #  ifndef EV_USE_REALTIME
48 #   define EV_USE_REALTIME  1
49 #  endif
50 # else
51 #  ifndef EV_USE_MONOTONIC
52 #   define EV_USE_MONOTONIC 0
53 #  endif
54 #  ifndef EV_USE_REALTIME
55 #   define EV_USE_REALTIME  0
56 #  endif
57 # endif
58
59 # ifndef EV_USE_SELECT
60 #  if HAVE_SELECT && HAVE_SYS_SELECT_H
61 #   define EV_USE_SELECT 1
62 #  else
63 #   define EV_USE_SELECT 0
64 #  endif
65 # endif
66
67 # ifndef EV_USE_POLL
68 #  if HAVE_POLL && HAVE_POLL_H
69 #   define EV_USE_POLL 1
70 #  else
71 #   define EV_USE_POLL 0
72 #  endif
73 # endif
74    
75 # ifndef EV_USE_EPOLL
76 #  if HAVE_EPOLL_CTL && HAVE_SYS_EPOLL_H
77 #   define EV_USE_EPOLL 1
78 #  else
79 #   define EV_USE_EPOLL 0
80 #  endif
81 # endif
82    
83 # ifndef EV_USE_KQUEUE
84 #  if HAVE_KQUEUE && HAVE_SYS_EVENT_H && HAVE_SYS_QUEUE_H
85 #   define EV_USE_KQUEUE 1
86 #  else
87 #   define EV_USE_KQUEUE 0
88 #  endif
89 # endif
90    
91 # ifndef EV_USE_PORT
92 #  if HAVE_PORT_H && HAVE_PORT_CREATE
93 #   define EV_USE_PORT 1
94 #  else
95 #   define EV_USE_PORT 0
96 #  endif
97 # endif
98
99 # ifndef EV_USE_INOTIFY
100 #  if HAVE_INOTIFY_INIT && HAVE_SYS_INOTIFY_H
101 #   define EV_USE_INOTIFY 1
102 #  else
103 #   define EV_USE_INOTIFY 0
104 #  endif
105 # endif
106
107 #endif
108
109 #include <math.h>
110 #include <stdlib.h>
111 #include <fcntl.h>
112 #include <stddef.h>
113
114 #include <stdio.h>
115
116 #include <assert.h>
117 #include <errno.h>
118 #include <sys/types.h>
119 #include <time.h>
120
121 #include <signal.h>
122
123 #ifdef EV_H
124 # include EV_H
125 #else
126 # include "ev.h"
127 #endif
128
129 #ifndef _WIN32
130 # include <sys/time.h>
131 # include <sys/wait.h>
132 # include <unistd.h>
133 #else
134 # define WIN32_LEAN_AND_MEAN
135 # include <windows.h>
136 # ifndef EV_SELECT_IS_WINSOCKET
137 #  define EV_SELECT_IS_WINSOCKET 1
138 # endif
139 #endif
140
141 /**/
142
143 #ifndef EV_USE_MONOTONIC
144 # define EV_USE_MONOTONIC 0
145 #endif
146
147 #ifndef EV_USE_REALTIME
148 # define EV_USE_REALTIME 0
149 #endif
150
151 #ifndef EV_USE_SELECT
152 # define EV_USE_SELECT 1
153 #endif
154
155 #ifndef EV_USE_POLL
156 # ifdef _WIN32
157 #  define EV_USE_POLL 0
158 # else
159 #  define EV_USE_POLL 1
160 # endif
161 #endif
162
163 #ifndef EV_USE_EPOLL
164 # define EV_USE_EPOLL 0
165 #endif
166
167 #ifndef EV_USE_KQUEUE
168 # define EV_USE_KQUEUE 0
169 #endif
170
171 #ifndef EV_USE_PORT
172 # define EV_USE_PORT 0
173 #endif
174
175 #ifndef EV_USE_INOTIFY
176 # define EV_USE_INOTIFY 0
177 #endif
178
179 #ifndef EV_PID_HASHSIZE
180 # if EV_MINIMAL
181 #  define EV_PID_HASHSIZE 1
182 # else
183 #  define EV_PID_HASHSIZE 16
184 # endif
185 #endif
186
187 #ifndef EV_INOTIFY_HASHSIZE
188 # if EV_MINIMAL
189 #  define EV_INOTIFY_HASHSIZE 1
190 # else
191 #  define EV_INOTIFY_HASHSIZE 16
192 # endif
193 #endif
194
195 /**/
196
197 #ifndef CLOCK_MONOTONIC
198 # undef EV_USE_MONOTONIC
199 # define EV_USE_MONOTONIC 0
200 #endif
201
202 #ifndef CLOCK_REALTIME
203 # undef EV_USE_REALTIME
204 # define EV_USE_REALTIME 0
205 #endif
206
207 #if EV_SELECT_IS_WINSOCKET
208 # include <winsock.h>
209 #endif
210
211 #if !EV_STAT_ENABLE
212 # define EV_USE_INOTIFY 0
213 #endif
214
215 #if EV_USE_INOTIFY
216 # include <sys/inotify.h>
217 #endif
218
219 /**/
220
221 /*
222  * This is used to avoid floating point rounding problems.
223  * It is added to ev_rt_now when scheduling periodics
224  * to ensure progress, time-wise, even when rounding
225  * errors are against us.
226  * This value is good at least till the year 4000.
227  * Better solutions welcome.
228  */
229 #define TIME_EPSILON  0.0001220703125 /* 1/8192 */
230
231 #define MIN_TIMEJUMP  1. /* minimum timejump that gets detected (if monotonic clock available) */
232 #define MAX_BLOCKTIME 59.743 /* never wait longer than this time (to detect time jumps) */
233 /*#define CLEANUP_INTERVAL (MAX_BLOCKTIME * 5.) /* how often to try to free memory and re-check fds, TODO */
234
235 #if __GNUC__ >= 3
236 # define expect(expr,value)         __builtin_expect ((expr),(value))
237 # define noinline                   __attribute__ ((noinline))
238 #else
239 # define expect(expr,value)         (expr)
240 # define noinline
241 # if __STDC_VERSION__ < 199901L
242 #  define inline
243 # endif
244 #endif
245
246 #define expect_false(expr) expect ((expr) != 0, 0)
247 #define expect_true(expr)  expect ((expr) != 0, 1)
248 #define inline_size        static inline
249
250 #if EV_MINIMAL
251 # define inline_speed      static noinline
252 #else
253 # define inline_speed      static inline
254 #endif
255
256 #define NUMPRI    (EV_MAXPRI - EV_MINPRI + 1)
257 #define ABSPRI(w) (((W)w)->priority - EV_MINPRI)
258
259 #define EMPTY       /* required for microsofts broken pseudo-c compiler */
260 #define EMPTY2(a,b) /* used to suppress some warnings */
261
262 typedef ev_watcher *W;
263 typedef ev_watcher_list *WL;
264 typedef ev_watcher_time *WT;
265
266 static int have_monotonic; /* did clock_gettime (CLOCK_MONOTONIC) work? */
267
268 #ifdef _WIN32
269 # include "ev_win32.c"
270 #endif
271
272 /*****************************************************************************/
273
274 static void (*syserr_cb)(const char *msg);
275
276 void
277 ev_set_syserr_cb (void (*cb)(const char *msg))
278 {
279   syserr_cb = cb;
280 }
281
282 static void noinline
283 syserr (const char *msg)
284 {
285   if (!msg)
286     msg = "(libev) system error";
287
288   if (syserr_cb)
289     syserr_cb (msg);
290   else
291     {
292       perror (msg);
293       abort ();
294     }
295 }
296
297 static void *(*alloc)(void *ptr, long size);
298
299 void
300 ev_set_allocator (void *(*cb)(void *ptr, long size))
301 {
302   alloc = cb;
303 }
304
305 inline_speed void *
306 ev_realloc (void *ptr, long size)
307 {
308   ptr = alloc ? alloc (ptr, size) : realloc (ptr, size);
309
310   if (!ptr && size)
311     {
312       fprintf (stderr, "libev: cannot allocate %ld bytes, aborting.", size);
313       abort ();
314     }
315
316   return ptr;
317 }
318
319 #define ev_malloc(size) ev_realloc (0, (size))
320 #define ev_free(ptr)    ev_realloc ((ptr), 0)
321
322 /*****************************************************************************/
323
324 typedef struct
325 {
326   WL head;
327   unsigned char events;
328   unsigned char reify;
329 #if EV_SELECT_IS_WINSOCKET
330   SOCKET handle;
331 #endif
332 } ANFD;
333
334 typedef struct
335 {
336   W w;
337   int events;
338 } ANPENDING;
339
340 #if EV_USE_INOTIFY
341 typedef struct
342 {
343   WL head;
344 } ANFS;
345 #endif
346
347 #if EV_MULTIPLICITY
348
349   struct ev_loop
350   {
351     ev_tstamp ev_rt_now;
352     #define ev_rt_now ((loop)->ev_rt_now)
353     #define VAR(name,decl) decl;
354       #include "ev_vars.h"
355     #undef VAR
356   };
357   #include "ev_wrap.h"
358
359   static struct ev_loop default_loop_struct;
360   struct ev_loop *ev_default_loop_ptr;
361
362 #else
363
364   ev_tstamp ev_rt_now;
365   #define VAR(name,decl) static decl;
366     #include "ev_vars.h"
367   #undef VAR
368
369   static int ev_default_loop_ptr;
370
371 #endif
372
373 /*****************************************************************************/
374
375 ev_tstamp
376 ev_time (void)
377 {
378 #if EV_USE_REALTIME
379   struct timespec ts;
380   clock_gettime (CLOCK_REALTIME, &ts);
381   return ts.tv_sec + ts.tv_nsec * 1e-9;
382 #else
383   struct timeval tv;
384   gettimeofday (&tv, 0);
385   return tv.tv_sec + tv.tv_usec * 1e-6;
386 #endif
387 }
388
389 ev_tstamp inline_size
390 get_clock (void)
391 {
392 #if EV_USE_MONOTONIC
393   if (expect_true (have_monotonic))
394     {
395       struct timespec ts;
396       clock_gettime (CLOCK_MONOTONIC, &ts);
397       return ts.tv_sec + ts.tv_nsec * 1e-9;
398     }
399 #endif
400
401   return ev_time ();
402 }
403
404 #if EV_MULTIPLICITY
405 ev_tstamp
406 ev_now (EV_P)
407 {
408   return ev_rt_now;
409 }
410 #endif
411
412 int inline_size
413 array_nextsize (int elem, int cur, int cnt)
414 {
415   int ncur = cur + 1;
416
417   do
418     ncur <<= 1;
419   while (cnt > ncur);
420
421   /* if size > 4096, round to 4096 - 4 * longs to accomodate malloc overhead */
422   if (elem * ncur > 4096)
423     {
424       ncur *= elem;
425       ncur = (ncur + elem + 4095 + sizeof (void *) * 4) & ~4095;
426       ncur = ncur - sizeof (void *) * 4;
427       ncur /= elem;
428     }
429
430   return ncur;
431 }
432
433 static noinline void *
434 array_realloc (int elem, void *base, int *cur, int cnt)
435 {
436   *cur = array_nextsize (elem, *cur, cnt);
437   return ev_realloc (base, elem * *cur);
438 }
439
440 #define array_needsize(type,base,cur,cnt,init)                  \
441   if (expect_false ((cnt) > (cur)))                             \
442     {                                                           \
443       int ocur_ = (cur);                                        \
444       (base) = (type *)array_realloc                            \
445          (sizeof (type), (base), &(cur), (cnt));                \
446       init ((base) + (ocur_), (cur) - ocur_);                   \
447     }
448
449 #if 0
450 #define array_slim(type,stem)                                   \
451   if (stem ## max < array_roundsize (stem ## cnt >> 2))         \
452     {                                                           \
453       stem ## max = array_roundsize (stem ## cnt >> 1);         \
454       base = (type *)ev_realloc (base, sizeof (type) * (stem ## max));\
455       fprintf (stderr, "slimmed down " # stem " to %d\n", stem ## max);/*D*/\
456     }
457 #endif
458
459 #define array_free(stem, idx) \
460   ev_free (stem ## s idx); stem ## cnt idx = stem ## max idx = 0;
461
462 /*****************************************************************************/
463
464 void noinline
465 ev_feed_event (EV_P_ void *w, int revents)
466 {
467   W w_ = (W)w;
468   int pri = ABSPRI (w_);
469
470   if (expect_false (w_->pending))
471     pendings [pri][w_->pending - 1].events |= revents;
472   else
473     {
474       w_->pending = ++pendingcnt [pri];
475       array_needsize (ANPENDING, pendings [pri], pendingmax [pri], w_->pending, EMPTY2);
476       pendings [pri][w_->pending - 1].w      = w_;
477       pendings [pri][w_->pending - 1].events = revents;
478     }
479 }
480
481 void inline_speed
482 queue_events (EV_P_ W *events, int eventcnt, int type)
483 {
484   int i;
485
486   for (i = 0; i < eventcnt; ++i)
487     ev_feed_event (EV_A_ events [i], type);
488 }
489
490 /*****************************************************************************/
491
492 void inline_size
493 anfds_init (ANFD *base, int count)
494 {
495   while (count--)
496     {
497       base->head   = 0;
498       base->events = EV_NONE;
499       base->reify  = 0;
500
501       ++base;
502     }
503 }
504
505 void inline_speed
506 fd_event (EV_P_ int fd, int revents)
507 {
508   ANFD *anfd = anfds + fd;
509   ev_io *w;
510
511   for (w = (ev_io *)anfd->head; w; w = (ev_io *)((WL)w)->next)
512     {
513       int ev = w->events & revents;
514
515       if (ev)
516         ev_feed_event (EV_A_ (W)w, ev);
517     }
518 }
519
520 void
521 ev_feed_fd_event (EV_P_ int fd, int revents)
522 {
523   if (fd >= 0 && fd < anfdmax)
524     fd_event (EV_A_ fd, revents);
525 }
526
527 void inline_size
528 fd_reify (EV_P)
529 {
530   int i;
531
532   for (i = 0; i < fdchangecnt; ++i)
533     {
534       int fd = fdchanges [i];
535       ANFD *anfd = anfds + fd;
536       ev_io *w;
537
538       int events = 0;
539
540       for (w = (ev_io *)anfd->head; w; w = (ev_io *)((WL)w)->next)
541         events |= w->events;
542
543 #if EV_SELECT_IS_WINSOCKET
544       if (events)
545         {
546           unsigned long argp;
547           anfd->handle = _get_osfhandle (fd);
548           assert (("libev only supports socket fds in this configuration", ioctlsocket (anfd->handle, FIONREAD, &argp) == 0));
549         }
550 #endif
551
552       anfd->reify = 0;
553
554       backend_modify (EV_A_ fd, anfd->events, events);
555       anfd->events = events;
556     }
557
558   fdchangecnt = 0;
559 }
560
561 void inline_size
562 fd_change (EV_P_ int fd)
563 {
564   if (expect_false (anfds [fd].reify))
565     return;
566
567   anfds [fd].reify = 1;
568
569   ++fdchangecnt;
570   array_needsize (int, fdchanges, fdchangemax, fdchangecnt, EMPTY2);
571   fdchanges [fdchangecnt - 1] = fd;
572 }
573
574 void inline_speed
575 fd_kill (EV_P_ int fd)
576 {
577   ev_io *w;
578
579   while ((w = (ev_io *)anfds [fd].head))
580     {
581       ev_io_stop (EV_A_ w);
582       ev_feed_event (EV_A_ (W)w, EV_ERROR | EV_READ | EV_WRITE);
583     }
584 }
585
586 int inline_size
587 fd_valid (int fd)
588 {
589 #ifdef _WIN32
590   return _get_osfhandle (fd) != -1;
591 #else
592   return fcntl (fd, F_GETFD) != -1;
593 #endif
594 }
595
596 /* called on EBADF to verify fds */
597 static void noinline
598 fd_ebadf (EV_P)
599 {
600   int fd;
601
602   for (fd = 0; fd < anfdmax; ++fd)
603     if (anfds [fd].events)
604       if (!fd_valid (fd) == -1 && errno == EBADF)
605         fd_kill (EV_A_ fd);
606 }
607
608 /* called on ENOMEM in select/poll to kill some fds and retry */
609 static void noinline
610 fd_enomem (EV_P)
611 {
612   int fd;
613
614   for (fd = anfdmax; fd--; )
615     if (anfds [fd].events)
616       {
617         fd_kill (EV_A_ fd);
618         return;
619       }
620 }
621
622 /* usually called after fork if backend needs to re-arm all fds from scratch */
623 static void noinline
624 fd_rearm_all (EV_P)
625 {
626   int fd;
627
628   for (fd = 0; fd < anfdmax; ++fd)
629     if (anfds [fd].events)
630       {
631         anfds [fd].events = 0;
632         fd_change (EV_A_ fd);
633       }
634 }
635
636 /*****************************************************************************/
637
638 void inline_speed
639 upheap (WT *heap, int k)
640 {
641   WT w = heap [k];
642
643   while (k)
644     {
645       int p = (k - 1) >> 1;
646
647       if (heap [p]->at <= w->at)
648         break;
649
650       heap [k] = heap [p];
651       ((W)heap [k])->active = k + 1;
652       k = p;
653     }
654
655   heap [k] = w;
656   ((W)heap [k])->active = k + 1;
657 }
658
659 void inline_speed
660 downheap (WT *heap, int N, int k)
661 {
662   WT w = heap [k];
663
664   for (;;)
665     {
666       int c = (k << 1) + 1;
667
668       if (c >= N)
669         break;
670
671       c += c + 1 < N && heap [c]->at > heap [c + 1]->at
672            ? 1 : 0;
673
674       if (w->at <= heap [c]->at)
675         break;
676
677       heap [k] = heap [c];
678       ((W)heap [k])->active = k + 1;
679
680       k = c;
681     }
682
683   heap [k] = w;
684   ((W)heap [k])->active = k + 1;
685 }
686
687 void inline_size
688 adjustheap (WT *heap, int N, int k)
689 {
690   upheap (heap, k);
691   downheap (heap, N, k);
692 }
693
694 /*****************************************************************************/
695
696 typedef struct
697 {
698   WL head;
699   sig_atomic_t volatile gotsig;
700 } ANSIG;
701
702 static ANSIG *signals;
703 static int signalmax;
704
705 static int sigpipe [2];
706 static sig_atomic_t volatile gotsig;
707 static ev_io sigev;
708
709 void inline_size
710 signals_init (ANSIG *base, int count)
711 {
712   while (count--)
713     {
714       base->head   = 0;
715       base->gotsig = 0;
716
717       ++base;
718     }
719 }
720
721 static void
722 sighandler (int signum)
723 {
724 #if _WIN32
725   signal (signum, sighandler);
726 #endif
727
728   signals [signum - 1].gotsig = 1;
729
730   if (!gotsig)
731     {
732       int old_errno = errno;
733       gotsig = 1;
734       write (sigpipe [1], &signum, 1);
735       errno = old_errno;
736     }
737 }
738
739 void noinline
740 ev_feed_signal_event (EV_P_ int signum)
741 {
742   WL w;
743
744 #if EV_MULTIPLICITY
745   assert (("feeding signal events is only supported in the default loop", loop == ev_default_loop_ptr));
746 #endif
747
748   --signum;
749
750   if (signum < 0 || signum >= signalmax)
751     return;
752
753   signals [signum].gotsig = 0;
754
755   for (w = signals [signum].head; w; w = w->next)
756     ev_feed_event (EV_A_ (W)w, EV_SIGNAL);
757 }
758
759 static void
760 sigcb (EV_P_ ev_io *iow, int revents)
761 {
762   int signum;
763
764   read (sigpipe [0], &revents, 1);
765   gotsig = 0;
766
767   for (signum = signalmax; signum--; )
768     if (signals [signum].gotsig)
769       ev_feed_signal_event (EV_A_ signum + 1);
770 }
771
772 void inline_speed
773 fd_intern (int fd)
774 {
775 #ifdef _WIN32
776   int arg = 1;
777   ioctlsocket (_get_osfhandle (fd), FIONBIO, &arg);
778 #else
779   fcntl (fd, F_SETFD, FD_CLOEXEC);
780   fcntl (fd, F_SETFL, O_NONBLOCK);
781 #endif
782 }
783
784 static void noinline
785 siginit (EV_P)
786 {
787   fd_intern (sigpipe [0]);
788   fd_intern (sigpipe [1]);
789
790   ev_io_set (&sigev, sigpipe [0], EV_READ);
791   ev_io_start (EV_A_ &sigev);
792   ev_unref (EV_A); /* child watcher should not keep loop alive */
793 }
794
795 /*****************************************************************************/
796
797 static ev_child *childs [EV_PID_HASHSIZE];
798
799 #ifndef _WIN32
800
801 static ev_signal childev;
802
803 void inline_speed
804 child_reap (EV_P_ ev_signal *sw, int chain, int pid, int status)
805 {
806   ev_child *w;
807
808   for (w = (ev_child *)childs [chain & (EV_PID_HASHSIZE - 1)]; w; w = (ev_child *)((WL)w)->next)
809     if (w->pid == pid || !w->pid)
810       {
811         ev_set_priority (w, ev_priority (sw)); /* need to do it *now* */
812         w->rpid    = pid;
813         w->rstatus = status;
814         ev_feed_event (EV_A_ (W)w, EV_CHILD);
815       }
816 }
817
818 #ifndef WCONTINUED
819 # define WCONTINUED 0
820 #endif
821
822 static void
823 childcb (EV_P_ ev_signal *sw, int revents)
824 {
825   int pid, status;
826
827   /* some systems define WCONTINUED but then fail to support it (linux 2.4) */
828   if (0 >= (pid = waitpid (-1, &status, WNOHANG | WUNTRACED | WCONTINUED)))
829     if (!WCONTINUED
830         || errno != EINVAL
831         || 0 >= (pid = waitpid (-1, &status, WNOHANG | WUNTRACED)))
832       return;
833
834   /* make sure we are called again until all childs have been reaped */
835   /* we need to do it this way so that the callback gets called before we continue */
836   ev_feed_event (EV_A_ (W)sw, EV_SIGNAL);
837
838   child_reap (EV_A_ sw, pid, pid, status);
839   if (EV_PID_HASHSIZE > 1)
840     child_reap (EV_A_ sw, 0, pid, status); /* this might trigger a watcher twice, but feed_event catches that */
841 }
842
843 #endif
844
845 /*****************************************************************************/
846
847 #if EV_USE_PORT
848 # include "ev_port.c"
849 #endif
850 #if EV_USE_KQUEUE
851 # include "ev_kqueue.c"
852 #endif
853 #if EV_USE_EPOLL
854 # include "ev_epoll.c"
855 #endif
856 #if EV_USE_POLL
857 # include "ev_poll.c"
858 #endif
859 #if EV_USE_SELECT
860 # include "ev_select.c"
861 #endif
862
863 int
864 ev_version_major (void)
865 {
866   return EV_VERSION_MAJOR;
867 }
868
869 int
870 ev_version_minor (void)
871 {
872   return EV_VERSION_MINOR;
873 }
874
875 /* return true if we are running with elevated privileges and should ignore env variables */
876 int inline_size
877 enable_secure (void)
878 {
879 #ifdef _WIN32
880   return 0;
881 #else
882   return getuid () != geteuid ()
883       || getgid () != getegid ();
884 #endif
885 }
886
887 unsigned int
888 ev_supported_backends (void)
889 {
890   unsigned int flags = 0;
891
892   if (EV_USE_PORT  ) flags |= EVBACKEND_PORT;
893   if (EV_USE_KQUEUE) flags |= EVBACKEND_KQUEUE;
894   if (EV_USE_EPOLL ) flags |= EVBACKEND_EPOLL;
895   if (EV_USE_POLL  ) flags |= EVBACKEND_POLL;
896   if (EV_USE_SELECT) flags |= EVBACKEND_SELECT;
897   
898   return flags;
899 }
900
901 unsigned int
902 ev_recommended_backends (void)
903 {
904   unsigned int flags = ev_supported_backends ();
905
906 #ifndef __NetBSD__
907   /* kqueue is borked on everything but netbsd apparently */
908   /* it usually doesn't work correctly on anything but sockets and pipes */
909   flags &= ~EVBACKEND_KQUEUE;
910 #endif
911 #ifdef __APPLE__
912   // flags &= ~EVBACKEND_KQUEUE; for documentation
913   flags &= ~EVBACKEND_POLL;
914 #endif
915
916   return flags;
917 }
918
919 unsigned int
920 ev_embeddable_backends (void)
921 {
922   return EVBACKEND_EPOLL
923        | EVBACKEND_KQUEUE
924        | EVBACKEND_PORT;
925 }
926
927 unsigned int
928 ev_backend (EV_P)
929 {
930   return backend;
931 }
932
933 unsigned int
934 ev_loop_count (EV_P)
935 {
936   return loop_count;
937 }
938
939 static void noinline
940 loop_init (EV_P_ unsigned int flags)
941 {
942   if (!backend)
943     {
944 #if EV_USE_MONOTONIC
945       {
946         struct timespec ts;
947         if (!clock_gettime (CLOCK_MONOTONIC, &ts))
948           have_monotonic = 1;
949       }
950 #endif
951
952       ev_rt_now = ev_time ();
953       mn_now    = get_clock ();
954       now_floor = mn_now;
955       rtmn_diff = ev_rt_now - mn_now;
956
957       /* pid check not overridable via env */
958 #ifndef _WIN32
959       if (flags & EVFLAG_FORKCHECK)
960         curpid = getpid ();
961 #endif
962
963       if (!(flags & EVFLAG_NOENV)
964           && !enable_secure ()
965           && getenv ("LIBEV_FLAGS"))
966         flags = atoi (getenv ("LIBEV_FLAGS"));
967
968       if (!(flags & 0x0000ffffUL))
969         flags |= ev_recommended_backends ();
970
971       backend = 0;
972       backend_fd = -1;
973 #if EV_USE_INOTIFY
974       fs_fd = -2;
975 #endif
976
977 #if EV_USE_PORT
978       if (!backend && (flags & EVBACKEND_PORT  )) backend = port_init   (EV_A_ flags);
979 #endif
980 #if EV_USE_KQUEUE
981       if (!backend && (flags & EVBACKEND_KQUEUE)) backend = kqueue_init (EV_A_ flags);
982 #endif
983 #if EV_USE_EPOLL
984       if (!backend && (flags & EVBACKEND_EPOLL )) backend = epoll_init  (EV_A_ flags);
985 #endif
986 #if EV_USE_POLL
987       if (!backend && (flags & EVBACKEND_POLL  )) backend = poll_init   (EV_A_ flags);
988 #endif
989 #if EV_USE_SELECT
990       if (!backend && (flags & EVBACKEND_SELECT)) backend = select_init (EV_A_ flags);
991 #endif
992
993       ev_init (&sigev, sigcb);
994       ev_set_priority (&sigev, EV_MAXPRI);
995     }
996 }
997
998 static void noinline
999 loop_destroy (EV_P)
1000 {
1001   int i;
1002
1003 #if EV_USE_INOTIFY
1004   if (fs_fd >= 0)
1005     close (fs_fd);
1006 #endif
1007
1008   if (backend_fd >= 0)
1009     close (backend_fd);
1010
1011 #if EV_USE_PORT
1012   if (backend == EVBACKEND_PORT  ) port_destroy   (EV_A);
1013 #endif
1014 #if EV_USE_KQUEUE
1015   if (backend == EVBACKEND_KQUEUE) kqueue_destroy (EV_A);
1016 #endif
1017 #if EV_USE_EPOLL
1018   if (backend == EVBACKEND_EPOLL ) epoll_destroy  (EV_A);
1019 #endif
1020 #if EV_USE_POLL
1021   if (backend == EVBACKEND_POLL  ) poll_destroy   (EV_A);
1022 #endif
1023 #if EV_USE_SELECT
1024   if (backend == EVBACKEND_SELECT) select_destroy (EV_A);
1025 #endif
1026
1027   for (i = NUMPRI; i--; )
1028     {
1029       array_free (pending, [i]);
1030 #if EV_IDLE_ENABLE
1031       array_free (idle, [i]);
1032 #endif
1033     }
1034
1035   /* have to use the microsoft-never-gets-it-right macro */
1036   array_free (fdchange, EMPTY);
1037   array_free (timer, EMPTY);
1038 #if EV_PERIODIC_ENABLE
1039   array_free (periodic, EMPTY);
1040 #endif
1041   array_free (prepare, EMPTY);
1042   array_free (check, EMPTY);
1043
1044   backend = 0;
1045 }
1046
1047 void inline_size infy_fork (EV_P);
1048
1049 void inline_size
1050 loop_fork (EV_P)
1051 {
1052 #if EV_USE_PORT
1053   if (backend == EVBACKEND_PORT  ) port_fork   (EV_A);
1054 #endif
1055 #if EV_USE_KQUEUE
1056   if (backend == EVBACKEND_KQUEUE) kqueue_fork (EV_A);
1057 #endif
1058 #if EV_USE_EPOLL
1059   if (backend == EVBACKEND_EPOLL ) epoll_fork  (EV_A);
1060 #endif
1061 #if EV_USE_INOTIFY
1062   infy_fork (EV_A);
1063 #endif
1064
1065   if (ev_is_active (&sigev))
1066     {
1067       /* default loop */
1068
1069       ev_ref (EV_A);
1070       ev_io_stop (EV_A_ &sigev);
1071       close (sigpipe [0]);
1072       close (sigpipe [1]);
1073
1074       while (pipe (sigpipe))
1075         syserr ("(libev) error creating pipe");
1076
1077       siginit (EV_A);
1078     }
1079
1080   postfork = 0;
1081 }
1082
1083 #if EV_MULTIPLICITY
1084 struct ev_loop *
1085 ev_loop_new (unsigned int flags)
1086 {
1087   struct ev_loop *loop = (struct ev_loop *)ev_malloc (sizeof (struct ev_loop));
1088
1089   memset (loop, 0, sizeof (struct ev_loop));
1090
1091   loop_init (EV_A_ flags);
1092
1093   if (ev_backend (EV_A))
1094     return loop;
1095
1096   return 0;
1097 }
1098
1099 void
1100 ev_loop_destroy (EV_P)
1101 {
1102   loop_destroy (EV_A);
1103   ev_free (loop);
1104 }
1105
1106 void
1107 ev_loop_fork (EV_P)
1108 {
1109   postfork = 1;
1110 }
1111
1112 #endif
1113
1114 #if EV_MULTIPLICITY
1115 struct ev_loop *
1116 ev_default_loop_init (unsigned int flags)
1117 #else
1118 int
1119 ev_default_loop (unsigned int flags)
1120 #endif
1121 {
1122   if (sigpipe [0] == sigpipe [1])
1123     if (pipe (sigpipe))
1124       return 0;
1125
1126   if (!ev_default_loop_ptr)
1127     {
1128 #if EV_MULTIPLICITY
1129       struct ev_loop *loop = ev_default_loop_ptr = &default_loop_struct;
1130 #else
1131       ev_default_loop_ptr = 1;
1132 #endif
1133
1134       loop_init (EV_A_ flags);
1135
1136       if (ev_backend (EV_A))
1137         {
1138           siginit (EV_A);
1139
1140 #ifndef _WIN32
1141           ev_signal_init (&childev, childcb, SIGCHLD);
1142           ev_set_priority (&childev, EV_MAXPRI);
1143           ev_signal_start (EV_A_ &childev);
1144           ev_unref (EV_A); /* child watcher should not keep loop alive */
1145 #endif
1146         }
1147       else
1148         ev_default_loop_ptr = 0;
1149     }
1150
1151   return ev_default_loop_ptr;
1152 }
1153
1154 void
1155 ev_default_destroy (void)
1156 {
1157 #if EV_MULTIPLICITY
1158   struct ev_loop *loop = ev_default_loop_ptr;
1159 #endif
1160
1161 #ifndef _WIN32
1162   ev_ref (EV_A); /* child watcher */
1163   ev_signal_stop (EV_A_ &childev);
1164 #endif
1165
1166   ev_ref (EV_A); /* signal watcher */
1167   ev_io_stop (EV_A_ &sigev);
1168
1169   close (sigpipe [0]); sigpipe [0] = 0;
1170   close (sigpipe [1]); sigpipe [1] = 0;
1171
1172   loop_destroy (EV_A);
1173 }
1174
1175 void
1176 ev_default_fork (void)
1177 {
1178 #if EV_MULTIPLICITY
1179   struct ev_loop *loop = ev_default_loop_ptr;
1180 #endif
1181
1182   if (backend)
1183     postfork = 1;
1184 }
1185
1186 /*****************************************************************************/
1187
1188 void
1189 ev_invoke (EV_P_ void *w, int revents)
1190 {
1191   EV_CB_INVOKE ((W)w, revents);
1192 }
1193
1194 void inline_speed
1195 call_pending (EV_P)
1196 {
1197   int pri;
1198
1199   for (pri = NUMPRI; pri--; )
1200     while (pendingcnt [pri])
1201       {
1202         ANPENDING *p = pendings [pri] + --pendingcnt [pri];
1203
1204         if (expect_true (p->w))
1205           {
1206             /*assert (("non-pending watcher on pending list", p->w->pending));*/
1207
1208             p->w->pending = 0;
1209             EV_CB_INVOKE (p->w, p->events);
1210           }
1211       }
1212 }
1213
1214 void inline_size
1215 timers_reify (EV_P)
1216 {
1217   while (timercnt && ((WT)timers [0])->at <= mn_now)
1218     {
1219       ev_timer *w = (ev_timer *)timers [0];
1220
1221       /*assert (("inactive timer on timer heap detected", ev_is_active (w)));*/
1222
1223       /* first reschedule or stop timer */
1224       if (w->repeat)
1225         {
1226           assert (("negative ev_timer repeat value found while processing timers", w->repeat > 0.));
1227
1228           ((WT)w)->at += w->repeat;
1229           if (((WT)w)->at < mn_now)
1230             ((WT)w)->at = mn_now;
1231
1232           downheap (timers, timercnt, 0);
1233         }
1234       else
1235         ev_timer_stop (EV_A_ w); /* nonrepeating: stop timer */
1236
1237       ev_feed_event (EV_A_ (W)w, EV_TIMEOUT);
1238     }
1239 }
1240
1241 #if EV_PERIODIC_ENABLE
1242 void inline_size
1243 periodics_reify (EV_P)
1244 {
1245   while (periodiccnt && ((WT)periodics [0])->at <= ev_rt_now)
1246     {
1247       ev_periodic *w = (ev_periodic *)periodics [0];
1248
1249       /*assert (("inactive timer on periodic heap detected", ev_is_active (w)));*/
1250
1251       /* first reschedule or stop timer */
1252       if (w->reschedule_cb)
1253         {
1254           ((WT)w)->at = w->reschedule_cb (w, ev_rt_now + TIME_EPSILON);
1255           assert (("ev_periodic reschedule callback returned time in the past", ((WT)w)->at > ev_rt_now));
1256           downheap (periodics, periodiccnt, 0);
1257         }
1258       else if (w->interval)
1259         {
1260           ((WT)w)->at = w->offset + ceil ((ev_rt_now - w->offset) / w->interval) * w->interval;
1261           if (((WT)w)->at - ev_rt_now <= TIME_EPSILON) ((WT)w)->at += w->interval;
1262           assert (("ev_periodic timeout in the past detected while processing timers, negative interval?", ((WT)w)->at > ev_rt_now));
1263           downheap (periodics, periodiccnt, 0);
1264         }
1265       else
1266         ev_periodic_stop (EV_A_ w); /* nonrepeating: stop timer */
1267
1268       ev_feed_event (EV_A_ (W)w, EV_PERIODIC);
1269     }
1270 }
1271
1272 static void noinline
1273 periodics_reschedule (EV_P)
1274 {
1275   int i;
1276
1277   /* adjust periodics after time jump */
1278   for (i = 0; i < periodiccnt; ++i)
1279     {
1280       ev_periodic *w = (ev_periodic *)periodics [i];
1281
1282       if (w->reschedule_cb)
1283         ((WT)w)->at = w->reschedule_cb (w, ev_rt_now);
1284       else if (w->interval)
1285         ((WT)w)->at = w->offset + ceil ((ev_rt_now - w->offset) / w->interval) * w->interval;
1286     }
1287
1288   /* now rebuild the heap */
1289   for (i = periodiccnt >> 1; i--; )
1290     downheap (periodics, periodiccnt, i);
1291 }
1292 #endif
1293
1294 #if EV_IDLE_ENABLE
1295 void inline_size
1296 idle_reify (EV_P)
1297 {
1298   if (expect_false (idleall))
1299     {
1300       int pri;
1301
1302       for (pri = NUMPRI; pri--; )
1303         {
1304           if (pendingcnt [pri])
1305             break;
1306
1307           if (idlecnt [pri])
1308             {
1309               queue_events (EV_A_ (W *)idles [pri], idlecnt [pri], EV_IDLE);
1310               break;
1311             }
1312         }
1313     }
1314 }
1315 #endif
1316
1317 void inline_speed
1318 time_update (EV_P_ ev_tstamp max_block)
1319 {
1320   int i;
1321
1322 #if EV_USE_MONOTONIC
1323   if (expect_true (have_monotonic))
1324     {
1325       ev_tstamp odiff = rtmn_diff;
1326
1327       mn_now = get_clock ();
1328
1329       /* only fetch the realtime clock every 0.5*MIN_TIMEJUMP seconds */
1330       /* interpolate in the meantime */
1331       if (expect_true (mn_now - now_floor < MIN_TIMEJUMP * .5))
1332         {
1333           ev_rt_now = rtmn_diff + mn_now;
1334           return;
1335         }
1336
1337       now_floor = mn_now;
1338       ev_rt_now = ev_time ();
1339
1340       /* loop a few times, before making important decisions.
1341        * on the choice of "4": one iteration isn't enough,
1342        * in case we get preempted during the calls to
1343        * ev_time and get_clock. a second call is almost guaranteed
1344        * to succeed in that case, though. and looping a few more times
1345        * doesn't hurt either as we only do this on time-jumps or
1346        * in the unlikely event of having been preempted here.
1347        */
1348       for (i = 4; --i; )
1349         {
1350           rtmn_diff = ev_rt_now - mn_now;
1351
1352           if (fabs (odiff - rtmn_diff) < MIN_TIMEJUMP)
1353             return; /* all is well */
1354
1355           ev_rt_now = ev_time ();
1356           mn_now    = get_clock ();
1357           now_floor = mn_now;
1358         }
1359
1360 # if EV_PERIODIC_ENABLE
1361       periodics_reschedule (EV_A);
1362 # endif
1363       /* no timer adjustment, as the monotonic clock doesn't jump */
1364       /* timers_reschedule (EV_A_ rtmn_diff - odiff) */
1365     }
1366   else
1367 #endif
1368     {
1369       ev_rt_now = ev_time ();
1370
1371       if (expect_false (mn_now > ev_rt_now || ev_rt_now > mn_now + max_block + MIN_TIMEJUMP))
1372         {
1373 #if EV_PERIODIC_ENABLE
1374           periodics_reschedule (EV_A);
1375 #endif
1376           /* adjust timers. this is easy, as the offset is the same for all of them */
1377           for (i = 0; i < timercnt; ++i)
1378             ((WT)timers [i])->at += ev_rt_now - mn_now;
1379         }
1380
1381       mn_now = ev_rt_now;
1382     }
1383 }
1384
1385 void
1386 ev_ref (EV_P)
1387 {
1388   ++activecnt;
1389 }
1390
1391 void
1392 ev_unref (EV_P)
1393 {
1394   --activecnt;
1395 }
1396
1397 static int loop_done;
1398
1399 void
1400 ev_loop (EV_P_ int flags)
1401 {
1402   loop_done = flags & (EVLOOP_ONESHOT | EVLOOP_NONBLOCK)
1403             ? EVUNLOOP_ONE
1404             : EVUNLOOP_CANCEL;
1405
1406   call_pending (EV_A); /* in case we recurse, ensure ordering stays nice and clean */
1407
1408   do
1409     {
1410 #ifndef _WIN32
1411       if (expect_false (curpid)) /* penalise the forking check even more */
1412         if (expect_false (getpid () != curpid))
1413           {
1414             curpid = getpid ();
1415             postfork = 1;
1416           }
1417 #endif
1418
1419 #if EV_FORK_ENABLE
1420       /* we might have forked, so queue fork handlers */
1421       if (expect_false (postfork))
1422         if (forkcnt)
1423           {
1424             queue_events (EV_A_ (W *)forks, forkcnt, EV_FORK);
1425             call_pending (EV_A);
1426           }
1427 #endif
1428
1429       /* queue prepare watchers (and execute them) */
1430       if (expect_false (preparecnt))
1431         {
1432           queue_events (EV_A_ (W *)prepares, preparecnt, EV_PREPARE);
1433           call_pending (EV_A);
1434         }
1435
1436       if (expect_false (!activecnt))
1437         break;
1438
1439       /* we might have forked, so reify kernel state if necessary */
1440       if (expect_false (postfork))
1441         loop_fork (EV_A);
1442
1443       /* update fd-related kernel structures */
1444       fd_reify (EV_A);
1445
1446       /* calculate blocking time */
1447       {
1448         ev_tstamp block;
1449
1450         if (expect_false (flags & EVLOOP_NONBLOCK || idleall || !activecnt))
1451           block = 0.; /* do not block at all */
1452         else
1453           {
1454             /* update time to cancel out callback processing overhead */
1455             time_update (EV_A_ 1e100);
1456
1457             block = MAX_BLOCKTIME;
1458
1459             if (timercnt)
1460               {
1461                 ev_tstamp to = ((WT)timers [0])->at - mn_now + backend_fudge;
1462                 if (block > to) block = to;
1463               }
1464
1465 #if EV_PERIODIC_ENABLE
1466             if (periodiccnt)
1467               {
1468                 ev_tstamp to = ((WT)periodics [0])->at - ev_rt_now + backend_fudge;
1469                 if (block > to) block = to;
1470               }
1471 #endif
1472
1473             if (expect_false (block < 0.)) block = 0.;
1474           }
1475
1476         ++loop_count;
1477         backend_poll (EV_A_ block);
1478
1479         /* update ev_rt_now, do magic */
1480         time_update (EV_A_ block);
1481       }
1482
1483       /* queue pending timers and reschedule them */
1484       timers_reify (EV_A); /* relative timers called last */
1485 #if EV_PERIODIC_ENABLE
1486       periodics_reify (EV_A); /* absolute timers called first */
1487 #endif
1488
1489 #if EV_IDLE_ENABLE
1490       /* queue idle watchers unless other events are pending */
1491       idle_reify (EV_A);
1492 #endif
1493
1494       /* queue check watchers, to be executed first */
1495       if (expect_false (checkcnt))
1496         queue_events (EV_A_ (W *)checks, checkcnt, EV_CHECK);
1497
1498       call_pending (EV_A);
1499
1500     }
1501   while (expect_true (activecnt && !loop_done));
1502
1503   if (loop_done == EVUNLOOP_ONE)
1504     loop_done = EVUNLOOP_CANCEL;
1505 }
1506
1507 void
1508 ev_unloop (EV_P_ int how)
1509 {
1510   loop_done = how;
1511 }
1512
1513 /*****************************************************************************/
1514
1515 void inline_size
1516 wlist_add (WL *head, WL elem)
1517 {
1518   elem->next = *head;
1519   *head = elem;
1520 }
1521
1522 void inline_size
1523 wlist_del (WL *head, WL elem)
1524 {
1525   while (*head)
1526     {
1527       if (*head == elem)
1528         {
1529           *head = elem->next;
1530           return;
1531         }
1532
1533       head = &(*head)->next;
1534     }
1535 }
1536
1537 void inline_speed
1538 clear_pending (EV_P_ W w)
1539 {
1540   if (w->pending)
1541     {
1542       pendings [ABSPRI (w)][w->pending - 1].w = 0;
1543       w->pending = 0;
1544     }
1545 }
1546
1547 int
1548 ev_clear_pending (EV_P_ void *w)
1549 {
1550   W w_ = (W)w;
1551   int pending = w_->pending;
1552
1553   if (expect_true (pending))
1554     {
1555       ANPENDING *p = pendings [ABSPRI (w_)] + pending - 1;
1556       w_->pending = 0;
1557       p->w = 0;
1558       return p->events;
1559     }
1560   else
1561     return 0;
1562 }
1563
1564 void inline_size
1565 pri_adjust (EV_P_ W w)
1566 {
1567   int pri = w->priority;
1568   pri = pri < EV_MINPRI ? EV_MINPRI : pri;
1569   pri = pri > EV_MAXPRI ? EV_MAXPRI : pri;
1570   w->priority = pri;
1571 }
1572
1573 void inline_speed
1574 ev_start (EV_P_ W w, int active)
1575 {
1576   pri_adjust (EV_A_ w);
1577   w->active = active;
1578   ev_ref (EV_A);
1579 }
1580
1581 void inline_size
1582 ev_stop (EV_P_ W w)
1583 {
1584   ev_unref (EV_A);
1585   w->active = 0;
1586 }
1587
1588 /*****************************************************************************/
1589
1590 void noinline
1591 ev_io_start (EV_P_ ev_io *w)
1592 {
1593   int fd = w->fd;
1594
1595   if (expect_false (ev_is_active (w)))
1596     return;
1597
1598   assert (("ev_io_start called with negative fd", fd >= 0));
1599
1600   ev_start (EV_A_ (W)w, 1);
1601   array_needsize (ANFD, anfds, anfdmax, fd + 1, anfds_init);
1602   wlist_add ((WL *)&anfds[fd].head, (WL)w);
1603
1604   fd_change (EV_A_ fd);
1605 }
1606
1607 void noinline
1608 ev_io_stop (EV_P_ ev_io *w)
1609 {
1610   clear_pending (EV_A_ (W)w);
1611   if (expect_false (!ev_is_active (w)))
1612     return;
1613
1614   assert (("ev_io_start called with illegal fd (must stay constant after start!)", w->fd >= 0 && w->fd < anfdmax));
1615
1616   wlist_del ((WL *)&anfds[w->fd].head, (WL)w);
1617   ev_stop (EV_A_ (W)w);
1618
1619   fd_change (EV_A_ w->fd);
1620 }
1621
1622 void noinline
1623 ev_timer_start (EV_P_ ev_timer *w)
1624 {
1625   if (expect_false (ev_is_active (w)))
1626     return;
1627
1628   ((WT)w)->at += mn_now;
1629
1630   assert (("ev_timer_start called with negative timer repeat value", w->repeat >= 0.));
1631
1632   ev_start (EV_A_ (W)w, ++timercnt);
1633   array_needsize (WT, timers, timermax, timercnt, EMPTY2);
1634   timers [timercnt - 1] = (WT)w;
1635   upheap (timers, timercnt - 1);
1636
1637   /*assert (("internal timer heap corruption", timers [((W)w)->active - 1] == w));*/
1638 }
1639
1640 void noinline
1641 ev_timer_stop (EV_P_ ev_timer *w)
1642 {
1643   clear_pending (EV_A_ (W)w);
1644   if (expect_false (!ev_is_active (w)))
1645     return;
1646
1647   assert (("internal timer heap corruption", timers [((W)w)->active - 1] == (WT)w));
1648
1649   {
1650     int active = ((W)w)->active;
1651
1652     if (expect_true (--active < --timercnt))
1653       {
1654         timers [active] = timers [timercnt];
1655         adjustheap (timers, timercnt, active);
1656       }
1657   }
1658
1659   ((WT)w)->at -= mn_now;
1660
1661   ev_stop (EV_A_ (W)w);
1662 }
1663
1664 void noinline
1665 ev_timer_again (EV_P_ ev_timer *w)
1666 {
1667   if (ev_is_active (w))
1668     {
1669       if (w->repeat)
1670         {
1671           ((WT)w)->at = mn_now + w->repeat;
1672           adjustheap (timers, timercnt, ((W)w)->active - 1);
1673         }
1674       else
1675         ev_timer_stop (EV_A_ w);
1676     }
1677   else if (w->repeat)
1678     {
1679       w->at = w->repeat;
1680       ev_timer_start (EV_A_ w);
1681     }
1682 }
1683
1684 #if EV_PERIODIC_ENABLE
1685 void noinline
1686 ev_periodic_start (EV_P_ ev_periodic *w)
1687 {
1688   if (expect_false (ev_is_active (w)))
1689     return;
1690
1691   if (w->reschedule_cb)
1692     ((WT)w)->at = w->reschedule_cb (w, ev_rt_now);
1693   else if (w->interval)
1694     {
1695       assert (("ev_periodic_start called with negative interval value", w->interval >= 0.));
1696       /* this formula differs from the one in periodic_reify because we do not always round up */
1697       ((WT)w)->at = w->offset + ceil ((ev_rt_now - w->offset) / w->interval) * w->interval;
1698     }
1699   else
1700     ((WT)w)->at = w->offset;
1701
1702   ev_start (EV_A_ (W)w, ++periodiccnt);
1703   array_needsize (WT, periodics, periodicmax, periodiccnt, EMPTY2);
1704   periodics [periodiccnt - 1] = (WT)w;
1705   upheap (periodics, periodiccnt - 1);
1706
1707   /*assert (("internal periodic heap corruption", periodics [((W)w)->active - 1] == w));*/
1708 }
1709
1710 void noinline
1711 ev_periodic_stop (EV_P_ ev_periodic *w)
1712 {
1713   clear_pending (EV_A_ (W)w);
1714   if (expect_false (!ev_is_active (w)))
1715     return;
1716
1717   assert (("internal periodic heap corruption", periodics [((W)w)->active - 1] == (WT)w));
1718
1719   {
1720     int active = ((W)w)->active;
1721
1722     if (expect_true (--active < --periodiccnt))
1723       {
1724         periodics [active] = periodics [periodiccnt];
1725         adjustheap (periodics, periodiccnt, active);
1726       }
1727   }
1728
1729   ev_stop (EV_A_ (W)w);
1730 }
1731
1732 void noinline
1733 ev_periodic_again (EV_P_ ev_periodic *w)
1734 {
1735   /* TODO: use adjustheap and recalculation */
1736   ev_periodic_stop (EV_A_ w);
1737   ev_periodic_start (EV_A_ w);
1738 }
1739 #endif
1740
1741 #ifndef SA_RESTART
1742 # define SA_RESTART 0
1743 #endif
1744
1745 void noinline
1746 ev_signal_start (EV_P_ ev_signal *w)
1747 {
1748 #if EV_MULTIPLICITY
1749   assert (("signal watchers are only supported in the default loop", loop == ev_default_loop_ptr));
1750 #endif
1751   if (expect_false (ev_is_active (w)))
1752     return;
1753
1754   assert (("ev_signal_start called with illegal signal number", w->signum > 0));
1755
1756   {
1757 #ifndef _WIN32
1758     sigset_t full, prev;
1759     sigfillset (&full);
1760     sigprocmask (SIG_SETMASK, &full, &prev);
1761 #endif
1762
1763     array_needsize (ANSIG, signals, signalmax, w->signum, signals_init);
1764
1765 #ifndef _WIN32
1766     sigprocmask (SIG_SETMASK, &prev, 0);
1767 #endif
1768   }
1769
1770   ev_start (EV_A_ (W)w, 1);
1771   wlist_add ((WL *)&signals [w->signum - 1].head, (WL)w);
1772
1773   if (!((WL)w)->next)
1774     {
1775 #if _WIN32
1776       signal (w->signum, sighandler);
1777 #else
1778       struct sigaction sa;
1779       sa.sa_handler = sighandler;
1780       sigfillset (&sa.sa_mask);
1781       sa.sa_flags = SA_RESTART; /* if restarting works we save one iteration */
1782       sigaction (w->signum, &sa, 0);
1783 #endif
1784     }
1785 }
1786
1787 void noinline
1788 ev_signal_stop (EV_P_ ev_signal *w)
1789 {
1790   clear_pending (EV_A_ (W)w);
1791   if (expect_false (!ev_is_active (w)))
1792     return;
1793
1794   wlist_del ((WL *)&signals [w->signum - 1].head, (WL)w);
1795   ev_stop (EV_A_ (W)w);
1796
1797   if (!signals [w->signum - 1].head)
1798     signal (w->signum, SIG_DFL);
1799 }
1800
1801 void
1802 ev_child_start (EV_P_ ev_child *w)
1803 {
1804 #if EV_MULTIPLICITY
1805   assert (("child watchers are only supported in the default loop", loop == ev_default_loop_ptr));
1806 #endif
1807   if (expect_false (ev_is_active (w)))
1808     return;
1809
1810   ev_start (EV_A_ (W)w, 1);
1811   wlist_add ((WL *)&childs [w->pid & (EV_PID_HASHSIZE - 1)], (WL)w);
1812 }
1813
1814 void
1815 ev_child_stop (EV_P_ ev_child *w)
1816 {
1817   clear_pending (EV_A_ (W)w);
1818   if (expect_false (!ev_is_active (w)))
1819     return;
1820
1821   wlist_del ((WL *)&childs [w->pid & (EV_PID_HASHSIZE - 1)], (WL)w);
1822   ev_stop (EV_A_ (W)w);
1823 }
1824
1825 #if EV_STAT_ENABLE
1826
1827 # ifdef _WIN32
1828 #  undef lstat
1829 #  define lstat(a,b) _stati64 (a,b)
1830 # endif
1831
1832 #define DEF_STAT_INTERVAL 5.0074891
1833 #define MIN_STAT_INTERVAL 0.1074891
1834
1835 static void noinline stat_timer_cb (EV_P_ ev_timer *w_, int revents);
1836
1837 #if EV_USE_INOTIFY
1838 # define EV_INOTIFY_BUFSIZE 8192
1839
1840 static void noinline
1841 infy_add (EV_P_ ev_stat *w)
1842 {
1843   w->wd = inotify_add_watch (fs_fd, w->path, IN_ATTRIB | IN_DELETE_SELF | IN_MOVE_SELF | IN_MODIFY | IN_DONT_FOLLOW | IN_MASK_ADD);
1844
1845   if (w->wd < 0)
1846     {
1847       ev_timer_start (EV_A_ &w->timer); /* this is not race-free, so we still need to recheck periodically */
1848
1849       /* monitor some parent directory for speedup hints */
1850       if ((errno == ENOENT || errno == EACCES) && strlen (w->path) < 4096)
1851         {
1852           char path [4096];
1853           strcpy (path, w->path);
1854
1855           do
1856             {
1857               int mask = IN_MASK_ADD | IN_DELETE_SELF | IN_MOVE_SELF
1858                        | (errno == EACCES ? IN_ATTRIB : IN_CREATE | IN_MOVED_TO);
1859
1860               char *pend = strrchr (path, '/');
1861
1862               if (!pend)
1863                 break; /* whoops, no '/', complain to your admin */
1864
1865               *pend = 0;
1866               w->wd = inotify_add_watch (fs_fd, path, mask);
1867             } 
1868           while (w->wd < 0 && (errno == ENOENT || errno == EACCES));
1869         }
1870     }
1871   else
1872     ev_timer_stop (EV_A_ &w->timer); /* we can watch this in a race-free way */
1873
1874   if (w->wd >= 0)
1875     wlist_add (&fs_hash [w->wd & (EV_INOTIFY_HASHSIZE - 1)].head, (WL)w);
1876 }
1877
1878 static void noinline
1879 infy_del (EV_P_ ev_stat *w)
1880 {
1881   int slot;
1882   int wd = w->wd;
1883
1884   if (wd < 0)
1885     return;
1886
1887   w->wd = -2;
1888   slot = wd & (EV_INOTIFY_HASHSIZE - 1);
1889   wlist_del (&fs_hash [slot].head, (WL)w);
1890
1891   /* remove this watcher, if others are watching it, they will rearm */
1892   inotify_rm_watch (fs_fd, wd);
1893 }
1894
1895 static void noinline
1896 infy_wd (EV_P_ int slot, int wd, struct inotify_event *ev)
1897 {
1898   if (slot < 0)
1899     /* overflow, need to check for all hahs slots */
1900     for (slot = 0; slot < EV_INOTIFY_HASHSIZE; ++slot)
1901       infy_wd (EV_A_ slot, wd, ev);
1902   else
1903     {
1904       WL w_;
1905
1906       for (w_ = fs_hash [slot & (EV_INOTIFY_HASHSIZE - 1)].head; w_; )
1907         {
1908           ev_stat *w = (ev_stat *)w_;
1909           w_ = w_->next; /* lets us remove this watcher and all before it */
1910
1911           if (w->wd == wd || wd == -1)
1912             {
1913               if (ev->mask & (IN_IGNORED | IN_UNMOUNT | IN_DELETE_SELF))
1914                 {
1915                   w->wd = -1;
1916                   infy_add (EV_A_ w); /* re-add, no matter what */
1917                 }
1918
1919               stat_timer_cb (EV_A_ &w->timer, 0);
1920             }
1921         }
1922     }
1923 }
1924
1925 static void
1926 infy_cb (EV_P_ ev_io *w, int revents)
1927 {
1928   char buf [EV_INOTIFY_BUFSIZE];
1929   struct inotify_event *ev = (struct inotify_event *)buf;
1930   int ofs;
1931   int len = read (fs_fd, buf, sizeof (buf));
1932
1933   for (ofs = 0; ofs < len; ofs += sizeof (struct inotify_event) + ev->len)
1934     infy_wd (EV_A_ ev->wd, ev->wd, ev);
1935 }
1936
1937 void inline_size
1938 infy_init (EV_P)
1939 {
1940   if (fs_fd != -2)
1941     return;
1942
1943   fs_fd = inotify_init ();
1944
1945   if (fs_fd >= 0)
1946     {
1947       ev_io_init (&fs_w, infy_cb, fs_fd, EV_READ);
1948       ev_set_priority (&fs_w, EV_MAXPRI);
1949       ev_io_start (EV_A_ &fs_w);
1950     }
1951 }
1952
1953 void inline_size
1954 infy_fork (EV_P)
1955 {
1956   int slot;
1957
1958   if (fs_fd < 0)
1959     return;
1960
1961   close (fs_fd);
1962   fs_fd = inotify_init ();
1963
1964   for (slot = 0; slot < EV_INOTIFY_HASHSIZE; ++slot)
1965     {
1966       WL w_ = fs_hash [slot].head;
1967       fs_hash [slot].head = 0;
1968
1969       while (w_)
1970         {
1971           ev_stat *w = (ev_stat *)w_;
1972           w_ = w_->next; /* lets us add this watcher */
1973
1974           w->wd = -1;
1975
1976           if (fs_fd >= 0)
1977             infy_add (EV_A_ w); /* re-add, no matter what */
1978           else
1979             ev_timer_start (EV_A_ &w->timer);
1980         }
1981
1982     }
1983 }
1984
1985 #endif
1986
1987 void
1988 ev_stat_stat (EV_P_ ev_stat *w)
1989 {
1990   if (lstat (w->path, &w->attr) < 0)
1991     w->attr.st_nlink = 0;
1992   else if (!w->attr.st_nlink)
1993     w->attr.st_nlink = 1;
1994 }
1995
1996 static void noinline
1997 stat_timer_cb (EV_P_ ev_timer *w_, int revents)
1998 {
1999   ev_stat *w = (ev_stat *)(((char *)w_) - offsetof (ev_stat, timer));
2000
2001   /* we copy this here each the time so that */
2002   /* prev has the old value when the callback gets invoked */
2003   w->prev = w->attr;
2004   ev_stat_stat (EV_A_ w);
2005
2006   /* memcmp doesn't work on netbsd, they.... do stuff to their struct stat */
2007   if (
2008     w->prev.st_dev      != w->attr.st_dev
2009     || w->prev.st_ino   != w->attr.st_ino
2010     || w->prev.st_mode  != w->attr.st_mode
2011     || w->prev.st_nlink != w->attr.st_nlink
2012     || w->prev.st_uid   != w->attr.st_uid
2013     || w->prev.st_gid   != w->attr.st_gid
2014     || w->prev.st_rdev  != w->attr.st_rdev
2015     || w->prev.st_size  != w->attr.st_size
2016     || w->prev.st_atime != w->attr.st_atime
2017     || w->prev.st_mtime != w->attr.st_mtime
2018     || w->prev.st_ctime != w->attr.st_ctime
2019   ) {
2020       #if EV_USE_INOTIFY
2021         infy_del (EV_A_ w);
2022         infy_add (EV_A_ w);
2023         ev_stat_stat (EV_A_ w); /* avoid race... */
2024       #endif
2025
2026       ev_feed_event (EV_A_ w, EV_STAT);
2027     }
2028 }
2029
2030 void
2031 ev_stat_start (EV_P_ ev_stat *w)
2032 {
2033   if (expect_false (ev_is_active (w)))
2034     return;
2035
2036   /* since we use memcmp, we need to clear any padding data etc. */
2037   memset (&w->prev, 0, sizeof (ev_statdata));
2038   memset (&w->attr, 0, sizeof (ev_statdata));
2039
2040   ev_stat_stat (EV_A_ w);
2041
2042   if (w->interval < MIN_STAT_INTERVAL)
2043     w->interval = w->interval ? MIN_STAT_INTERVAL : DEF_STAT_INTERVAL;
2044
2045   ev_timer_init (&w->timer, stat_timer_cb, w->interval, w->interval);
2046   ev_set_priority (&w->timer, ev_priority (w));
2047
2048 #if EV_USE_INOTIFY
2049   infy_init (EV_A);
2050
2051   if (fs_fd >= 0)
2052     infy_add (EV_A_ w);
2053   else
2054 #endif
2055     ev_timer_start (EV_A_ &w->timer);
2056
2057   ev_start (EV_A_ (W)w, 1);
2058 }
2059
2060 void
2061 ev_stat_stop (EV_P_ ev_stat *w)
2062 {
2063   clear_pending (EV_A_ (W)w);
2064   if (expect_false (!ev_is_active (w)))
2065     return;
2066
2067 #if EV_USE_INOTIFY
2068   infy_del (EV_A_ w);
2069 #endif
2070   ev_timer_stop (EV_A_ &w->timer);
2071
2072   ev_stop (EV_A_ (W)w);
2073 }
2074 #endif
2075
2076 #if EV_IDLE_ENABLE
2077 void
2078 ev_idle_start (EV_P_ ev_idle *w)
2079 {
2080   if (expect_false (ev_is_active (w)))
2081     return;
2082
2083   pri_adjust (EV_A_ (W)w);
2084
2085   {
2086     int active = ++idlecnt [ABSPRI (w)];
2087
2088     ++idleall;
2089     ev_start (EV_A_ (W)w, active);
2090
2091     array_needsize (ev_idle *, idles [ABSPRI (w)], idlemax [ABSPRI (w)], active, EMPTY2);
2092     idles [ABSPRI (w)][active - 1] = w;
2093   }
2094 }
2095
2096 void
2097 ev_idle_stop (EV_P_ ev_idle *w)
2098 {
2099   clear_pending (EV_A_ (W)w);
2100   if (expect_false (!ev_is_active (w)))
2101     return;
2102
2103   {
2104     int active = ((W)w)->active;
2105
2106     idles [ABSPRI (w)][active - 1] = idles [ABSPRI (w)][--idlecnt [ABSPRI (w)]];
2107     ((W)idles [ABSPRI (w)][active - 1])->active = active;
2108
2109     ev_stop (EV_A_ (W)w);
2110     --idleall;
2111   }
2112 }
2113 #endif
2114
2115 void
2116 ev_prepare_start (EV_P_ ev_prepare *w)
2117 {
2118   if (expect_false (ev_is_active (w)))
2119     return;
2120
2121   ev_start (EV_A_ (W)w, ++preparecnt);
2122   array_needsize (ev_prepare *, prepares, preparemax, preparecnt, EMPTY2);
2123   prepares [preparecnt - 1] = w;
2124 }
2125
2126 void
2127 ev_prepare_stop (EV_P_ ev_prepare *w)
2128 {
2129   clear_pending (EV_A_ (W)w);
2130   if (expect_false (!ev_is_active (w)))
2131     return;
2132
2133   {
2134     int active = ((W)w)->active;
2135     prepares [active - 1] = prepares [--preparecnt];
2136     ((W)prepares [active - 1])->active = active;
2137   }
2138
2139   ev_stop (EV_A_ (W)w);
2140 }
2141
2142 void
2143 ev_check_start (EV_P_ ev_check *w)
2144 {
2145   if (expect_false (ev_is_active (w)))
2146     return;
2147
2148   ev_start (EV_A_ (W)w, ++checkcnt);
2149   array_needsize (ev_check *, checks, checkmax, checkcnt, EMPTY2);
2150   checks [checkcnt - 1] = w;
2151 }
2152
2153 void
2154 ev_check_stop (EV_P_ ev_check *w)
2155 {
2156   clear_pending (EV_A_ (W)w);
2157   if (expect_false (!ev_is_active (w)))
2158     return;
2159
2160   {
2161     int active = ((W)w)->active;
2162     checks [active - 1] = checks [--checkcnt];
2163     ((W)checks [active - 1])->active = active;
2164   }
2165
2166   ev_stop (EV_A_ (W)w);
2167 }
2168
2169 #if EV_EMBED_ENABLE
2170 void noinline
2171 ev_embed_sweep (EV_P_ ev_embed *w)
2172 {
2173   ev_loop (w->loop, EVLOOP_NONBLOCK);
2174 }
2175
2176 static void
2177 embed_cb (EV_P_ ev_io *io, int revents)
2178 {
2179   ev_embed *w = (ev_embed *)(((char *)io) - offsetof (ev_embed, io));
2180
2181   if (ev_cb (w))
2182     ev_feed_event (EV_A_ (W)w, EV_EMBED);
2183   else
2184     ev_embed_sweep (loop, w);
2185 }
2186
2187 void
2188 ev_embed_start (EV_P_ ev_embed *w)
2189 {
2190   if (expect_false (ev_is_active (w)))
2191     return;
2192
2193   {
2194     struct ev_loop *loop = w->loop;
2195     assert (("loop to be embedded is not embeddable", backend & ev_embeddable_backends ()));
2196     ev_io_init (&w->io, embed_cb, backend_fd, EV_READ);
2197   }
2198
2199   ev_set_priority (&w->io, ev_priority (w));
2200   ev_io_start (EV_A_ &w->io);
2201
2202   ev_start (EV_A_ (W)w, 1);
2203 }
2204
2205 void
2206 ev_embed_stop (EV_P_ ev_embed *w)
2207 {
2208   clear_pending (EV_A_ (W)w);
2209   if (expect_false (!ev_is_active (w)))
2210     return;
2211
2212   ev_io_stop (EV_A_ &w->io);
2213
2214   ev_stop (EV_A_ (W)w);
2215 }
2216 #endif
2217
2218 #if EV_FORK_ENABLE
2219 void
2220 ev_fork_start (EV_P_ ev_fork *w)
2221 {
2222   if (expect_false (ev_is_active (w)))
2223     return;
2224
2225   ev_start (EV_A_ (W)w, ++forkcnt);
2226   array_needsize (ev_fork *, forks, forkmax, forkcnt, EMPTY2);
2227   forks [forkcnt - 1] = w;
2228 }
2229
2230 void
2231 ev_fork_stop (EV_P_ ev_fork *w)
2232 {
2233   clear_pending (EV_A_ (W)w);
2234   if (expect_false (!ev_is_active (w)))
2235     return;
2236
2237   {
2238     int active = ((W)w)->active;
2239     forks [active - 1] = forks [--forkcnt];
2240     ((W)forks [active - 1])->active = active;
2241   }
2242
2243   ev_stop (EV_A_ (W)w);
2244 }
2245 #endif
2246
2247 /*****************************************************************************/
2248
2249 struct ev_once
2250 {
2251   ev_io io;
2252   ev_timer to;
2253   void (*cb)(int revents, void *arg);
2254   void *arg;
2255 };
2256
2257 static void
2258 once_cb (EV_P_ struct ev_once *once, int revents)
2259 {
2260   void (*cb)(int revents, void *arg) = once->cb;
2261   void *arg = once->arg;
2262
2263   ev_io_stop (EV_A_ &once->io);
2264   ev_timer_stop (EV_A_ &once->to);
2265   ev_free (once);
2266
2267   cb (revents, arg);
2268 }
2269
2270 static void
2271 once_cb_io (EV_P_ ev_io *w, int revents)
2272 {
2273   once_cb (EV_A_ (struct ev_once *)(((char *)w) - offsetof (struct ev_once, io)), revents);
2274 }
2275
2276 static void
2277 once_cb_to (EV_P_ ev_timer *w, int revents)
2278 {
2279   once_cb (EV_A_ (struct ev_once *)(((char *)w) - offsetof (struct ev_once, to)), revents);
2280 }
2281
2282 void
2283 ev_once (EV_P_ int fd, int events, ev_tstamp timeout, void (*cb)(int revents, void *arg), void *arg)
2284 {
2285   struct ev_once *once = (struct ev_once *)ev_malloc (sizeof (struct ev_once));
2286
2287   if (expect_false (!once))
2288     {
2289       cb (EV_ERROR | EV_READ | EV_WRITE | EV_TIMEOUT, arg);
2290       return;
2291     }
2292
2293   once->cb  = cb;
2294   once->arg = arg;
2295
2296   ev_init (&once->io, once_cb_io);
2297   if (fd >= 0)
2298     {
2299       ev_io_set (&once->io, fd, events);
2300       ev_io_start (EV_A_ &once->io);
2301     }
2302
2303   ev_init (&once->to, once_cb_to);
2304   if (timeout >= 0.)
2305     {
2306       ev_timer_set (&once->to, timeout, 0.);
2307       ev_timer_start (EV_A_ &once->to);
2308     }
2309 }
2310
2311 #ifdef __cplusplus
2312 }
2313 #endif
2314