]> git.llucax.com Git - software/mutt-debian.git/blob - imap/message.c
removing object files, refreshing sidebar and po.de patches
[software/mutt-debian.git] / imap / message.c
1 /*
2  * Copyright (C) 1996-9 Brandon Long <blong@fiction.net>
3  * Copyright (C) 1999-2009 Brendan Cully <brendan@kublai.com>
4  *
5  *     This program is free software; you can redistribute it and/or modify
6  *     it under the terms of the GNU General Public License as published by
7  *     the Free Software Foundation; either version 2 of the License, or
8  *     (at your option) any later version.
9  *
10  *     This program is distributed in the hope that it will be useful,
11  *     but WITHOUT ANY WARRANTY; without even the implied warranty of
12  *     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13  *     GNU General Public License for more details.
14  *
15  *     You should have received a copy of the GNU General Public License
16  *     along with this program; if not, write to the Free Software
17  *     Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301, USA.
18  *
19  */
20
21 /* message parsing/updating functions */
22
23 #if HAVE_CONFIG_H
24 # include "config.h"
25 #endif
26
27 #include <errno.h>
28 #include <stdlib.h>
29 #include <ctype.h>
30
31 #include "mutt.h"
32 #include "imap_private.h"
33 #include "message.h"
34 #include "mx.h"
35
36 #ifdef HAVE_PGP
37 #include "pgp.h"
38 #endif
39
40 #if USE_HCACHE
41 #include "hcache.h"
42 #endif
43
44 #include "bcache.h"
45
46 static FILE* msg_cache_get (IMAP_DATA* idata, HEADER* h);
47 static FILE* msg_cache_put (IMAP_DATA* idata, HEADER* h);
48 static int msg_cache_commit (IMAP_DATA* idata, HEADER* h);
49
50 static void flush_buffer(char* buf, size_t* len, CONNECTION* conn);
51 static int msg_fetch_header (CONTEXT* ctx, IMAP_HEADER* h, char* buf,
52   FILE* fp);
53 static int msg_parse_fetch (IMAP_HEADER* h, char* s);
54 static char* msg_parse_flags (IMAP_HEADER* h, char* s);
55
56 /* imap_read_headers:
57  * Changed to read many headers instead of just one. It will return the
58  * msgno of the last message read. It will return a value other than
59  * msgend if mail comes in while downloading headers (in theory).
60  */
61 int imap_read_headers (IMAP_DATA* idata, int msgbegin, int msgend)
62 {
63   CONTEXT* ctx;
64   char buf[LONG_STRING];
65   char hdrreq[STRING];
66   FILE *fp;
67   char tempfile[_POSIX_PATH_MAX];
68   int msgno, idx;
69   IMAP_HEADER h;
70   IMAP_STATUS* status;
71   int rc, mfhrc, oldmsgcount;
72   int fetchlast = 0;
73   int maxuid = 0;
74   const char *want_headers = "DATE FROM SUBJECT TO CC MESSAGE-ID REFERENCES CONTENT-TYPE CONTENT-DESCRIPTION IN-REPLY-TO REPLY-TO LINES LIST-POST X-LABEL";
75   progress_t progress;
76
77 #if USE_HCACHE
78   unsigned int *uid_validity = NULL;
79   unsigned int *puidnext = NULL;
80   unsigned int uidnext = 0;
81   int evalhc = 0;
82 #endif /* USE_HCACHE */
83
84   ctx = idata->ctx;
85
86   if (mutt_bit_isset (idata->capabilities,IMAP4REV1))
87   {
88     snprintf (hdrreq, sizeof (hdrreq), "BODY.PEEK[HEADER.FIELDS (%s%s%s)]",
89               want_headers, ImapHeaders ? " " : "", ImapHeaders ? ImapHeaders : "");
90   }
91   else if (mutt_bit_isset (idata->capabilities,IMAP4))
92   {
93     snprintf (hdrreq, sizeof (hdrreq), "RFC822.HEADER.LINES (%s%s%s)",
94               want_headers, ImapHeaders ? " " : "", ImapHeaders ? ImapHeaders : "");
95   }
96   else
97   {     /* Unable to fetch headers for lower versions */
98     mutt_error _("Unable to fetch headers from this IMAP server version.");
99     mutt_sleep (2);     /* pause a moment to let the user see the error */
100     return -1;
101   }
102
103   /* instead of downloading all headers and then parsing them, we parse them
104    * as they come in. */
105   mutt_mktemp (tempfile);
106   if (!(fp = safe_fopen (tempfile, "w+")))
107   {
108     mutt_error (_("Could not create temporary file %s"), tempfile);
109     mutt_sleep (2);
110     return -1;
111   }
112   unlink (tempfile);
113
114   /* make sure context has room to hold the mailbox */
115   while ((msgend) >= idata->ctx->hdrmax)
116     mx_alloc_memory (idata->ctx);
117
118   oldmsgcount = ctx->msgcount;
119   idata->reopen &= ~(IMAP_REOPEN_ALLOW|IMAP_NEWMAIL_PENDING);
120   idata->newMailCount = 0;
121
122 #if USE_HCACHE
123   idata->hcache = imap_hcache_open (idata, NULL);
124
125   if (idata->hcache && !msgbegin)
126   {
127     uid_validity = mutt_hcache_fetch_raw (idata->hcache, "/UIDVALIDITY", imap_hcache_keylen);
128     puidnext = mutt_hcache_fetch_raw (idata->hcache, "/UIDNEXT", imap_hcache_keylen);
129     if (puidnext)
130     {
131       uidnext = *puidnext;
132       FREE (&puidnext);
133     }
134     if (uid_validity && uidnext && *uid_validity == idata->uid_validity)
135       evalhc = 1;
136     FREE (&uid_validity);
137   }
138   if (evalhc)
139   {
140     mutt_progress_init (&progress, _("Evaluating cache..."),
141                         M_PROGRESS_MSG, ReadInc, msgend + 1);
142
143     snprintf (buf, sizeof (buf),
144       "UID FETCH 1:%u (UID FLAGS)", uidnext - 1);
145
146     imap_cmd_start (idata, buf);
147
148     rc = IMAP_CMD_CONTINUE;
149     for (msgno = msgbegin; rc == IMAP_CMD_CONTINUE; msgno++)
150     {
151       mutt_progress_update (&progress, msgno + 1, -1);
152
153       memset (&h, 0, sizeof (h));
154       h.data = safe_calloc (1, sizeof (IMAP_HEADER_DATA));
155       do
156       {
157         mfhrc = 0;
158
159         rc = imap_cmd_step (idata);
160         if (rc != IMAP_CMD_CONTINUE)
161         {
162           /* suppress GCC aliasing warning */
163           imap_free_header_data ((void**) (void*) &h.data);
164           break;
165         }
166
167         /* hole in the header cache */
168         if (!evalhc)
169           continue;
170
171         if ((mfhrc = msg_fetch_header (ctx, &h, idata->buf, NULL)) == -1)
172           continue;
173         else if (mfhrc < 0)
174         {
175           imap_free_header_data ((void**) (void*) &h.data);
176           break;
177         }
178
179         if (!h.data->uid)
180         {
181           dprint (2, (debugfile, "imap_read_headers: skipping hcache FETCH "
182                       "response for unknown message number %d\n", h.sid));
183           mfhrc = -1;
184           continue;
185         }
186
187         idx = h.sid - 1;
188         ctx->hdrs[idx] = imap_hcache_get (idata, h.data->uid);
189         if (ctx->hdrs[idx])
190         {
191           ctx->hdrs[idx]->index = idx;
192           /* messages which have not been expunged are ACTIVE (borrowed from mh
193            * folders) */
194           ctx->hdrs[idx]->active = 1;
195           ctx->hdrs[idx]->read = h.data->read;
196           ctx->hdrs[idx]->old = h.data->old;
197           ctx->hdrs[idx]->deleted = h.data->deleted;
198           ctx->hdrs[idx]->flagged = h.data->flagged;
199           ctx->hdrs[idx]->replied = h.data->replied;
200           ctx->hdrs[idx]->changed = h.data->changed;
201           /*  ctx->hdrs[msgno]->received is restored from mutt_hcache_restore */
202           ctx->hdrs[idx]->data = (void *) (h.data);
203
204           ctx->msgcount++;
205           ctx->size += ctx->hdrs[idx]->content->length;
206         }
207         else
208         {
209           /* bad header in the cache, we'll have to refetch. */
210           dprint (3, (debugfile, "bad cache entry at %d, giving up\n", h.sid - 1));
211           imap_free_header_data((void**) (void*) &h.data);
212           evalhc = 0;
213         }
214       }
215       while (rc != IMAP_CMD_OK && mfhrc == -1);
216       if (rc == IMAP_CMD_OK)
217         break;
218       if ((mfhrc < -1) || ((rc != IMAP_CMD_CONTINUE) && (rc != IMAP_CMD_OK)))
219       {
220         if (h.data)
221           imap_free_header_data ((void**) (void*) &h.data);
222         imap_hcache_close (idata);
223         safe_fclose (&fp);
224         return -1;
225       }
226     }
227     /* could also look for first null header in case hcache is holey */
228     msgbegin = ctx->msgcount;
229   }
230 #endif /* USE_HCACHE */
231
232   mutt_progress_init (&progress, _("Fetching message headers..."),
233                       M_PROGRESS_MSG, ReadInc, msgend + 1);
234
235   for (msgno = msgbegin; msgno <= msgend ; msgno++)
236   {
237     mutt_progress_update (&progress, msgno + 1, -1);
238
239     /* we may get notification of new mail while fetching headers */
240     if (msgno + 1 > fetchlast)
241     {
242       fetchlast = msgend + 1;
243
244       snprintf (buf, sizeof (buf),
245         "FETCH %d:%d (UID FLAGS INTERNALDATE RFC822.SIZE %s)", msgno + 1,
246         fetchlast, hdrreq);
247
248       imap_cmd_start (idata, buf);
249     }
250
251     rewind (fp);
252     memset (&h, 0, sizeof (h));
253     h.data = safe_calloc (1, sizeof (IMAP_HEADER_DATA));
254
255     /* this DO loop does two things:
256      * 1. handles untagged messages, so we can try again on the same msg
257      * 2. fetches the tagged response at the end of the last message.
258      */
259     do
260     {
261       mfhrc = 0;
262
263       rc = imap_cmd_step (idata);
264       if (rc != IMAP_CMD_CONTINUE)
265         break;
266
267       if ((mfhrc = msg_fetch_header (ctx, &h, idata->buf, fp)) == -1)
268         continue;
269       else if (mfhrc < 0)
270         break;
271
272       if (!ftello (fp))
273       {
274         dprint (2, (debugfile, "msg_fetch_header: ignoring fetch response with no body\n"));
275         mfhrc = -1;
276         continue;
277       }
278
279       /* make sure we don't get remnants from older larger message headers */
280       fputs ("\n\n", fp);
281
282       idx = h.sid - 1;
283       if (idx > msgend)
284       {
285         dprint (1, (debugfile, "imap_read_headers: skipping FETCH response for "
286                     "unknown message number %d\n", h.sid));
287         mfhrc = -1;
288         continue;
289       }
290       /* May receive FLAGS updates in a separate untagged response (#2935) */
291       if (idx < ctx->msgcount)
292       {
293         dprint (2, (debugfile, "imap_read_headers: message %d is not new\n",
294                     h.sid));
295         continue;
296       }
297
298       ctx->hdrs[idx] = mutt_new_header ();
299
300       ctx->hdrs[idx]->index = h.sid - 1;
301       /* messages which have not been expunged are ACTIVE (borrowed from mh
302        * folders) */
303       ctx->hdrs[idx]->active = 1;
304       ctx->hdrs[idx]->read = h.data->read;
305       ctx->hdrs[idx]->old = h.data->old;
306       ctx->hdrs[idx]->deleted = h.data->deleted;
307       ctx->hdrs[idx]->flagged = h.data->flagged;
308       ctx->hdrs[idx]->replied = h.data->replied;
309       ctx->hdrs[idx]->changed = h.data->changed;
310       ctx->hdrs[idx]->received = h.received;
311       ctx->hdrs[idx]->data = (void *) (h.data);
312
313       if (maxuid < h.data->uid)
314         maxuid = h.data->uid;
315
316       rewind (fp);
317       /* NOTE: if Date: header is missing, mutt_read_rfc822_header depends
318        *   on h.received being set */
319       ctx->hdrs[idx]->env = mutt_read_rfc822_header (fp, ctx->hdrs[idx],
320         0, 0);
321       /* content built as a side-effect of mutt_read_rfc822_header */
322       ctx->hdrs[idx]->content->length = h.content_length;
323       ctx->size += h.content_length;
324
325 #if USE_HCACHE
326       imap_hcache_put (idata, ctx->hdrs[idx]);
327 #endif /* USE_HCACHE */
328
329       ctx->msgcount++;
330     }
331     while ((rc != IMAP_CMD_OK) && ((mfhrc == -1) ||
332       ((msgno + 1) >= fetchlast)));
333
334     if ((mfhrc < -1) || ((rc != IMAP_CMD_CONTINUE) && (rc != IMAP_CMD_OK)))
335     {
336       if (h.data)
337         imap_free_header_data ((void**) (void*) &h.data);
338 #if USE_HCACHE
339       imap_hcache_close (idata);
340 #endif
341       safe_fclose (&fp);
342       return -1;
343     }
344
345     /* in case we get new mail while fetching the headers */
346     if (idata->reopen & IMAP_NEWMAIL_PENDING)
347     {
348       msgend = idata->newMailCount - 1;
349       while ((msgend) >= ctx->hdrmax)
350         mx_alloc_memory (ctx);
351       idata->reopen &= ~IMAP_NEWMAIL_PENDING;
352       idata->newMailCount = 0;
353     }
354   }
355
356   if (maxuid && (status = imap_mboxcache_get (idata, idata->mailbox, 0)))
357   status->uidnext = maxuid + 1;
358
359 #if USE_HCACHE
360   mutt_hcache_store_raw (idata->hcache, "/UIDVALIDITY", &idata->uid_validity,
361                          sizeof (idata->uid_validity), imap_hcache_keylen);
362   if (maxuid && idata->uidnext < maxuid + 1)
363   {
364     dprint (2, (debugfile, "Overriding UIDNEXT: %u -> %u\n", idata->uidnext, maxuid + 1));
365     idata->uidnext = maxuid + 1;
366   }
367   if (idata->uidnext > 1)
368     mutt_hcache_store_raw (idata->hcache, "/UIDNEXT", &idata->uidnext,
369                            sizeof (idata->uidnext), imap_hcache_keylen);
370
371   imap_hcache_close (idata);
372 #endif /* USE_HCACHE */
373
374   safe_fclose (&fp);
375
376   if (ctx->msgcount > oldmsgcount)
377   {
378     mx_alloc_memory(ctx);
379     mx_update_context (ctx, ctx->msgcount - oldmsgcount);
380   }
381
382   idata->reopen |= IMAP_REOPEN_ALLOW;
383   return msgend;
384 }
385
386 int imap_fetch_message (MESSAGE *msg, CONTEXT *ctx, int msgno)
387 {
388   IMAP_DATA* idata;
389   HEADER* h;
390   ENVELOPE* newenv;
391   char buf[LONG_STRING];
392   char path[_POSIX_PATH_MAX];
393   char *pc;
394   long bytes;
395   progress_t progressbar;
396   int uid;
397   int cacheno;
398   IMAP_CACHE *cache;
399   int read;
400   int rc;
401   /* Sam's weird courier server returns an OK response even when FETCH
402    * fails. Thanks Sam. */
403   short fetched = 0;
404
405   idata = (IMAP_DATA*) ctx->data;
406   h = ctx->hdrs[msgno];
407
408   if ((msg->fp = msg_cache_get (idata, h)))
409   {
410     if (HEADER_DATA(h)->parsed)
411       return 0;
412     else
413       goto parsemsg;
414   }
415
416   /* we still do some caching even if imap_cachedir is unset */
417   /* see if we already have the message in our cache */
418   cacheno = HEADER_DATA(h)->uid % IMAP_CACHE_LEN;
419   cache = &idata->cache[cacheno];
420
421   if (cache->path)
422   {
423     /* don't treat cache errors as fatal, just fall back. */
424     if (cache->uid == HEADER_DATA(h)->uid &&
425         (msg->fp = fopen (cache->path, "r")))
426       return 0;
427     else
428     {
429       unlink (cache->path);
430       FREE (&cache->path);
431     }
432   }
433
434   if (!isendwin())
435     mutt_message _("Fetching message...");
436
437   if (!(msg->fp = msg_cache_put (idata, h)))
438   {
439     cache->uid = HEADER_DATA(h)->uid;
440     mutt_mktemp (path);
441     cache->path = safe_strdup (path);
442     if (!(msg->fp = safe_fopen (path, "w+")))
443     {
444       FREE (&cache->path);
445       return -1;
446     }
447   }
448
449   /* mark this header as currently inactive so the command handler won't
450    * also try to update it. HACK until all this code can be moved into the
451    * command handler */
452   h->active = 0;
453
454   snprintf (buf, sizeof (buf), "UID FETCH %u %s", HEADER_DATA(h)->uid,
455             (mutt_bit_isset (idata->capabilities, IMAP4REV1) ?
456              (option (OPTIMAPPEEK) ? "BODY.PEEK[]" : "BODY[]") :
457              "RFC822"));
458
459   imap_cmd_start (idata, buf);
460   do
461   {
462     if ((rc = imap_cmd_step (idata)) != IMAP_CMD_CONTINUE)
463       break;
464
465     pc = idata->buf;
466     pc = imap_next_word (pc);
467     pc = imap_next_word (pc);
468
469     if (!ascii_strncasecmp ("FETCH", pc, 5))
470     {
471       while (*pc)
472       {
473         pc = imap_next_word (pc);
474         if (pc[0] == '(')
475           pc++;
476         if (ascii_strncasecmp ("UID", pc, 3) == 0)
477         {
478           pc = imap_next_word (pc);
479           uid = atoi (pc);
480           if (uid != HEADER_DATA(h)->uid)
481             mutt_error (_("The message index is incorrect. Try reopening the mailbox."));
482         }
483         else if ((ascii_strncasecmp ("RFC822", pc, 6) == 0) ||
484                  (ascii_strncasecmp ("BODY[]", pc, 6) == 0))
485         {
486           pc = imap_next_word (pc);
487           if (imap_get_literal_count(pc, &bytes) < 0)
488           {
489             imap_error ("imap_fetch_message()", buf);
490             goto bail;
491           }
492           mutt_progress_init (&progressbar, _("Fetching message..."),
493                               M_PROGRESS_SIZE, NetInc, bytes);
494           if (imap_read_literal (msg->fp, idata, bytes, &progressbar) < 0)
495             goto bail;
496           /* pick up trailing line */
497           if ((rc = imap_cmd_step (idata)) != IMAP_CMD_CONTINUE)
498             goto bail;
499           pc = idata->buf;
500
501           fetched = 1;
502         }
503         /* UW-IMAP will provide a FLAGS update here if the FETCH causes a
504          * change (eg from \Unseen to \Seen).
505          * Uncommitted changes in mutt take precedence. If we decide to
506          * incrementally update flags later, this won't stop us syncing */
507         else if ((ascii_strncasecmp ("FLAGS", pc, 5) == 0) && !h->changed)
508         {
509           if ((pc = imap_set_flags (idata, h, pc)) == NULL)
510             goto bail;
511         }
512       }
513     }
514   }
515   while (rc == IMAP_CMD_CONTINUE);
516
517   /* see comment before command start. */
518   h->active = 1;
519
520   fflush (msg->fp);
521   if (ferror (msg->fp))
522   {
523     mutt_perror (cache->path);
524     goto bail;
525   }
526
527   if (rc != IMAP_CMD_OK)
528     goto bail;
529
530   if (!fetched || !imap_code (idata->buf))
531     goto bail;
532
533   msg_cache_commit (idata, h);
534
535   parsemsg:
536   /* Update the header information.  Previously, we only downloaded a
537    * portion of the headers, those required for the main display.
538    */
539   rewind (msg->fp);
540   /* It may be that the Status header indicates a message is read, but the
541    * IMAP server doesn't know the message has been \Seen. So we capture
542    * the server's notion of 'read' and if it differs from the message info
543    * picked up in mutt_read_rfc822_header, we mark the message (and context
544    * changed). Another possiblity: ignore Status on IMAP?*/
545   read = h->read;
546   newenv = mutt_read_rfc822_header (msg->fp, h, 0, 0);
547   mutt_merge_envelopes(h->env, &newenv);
548
549   /* see above. We want the new status in h->read, so we unset it manually
550    * and let mutt_set_flag set it correctly, updating context. */
551   if (read != h->read)
552   {
553     h->read = read;
554     mutt_set_flag (ctx, h, M_NEW, read);
555   }
556
557   h->lines = 0;
558   fgets (buf, sizeof (buf), msg->fp);
559   while (!feof (msg->fp))
560   {
561     h->lines++;
562     fgets (buf, sizeof (buf), msg->fp);
563   }
564
565   h->content->length = ftell (msg->fp) - h->content->offset;
566
567   /* This needs to be done in case this is a multipart message */
568 #if defined(HAVE_PGP) || defined(HAVE_SMIME)
569   h->security = crypt_query (h->content);
570 #endif
571
572   mutt_clear_error();
573   rewind (msg->fp);
574   HEADER_DATA(h)->parsed = 1;
575
576   return 0;
577
578 bail:
579   safe_fclose (&msg->fp);
580   imap_cache_del (idata, h);
581   if (cache->path)
582   {
583     unlink (cache->path);
584     FREE (&cache->path);
585   }
586
587   return -1;
588 }
589
590 int imap_append_message (CONTEXT *ctx, MESSAGE *msg)
591 {
592   IMAP_DATA* idata;
593   FILE *fp;
594   char buf[LONG_STRING];
595   char mbox[LONG_STRING];
596   char mailbox[LONG_STRING];
597   size_t len;
598   progress_t progressbar;
599   size_t sent;
600   int c, last;
601   IMAP_MBOX mx;
602   int rc;
603
604   idata = (IMAP_DATA*) ctx->data;
605
606   if (imap_parse_path (ctx->path, &mx))
607     return -1;
608
609   imap_fix_path (idata, mx.mbox, mailbox, sizeof (mailbox));
610   if (!*mailbox)
611     strfcpy (mailbox, "INBOX", sizeof (mailbox));
612
613   if ((fp = fopen (msg->path, "r")) == NULL)
614   {
615     mutt_perror (msg->path);
616     goto fail;
617   }
618
619   /* currently we set the \Seen flag on all messages, but probably we
620    * should scan the message Status header for flag info. Since we're
621    * already rereading the whole file for length it isn't any more
622    * expensive (it'd be nice if we had the file size passed in already
623    * by the code that writes the file, but that's a lot of changes.
624    * Ideally we'd have a HEADER structure with flag info here... */
625   for (last = EOF, len = 0; (c = fgetc(fp)) != EOF; last = c)
626   {
627     if(c == '\n' && last != '\r')
628       len++;
629
630     len++;
631   }
632   rewind (fp);
633
634   mutt_progress_init (&progressbar, _("Uploading message..."),
635                       M_PROGRESS_SIZE, NetInc, len);
636
637   imap_munge_mbox_name (mbox, sizeof (mbox), mailbox);
638   snprintf (buf, sizeof (buf), "APPEND %s (%s%s%s%s%s) {%lu}", mbox,
639             msg->flags.read    ? "\\Seen"      : "",
640             msg->flags.read && (msg->flags.replied || msg->flags.flagged) ? " " : "",
641             msg->flags.replied ? "\\Answered" : "",
642             msg->flags.replied && msg->flags.flagged ? " " : "",
643             msg->flags.flagged ? "\\Flagged"  : "",
644             (unsigned long) len);
645
646   imap_cmd_start (idata, buf);
647
648   do
649     rc = imap_cmd_step (idata);
650   while (rc == IMAP_CMD_CONTINUE);
651
652   if (rc != IMAP_CMD_RESPOND)
653   {
654     char *pc;
655
656     dprint (1, (debugfile, "imap_append_message(): command failed: %s\n",
657                 idata->buf));
658
659     pc = idata->buf + SEQLEN;
660     SKIPWS (pc);
661     pc = imap_next_word (pc);
662     mutt_error ("%s", pc);
663     mutt_sleep (1);
664     safe_fclose (&fp);
665     goto fail;
666   }
667
668   for (last = EOF, sent = len = 0; (c = fgetc(fp)) != EOF; last = c)
669   {
670     if (c == '\n' && last != '\r')
671       buf[len++] = '\r';
672
673     buf[len++] = c;
674
675     if (len > sizeof(buf) - 3)
676     {
677       sent += len;
678       flush_buffer(buf, &len, idata->conn);
679       mutt_progress_update (&progressbar, sent, -1);
680     }
681   }
682
683   if (len)
684     flush_buffer(buf, &len, idata->conn);
685
686   mutt_socket_write (idata->conn, "\r\n");
687   safe_fclose (&fp);
688
689   do
690     rc = imap_cmd_step (idata);
691   while (rc == IMAP_CMD_CONTINUE);
692
693   if (!imap_code (idata->buf))
694   {
695     char *pc;
696
697     dprint (1, (debugfile, "imap_append_message(): command failed: %s\n",
698                 idata->buf));
699     pc = idata->buf + SEQLEN;
700     SKIPWS (pc);
701     pc = imap_next_word (pc);
702     mutt_error ("%s", pc);
703     mutt_sleep (1);
704     goto fail;
705   }
706
707   FREE (&mx.mbox);
708   return 0;
709
710  fail:
711   FREE (&mx.mbox);
712   return -1;
713 }
714
715 /* imap_copy_messages: use server COPY command to copy messages to another
716  *   folder.
717  *   Return codes:
718  *      -1: error
719  *       0: success
720  *       1: non-fatal error - try fetch/append */
721 int imap_copy_messages (CONTEXT* ctx, HEADER* h, char* dest, int delete)
722 {
723   IMAP_DATA* idata;
724   BUFFER cmd, sync_cmd;
725   char mbox[LONG_STRING];
726   char mmbox[LONG_STRING];
727   char prompt[LONG_STRING];
728   int rc;
729   int n;
730   IMAP_MBOX mx;
731   int err_continue = M_NO;
732   int triedcreate = 0;
733
734   idata = (IMAP_DATA*) ctx->data;
735
736   if (imap_parse_path (dest, &mx))
737   {
738     dprint (1, (debugfile, "imap_copy_messages: bad destination %s\n", dest));
739     return -1;
740   }
741
742   /* check that the save-to folder is in the same account */
743   if (!mutt_account_match (&(CTX_DATA->conn->account), &(mx.account)))
744   {
745     dprint (3, (debugfile, "imap_copy_messages: %s not same server as %s\n",
746       dest, ctx->path));
747     return 1;
748   }
749
750   if (h && h->attach_del)
751   {
752     dprint (3, (debugfile, "imap_copy_messages: Message contains attachments to be deleted\n"));
753     return 1;
754   }
755
756   imap_fix_path (idata, mx.mbox, mbox, sizeof (mbox));
757   if (!*mbox)
758     strfcpy (mbox, "INBOX", sizeof (mbox));
759   imap_munge_mbox_name (mmbox, sizeof (mmbox), mbox);
760
761   /* loop in case of TRYCREATE */
762   do
763   {
764     memset (&sync_cmd, 0, sizeof (sync_cmd));
765     memset (&cmd, 0, sizeof (cmd));
766
767     /* Null HEADER* means copy tagged messages */
768     if (!h)
769     {
770       /* if any messages have attachments to delete, fall through to FETCH
771        * and APPEND. TODO: Copy what we can with COPY, fall through for the
772        * remainder. */
773       for (n = 0; n < ctx->msgcount; n++)
774       {
775         if (ctx->hdrs[n]->tagged && ctx->hdrs[n]->attach_del)
776         {
777           dprint (3, (debugfile, "imap_copy_messages: Message contains attachments to be deleted\n"));
778           return 1;
779         }
780
781         if (ctx->hdrs[n]->tagged && ctx->hdrs[n]->active &&
782             ctx->hdrs[n]->changed)
783         {
784           rc = imap_sync_message (idata, ctx->hdrs[n], &sync_cmd, &err_continue);
785           if (rc < 0)
786           {
787             dprint (1, (debugfile, "imap_copy_messages: could not sync\n"));
788             goto out;
789           }
790         }
791       }
792
793       rc = imap_exec_msgset (idata, "UID COPY", mmbox, M_TAG, 0, 0);
794       if (!rc)
795       {
796         dprint (1, (debugfile, "imap_copy_messages: No messages tagged\n"));
797         rc = -1;
798         goto out;
799       }
800       else if (rc < 0)
801       {
802         dprint (1, (debugfile, "could not queue copy\n"));
803         goto out;
804       }
805       else
806         mutt_message (_("Copying %d messages to %s..."), rc, mbox);
807     }
808     else
809     {
810       mutt_message (_("Copying message %d to %s..."), h->index+1, mbox);
811       mutt_buffer_printf (&cmd, "UID COPY %u %s", HEADER_DATA (h)->uid, mmbox);
812
813       if (h->active && h->changed)
814       {
815         rc = imap_sync_message (idata, h, &sync_cmd, &err_continue);
816         if (rc < 0)
817         {
818           dprint (1, (debugfile, "imap_copy_messages: could not sync\n"));
819           goto out;
820         }
821       }
822       if ((rc = imap_exec (idata, cmd.data, IMAP_CMD_QUEUE)) < 0)
823       {
824         dprint (1, (debugfile, "could not queue copy\n"));
825         goto out;
826       }
827     }
828
829     /* let's get it on */
830     rc = imap_exec (idata, NULL, IMAP_CMD_FAIL_OK);
831     if (rc == -2)
832     {
833       if (triedcreate)
834       {
835         dprint (1, (debugfile, "Already tried to create mailbox %s\n", mbox));
836         break;
837       }
838       /* bail out if command failed for reasons other than nonexistent target */
839       if (ascii_strncasecmp (imap_get_qualifier (idata->buf), "[TRYCREATE]", 11))
840         break;
841       dprint (3, (debugfile, "imap_copy_messages: server suggests TRYCREATE\n"));
842       snprintf (prompt, sizeof (prompt), _("Create %s?"), mbox);
843       if (option (OPTCONFIRMCREATE) && mutt_yesorno (prompt, 1) < 1)
844       {
845         mutt_clear_error ();
846         goto out;
847       }
848       if (imap_create_mailbox (idata, mbox) < 0)
849         break;
850       triedcreate = 1;
851     }
852   }
853   while (rc == -2);
854
855   if (rc != 0)
856   {
857     imap_error ("imap_copy_messages", idata->buf);
858     goto out;
859   }
860
861   /* cleanup */
862   if (delete)
863   {
864     if (!h)
865       for (n = 0; n < ctx->msgcount; n++)
866       {
867         if (ctx->hdrs[n]->tagged)
868         {
869           mutt_set_flag (ctx, ctx->hdrs[n], M_DELETE, 1);
870           if (option (OPTDELETEUNTAG))
871             mutt_set_flag (ctx, ctx->hdrs[n], M_TAG, 0);
872         }
873       }
874     else
875     {
876       mutt_set_flag (ctx, h, M_DELETE, 1);
877       if (option (OPTDELETEUNTAG))
878         mutt_set_flag (ctx, h, M_TAG, 0);
879     }
880   }
881
882   rc = 0;
883
884  out:
885   if (cmd.data)
886     FREE (&cmd.data);
887   if (sync_cmd.data)
888     FREE (&sync_cmd.data);
889   FREE (&mx.mbox);
890
891   return rc < 0 ? -1 : rc;
892 }
893
894 static body_cache_t *msg_cache_open (IMAP_DATA *idata)
895 {
896   char mailbox[_POSIX_PATH_MAX];
897
898   if (idata->bcache)
899     return idata->bcache;
900
901   imap_cachepath (idata, idata->mailbox, mailbox, sizeof (mailbox));
902
903   return mutt_bcache_open (&idata->conn->account, mailbox);
904 }
905
906 static FILE* msg_cache_get (IMAP_DATA* idata, HEADER* h)
907 {
908   char id[_POSIX_PATH_MAX];
909
910   if (!idata || !h)
911     return NULL;
912
913   idata->bcache = msg_cache_open (idata);
914   snprintf (id, sizeof (id), "%u-%u", idata->uid_validity, HEADER_DATA(h)->uid);
915   return mutt_bcache_get (idata->bcache, id);
916 }
917
918 static FILE* msg_cache_put (IMAP_DATA* idata, HEADER* h)
919 {
920   char id[_POSIX_PATH_MAX];
921
922   if (!idata || !h)
923     return NULL;
924
925   idata->bcache = msg_cache_open (idata);
926   snprintf (id, sizeof (id), "%u-%u", idata->uid_validity, HEADER_DATA(h)->uid);
927   return mutt_bcache_put (idata->bcache, id, 1);
928 }
929
930 static int msg_cache_commit (IMAP_DATA* idata, HEADER* h)
931 {
932   char id[_POSIX_PATH_MAX];
933
934   if (!idata || !h)
935     return -1;
936
937   idata->bcache = msg_cache_open (idata);
938   snprintf (id, sizeof (id), "%u-%u", idata->uid_validity, HEADER_DATA(h)->uid);
939
940   return mutt_bcache_commit (idata->bcache, id);
941 }
942
943 int imap_cache_del (IMAP_DATA* idata, HEADER* h)
944 {
945   char id[_POSIX_PATH_MAX];
946
947   if (!idata || !h)
948     return -1;
949
950   idata->bcache = msg_cache_open (idata);
951   snprintf (id, sizeof (id), "%u-%u", idata->uid_validity, HEADER_DATA(h)->uid);
952   return mutt_bcache_del (idata->bcache, id);
953 }
954
955 static int msg_cache_clean_cb (const char* id, body_cache_t* bcache, void* data)
956 {
957   unsigned int uv, uid, n;
958   IMAP_DATA* idata = (IMAP_DATA*)data;
959
960   if (sscanf (id, "%u-%u", &uv, &uid) != 2)
961     return 0;
962
963   /* bad UID */
964   if (uv != idata->uid_validity)
965     mutt_bcache_del (bcache, id);
966
967   /* TODO: presort UIDs, walk in order */
968   for (n = 0; n < idata->ctx->msgcount; n++)
969   {
970     if (uid == HEADER_DATA(idata->ctx->hdrs[n])->uid)
971       return 0;
972   }
973   mutt_bcache_del (bcache, id);
974
975   return 0;
976 }
977
978 int imap_cache_clean (IMAP_DATA* idata)
979 {
980   idata->bcache = msg_cache_open (idata);
981   mutt_bcache_list (idata->bcache, msg_cache_clean_cb, idata);
982
983   return 0;
984 }
985
986 /* imap_add_keywords: concatenate custom IMAP tags to list, if they
987  *   appear in the folder flags list. Why wouldn't they? */
988 void imap_add_keywords (char* s, HEADER* h, LIST* mailbox_flags, size_t slen)
989 {
990   LIST *keywords;
991
992   if (!mailbox_flags || !HEADER_DATA(h) || !HEADER_DATA(h)->keywords)
993     return;
994
995   keywords = HEADER_DATA(h)->keywords->next;
996
997   while (keywords)
998   {
999     if (imap_has_flag (mailbox_flags, keywords->data))
1000     {
1001       safe_strcat (s, slen, keywords->data);
1002       safe_strcat (s, slen, " ");
1003     }
1004     keywords = keywords->next;
1005   }
1006 }
1007
1008 /* imap_free_header_data: free IMAP_HEADER structure */
1009 void imap_free_header_data (void** data)
1010 {
1011   /* this should be safe even if the list wasn't used */
1012   mutt_free_list (&(((IMAP_HEADER_DATA*) *data)->keywords));
1013
1014   FREE (data);          /* __FREE_CHECKED__ */
1015 }
1016
1017 /* imap_set_flags: fill out the message header according to the flags from
1018  *   the server. Expects a flags line of the form "FLAGS (flag flag ...)" */
1019 char* imap_set_flags (IMAP_DATA* idata, HEADER* h, char* s)
1020 {
1021   CONTEXT* ctx = idata->ctx;
1022   IMAP_HEADER newh;
1023   IMAP_HEADER_DATA* hd;
1024   unsigned char readonly;
1025
1026   memset (&newh, 0, sizeof (newh));
1027   hd = h->data;
1028   newh.data = hd;
1029
1030   dprint (2, (debugfile, "imap_fetch_message: parsing FLAGS\n"));
1031   if ((s = msg_parse_flags (&newh, s)) == NULL)
1032     return NULL;
1033
1034   /* YAUH (yet another ugly hack): temporarily set context to
1035    * read-write even if it's read-only, so *server* updates of
1036    * flags can be processed by mutt_set_flag. ctx->changed must
1037    * be restored afterwards */
1038   readonly = ctx->readonly;
1039   ctx->readonly = 0;
1040
1041   mutt_set_flag (ctx, h, M_NEW, !(hd->read || hd->old));
1042   mutt_set_flag (ctx, h, M_OLD, hd->old);
1043   mutt_set_flag (ctx, h, M_READ, hd->read);
1044   mutt_set_flag (ctx, h, M_DELETE, hd->deleted);
1045   mutt_set_flag (ctx, h, M_FLAG, hd->flagged);
1046   mutt_set_flag (ctx, h, M_REPLIED, hd->replied);
1047
1048   /* this message is now definitively *not* changed (mutt_set_flag
1049    * marks things changed as a side-effect) */
1050   h->changed = 0;
1051   ctx->changed &= ~readonly;
1052   ctx->readonly = readonly;
1053
1054   return s;
1055 }
1056
1057
1058 /* msg_fetch_header: import IMAP FETCH response into an IMAP_HEADER.
1059  *   Expects string beginning with * n FETCH.
1060  *   Returns:
1061  *      0 on success
1062  *     -1 if the string is not a fetch response
1063  *     -2 if the string is a corrupt fetch response */
1064 static int msg_fetch_header (CONTEXT* ctx, IMAP_HEADER* h, char* buf, FILE* fp)
1065 {
1066   IMAP_DATA* idata;
1067   long bytes;
1068   int rc = -1; /* default now is that string isn't FETCH response*/
1069
1070   idata = (IMAP_DATA*) ctx->data;
1071
1072   if (buf[0] != '*')
1073     return rc;
1074
1075   /* skip to message number */
1076   buf = imap_next_word (buf);
1077   h->sid = atoi (buf);
1078
1079   /* find FETCH tag */
1080   buf = imap_next_word (buf);
1081   if (ascii_strncasecmp ("FETCH", buf, 5))
1082     return rc;
1083
1084   rc = -2; /* we've got a FETCH response, for better or worse */
1085   if (!(buf = strchr (buf, '(')))
1086     return rc;
1087   buf++;
1088
1089   /* FIXME: current implementation - call msg_parse_fetch - if it returns -2,
1090    *   read header lines and call it again. Silly. */
1091   if ((rc = msg_parse_fetch (h, buf)) != -2 || !fp)
1092     return rc;
1093
1094   if (imap_get_literal_count (buf, &bytes) == 0)
1095   {
1096     imap_read_literal (fp, idata, bytes, NULL);
1097
1098     /* we may have other fields of the FETCH _after_ the literal
1099      * (eg Domino puts FLAGS here). Nothing wrong with that, either.
1100      * This all has to go - we should accept literals and nonliterals
1101      * interchangeably at any time. */
1102     if (imap_cmd_step (idata) != IMAP_CMD_CONTINUE)
1103       return rc;
1104
1105     if (msg_parse_fetch (h, idata->buf) == -1)
1106       return rc;
1107   }
1108
1109   rc = 0; /* success */
1110
1111   /* subtract headers from message size - unfortunately only the subset of
1112    * headers we've requested. */
1113   h->content_length -= bytes;
1114
1115   return rc;
1116 }
1117
1118 /* msg_parse_fetch: handle headers returned from header fetch */
1119 static int msg_parse_fetch (IMAP_HEADER *h, char *s)
1120 {
1121   char tmp[SHORT_STRING];
1122   char *ptmp;
1123
1124   if (!s)
1125     return -1;
1126
1127   while (*s)
1128   {
1129     SKIPWS (s);
1130
1131     if (ascii_strncasecmp ("FLAGS", s, 5) == 0)
1132     {
1133       if ((s = msg_parse_flags (h, s)) == NULL)
1134         return -1;
1135     }
1136     else if (ascii_strncasecmp ("UID", s, 3) == 0)
1137     {
1138       s += 3;
1139       SKIPWS (s);
1140       h->data->uid = (unsigned int) atoi (s);
1141
1142       s = imap_next_word (s);
1143     }
1144     else if (ascii_strncasecmp ("INTERNALDATE", s, 12) == 0)
1145     {
1146       s += 12;
1147       SKIPWS (s);
1148       if (*s != '\"')
1149       {
1150         dprint (1, (debugfile, "msg_parse_fetch(): bogus INTERNALDATE entry: %s\n", s));
1151         return -1;
1152       }
1153       s++;
1154       ptmp = tmp;
1155       while (*s && *s != '\"')
1156         *ptmp++ = *s++;
1157       if (*s != '\"')
1158         return -1;
1159       s++; /* skip past the trailing " */
1160       *ptmp = 0;
1161       h->received = imap_parse_date (tmp);
1162     }
1163     else if (ascii_strncasecmp ("RFC822.SIZE", s, 11) == 0)
1164     {
1165       s += 11;
1166       SKIPWS (s);
1167       ptmp = tmp;
1168       while (isdigit ((unsigned char) *s))
1169         *ptmp++ = *s++;
1170       *ptmp = 0;
1171       h->content_length = atoi (tmp);
1172     }
1173     else if (!ascii_strncasecmp ("BODY", s, 4) ||
1174       !ascii_strncasecmp ("RFC822.HEADER", s, 13))
1175     {
1176       /* handle above, in msg_fetch_header */
1177       return -2;
1178     }
1179     else if (*s == ')')
1180       s++; /* end of request */
1181     else if (*s)
1182     {
1183       /* got something i don't understand */
1184       imap_error ("msg_parse_fetch", s);
1185       return -1;
1186     }
1187   }
1188
1189   return 0;
1190 }
1191
1192 /* msg_parse_flags: read a FLAGS token into an IMAP_HEADER */
1193 static char* msg_parse_flags (IMAP_HEADER* h, char* s)
1194 {
1195   IMAP_HEADER_DATA* hd = h->data;
1196
1197   /* sanity-check string */
1198   if (ascii_strncasecmp ("FLAGS", s, 5) != 0)
1199   {
1200     dprint (1, (debugfile, "msg_parse_flags: not a FLAGS response: %s\n",
1201       s));
1202     return NULL;
1203   }
1204   s += 5;
1205   SKIPWS(s);
1206   if (*s != '(')
1207   {
1208     dprint (1, (debugfile, "msg_parse_flags: bogus FLAGS response: %s\n",
1209       s));
1210     return NULL;
1211   }
1212   s++;
1213
1214   mutt_free_list (&hd->keywords);
1215   hd->deleted = hd->flagged = hd->replied = hd->read = hd->old = 0;
1216
1217   /* start parsing */
1218   while (*s && *s != ')')
1219   {
1220     if (ascii_strncasecmp ("\\deleted", s, 8) == 0)
1221     {
1222       s += 8;
1223       hd->deleted = 1;
1224     }
1225     else if (ascii_strncasecmp ("\\flagged", s, 8) == 0)
1226     {
1227       s += 8;
1228       hd->flagged = 1;
1229     }
1230     else if (ascii_strncasecmp ("\\answered", s, 9) == 0)
1231     {
1232       s += 9;
1233       hd->replied = 1;
1234     }
1235     else if (ascii_strncasecmp ("\\seen", s, 5) == 0)
1236     {
1237       s += 5;
1238       hd->read = 1;
1239     }
1240     else if (ascii_strncasecmp ("\\recent", s, 7) == 0)
1241       s += 7;
1242     else if (ascii_strncasecmp ("old", s, 3) == 0)
1243     {
1244       s += 3;
1245       hd->old = 1;
1246     }
1247     else
1248     {
1249       /* store custom flags as well */
1250       char ctmp;
1251       char* flag_word = s;
1252
1253       if (!hd->keywords)
1254         hd->keywords = mutt_new_list ();
1255
1256       while (*s && !ISSPACE (*s) && *s != ')')
1257         s++;
1258       ctmp = *s;
1259       *s = '\0';
1260       mutt_add_list (hd->keywords, flag_word);
1261       *s = ctmp;
1262     }
1263     SKIPWS(s);
1264   }
1265
1266   /* wrap up, or note bad flags response */
1267   if (*s == ')')
1268     s++;
1269   else
1270   {
1271     dprint (1, (debugfile,
1272       "msg_parse_flags: Unterminated FLAGS response: %s\n", s));
1273     return NULL;
1274   }
1275
1276   return s;
1277 }
1278
1279 static void flush_buffer(char *buf, size_t *len, CONNECTION *conn)
1280 {
1281   buf[*len] = '\0';
1282   mutt_socket_write_n(conn, buf, *len);
1283   *len = 0;
1284 }