db1beeba17d080e08f306830bc0ce9dd0b7bf5e0
[paraslash.git] / vss.c
1 /*
2  * Copyright (C) 1997-2011 Andre Noll <maan@systemlinux.org>
3  *
4  * Licensed under the GPL v2. For licencing details see COPYING.
5  */
6
7 /** \file vss.c The virtual streaming system.
8  *
9  * This contains the audio streaming code of para_server which is independent
10  * of the current audio format, audio file selector and of the activated
11  * senders.
12  */
13
14 #include <regex.h>
15 #include <osl.h>
16
17 #include "para.h"
18 #include "error.h"
19 #include "portable_io.h"
20 #include "fec.h"
21 #include "string.h"
22 #include "afh.h"
23 #include "afs.h"
24 #include "server.h"
25 #include "net.h"
26 #include "server.cmdline.h"
27 #include "list.h"
28 #include "send.h"
29 #include "vss.h"
30 #include "ipc.h"
31 #include "fd.h"
32 #include "sched.h"
33
34 extern struct misc_meta_data *mmd;
35
36 extern void dccp_send_init(struct sender *);
37 extern void http_send_init(struct sender *);
38 extern void udp_send_init(struct sender *);
39
40 /** The list of supported senders. */
41 struct sender senders[] = {
42         {
43                 .name = "http",
44                 .init = http_send_init,
45         },
46         {
47                 .name = "dccp",
48                 .init = dccp_send_init,
49         },
50         {
51                 .name = "udp",
52                 .init = udp_send_init,
53         },
54         {
55                 .name = NULL,
56         }
57 };
58
59 /** The possible states of the afs socket. */
60 enum afs_socket_status {
61         /** Socket is inactive. */
62         AFS_SOCKET_READY,
63         /** Socket fd was included in the write fd set for select(). */
64         AFS_SOCKET_CHECK_FOR_WRITE,
65         /** vss wrote a request to the socket and waits for reply from afs. */
66         AFS_SOCKET_AFD_PENDING
67 };
68
69 /** The task structure for the virtual streaming system. */
70 struct vss_task {
71         /** Copied from the -announce_time command line option. */
72         struct timeval announce_tv;
73         /** End of the announcing interval. */
74         struct timeval data_send_barrier;
75         /** End of the EOF interval. */
76         struct timeval eof_barrier;
77         /** Only used if --autoplay_delay was given. */
78         struct timeval autoplay_barrier;
79         /** Used for afs-server communication. */
80         int afs_socket;
81         /** The current state of \a afs_socket. */
82         enum afs_socket_status afsss;
83         /** The memory mapped audio file. */
84         char *map;
85         /** Used by the scheduler. */
86         struct task task;
87         /** Pointer to the header of the mapped audio file. */
88         char *header_buf;
89         /** Length of the audio file header. */
90         size_t header_len;
91         /** Time between audio file headers are sent. */
92         struct timeval header_interval;
93 };
94
95 /**
96  * The list of currently connected fec clients.
97  *
98  * Senders may use \ref vss_add_fec_client() to add entries to the list.
99  */
100 static struct list_head fec_client_list;
101
102 /**
103  * Data associated with one FEC group.
104  *
105  * A FEC group consists of a fixed number of slices and this number is given by
106  * the \a slices_per_group parameter of struct \ref fec_client_parms. Each FEC
107  * group contains a number of chunks of the current audio file.
108  *
109  * FEC slices directly correspond to the data packages sent by the paraslash
110  * senders that use FEC. Each slice is identified by its group number and its
111  * number within the group. All slices have the same size, but the last slice
112  * of the group may not be filled entirely.
113  */
114 struct fec_group {
115         /** The number of the FEC group. */
116         uint32_t num;
117         /** Number of bytes in this group. */
118         uint32_t bytes;
119         /** The first chunk of the current audio file belonging to the group. */
120         uint32_t first_chunk;
121         /** The number of chunks contained in this group. */
122         uint32_t num_chunks;
123         /** When the first chunk was sent. */
124         struct timeval start;
125         /** The duration of the full group. */
126         struct timeval duration;
127         /** The group duration divided by the number of slices. */
128         struct timeval slice_duration;
129         /** Group contains the audio file header that occupies that many slices. */
130         uint8_t num_header_slices;
131         /** Number of bytes per slice for this group. */
132         uint16_t slice_bytes;
133 };
134
135 /** A FEC client is always in one of these states. */
136 enum fec_client_state {
137         FEC_STATE_NONE = 0,     /**< not initialized and not enabled */
138         FEC_STATE_DISABLED,     /**< temporarily disabled */
139         FEC_STATE_READY_TO_RUN  /**< initialized and enabled */
140 };
141
142 /**
143  * Describes one connected FEC client.
144  */
145 struct fec_client {
146         /** Current state of the client */
147         enum fec_client_state state;
148         /** The connected sender client (transport layer). */
149         struct sender_client *sc;
150         /** Parameters requested by the client. */
151         struct fec_client_parms *fcp;
152         /** Used by the core FEC code. */
153         struct fec_parms *parms;
154         /** The position of this client in the fec client list. */
155         struct list_head node;
156         /** When the first slice for this client was sent. */
157         struct timeval stream_start;
158         /** The first chunk sent to this FEC client. */
159         int first_stream_chunk;
160         /** Describes the current group. */
161         struct fec_group group;
162         /** The current slice. */
163         uint8_t current_slice_num;
164         /** The data to be FEC-encoded (point to a region within the mapped audio file). */
165         const unsigned char **src_data;
166         /** Last time an audio  header was sent. */
167         struct timeval next_header_time;
168         /** Used for the last source pointer of an audio file. */
169         unsigned char *extra_src_buf;
170         /** Needed for the last slice of the audio file header. */
171         unsigned char *extra_header_buf;
172         /** Extra slices needed to store largest chunk + header. */
173         int num_extra_slices;
174         /** Contains the FEC-encoded data. */
175         unsigned char *enc_buf;
176         /** Maximal packet size. */
177         int mps;
178 };
179
180 /**
181  * Get the chunk time of the current audio file.
182  *
183  * \return A pointer to a struct containing the chunk time, or NULL,
184  * if currently no audio file is selected.
185  */
186 struct timeval *vss_chunk_time(void)
187 {
188         if (mmd->afd.afhi.chunk_tv.tv_sec == 0 &&
189                         mmd->afd.afhi.chunk_tv.tv_usec == 0)
190                 return NULL;
191         return &mmd->afd.afhi.chunk_tv;
192 }
193
194 /**
195  * Write a fec header to a buffer.
196  *
197  * \param buf The buffer to write to.
198  * \param h The fec header to write.
199  */
200 static void write_fec_header(struct fec_client *fc, struct vss_task *vsst)
201 {
202         char *buf = (char *)fc->enc_buf;
203         struct fec_group *g = &fc->group;
204         struct fec_client_parms *p = fc->fcp;
205
206         write_u32(buf, FEC_MAGIC);
207
208         write_u8(buf + 4, p->slices_per_group + fc->num_extra_slices);
209         write_u8(buf + 5, p->data_slices_per_group + fc->num_extra_slices);
210         write_u32(buf + 6, g->num_header_slices? vsst->header_len : 0);
211
212         write_u32(buf + 10, g->num);
213         write_u32(buf + 14, g->bytes);
214
215         write_u8(buf + 18, fc->current_slice_num);
216         write_u8(buf + 19, 0); /* unused */
217         write_u16(buf + 20, g->slice_bytes);
218         write_u8(buf + 22, g->first_chunk? 0 : 1);
219         write_u8(buf + 23, vsst->header_len? 1 : 0);
220         memset(buf + 24, 0, 8);
221 }
222
223 static bool need_audio_header(struct fec_client *fc, struct vss_task *vsst)
224 {
225         if (!mmd->current_chunk) {
226                 tv_add(now, &vsst->header_interval, &fc->next_header_time);
227                 return false;
228         }
229         if (!vsst->header_buf)
230                 return false;
231         if (vsst->header_len == 0)
232                 return false;
233         if (fc->group.num > 0) {
234                 if (!fc->fcp->need_periodic_header)
235                         return false;
236                 if (tv_diff(&fc->next_header_time, now, NULL) > 0)
237                         return false;
238         }
239         tv_add(now, &vsst->header_interval, &fc->next_header_time);
240         return true;
241 }
242
243 static bool need_data_slices(struct fec_client *fc, struct vss_task *vsst)
244 {
245         if (fc->group.num > 0)
246                 return true;
247         if (!vsst->header_buf)
248                 return true;
249         if (vsst->header_len == 0)
250                 return true;
251         if (fc->fcp->need_periodic_header)
252                 return true;
253         return false;
254 }
255
256 static int num_slices(long unsigned bytes, int max_payload, int rs)
257 {
258         int ret;
259
260         assert(max_payload > 0);
261         assert(rs > 0);
262         ret = DIV_ROUND_UP(bytes, max_payload);
263         if (ret + rs > 255)
264                 return -E_BAD_CT;
265         return ret;
266 }
267
268 /* set group start and group duration */
269 static void set_group_timing(struct fec_client *fc, struct vss_task *vsst)
270 {
271         struct fec_group *g = &fc->group;
272         struct timeval *chunk_tv = vss_chunk_time();
273
274         if (!need_data_slices(fc, vsst))
275                 ms2tv(200, &g->duration);
276         else
277                 tv_scale(g->num_chunks, chunk_tv, &g->duration);
278         tv_divide(fc->fcp->slices_per_group + fc->num_extra_slices,
279                 &g->duration, &g->slice_duration);
280         PARA_DEBUG_LOG("durations (group/chunk/slice): %lu/%lu/%lu\n",
281                 tv2ms(&g->duration), tv2ms(chunk_tv), tv2ms(&g->slice_duration));
282 }
283
284 static int initialize_fec_client(struct fec_client *fc, struct vss_task *vsst)
285 {
286         int k, n, ret;
287         int hs, ds, rs; /* header/data/redundant slices */
288         struct fec_client_parms *fcp = fc->fcp;
289
290         /* set mps */
291         if (fcp->init_fec) {
292                 /*
293                  * Set the maximum slice size to the Maximum Packet Size if the
294                  * transport protocol allows to determine this value. The user
295                  * can specify a slice size up to this value.
296                  */
297                 ret = fcp->init_fec(fc->sc);
298                 if (ret < 0)
299                         return ret;
300                 fc->mps = ret;
301         } else
302                 fc->mps = generic_max_transport_msg_size(fc->sc->fd);
303         if (fc->mps <= FEC_HEADER_SIZE)
304                 return -ERRNO_TO_PARA_ERROR(EINVAL);
305
306         rs = fc->fcp->slices_per_group - fc->fcp->data_slices_per_group;
307         ret = num_slices(vsst->header_len, fc->mps - FEC_HEADER_SIZE, rs);
308         if (ret < 0)
309                 return ret;
310         hs = ret;
311         ret = num_slices(mmd->afd.max_chunk_size, fc->mps - FEC_HEADER_SIZE, rs);
312         if (ret < 0)
313                 return ret;
314         ds = ret;
315         if (fc->fcp->need_periodic_header)
316                 k = hs + ds;
317         else
318                 k = PARA_MAX(hs, ds);
319         if (k < fc->fcp->data_slices_per_group)
320                 k = fc->fcp->data_slices_per_group;
321         fc->num_extra_slices = k - fc->fcp->data_slices_per_group;
322         n = k + rs;
323         fec_free(fc->parms);
324         ret = fec_new(k, n, &fc->parms);
325         if (ret < 0)
326                 return ret;
327         PARA_INFO_LOG("mps: %d, k: %d, n: %d, extra slices: %d\n",
328                 fc->mps, k, n, fc->num_extra_slices);
329         fc->src_data = para_realloc(fc->src_data, k * sizeof(char *));
330         fc->enc_buf = para_realloc(fc->enc_buf, fc->mps);
331         fc->extra_src_buf = para_realloc(fc->extra_src_buf, fc->mps);
332         fc->extra_header_buf = para_realloc(fc->extra_header_buf, fc->mps);
333
334         fc->state = FEC_STATE_READY_TO_RUN;
335         fc->next_header_time.tv_sec = 0;
336         fc->stream_start = *now;
337         fc->first_stream_chunk = mmd->current_chunk;
338         return 1;
339 }
340
341 static void vss_get_chunk(int chunk_num, struct vss_task *vsst,
342                 char **buf, size_t *sz)
343 {
344         /*
345          * Chunk zero is special for header streams: It is the first portion of
346          * the audio file which consists of the audio file header. It may be
347          * arbitrary large due to embedded meta data. Audio format handlers may
348          * replace the header by a stripped one with meta data omitted which is
349          * of bounded size. We always use the stripped header for streaming
350          * rather than the unmodified header (chunk zero).
351          */
352         if (chunk_num == 0 && vsst->header_len > 0) {
353                 *buf = vsst->header_buf; /* stripped header */
354                 *sz = vsst->header_len;
355                 return;
356         }
357         afh_get_chunk(chunk_num, &mmd->afd.afhi, vsst->map, (const char **)buf,
358                 sz);
359 }
360
361 static void compute_group_size(struct vss_task *vsst, struct fec_group *g,
362                 int max_bytes)
363 {
364         int i, max_chunks = PARA_MAX(1LU, 150 / tv2ms(vss_chunk_time()));
365
366         g->num_chunks = 0;
367         g->bytes = 0;
368         /*
369          * Include chunks into the group until the group duration is at least
370          * 150ms.  For ogg and wma, a single chunk's duration (ogg page/wma
371          * super frame) is already larger than 150ms, so a FEC group consists
372          * of exactly one chunk for these audio formats.
373          */
374         for (i = 0;; i++) {
375                 char *buf;
376                 size_t len;
377                 int chunk_num = g->first_chunk + i;
378
379                 if (g->bytes > 0 && i >= max_chunks) /* duration limit */
380                         break;
381                 if (chunk_num >= mmd->afd.afhi.chunks_total) /* eof */
382                         break;
383                 vss_get_chunk(chunk_num, vsst, &buf, &len);
384                 if (g->bytes + len > max_bytes)
385                         break;
386                 /* Include this chunk */
387                 g->bytes += len;
388                 g->num_chunks++;
389         }
390         assert(g->num_chunks);
391 }
392
393 /*
394  * Compute the slice size of the next group.
395  *
396  * The FEC parameters n and k are fixed but the slice size varies per
397  * FEC group.  We'd like to choose slices as small as possible to avoid
398  * unnecessary FEC calculations but large enough to guarantee that the
399  * k data slices suffice to encode the header (if needed) and the data
400  * chunk(s).
401  *
402  * Once we know the payload of the next group, we define the number s
403  * of bytes per slice for this group by
404  *
405  *      s = ceil(payload / k)
406  *
407  * However, for header streams, computing s is more complicated since no
408  * overlapping of header and data slices is possible. Hence we have k >=
409  * 2 and s must satisfy
410  *
411  * (*)  ceil(h / s) + ceil(d / s) <= k
412  *
413  * where h and d are payload of the header and the data chunk(s)
414  * respectively. In general there is no value for s such that (*)
415  * becomes an equality, for example if h = 4000, d = 5000 and k = 10.
416  *
417  * We use the following approach for computing a suitable value for s:
418  *
419  * Let
420  *      k1 := ceil(k * min(h, d) / (h + d)),
421  *      k2 := k - k1.
422  *
423  * Note that k >= 2 implies k1 > 0 and k2 > 0, so
424  *
425  *      s := max(ceil(min(h, d) / k1), ceil(max(h, d) / k2))
426  *
427  * is well-defined. Inequality (*) holds for this value of s since k1
428  * slices suffice to store min(h, d) while k2 slices suffice to store
429  * max(h, d), i.e. the first addent of (*) is bounded by k1 and the
430  * second by k2.
431  *
432  * For the above example we obtain
433  *
434  *      k1 = ceil(10 * 4000 / 9000) = 5, k2 = 5,
435  *      s = max(4000 / 5, 5000 / 5) = 1000,
436  *
437  * which is optimal since a slice size of 999 bytes would already require
438  * 11 slices.
439  */
440 static int compute_slice_size(struct fec_client *fc, struct vss_task *vsst)
441 {
442         struct fec_group *g = &fc->group;
443         int k = fc->fcp->data_slices_per_group + fc->num_extra_slices;
444         int n = fc->fcp->slices_per_group + fc->num_extra_slices;
445         int ret, k1, k2, h, d, min, max, sum;
446         int max_slice_bytes = fc->mps - FEC_HEADER_SIZE;
447         int max_group_bytes;
448
449         if (!need_audio_header(fc, vsst)) {
450                 max_group_bytes = k * max_slice_bytes;
451                 g->num_header_slices = 0;
452                 compute_group_size(vsst, g, max_group_bytes);
453                 g->slice_bytes = DIV_ROUND_UP(g->bytes, k);
454                 if (g->slice_bytes == 0)
455                         g->slice_bytes = 1;
456                 return 1;
457         }
458         if (!need_data_slices(fc, vsst)) {
459                 g->bytes = 0;
460                 g->num_chunks = 0;
461                 g->slice_bytes = DIV_ROUND_UP(vsst->header_len, k);
462                 g->num_header_slices = k;
463                 return 1;
464         }
465         h = vsst->header_len;
466         max_group_bytes = (k - num_slices(h, max_slice_bytes, n - k))
467                 * max_slice_bytes;
468         compute_group_size(vsst, g, max_group_bytes);
469         d = g->bytes;
470         if (d == 0) {
471                 g->slice_bytes = DIV_ROUND_UP(h, k);
472                 ret = num_slices(vsst->header_len, g->slice_bytes, n - k);
473                 if (ret < 0)
474                         return ret;
475                 g->num_header_slices = ret;
476                 return 1;
477         }
478         min = PARA_MIN(h, d);
479         max = PARA_MAX(h, d);
480         sum = h + d;
481         k1 = DIV_ROUND_UP(k * min, sum);
482         k2 = k - k1;
483         assert(k1 > 0);
484         assert(k2 > 0);
485
486         g->slice_bytes = PARA_MAX(DIV_ROUND_UP(min, k1), DIV_ROUND_UP(max, k2));
487         /*
488          * This value of s := g->slice_bytes satisfies inequality (*) above,
489          * but it might be larger than max_slice_bytes. However, we know that
490          * max_slice_bytes are sufficient to store header and data, so:
491          */
492         g->slice_bytes = PARA_MIN((int)g->slice_bytes, max_slice_bytes);
493
494         ret = num_slices(vsst->header_len, g->slice_bytes, n - k);
495         if (ret < 0)
496                 return ret;
497         g->num_header_slices = ret;
498         return 1;
499 }
500
501 static int setup_next_fec_group(struct fec_client *fc, struct vss_task *vsst)
502 {
503         int ret, i, k, n, data_slices;
504         size_t len;
505         char *buf;
506         struct fec_group *g = &fc->group;
507
508         if (fc->state == FEC_STATE_NONE) {
509                 ret = initialize_fec_client(fc, vsst);
510                 if (ret < 0)
511                         return ret;
512                 g->first_chunk = mmd->current_chunk;
513                 g->num = 0;
514                 g->start = *now;
515         } else {
516                 struct timeval tmp;
517                 if (g->first_chunk + g->num_chunks >= mmd->afd.afhi.chunks_total)
518                         return 0;
519                 /*
520                  * Start and duration of this group depend only on the previous
521                  * group. Compute the new group start as g->start += g->duration.
522                  */
523                 tmp = g->start;
524                 tv_add(&tmp, &g->duration, &g->start);
525                 set_group_timing(fc, vsst);
526                 g->first_chunk += g->num_chunks;
527                 g->num++;
528         }
529         k = fc->fcp->data_slices_per_group + fc->num_extra_slices;
530         n = fc->fcp->slices_per_group + fc->num_extra_slices;
531
532         compute_slice_size(fc, vsst);
533         assert(g->slice_bytes > 0);
534         ret = num_slices(g->bytes, g->slice_bytes, n - k);
535         if (ret < 0)
536                 return ret;
537         data_slices = ret;
538         assert(g->num_header_slices + data_slices <= k);
539         fc->current_slice_num = 0;
540         if (g->num == 0)
541                 set_group_timing(fc, vsst);
542         /* setup header slices */
543         buf = vsst->header_buf;
544         for (i = 0; i < g->num_header_slices; i++) {
545                 uint32_t payload_size;
546                 if (buf + g->slice_bytes <= vsst->header_buf + vsst->header_len) {
547                         fc->src_data[i] = (const unsigned char *)buf;
548                         buf += g->slice_bytes;
549                         continue;
550                 }
551                 /*
552                  * Can not use vss->header_buf for this slice as it
553                  * goes beyond the buffer. This slice will not be fully
554                  * used.
555                  */
556                 payload_size = vsst->header_buf + vsst->header_len - buf;
557                 memcpy(fc->extra_header_buf, buf, payload_size);
558                 if (payload_size < g->slice_bytes)
559                         memset(fc->extra_header_buf + payload_size, 0,
560                                 g->slice_bytes - payload_size);
561                 fc->src_data[i] = fc->extra_header_buf;
562                 assert(i == g->num_header_slices - 1);
563         }
564
565         /* setup data slices */
566         vss_get_chunk(g->first_chunk, vsst, &buf, &len);
567         for (; i < g->num_header_slices + data_slices; i++) {
568                 if (buf + g->slice_bytes > vsst->map + mmd->size) {
569                         /*
570                          * Can not use the memory mapped audio file for this
571                          * slice as it goes beyond the map.
572                          */
573                         uint32_t payload_size = vsst->map + mmd->size - buf;
574                         memcpy(fc->extra_src_buf, buf, payload_size);
575                         if (payload_size < g->slice_bytes)
576                                 memset(fc->extra_src_buf + payload_size, 0,
577                                         g->slice_bytes - payload_size);
578                         fc->src_data[i] = fc->extra_src_buf;
579                         i++;
580                         break;
581                 }
582                 fc->src_data[i] = (const unsigned char *)buf;
583                 buf += g->slice_bytes;
584         }
585         if (i < k) {
586                 /* use arbitrary data for all remaining slices */
587                 buf = vsst->map;
588                 for (; i < k; i++)
589                         fc->src_data[i] = (const unsigned char *)buf;
590         }
591         PARA_DEBUG_LOG("FEC group %d: %d chunks (%d - %d), %d bytes\n",
592                 g->num, g->num_chunks, g->first_chunk,
593                 g->first_chunk + g->num_chunks - 1, g->bytes
594         );
595         PARA_DEBUG_LOG("slice_bytes: %d, %d header slices, %d data slices\n",
596                 g->slice_bytes, g->num_header_slices, data_slices
597         );
598         return 1;
599 }
600
601 static int compute_next_fec_slice(struct fec_client *fc, struct vss_task *vsst)
602 {
603         if (fc->state == FEC_STATE_NONE || fc->current_slice_num
604                         == fc->fcp->slices_per_group + fc->num_extra_slices) {
605                 int ret = setup_next_fec_group(fc, vsst);
606                 if (ret == 0)
607                         return 0;
608                 if (ret < 0) {
609                         PARA_ERROR_LOG("%s\n", para_strerror(-ret));
610                         PARA_ERROR_LOG("FEC client temporarily disabled\n");
611                         fc->state = FEC_STATE_DISABLED;
612                         return ret;
613                 }
614         }
615         write_fec_header(fc, vsst);
616         fec_encode(fc->parms, fc->src_data, fc->enc_buf + FEC_HEADER_SIZE,
617                 fc->current_slice_num, fc->group.slice_bytes);
618         return 1;
619 }
620
621 /**
622  * Return a buffer that marks the end of the stream.
623  *
624  * \param buf Result pointer.
625  * \return The length of the eof buffer.
626  *
627  * This is used for (multicast) udp streaming where closing the socket on the
628  * sender might not give rise to an eof condition at the peer.
629  */
630 size_t vss_get_fec_eof_packet(const char **buf)
631 {
632         static const char fec_eof_packet[FEC_HEADER_SIZE] = FEC_EOF_PACKET;
633         *buf = fec_eof_packet;
634         return FEC_HEADER_SIZE;
635 }
636
637 /**
638  * Add one entry to the list of active fec clients.
639  *
640  * \param sc  Generic sender_client data of the transport layer.
641  * \param fcp FEC parameters as supplied by the transport layer.
642  *
643  * \return Newly allocated fec_client struct.
644  */
645 struct fec_client *vss_add_fec_client(struct sender_client *sc,
646                                       struct fec_client_parms *fcp)
647 {
648         struct fec_client *fc = para_calloc(sizeof(*fc));
649
650         fc->sc  = sc;
651         fc->fcp = fcp;
652         para_list_add(&fc->node, &fec_client_list);
653         return fc;
654 }
655
656 /**
657  * Remove one entry from the list of active fec clients.
658  *
659  * \param fc The client to be removed.
660  */
661 void vss_del_fec_client(struct fec_client *fc)
662 {
663         list_del(&fc->node);
664         free(fc->src_data);
665         free(fc->enc_buf);
666         free(fc->extra_src_buf);
667         free(fc->extra_header_buf);
668         fec_free(fc->parms);
669         free(fc);
670 }
671
672 /*
673  * Compute if/when next slice is due. If it isn't due yet and \a diff is
674  * not \p Null, compute the time difference next - now, where
675  *
676  *      next = stream_start + (first_group_chunk - first_stream_chunk)
677  *              * chunk_time + slice_num * slice_time
678  */
679 static int next_slice_is_due(struct fec_client *fc, struct timeval *diff)
680 {
681         struct timeval tmp, next;
682         int ret;
683
684         if (fc->state == FEC_STATE_NONE)
685                 return 1;
686         tv_scale(fc->current_slice_num, &fc->group.slice_duration, &tmp);
687         tv_add(&tmp, &fc->group.start, &next);
688         ret = tv_diff(&next, now, diff);
689         return ret < 0? 1 : 0;
690 }
691
692 static void set_eof_barrier(struct vss_task *vsst)
693 {
694         struct fec_client *fc;
695         struct timeval timeout = {1, 0}, *chunk_tv = vss_chunk_time();
696
697         if (!chunk_tv)
698                 goto out;
699         list_for_each_entry(fc, &fec_client_list, node) {
700                 struct timeval group_duration;
701
702                 if (fc->state != FEC_STATE_READY_TO_RUN)
703                         continue;
704                 tv_scale(fc->group.num_chunks, chunk_tv, &group_duration);
705                 if (tv_diff(&timeout, &group_duration, NULL) < 0)
706                         timeout = group_duration;
707         }
708 out:
709         tv_add(now, &timeout, &vsst->eof_barrier);
710 }
711
712 /**
713  * Check if vss status flag \a P (playing) is set.
714  *
715  * \return Greater than zero if playing, zero otherwise.
716  *
717  */
718 unsigned int vss_playing(void)
719 {
720         return mmd->new_vss_status_flags & VSS_PLAYING;
721 }
722
723 /**
724  * Check if the \a N (next) status flag is set.
725  *
726  * \return Greater than zero if set, zero if not.
727  *
728  */
729 unsigned int vss_next(void)
730 {
731         return mmd->new_vss_status_flags & VSS_NEXT;
732 }
733
734 /**
735  * Check if a reposition request is pending.
736  *
737  * \return Greater than zero if true, zero otherwise.
738  *
739  */
740 unsigned int vss_repos(void)
741 {
742         return mmd->new_vss_status_flags & VSS_REPOS;
743 }
744
745 /**
746  * Check if the vss is currently paused.
747  *
748  * \return Greater than zero if paused, zero otherwise.
749  *
750  */
751 unsigned int vss_paused(void)
752 {
753         return !(mmd->new_vss_status_flags & VSS_NEXT)
754                 && !(mmd->new_vss_status_flags & VSS_PLAYING);
755 }
756
757 /**
758  * Check if the vss is currently stopped.
759  *
760  * \return Greater than zero if paused, zero otherwise.
761  *
762  */
763 unsigned int vss_stopped(void)
764 {
765         return (mmd->new_vss_status_flags & VSS_NEXT)
766                 && !(mmd->new_vss_status_flags & VSS_PLAYING);
767 }
768
769 static int chk_barrier(const char *bname, const struct timeval *barrier,
770                 struct timeval *diff, int print_log)
771 {
772         long ms;
773
774         if (tv_diff(now, barrier, diff) > 0)
775                 return 1;
776         ms = tv2ms(diff);
777         if (print_log && ms)
778                 PARA_DEBUG_LOG("%s barrier: %lims left\n", bname, ms);
779         return -1;
780 }
781
782 static void vss_compute_timeout(struct sched *s, struct vss_task *vsst)
783 {
784         struct timeval tv;
785         struct fec_client *fc;
786
787         if (!vss_playing() || !vsst->map)
788                 return;
789         if (vss_next() && vsst->map) /* only sleep a bit, nec*/
790                 return sched_request_timeout_ms(100, s);
791
792         /* Each of these barriers must have passed until we may proceed */
793         if (sched_request_barrier(&vsst->autoplay_barrier, s) == 1)
794                 return;
795         if (sched_request_barrier(&vsst->eof_barrier, s) == 1)
796                 return;
797         if (sched_request_barrier(&vsst->data_send_barrier, s) == 1)
798                 return;
799         /*
800          * Compute the select timeout as the minimal time until the next
801          * chunk/slice is due for any client.
802          */
803         compute_chunk_time(mmd->chunks_sent, &mmd->afd.afhi.chunk_tv,
804                 &mmd->stream_start, &tv);
805         if (sched_request_barrier_or_min_delay(&tv, s) == 0)
806                 return;
807         list_for_each_entry(fc, &fec_client_list, node) {
808                 if (fc->state != FEC_STATE_READY_TO_RUN)
809                         continue;
810                 if (next_slice_is_due(fc, &tv))
811                         return sched_min_delay(s);
812                 sched_request_timeout(&tv, s);
813         }
814 }
815
816 static void vss_eof(struct vss_task *vsst)
817 {
818
819         if (!vsst->map)
820                 return;
821         if (mmd->new_vss_status_flags & VSS_NOMORE)
822                 mmd->new_vss_status_flags = VSS_NEXT;
823         set_eof_barrier(vsst);
824         afh_free_header(vsst->header_buf, mmd->afd.audio_format_id);
825         vsst->header_buf = NULL;
826         para_munmap(vsst->map, mmd->size);
827         vsst->map = NULL;
828         mmd->chunks_sent = 0;
829         //mmd->offset = 0;
830         mmd->afd.afhi.seconds_total = 0;
831         mmd->afd.afhi.chunk_tv.tv_sec = 0;
832         mmd->afd.afhi.chunk_tv.tv_usec = 0;
833         free(mmd->afd.afhi.chunk_table);
834         mmd->afd.afhi.chunk_table = NULL;
835         mmd->mtime = 0;
836         mmd->size = 0;
837         mmd->events++;
838 }
839
840 static int need_to_request_new_audio_file(struct vss_task *vsst)
841 {
842         struct timeval diff;
843
844         if (vsst->map) /* have audio file */
845                 return 0;
846         if (!vss_playing()) /* don't need one */
847                 return 0;
848         if (mmd->new_vss_status_flags & VSS_NOMORE)
849                 return 0;
850         if (vsst->afsss == AFS_SOCKET_AFD_PENDING) /* already requested one */
851                 return 0;
852         if (chk_barrier("autoplay_delay", &vsst->autoplay_barrier,
853                         &diff, 1) < 0)
854                 return 0;
855         return 1;
856 }
857
858 static void set_mmd_offset(void)
859 {
860         struct timeval offset;
861         tv_scale(mmd->current_chunk, &mmd->afd.afhi.chunk_tv, &offset);
862         mmd->offset = tv2ms(&offset);
863 }
864
865 /**
866  * Compute the timeout for the main select-loop of the scheduler.
867  *
868  * \param s Pointer to the server scheduler.
869  * \param t Pointer to the vss task structure.
870  *
871  * Before the timeout is computed, the current vss status flags are evaluated
872  * and acted upon by calling appropriate functions from the lower layers.
873  * Possible actions include
874  *
875  *      - request a new audio file from afs,
876  *      - shutdown of all senders (stop/pause command),
877  *      - reposition the stream (ff/jmp command).
878  */
879 static void vss_pre_select(struct sched *s, struct task *t)
880 {
881         int i;
882         struct vss_task *vsst = container_of(t, struct vss_task, task);
883
884         if (!vsst->map || vss_next() || vss_paused() || vss_repos()) {
885                 struct fec_client *fc, *tmp;
886                 for (i = 0; senders[i].name; i++)
887                         if (senders[i].shutdown_clients)
888                                 senders[i].shutdown_clients();
889                 list_for_each_entry_safe(fc, tmp, &fec_client_list, node)
890                         fc->state = FEC_STATE_NONE;
891                 mmd->stream_start.tv_sec = 0;
892                 mmd->stream_start.tv_usec = 0;
893         }
894         if (vss_next())
895                 vss_eof(vsst);
896         else if (vss_paused()) {
897                 if (mmd->chunks_sent)
898                         set_eof_barrier(vsst);
899                 mmd->chunks_sent = 0;
900         } else if (vss_repos()) {
901                 tv_add(now, &vsst->announce_tv, &vsst->data_send_barrier);
902                 set_eof_barrier(vsst);
903                 mmd->chunks_sent = 0;
904                 mmd->current_chunk = mmd->repos_request;
905                 mmd->new_vss_status_flags &= ~VSS_REPOS;
906                 set_mmd_offset();
907         }
908         if (need_to_request_new_audio_file(vsst)) {
909                 PARA_DEBUG_LOG("ready and playing, but no audio file\n");
910                 para_fd_set(vsst->afs_socket, &s->wfds, &s->max_fileno);
911                 vsst->afsss = AFS_SOCKET_CHECK_FOR_WRITE;
912         } else
913                 para_fd_set(vsst->afs_socket, &s->rfds, &s->max_fileno);
914         for (i = 0; senders[i].name; i++) {
915                 if (!senders[i].pre_select)
916                         continue;
917                 senders[i].pre_select(&s->max_fileno, &s->rfds, &s->wfds);
918         }
919         vss_compute_timeout(s, vsst);
920 }
921
922 static int recv_afs_msg(int afs_socket, int *fd, uint32_t *code, uint32_t *data)
923 {
924         char control[255], buf[8];
925         struct msghdr msg = {.msg_iov = NULL};
926         struct cmsghdr *cmsg;
927         struct iovec iov;
928         int ret = 0;
929
930         *fd = -1;
931         iov.iov_base = buf;
932         iov.iov_len = sizeof(buf);
933         msg.msg_iov = &iov;
934         msg.msg_iovlen = 1;
935         msg.msg_control = control;
936         msg.msg_controllen = sizeof(control);
937         memset(buf, 0, sizeof(buf));
938         ret = recvmsg(afs_socket, &msg, 0);
939         if (ret < 0)
940                 return -ERRNO_TO_PARA_ERROR(errno);
941         if (iov.iov_len != sizeof(buf))
942                 return -E_AFS_SHORT_READ;
943         *code = *(uint32_t*)buf;
944         *data =  *(uint32_t*)(buf + 4);
945         for (cmsg = CMSG_FIRSTHDR(&msg); cmsg; cmsg = CMSG_NXTHDR(&msg, cmsg)) {
946                 if (cmsg->cmsg_level != SOL_SOCKET
947                         || cmsg->cmsg_type != SCM_RIGHTS)
948                         continue;
949                 if ((cmsg->cmsg_len - CMSG_LEN(0)) / sizeof(int) != 1)
950                         continue;
951                 *fd = *(int *)CMSG_DATA(cmsg);
952         }
953         return 1;
954 }
955
956 #ifndef MAP_POPULATE
957 #define MAP_POPULATE 0
958 #endif
959
960 static void recv_afs_result(struct vss_task *vsst, fd_set *rfds)
961 {
962         int ret, passed_fd, shmid;
963         uint32_t afs_code = 0, afs_data = 0;
964         struct stat statbuf;
965
966         if (!FD_ISSET(vsst->afs_socket, rfds))
967                 return;
968         ret = recv_afs_msg(vsst->afs_socket, &passed_fd, &afs_code, &afs_data);
969         if (ret == -ERRNO_TO_PARA_ERROR(EAGAIN))
970                 return;
971         if (ret < 0)
972                 goto err;
973         vsst->afsss = AFS_SOCKET_READY;
974         PARA_DEBUG_LOG("fd: %d, code: %u, shmid: %u\n", passed_fd, afs_code,
975                 afs_data);
976         ret = -E_NOFD;
977         if (afs_code != NEXT_AUDIO_FILE)
978                 goto err;
979         if (passed_fd < 0)
980                 goto err;
981         shmid = afs_data;
982         ret = load_afd(shmid, &mmd->afd);
983         if (ret < 0)
984                 goto err;
985         shm_destroy(shmid);
986         ret = fstat(passed_fd, &statbuf);
987         if (ret < 0) {
988                 PARA_ERROR_LOG("fstat error:\n");
989                 ret = -ERRNO_TO_PARA_ERROR(errno);
990                 goto err;
991         }
992         mmd->size = statbuf.st_size;
993         mmd->mtime = statbuf.st_mtime;
994         ret = para_mmap(mmd->size, PROT_READ, MAP_PRIVATE | MAP_POPULATE,
995                 passed_fd, 0, &vsst->map);
996         if (ret < 0)
997                 goto err;
998         close(passed_fd);
999         mmd->chunks_sent = 0;
1000         mmd->current_chunk = 0;
1001         mmd->offset = 0;
1002         mmd->events++;
1003         mmd->num_played++;
1004         mmd->new_vss_status_flags &= (~VSS_NEXT);
1005         afh_get_header(&mmd->afd.afhi, mmd->afd.audio_format_id,
1006                 vsst->map, mmd->size, &vsst->header_buf, &vsst->header_len);
1007         return;
1008 err:
1009         free(mmd->afd.afhi.chunk_table);
1010         if (passed_fd >= 0)
1011                 close(passed_fd);
1012         PARA_ERROR_LOG("%s\n", para_strerror(-ret));
1013         mmd->new_vss_status_flags = VSS_NEXT;
1014 }
1015
1016 /**
1017  * Main sending function.
1018  *
1019  * This function gets called from vss_post_select(). It checks whether the next
1020  * chunk of data should be pushed out. It obtains a pointer to the data to be
1021  * sent out as well as its length from mmd->afd.afhi. This information is then
1022  * passed to each supported sender's send() function as well as to the send()
1023  * functions of each registered fec client.
1024  */
1025 static void vss_send(struct vss_task *vsst)
1026 {
1027         int i, fec_active = 0;
1028         struct timeval due;
1029         struct fec_client *fc, *tmp_fc;
1030
1031         if (!vsst->map || !vss_playing())
1032                 return;
1033         if (chk_barrier("eof", &vsst->eof_barrier, &due, 1) < 0)
1034                 return;
1035         if (chk_barrier("data send", &vsst->data_send_barrier,
1036                         &due, 1) < 0)
1037                 return;
1038         list_for_each_entry_safe(fc, tmp_fc, &fec_client_list, node) {
1039                 if (fc->state == FEC_STATE_DISABLED)
1040                         continue;
1041                 if (!next_slice_is_due(fc, NULL)) {
1042                         fec_active = 1;
1043                         continue;
1044                 }
1045                 if (compute_next_fec_slice(fc, vsst) <= 0)
1046                         continue;
1047                 PARA_DEBUG_LOG("sending %d:%d (%u bytes)\n", fc->group.num,
1048                         fc->current_slice_num, fc->group.slice_bytes);
1049                 fc->fcp->send_fec(fc->sc, (char *)fc->enc_buf,
1050                         fc->group.slice_bytes + FEC_HEADER_SIZE);
1051                 fc->current_slice_num++;
1052                 fec_active = 1;
1053         }
1054         if (mmd->current_chunk >= mmd->afd.afhi.chunks_total) { /* eof */
1055                 if (!fec_active)
1056                         mmd->new_vss_status_flags |= VSS_NEXT;
1057                 return;
1058         }
1059         compute_chunk_time(mmd->chunks_sent, &mmd->afd.afhi.chunk_tv,
1060                 &mmd->stream_start, &due);
1061         if (tv_diff(&due, now, NULL) <= 0) {
1062                 char *buf;
1063                 size_t len;
1064
1065                 if (!mmd->chunks_sent) {
1066                         mmd->stream_start = *now;
1067                         mmd->events++;
1068                         set_mmd_offset();
1069                 }
1070                 /*
1071                  * We call the send function also in case of empty chunks as
1072                  * they might have still some data queued which can be sent in
1073                  * this case.
1074                  */
1075                 vss_get_chunk(mmd->current_chunk, vsst, &buf, &len);
1076                 for (i = 0; senders[i].name; i++) {
1077                         if (!senders[i].send)
1078                                 continue;
1079                         senders[i].send(mmd->current_chunk, mmd->chunks_sent,
1080                                 buf, len, vsst->header_buf, vsst->header_len);
1081                 }
1082                 /*
1083                  * Prefault next chunk(s)
1084                  *
1085                  * If the backing device of the memory-mapped audio file is
1086                  * slow and read-ahead is turned off or prevented for some
1087                  * reason, e.g. due to memory pressure, it may take much longer
1088                  * than the chunk interval to get the next chunk on the wire,
1089                  * causing buffer underruns on the client side. Mapping the
1090                  * file with MAP_POPULATE seems to help a bit, but it does not
1091                  * eliminate the delays completely. Moreover, it is supported
1092                  * only on Linux. So we do our own read-ahead here.
1093                  */
1094                 if (mmd->current_chunk > 0) { /* chunk 0 might be on the heap */
1095                         buf += len;
1096                         for (i = 0; i < 5 && buf < vsst->map + mmd->size; i++) {
1097                                 __a_unused volatile char x = *buf;
1098                                 buf += 4096;
1099                         }
1100                 }
1101                 mmd->chunks_sent++;
1102                 mmd->current_chunk++;
1103         }
1104 }
1105
1106 static void vss_post_select(struct sched *s, struct task *t)
1107 {
1108         int ret, i;
1109         struct vss_task *vsst = container_of(t, struct vss_task, task);
1110
1111
1112         if (mmd->sender_cmd_data.cmd_num >= 0) {
1113                 int num = mmd->sender_cmd_data.cmd_num,
1114                         sender_num = mmd->sender_cmd_data.sender_num;
1115
1116                 if (senders[sender_num].client_cmds[num]) {
1117                         ret = senders[sender_num].client_cmds[num]
1118                                 (&mmd->sender_cmd_data);
1119                         if (ret < 0)
1120                                 PARA_ERROR_LOG("%s\n", para_strerror(-ret));
1121                 }
1122                 mmd->sender_cmd_data.cmd_num = -1;
1123         }
1124         if (vsst->afsss != AFS_SOCKET_CHECK_FOR_WRITE)
1125                 recv_afs_result(vsst, &s->rfds);
1126         else if (FD_ISSET(vsst->afs_socket, &s->wfds)) {
1127                 PARA_NOTICE_LOG("requesting new fd from afs\n");
1128                 ret = send_buffer(vsst->afs_socket, "new");
1129                 if (ret < 0)
1130                         PARA_CRIT_LOG("%s\n", para_strerror(-ret));
1131                 else
1132                         vsst->afsss = AFS_SOCKET_AFD_PENDING;
1133         }
1134         for (i = 0; senders[i].name; i++) {
1135                 if (!senders[i].post_select)
1136                         continue;
1137                 senders[i].post_select(&s->rfds, &s->wfds);
1138         }
1139         if ((vss_playing() && !(mmd->vss_status_flags & VSS_PLAYING)) ||
1140                         (vss_next() && vss_playing()))
1141                 tv_add(now, &vsst->announce_tv, &vsst->data_send_barrier);
1142         vss_send(vsst);
1143 }
1144
1145 /**
1146  * Initialize the virtual streaming system task.
1147  *
1148  * \param afs_socket The fd for communication with afs.
1149  *
1150  * This also initializes all supported senders and starts streaming
1151  * if the --autoplay command line flag was given.
1152  */
1153 void init_vss_task(int afs_socket)
1154 {
1155         static struct vss_task vss_task_struct, *vsst = &vss_task_struct;
1156         int i;
1157         char *hn = para_hostname(), *home = para_homedir();
1158         long unsigned announce_time = conf.announce_time_arg > 0?
1159                         conf.announce_time_arg : 300,
1160                 autoplay_delay = conf.autoplay_delay_arg > 0?
1161                         conf.autoplay_delay_arg : 0;
1162         vsst->header_interval.tv_sec = 5; /* should this be configurable? */
1163         vsst->afs_socket = afs_socket;
1164         vsst->task.pre_select = vss_pre_select;
1165         vsst->task.post_select = vss_post_select;
1166         ms2tv(announce_time, &vsst->announce_tv);
1167         PARA_INFO_LOG("announce timeval: %lums\n", tv2ms(&vsst->announce_tv));
1168         INIT_LIST_HEAD(&fec_client_list);
1169         for (i = 0; senders[i].name; i++) {
1170                 PARA_NOTICE_LOG("initializing %s sender\n", senders[i].name);
1171                 senders[i].init(&senders[i]);
1172         }
1173         free(hn);
1174         free(home);
1175         mmd->sender_cmd_data.cmd_num = -1;
1176         if (conf.autoplay_given) {
1177                 struct timeval tmp;
1178                 mmd->vss_status_flags |= VSS_PLAYING;
1179                 mmd->new_vss_status_flags |= VSS_PLAYING;
1180                 ms2tv(autoplay_delay, &tmp);
1181                 tv_add(now, &tmp, &vsst->autoplay_barrier);
1182                 tv_add(&vsst->autoplay_barrier, &vsst->announce_tv,
1183                         &vsst->data_send_barrier);
1184         }
1185         sprintf(vsst->task.status, "vss task");
1186         register_task(&vsst->task);
1187 }