vss.c

   1 /*
   2  * Copyright (C) 1997 Andre Noll <maan@tuebingen.mpg.de>
   3  *
   4  * Licensed under the GPL v2. For licencing details see COPYING.
   5  */
   6
   7 /** \file vss.c The virtual streaming system.
   8  *
   9  * This contains the audio streaming code of para_server which is independent
  10  * of the current audio format, audio file selector and of the activated
  11  * senders.
  12  */
  13
  14 #include <sys/socket.h>
  15 #include <netinet/in.h>
  16 #include <regex.h>
  17 #include <osl.h>
  18 #include <sys/types.h>
  19 #include <arpa/inet.h>
  20 #include <sys/un.h>
  21 #include <netdb.h>
  22
  23 #include "para.h"
  24 #include "error.h"
  25 #include "portable_io.h"
  26 #include "fec.h"
  27 #include "string.h"
  28 #include "afh.h"
  29 #include "afs.h"
  30 #include "server.h"
  31 #include "net.h"
  32 #include "server.cmdline.h"
  33 #include "list.h"
  34 #include "send.h"
  35 #include "sched.h"
  36 #include "vss.h"
  37 #include "ipc.h"
  38 #include "fd.h"
  39
  40 extern struct misc_meta_data *mmd;
  41
  42 extern void dccp_send_init(struct sender *);
  43 extern void http_send_init(struct sender *);
  44 extern void udp_send_init(struct sender *);
  45
  46 /** The list of supported senders. */
  47 struct sender senders[] = {
  48         {
  49                 .name = "http",
  50                 .init = http_send_init,
  51         },
  52         {
  53                 .name = "dccp",
  54                 .init = dccp_send_init,
  55         },
  56         {
  57                 .name = "udp",
  58                 .init = udp_send_init,
  59         },
  60         {
  61                 .name = NULL,
  62         }
  63 };
  64
  65 /** The possible states of the afs socket. */
  66 enum afs_socket_status {
  67         /** Socket is inactive. */
  68         AFS_SOCKET_READY,
  69         /** Socket fd was included in the write fd set for select(). */
  70         AFS_SOCKET_CHECK_FOR_WRITE,
  71         /** vss wrote a request to the socket and waits for reply from afs. */
  72         AFS_SOCKET_AFD_PENDING
  73 };
  74
  75 /** The task structure for the virtual streaming system. */
  76 struct vss_task {
  77         /** Copied from the -announce_time command line option. */
  78         struct timeval announce_tv;
  79         /** End of the announcing interval. */
  80         struct timeval data_send_barrier;
  81         /** End of the EOF interval. */
  82         struct timeval eof_barrier;
  83         /** Only used if --autoplay_delay was given. */
  84         struct timeval autoplay_barrier;
  85         /** Used for afs-server communication. */
  86         int afs_socket;
  87         /** The current state of \a afs_socket. */
  88         enum afs_socket_status afsss;
  89         /** The memory mapped audio file. */
  90         char *map;
  91         /** The size of the memory mapping. */
  92         size_t mapsize;
  93         /** Used by the scheduler. */
  94         struct task *task;
  95         /** Pointer to the header of the mapped audio file. */
  96         char *header_buf;
  97         /** Length of the audio file header. */
  98         size_t header_len;
  99         /** Time between audio file headers are sent. */
 100         struct timeval header_interval;
 101         /* Only used if afh supports dynamic chunks. */
 102         void *afh_context;
 103 };
 104
 105 /**
 106  * The list of currently connected fec clients.
 107  *
 108  * Senders may use \ref vss_add_fec_client() to add entries to the list.
 109  */
 110 static struct list_head fec_client_list;
 111
 112 /**
 113  * Data associated with one FEC group.
 114  *
 115  * A FEC group consists of a fixed number of slices and this number is given by
 116  * the \a slices_per_group parameter of struct \ref fec_client_parms. Each FEC
 117  * group contains a number of chunks of the current audio file.
 118  *
 119  * FEC slices directly correspond to the data packages sent by the paraslash
 120  * senders that use FEC. Each slice is identified by its group number and its
 121  * number within the group. All slices have the same size, but the last slice
 122  * of the group may not be filled entirely.
 123  */
 124 struct fec_group {
 125         /** The number of the FEC group. */
 126         uint32_t num;
 127         /** Number of bytes in this group. */
 128         uint32_t bytes;
 129         /** The first chunk of the current audio file belonging to the group. */
 130         uint32_t first_chunk;
 131         /** The number of chunks contained in this group. */
 132         uint32_t num_chunks;
 133         /** When the first chunk was sent. */
 134         struct timeval start;
 135         /** The duration of the full group. */
 136         struct timeval duration;
 137         /** The group duration divided by the number of slices. */
 138         struct timeval slice_duration;
 139         /** Group contains the audio file header that occupies that many slices. */
 140         uint8_t num_header_slices;
 141         /** Number of bytes per slice for this group. */
 142         uint16_t slice_bytes;
 143 };
 144
 145 /** A FEC client is always in one of these states. */
 146 enum fec_client_state {
 147         FEC_STATE_NONE = 0,     /**< not initialized and not enabled */
 148         FEC_STATE_DISABLED,     /**< temporarily disabled */
 149         FEC_STATE_READY_TO_RUN  /**< initialized and enabled */
 150 };
 151
 152 /**
 153  * Describes one connected FEC client.
 154  */
 155 struct fec_client {
 156         /** Current state of the client */
 157         enum fec_client_state state;
 158         /** The connected sender client (transport layer). */
 159         struct sender_client *sc;
 160         /** Parameters requested by the client. */
 161         struct fec_client_parms *fcp;
 162         /** Used by the core FEC code. */
 163         struct fec_parms *parms;
 164         /** The position of this client in the fec client list. */
 165         struct list_head node;
 166         /** When the first slice for this client was sent. */
 167         struct timeval stream_start;
 168         /** The first chunk sent to this FEC client. */
 169         int first_stream_chunk;
 170         /** Describes the current group. */
 171         struct fec_group group;
 172         /** The current slice. */
 173         uint8_t current_slice_num;
 174         /** The data to be FEC-encoded (point to a region within the mapped audio file). */
 175         const unsigned char **src_data;
 176         /** Last time an audio  header was sent. */
 177         struct timeval next_header_time;
 178         /** Used for the last source pointer of an audio file. */
 179         unsigned char *extra_src_buf;
 180         /** Needed for the last slice of the audio file header. */
 181         unsigned char *extra_header_buf;
 182         /** Extra slices needed to store largest chunk + header. */
 183         int num_extra_slices;
 184         /** Contains the FEC-encoded data. */
 185         unsigned char *enc_buf;
 186         /** Maximal packet size. */
 187         int mps;
 188 };
 189
 190 /**
 191  * Get the chunk time of the current audio file.
 192  *
 193  * \return A pointer to a struct containing the chunk time, or NULL,
 194  * if currently no audio file is selected.
 195  */
 196 struct timeval *vss_chunk_time(void)
 197 {
 198         if (mmd->afd.afhi.chunk_tv.tv_sec == 0 &&
 199                         mmd->afd.afhi.chunk_tv.tv_usec == 0)
 200                 return NULL;
 201         return &mmd->afd.afhi.chunk_tv;
 202 }
 203
 204 /**
 205  * Write a fec header to a buffer.
 206  *
 207  * \param buf The buffer to write to.
 208  * \param h The fec header to write.
 209  */
 210 static void write_fec_header(struct fec_client *fc, struct vss_task *vsst)
 211 {
 212         char *buf = (char *)fc->enc_buf;
 213         struct fec_group *g = &fc->group;
 214         struct fec_client_parms *p = fc->fcp;
 215
 216         write_u32(buf, FEC_MAGIC);
 217
 218         write_u8(buf + 4, p->slices_per_group + fc->num_extra_slices);
 219         write_u8(buf + 5, p->data_slices_per_group + fc->num_extra_slices);
 220         write_u32(buf + 6, g->num_header_slices? vsst->header_len : 0);
 221
 222         write_u32(buf + 10, g->num);
 223         write_u32(buf + 14, g->bytes);
 224
 225         write_u8(buf + 18, fc->current_slice_num);
 226         write_u8(buf + 19, 0); /* unused */
 227         write_u16(buf + 20, g->slice_bytes);
 228         write_u8(buf + 22, g->first_chunk? 0 : 1);
 229         write_u8(buf + 23, vsst->header_len? 1 : 0);
 230         memset(buf + 24, 0, 8);
 231 }
 232
 233 static bool need_audio_header(struct fec_client *fc, struct vss_task *vsst)
 234 {
 235         if (!mmd->current_chunk) {
 236                 tv_add(now, &vsst->header_interval, &fc->next_header_time);
 237                 return false;
 238         }
 239         if (!vsst->header_buf)
 240                 return false;
 241         if (vsst->header_len == 0)
 242                 return false;
 243         if (fc->group.num > 0) {
 244                 if (!fc->fcp->need_periodic_header)
 245                         return false;
 246                 if (tv_diff(&fc->next_header_time, now, NULL) > 0)
 247                         return false;
 248         }
 249         tv_add(now, &vsst->header_interval, &fc->next_header_time);
 250         return true;
 251 }
 252
 253 static bool need_data_slices(struct fec_client *fc, struct vss_task *vsst)
 254 {
 255         if (fc->group.num > 0)
 256                 return true;
 257         if (!vsst->header_buf)
 258                 return true;
 259         if (vsst->header_len == 0)
 260                 return true;
 261         if (fc->fcp->need_periodic_header)
 262                 return true;
 263         return false;
 264 }
 265
 266 static int num_slices(long unsigned bytes, int max_payload, int rs)
 267 {
 268         int ret;
 269
 270         assert(max_payload > 0);
 271         assert(rs > 0);
 272         ret = DIV_ROUND_UP(bytes, max_payload);
 273         if (ret + rs > 255)
 274                 return -E_BAD_CT;
 275         return ret;
 276 }
 277
 278 /* set group start and group duration */
 279 static void set_group_timing(struct fec_client *fc, struct vss_task *vsst)
 280 {
 281         struct fec_group *g = &fc->group;
 282         struct timeval *chunk_tv = vss_chunk_time();
 283
 284         if (!need_data_slices(fc, vsst))
 285                 ms2tv(200, &g->duration);
 286         else
 287                 tv_scale(g->num_chunks, chunk_tv, &g->duration);
 288         tv_divide(fc->fcp->slices_per_group + fc->num_extra_slices,
 289                 &g->duration, &g->slice_duration);
 290         PARA_DEBUG_LOG("durations (group/chunk/slice): %lu/%lu/%lu\n",
 291                 tv2ms(&g->duration), tv2ms(chunk_tv), tv2ms(&g->slice_duration));
 292 }
 293
 294 static int initialize_fec_client(struct fec_client *fc, struct vss_task *vsst)
 295 {
 296         int k, n, ret;
 297         int hs, ds, rs; /* header/data/redundant slices */
 298         struct fec_client_parms *fcp = fc->fcp;
 299
 300         /* set mps */
 301         if (fcp->init_fec) {
 302                 /*
 303                  * Set the maximum slice size to the Maximum Packet Size if the
 304                  * transport protocol allows to determine this value. The user
 305                  * can specify a slice size up to this value.
 306                  */
 307                 ret = fcp->init_fec(fc->sc);
 308                 if (ret < 0)
 309                         return ret;
 310                 fc->mps = ret;
 311         } else
 312                 fc->mps = generic_max_transport_msg_size(fc->sc->fd);
 313         if (fc->mps <= FEC_HEADER_SIZE)
 314                 return -ERRNO_TO_PARA_ERROR(EINVAL);
 315
 316         rs = fc->fcp->slices_per_group - fc->fcp->data_slices_per_group;
 317         ret = num_slices(vsst->header_len, fc->mps - FEC_HEADER_SIZE, rs);
 318         if (ret < 0)
 319                 return ret;
 320         hs = ret;
 321         ret = num_slices(mmd->afd.max_chunk_size, fc->mps - FEC_HEADER_SIZE, rs);
 322         if (ret < 0)
 323                 return ret;
 324         ds = ret;
 325         if (fc->fcp->need_periodic_header)
 326                 k = hs + ds;
 327         else
 328                 k = PARA_MAX(hs, ds);
 329         if (k < fc->fcp->data_slices_per_group)
 330                 k = fc->fcp->data_slices_per_group;
 331         fc->num_extra_slices = k - fc->fcp->data_slices_per_group;
 332         n = k + rs;
 333         fec_free(fc->parms);
 334         ret = fec_new(k, n, &fc->parms);
 335         if (ret < 0)
 336                 return ret;
 337         PARA_INFO_LOG("mps: %d, k: %d, n: %d, extra slices: %d\n",
 338                 fc->mps, k, n, fc->num_extra_slices);
 339         fc->src_data = para_realloc(fc->src_data, k * sizeof(char *));
 340         fc->enc_buf = para_realloc(fc->enc_buf, fc->mps);
 341         fc->extra_src_buf = para_realloc(fc->extra_src_buf, fc->mps);
 342         fc->extra_header_buf = para_realloc(fc->extra_header_buf, fc->mps);
 343
 344         fc->state = FEC_STATE_READY_TO_RUN;
 345         fc->next_header_time.tv_sec = 0;
 346         fc->stream_start = *now;
 347         fc->first_stream_chunk = mmd->current_chunk;
 348         return 1;
 349 }
 350
 351 static void vss_get_chunk(int chunk_num, struct vss_task *vsst,
 352                 char **buf, size_t *sz)
 353 {
 354         int ret;
 355
 356         /*
 357          * Chunk zero is special for header streams: It is the first portion of
 358          * the audio file which consists of the audio file header. It may be
 359          * arbitrary large due to embedded meta data. Audio format handlers may
 360          * replace the header by a stripped one with meta data omitted which is
 361          * of bounded size. We always use the stripped header for streaming
 362          * rather than the unmodified header (chunk zero).
 363          */
 364         if (chunk_num == 0 && vsst->header_len > 0) {
 365                 *buf = vsst->header_buf; /* stripped header */
 366                 *sz = vsst->header_len;
 367                 return;
 368         }
 369         ret = afh_get_chunk(chunk_num, &mmd->afd.afhi,
 370                 mmd->afd.audio_format_id, vsst->map, vsst->mapsize,
 371                 (const char **)buf, sz, &vsst->afh_context);
 372         if (ret < 0) {
 373                 PARA_WARNING_LOG("could not get chunk %d: %s\n",
 374                         chunk_num, para_strerror(-ret));
 375                 *buf = NULL;
 376                 *sz = 0;
 377         }
 378 }
 379
 380 static void compute_group_size(struct vss_task *vsst, struct fec_group *g,
 381                 int max_bytes)
 382 {
 383         char *buf;
 384         size_t len;
 385         int i, max_chunks = PARA_MAX(1LU, 150 / tv2ms(vss_chunk_time()));
 386
 387         if (g->first_chunk == 0) {
 388                 g->num_chunks = 1;
 389                 vss_get_chunk(0, vsst, &buf, &len);
 390                 g->bytes = len;
 391                 return;
 392         }
 393
 394         g->num_chunks = 0;
 395         g->bytes = 0;
 396         /*
 397          * Include chunks into the group until the group duration is at least
 398          * 150ms.  For ogg and wma, a single chunk's duration (ogg page/wma
 399          * super frame) is already larger than 150ms, so a FEC group consists
 400          * of exactly one chunk for these audio formats.
 401          */
 402         for (i = 0;; i++) {
 403                 int chunk_num = g->first_chunk + i;
 404
 405                 if (g->bytes > 0 && i >= max_chunks) /* duration limit */
 406                         break;
 407                 if (chunk_num >= mmd->afd.afhi.chunks_total) /* eof */
 408                         break;
 409                 vss_get_chunk(chunk_num, vsst, &buf, &len);
 410                 if (g->bytes + len > max_bytes)
 411                         break;
 412                 /* Include this chunk */
 413                 g->bytes += len;
 414                 g->num_chunks++;
 415         }
 416         assert(g->num_chunks);
 417 }
 418
 419 /*
 420  * Compute the slice size of the next group.
 421  *
 422  * The FEC parameters n and k are fixed but the slice size varies per
 423  * FEC group.  We'd like to choose slices as small as possible to avoid
 424  * unnecessary FEC calculations but large enough to guarantee that the
 425  * k data slices suffice to encode the header (if needed) and the data
 426  * chunk(s).
 427  *
 428  * Once we know the payload of the next group, we define the number s
 429  * of bytes per slice for this group by
 430  *
 431  *      s = ceil(payload / k)
 432  *
 433  * However, for header streams, computing s is more complicated since no
 434  * overlapping of header and data slices is possible. Hence we have k >=
 435  * 2 and s must satisfy
 436  *
 437  * (*)  ceil(h / s) + ceil(d / s) <= k
 438  *
 439  * where h and d are payload of the header and the data chunk(s)
 440  * respectively. In general there is no value for s such that (*)
 441  * becomes an equality, for example if h = 4000, d = 5000 and k = 10.
 442  *
 443  * We use the following approach for computing a suitable value for s:
 444  *
 445  * Let
 446  *      k1 := ceil(k * min(h, d) / (h + d)),
 447  *      k2 := k - k1.
 448  *
 449  * Note that k >= 2 implies k1 > 0 and k2 > 0, so
 450  *
 451  *      s := max(ceil(min(h, d) / k1), ceil(max(h, d) / k2))
 452  *
 453  * is well-defined. Inequality (*) holds for this value of s since k1
 454  * slices suffice to store min(h, d) while k2 slices suffice to store
 455  * max(h, d), i.e. the first addent of (*) is bounded by k1 and the
 456  * second by k2.
 457  *
 458  * For the above example we obtain
 459  *
 460  *      k1 = ceil(10 * 4000 / 9000) = 5, k2 = 5,
 461  *      s = max(4000 / 5, 5000 / 5) = 1000,
 462  *
 463  * which is optimal since a slice size of 999 bytes would already require
 464  * 11 slices.
 465  */
 466 static int compute_slice_size(struct fec_client *fc, struct vss_task *vsst)
 467 {
 468         struct fec_group *g = &fc->group;
 469         int k = fc->fcp->data_slices_per_group + fc->num_extra_slices;
 470         int n = fc->fcp->slices_per_group + fc->num_extra_slices;
 471         int ret, k1, k2, h, d, min, max, sum;
 472         int max_slice_bytes = fc->mps - FEC_HEADER_SIZE;
 473         int max_group_bytes;
 474
 475         if (!need_audio_header(fc, vsst)) {
 476                 max_group_bytes = k * max_slice_bytes;
 477                 g->num_header_slices = 0;
 478                 compute_group_size(vsst, g, max_group_bytes);
 479                 g->slice_bytes = DIV_ROUND_UP(g->bytes, k);
 480                 if (g->slice_bytes == 0)
 481                         g->slice_bytes = 1;
 482                 return 1;
 483         }
 484         if (!need_data_slices(fc, vsst)) {
 485                 g->bytes = 0;
 486                 g->num_chunks = 0;
 487                 g->slice_bytes = DIV_ROUND_UP(vsst->header_len, k);
 488                 g->num_header_slices = k;
 489                 return 1;
 490         }
 491         h = vsst->header_len;
 492         max_group_bytes = (k - num_slices(h, max_slice_bytes, n - k))
 493                 * max_slice_bytes;
 494         compute_group_size(vsst, g, max_group_bytes);
 495         d = g->bytes;
 496         if (d == 0) {
 497                 g->slice_bytes = DIV_ROUND_UP(h, k);
 498                 ret = num_slices(vsst->header_len, g->slice_bytes, n - k);
 499                 if (ret < 0)
 500                         return ret;
 501                 g->num_header_slices = ret;
 502                 return 1;
 503         }
 504         min = PARA_MIN(h, d);
 505         max = PARA_MAX(h, d);
 506         sum = h + d;
 507         k1 = DIV_ROUND_UP(k * min, sum);
 508         k2 = k - k1;
 509         assert(k1 > 0);
 510         assert(k2 > 0);
 511
 512         g->slice_bytes = PARA_MAX(DIV_ROUND_UP(min, k1), DIV_ROUND_UP(max, k2));
 513         /*
 514          * This value of s := g->slice_bytes satisfies inequality (*) above,
 515          * but it might be larger than max_slice_bytes. However, we know that
 516          * max_slice_bytes are sufficient to store header and data, so:
 517          */
 518         g->slice_bytes = PARA_MIN((int)g->slice_bytes, max_slice_bytes);
 519
 520         ret = num_slices(vsst->header_len, g->slice_bytes, n - k);
 521         if (ret < 0)
 522                 return ret;
 523         g->num_header_slices = ret;
 524         return 1;
 525 }
 526
 527 static int setup_next_fec_group(struct fec_client *fc, struct vss_task *vsst)
 528 {
 529         int ret, i, k, n, data_slices;
 530         size_t len;
 531         char *buf, *p;
 532         struct fec_group *g = &fc->group;
 533
 534         if (fc->state == FEC_STATE_NONE) {
 535                 ret = initialize_fec_client(fc, vsst);
 536                 if (ret < 0)
 537                         return ret;
 538                 g->first_chunk = mmd->current_chunk;
 539                 g->num = 0;
 540                 g->start = *now;
 541         } else {
 542                 struct timeval tmp;
 543                 if (g->first_chunk + g->num_chunks >= mmd->afd.afhi.chunks_total)
 544                         return 0;
 545                 /*
 546                  * Start and duration of this group depend only on the previous
 547                  * group. Compute the new group start as g->start += g->duration.
 548                  */
 549                 tmp = g->start;
 550                 tv_add(&tmp, &g->duration, &g->start);
 551                 set_group_timing(fc, vsst);
 552                 g->first_chunk += g->num_chunks;
 553                 g->num++;
 554         }
 555         k = fc->fcp->data_slices_per_group + fc->num_extra_slices;
 556         n = fc->fcp->slices_per_group + fc->num_extra_slices;
 557
 558         compute_slice_size(fc, vsst);
 559         assert(g->slice_bytes > 0);
 560         ret = num_slices(g->bytes, g->slice_bytes, n - k);
 561         if (ret < 0)
 562                 return ret;
 563         data_slices = ret;
 564         assert(g->num_header_slices + data_slices <= k);
 565         fc->current_slice_num = 0;
 566         if (g->num == 0)
 567                 set_group_timing(fc, vsst);
 568         /* setup header slices */
 569         buf = vsst->header_buf;
 570         for (i = 0; i < g->num_header_slices; i++) {
 571                 uint32_t payload_size;
 572                 if (buf + g->slice_bytes <= vsst->header_buf + vsst->header_len) {
 573                         fc->src_data[i] = (const unsigned char *)buf;
 574                         buf += g->slice_bytes;
 575                         continue;
 576                 }
 577                 /*
 578                  * Can not use vss->header_buf for this slice as it
 579                  * goes beyond the buffer. This slice will not be fully
 580                  * used.
 581                  */
 582                 payload_size = vsst->header_buf + vsst->header_len - buf;
 583                 memcpy(fc->extra_header_buf, buf, payload_size);
 584                 if (payload_size < g->slice_bytes)
 585                         memset(fc->extra_header_buf + payload_size, 0,
 586                                 g->slice_bytes - payload_size);
 587                 /*
 588                  * There might be more than one header slice to fill although
 589                  * only the first one will be used. Set all header slices to
 590                  * our extra buffer.
 591                  */
 592                 while (i < g->num_header_slices)
 593                         fc->src_data[i++] = fc->extra_header_buf;
 594                 break; /* we don't want i to be increased. */
 595         }
 596
 597         /*
 598          * Setup data slices. Note that for ogg streams chunk 0 points to a
 599          * buffer on the heap rather than to the mapped audio file.
 600          */
 601         vss_get_chunk(g->first_chunk, vsst, &buf, &len);
 602         for (p = buf; i < g->num_header_slices + data_slices; i++) {
 603                 if (p + g->slice_bytes > buf + g->bytes) {
 604                         /*
 605                          * We must make a copy for this slice since using p
 606                          * directly would exceed the buffer.
 607                          */
 608                         uint32_t payload_size = buf + g->bytes - p;
 609                         assert(payload_size + FEC_HEADER_SIZE <= fc->mps);
 610                         memcpy(fc->extra_src_buf, p, payload_size);
 611                         if (payload_size < g->slice_bytes)
 612                                 memset(fc->extra_src_buf + payload_size, 0,
 613                                         g->slice_bytes - payload_size);
 614                         fc->src_data[i] = fc->extra_src_buf;
 615                         i++;
 616                         break;
 617                 }
 618                 fc->src_data[i] = (const unsigned char *)p;
 619                 p += g->slice_bytes;
 620         }
 621         if (i < k) {
 622                 /* use arbitrary data for all remaining slices */
 623                 buf = vsst->map;
 624                 for (; i < k; i++)
 625                         fc->src_data[i] = (const unsigned char *)buf;
 626         }
 627         PARA_DEBUG_LOG("FEC group %u: %u chunks (%u - %u), %u bytes\n",
 628                 g->num, g->num_chunks, g->first_chunk,
 629                 g->first_chunk + g->num_chunks - 1, g->bytes
 630         );
 631         PARA_DEBUG_LOG("slice_bytes: %d, %d header slices, %d data slices\n",
 632                 g->slice_bytes, g->num_header_slices, data_slices
 633         );
 634         return 1;
 635 }
 636
 637 static int compute_next_fec_slice(struct fec_client *fc, struct vss_task *vsst)
 638 {
 639         if (fc->state == FEC_STATE_NONE || fc->current_slice_num
 640                         == fc->fcp->slices_per_group + fc->num_extra_slices) {
 641                 int ret = setup_next_fec_group(fc, vsst);
 642                 if (ret == 0)
 643                         return 0;
 644                 if (ret < 0) {
 645                         PARA_ERROR_LOG("%s\n", para_strerror(-ret));
 646                         PARA_ERROR_LOG("FEC client temporarily disabled\n");
 647                         fc->state = FEC_STATE_DISABLED;
 648                         return ret;
 649                 }
 650         }
 651         write_fec_header(fc, vsst);
 652         fec_encode(fc->parms, fc->src_data, fc->enc_buf + FEC_HEADER_SIZE,
 653                 fc->current_slice_num, fc->group.slice_bytes);
 654         return 1;
 655 }
 656
 657 /**
 658  * Return a buffer that marks the end of the stream.
 659  *
 660  * \param buf Result pointer.
 661  * \return The length of the eof buffer.
 662  *
 663  * This is used for (multicast) udp streaming where closing the socket on the
 664  * sender might not give rise to an eof condition at the peer.
 665  */
 666 size_t vss_get_fec_eof_packet(const char **buf)
 667 {
 668         static const char fec_eof_packet[FEC_HEADER_SIZE] = FEC_EOF_PACKET;
 669         *buf = fec_eof_packet;
 670         return FEC_HEADER_SIZE;
 671 }
 672
 673 /**
 674  * Add one entry to the list of active fec clients.
 675  *
 676  * \param sc  Generic sender_client data of the transport layer.
 677  * \param fcp FEC parameters as supplied by the transport layer.
 678  *
 679  * \return Newly allocated fec_client struct.
 680  */
 681 struct fec_client *vss_add_fec_client(struct sender_client *sc,
 682                                       struct fec_client_parms *fcp)
 683 {
 684         struct fec_client *fc = para_calloc(sizeof(*fc));
 685
 686         fc->sc  = sc;
 687         fc->fcp = fcp;
 688         para_list_add(&fc->node, &fec_client_list);
 689         return fc;
 690 }
 691
 692 /**
 693  * Remove one entry from the list of active fec clients.
 694  *
 695  * \param fc The client to be removed.
 696  */
 697 void vss_del_fec_client(struct fec_client *fc)
 698 {
 699         list_del(&fc->node);
 700         free(fc->src_data);
 701         free(fc->enc_buf);
 702         free(fc->extra_src_buf);
 703         free(fc->extra_header_buf);
 704         fec_free(fc->parms);
 705         free(fc);
 706 }
 707
 708 /*
 709  * Compute if/when next slice is due. If it isn't due yet and \a diff is
 710  * not \p Null, compute the time difference next - now, where
 711  *
 712  *      next = stream_start + (first_group_chunk - first_stream_chunk)
 713  *              * chunk_time + slice_num * slice_time
 714  */
 715 static int next_slice_is_due(struct fec_client *fc, struct timeval *diff)
 716 {
 717         struct timeval tmp, next;
 718         int ret;
 719
 720         if (fc->state == FEC_STATE_NONE)
 721                 return 1;
 722         tv_scale(fc->current_slice_num, &fc->group.slice_duration, &tmp);
 723         tv_add(&tmp, &fc->group.start, &next);
 724         ret = tv_diff(&next, now, diff);
 725         return ret < 0? 1 : 0;
 726 }
 727
 728 static void set_eof_barrier(struct vss_task *vsst)
 729 {
 730         struct fec_client *fc;
 731         struct timeval timeout = {1, 0}, *chunk_tv = vss_chunk_time();
 732
 733         if (!chunk_tv)
 734                 goto out;
 735         list_for_each_entry(fc, &fec_client_list, node) {
 736                 struct timeval group_duration;
 737
 738                 if (fc->state != FEC_STATE_READY_TO_RUN)
 739                         continue;
 740                 tv_scale(fc->group.num_chunks, chunk_tv, &group_duration);
 741                 if (tv_diff(&timeout, &group_duration, NULL) < 0)
 742                         timeout = group_duration;
 743         }
 744 out:
 745         tv_add(now, &timeout, &vsst->eof_barrier);
 746 }
 747
 748 /**
 749  * Check if vss status flag \a P (playing) is set.
 750  *
 751  * \return Greater than zero if playing, zero otherwise.
 752  *
 753  */
 754 unsigned int vss_playing(void)
 755 {
 756         return mmd->new_vss_status_flags & VSS_PLAYING;
 757 }
 758
 759 /**
 760  * Check if the \a N (next) status flag is set.
 761  *
 762  * \return Greater than zero if set, zero if not.
 763  *
 764  */
 765 unsigned int vss_next(void)
 766 {
 767         return mmd->new_vss_status_flags & VSS_NEXT;
 768 }
 769
 770 /**
 771  * Check if a reposition request is pending.
 772  *
 773  * \return Greater than zero if true, zero otherwise.
 774  *
 775  */
 776 unsigned int vss_repos(void)
 777 {
 778         return mmd->new_vss_status_flags & VSS_REPOS;
 779 }
 780
 781 /**
 782  * Check if the vss is currently paused.
 783  *
 784  * \return Greater than zero if paused, zero otherwise.
 785  *
 786  */
 787 unsigned int vss_paused(void)
 788 {
 789         return !(mmd->new_vss_status_flags & VSS_NEXT)
 790                 && !(mmd->new_vss_status_flags & VSS_PLAYING);
 791 }
 792
 793 /**
 794  * Check if the vss is currently stopped.
 795  *
 796  * \return Greater than zero if paused, zero otherwise.
 797  *
 798  */
 799 unsigned int vss_stopped(void)
 800 {
 801         return (mmd->new_vss_status_flags & VSS_NEXT)
 802                 && !(mmd->new_vss_status_flags & VSS_PLAYING);
 803 }
 804
 805 static int chk_barrier(const char *bname, const struct timeval *barrier,
 806                 struct timeval *diff, int print_log)
 807 {
 808         long ms;
 809
 810         if (tv_diff(now, barrier, diff) > 0)
 811                 return 1;
 812         ms = tv2ms(diff);
 813         if (print_log && ms)
 814                 PARA_DEBUG_LOG("%s barrier: %lims left\n", bname, ms);
 815         return -1;
 816 }
 817
 818 static void vss_compute_timeout(struct sched *s, struct vss_task *vsst)
 819 {
 820         struct timeval tv;
 821         struct fec_client *fc;
 822
 823         if (!vss_playing() || !vsst->map)
 824                 return;
 825         if (vss_next() && vsst->map) /* only sleep a bit, nec*/
 826                 return sched_request_timeout_ms(100, s);
 827
 828         /* Each of these barriers must have passed until we may proceed */
 829         if (sched_request_barrier(&vsst->autoplay_barrier, s) == 1)
 830                 return;
 831         if (sched_request_barrier(&vsst->eof_barrier, s) == 1)
 832                 return;
 833         if (sched_request_barrier(&vsst->data_send_barrier, s) == 1)
 834                 return;
 835         /*
 836          * Compute the select timeout as the minimal time until the next
 837          * chunk/slice is due for any client.
 838          */
 839         compute_chunk_time(mmd->chunks_sent, &mmd->afd.afhi.chunk_tv,
 840                 &mmd->stream_start, &tv);
 841         if (sched_request_barrier_or_min_delay(&tv, s) == 0)
 842                 return;
 843         list_for_each_entry(fc, &fec_client_list, node) {
 844                 if (fc->state != FEC_STATE_READY_TO_RUN)
 845                         continue;
 846                 if (next_slice_is_due(fc, &tv))
 847                         return sched_min_delay(s);
 848                 sched_request_timeout(&tv, s);
 849         }
 850 }
 851
 852 static void vss_eof(struct vss_task *vsst)
 853 {
 854
 855         if (!vsst->map)
 856                 return;
 857         if (mmd->new_vss_status_flags & VSS_NOMORE)
 858                 mmd->new_vss_status_flags = VSS_NEXT;
 859         set_eof_barrier(vsst);
 860         afh_free_header(vsst->header_buf, mmd->afd.audio_format_id);
 861         vsst->header_buf = NULL;
 862         para_munmap(vsst->map, vsst->mapsize);
 863         vsst->map = NULL;
 864         mmd->chunks_sent = 0;
 865         //mmd->offset = 0;
 866         mmd->afd.afhi.seconds_total = 0;
 867         mmd->afd.afhi.chunk_tv.tv_sec = 0;
 868         mmd->afd.afhi.chunk_tv.tv_usec = 0;
 869         free(mmd->afd.afhi.chunk_table);
 870         mmd->afd.afhi.chunk_table = NULL;
 871         vsst->mapsize = 0;
 872         afh_close(vsst->afh_context, mmd->afd.audio_format_id);
 873         vsst->afh_context = NULL;
 874         mmd->events++;
 875 }
 876
 877 static int need_to_request_new_audio_file(struct vss_task *vsst)
 878 {
 879         struct timeval diff;
 880
 881         if (vsst->map) /* have audio file */
 882                 return 0;
 883         if (!vss_playing()) /* don't need one */
 884                 return 0;
 885         if (mmd->new_vss_status_flags & VSS_NOMORE)
 886                 return 0;
 887         if (vsst->afsss == AFS_SOCKET_AFD_PENDING) /* already requested one */
 888                 return 0;
 889         if (chk_barrier("autoplay_delay", &vsst->autoplay_barrier,
 890                         &diff, 1) < 0)
 891                 return 0;
 892         return 1;
 893 }
 894
 895 static void set_mmd_offset(void)
 896 {
 897         struct timeval offset;
 898         tv_scale(mmd->current_chunk, &mmd->afd.afhi.chunk_tv, &offset);
 899         mmd->offset = tv2ms(&offset);
 900 }
 901
 902 static void vss_pre_select(struct sched *s, void *context)
 903 {
 904         int i;
 905         struct vss_task *vsst = context;
 906
 907         if (need_to_request_new_audio_file(vsst)) {
 908                 PARA_DEBUG_LOG("ready and playing, but no audio file\n");
 909                 para_fd_set(vsst->afs_socket, &s->wfds, &s->max_fileno);
 910                 vsst->afsss = AFS_SOCKET_CHECK_FOR_WRITE;
 911         } else
 912                 para_fd_set(vsst->afs_socket, &s->rfds, &s->max_fileno);
 913         for (i = 0; senders[i].name; i++) {
 914                 if (!senders[i].pre_select)
 915                         continue;
 916                 senders[i].pre_select(&s->max_fileno, &s->rfds, &s->wfds);
 917         }
 918         vss_compute_timeout(s, vsst);
 919 }
 920
 921 static int recv_afs_msg(int afs_socket, int *fd, uint32_t *code, uint32_t *data)
 922 {
 923         char control[255] __a_aligned(8), buf[8];
 924         struct msghdr msg = {.msg_iov = NULL};
 925         struct cmsghdr *cmsg;
 926         struct iovec iov;
 927         int ret = 0;
 928
 929         *fd = -1;
 930         iov.iov_base = buf;
 931         iov.iov_len = sizeof(buf);
 932         msg.msg_iov = &iov;
 933         msg.msg_iovlen = 1;
 934         msg.msg_control = control;
 935         msg.msg_controllen = sizeof(control);
 936         memset(buf, 0, sizeof(buf));
 937         ret = recvmsg(afs_socket, &msg, 0);
 938         if (ret < 0)
 939                 return -ERRNO_TO_PARA_ERROR(errno);
 940         if (iov.iov_len != sizeof(buf))
 941                 return -E_AFS_SHORT_READ;
 942         *code = *(uint32_t*)buf;
 943         *data =  *(uint32_t*)(buf + 4);
 944         for (cmsg = CMSG_FIRSTHDR(&msg); cmsg; cmsg = CMSG_NXTHDR(&msg, cmsg)) {
 945                 if (cmsg->cmsg_level != SOL_SOCKET
 946                         || cmsg->cmsg_type != SCM_RIGHTS)
 947                         continue;
 948                 if ((cmsg->cmsg_len - CMSG_LEN(0)) / sizeof(int) != 1)
 949                         continue;
 950                 *fd = *(int *)CMSG_DATA(cmsg);
 951         }
 952         return 1;
 953 }
 954
 955 #ifndef MAP_POPULATE
 956 #define MAP_POPULATE 0
 957 #endif
 958
 959 static void recv_afs_result(struct vss_task *vsst, fd_set *rfds)
 960 {
 961         int ret, passed_fd, shmid;
 962         uint32_t afs_code = 0, afs_data = 0;
 963         struct stat statbuf;
 964
 965         if (!FD_ISSET(vsst->afs_socket, rfds))
 966                 return;
 967         ret = recv_afs_msg(vsst->afs_socket, &passed_fd, &afs_code, &afs_data);
 968         if (ret == -ERRNO_TO_PARA_ERROR(EAGAIN))
 969                 return;
 970         if (ret < 0)
 971                 goto err;
 972         vsst->afsss = AFS_SOCKET_READY;
 973         PARA_DEBUG_LOG("fd: %d, code: %u, shmid: %u\n", passed_fd, afs_code,
 974                 afs_data);
 975         ret = -E_NOFD;
 976         if (afs_code != NEXT_AUDIO_FILE)
 977                 goto err;
 978         if (passed_fd < 0)
 979                 goto err;
 980         shmid = afs_data;
 981         ret = load_afd(shmid, &mmd->afd);
 982         if (ret < 0)
 983                 goto err;
 984         shm_destroy(shmid);
 985         ret = fstat(passed_fd, &statbuf);
 986         if (ret < 0) {
 987                 PARA_ERROR_LOG("fstat error:\n");
 988                 ret = -ERRNO_TO_PARA_ERROR(errno);
 989                 goto err;
 990         }
 991         ret = para_mmap(statbuf.st_size, PROT_READ, MAP_PRIVATE | MAP_POPULATE,
 992                 passed_fd, 0, &vsst->map);
 993         if (ret < 0)
 994                 goto err;
 995         vsst->mapsize = statbuf.st_size;
 996         close(passed_fd);
 997         mmd->chunks_sent = 0;
 998         mmd->current_chunk = 0;
 999         mmd->offset = 0;
1000         mmd->events++;
1001         mmd->num_played++;
1002         mmd->new_vss_status_flags &= (~VSS_NEXT);
1003         afh_get_header(&mmd->afd.afhi, mmd->afd.audio_format_id,
1004                 vsst->map, vsst->mapsize, &vsst->header_buf, &vsst->header_len);
1005         return;
1006 err:
1007         free(mmd->afd.afhi.chunk_table);
1008         if (passed_fd >= 0)
1009                 close(passed_fd);
1010         PARA_ERROR_LOG("%s\n", para_strerror(-ret));
1011         mmd->new_vss_status_flags = VSS_NEXT;
1012 }
1013
1014 /**
1015  * Main sending function.
1016  *
1017  * This function gets called from vss_post_select(). It checks whether the next
1018  * chunk of data should be pushed out. It obtains a pointer to the data to be
1019  * sent out as well as its length from mmd->afd.afhi. This information is then
1020  * passed to each supported sender's send() function as well as to the send()
1021  * functions of each registered fec client.
1022  */
1023 static void vss_send(struct vss_task *vsst)
1024 {
1025         int i, fec_active = 0;
1026         struct timeval due;
1027         struct fec_client *fc, *tmp_fc;
1028
1029         if (!vsst->map || !vss_playing())
1030                 return;
1031         if (chk_barrier("eof", &vsst->eof_barrier, &due, 1) < 0)
1032                 return;
1033         if (chk_barrier("data send", &vsst->data_send_barrier,
1034                         &due, 1) < 0)
1035                 return;
1036         list_for_each_entry_safe(fc, tmp_fc, &fec_client_list, node) {
1037                 if (fc->state == FEC_STATE_DISABLED)
1038                         continue;
1039                 if (!next_slice_is_due(fc, NULL)) {
1040                         fec_active = 1;
1041                         continue;
1042                 }
1043                 if (compute_next_fec_slice(fc, vsst) <= 0)
1044                         continue;
1045                 PARA_DEBUG_LOG("sending %u:%u (%u bytes)\n", fc->group.num,
1046                         fc->current_slice_num, fc->group.slice_bytes);
1047                 fc->fcp->send_fec(fc->sc, (char *)fc->enc_buf,
1048                         fc->group.slice_bytes + FEC_HEADER_SIZE);
1049                 fc->current_slice_num++;
1050                 fec_active = 1;
1051         }
1052         if (mmd->current_chunk >= mmd->afd.afhi.chunks_total) { /* eof */
1053                 if (!fec_active)
1054                         mmd->new_vss_status_flags |= VSS_NEXT;
1055                 return;
1056         }
1057         compute_chunk_time(mmd->chunks_sent, &mmd->afd.afhi.chunk_tv,
1058                 &mmd->stream_start, &due);
1059         if (tv_diff(&due, now, NULL) <= 0) {
1060                 char *buf;
1061                 size_t len;
1062
1063                 if (!mmd->chunks_sent) {
1064                         mmd->stream_start = *now;
1065                         mmd->events++;
1066                         set_mmd_offset();
1067                 }
1068                 /*
1069                  * We call the send function also in case of empty chunks as
1070                  * they might have still some data queued which can be sent in
1071                  * this case.
1072                  */
1073                 vss_get_chunk(mmd->current_chunk, vsst, &buf, &len);
1074                 for (i = 0; senders[i].name; i++) {
1075                         if (!senders[i].send)
1076                                 continue;
1077                         senders[i].send(mmd->current_chunk, mmd->chunks_sent,
1078                                 buf, len, vsst->header_buf, vsst->header_len);
1079                 }
1080                 /*
1081                  * Prefault next chunk(s)
1082                  *
1083                  * If the backing device of the memory-mapped audio file is
1084                  * slow and read-ahead is turned off or prevented for some
1085                  * reason, e.g. due to memory pressure, it may take much longer
1086                  * than the chunk interval to get the next chunk on the wire,
1087                  * causing buffer underruns on the client side. Mapping the
1088                  * file with MAP_POPULATE seems to help a bit, but it does not
1089                  * eliminate the delays completely. Moreover, it is supported
1090                  * only on Linux. So we do our own read-ahead here.
1091                  */
1092                 if (mmd->current_chunk > 0) { /* chunk 0 might be on the heap */
1093                         buf += len;
1094                         for (i = 0; i < 5 && buf < vsst->map + vsst->mapsize; i++) {
1095                                 __a_unused volatile char x = *buf;
1096                                 buf += 4096;
1097                         }
1098                 }
1099                 mmd->chunks_sent++;
1100                 mmd->current_chunk++;
1101         }
1102 }
1103
1104 static int vss_post_select(struct sched *s, void *context)
1105 {
1106         int ret, i;
1107         struct vss_task *vsst = context;
1108
1109         if (!vsst->map || vss_next() || vss_paused() || vss_repos()) {
1110                 /* shut down senders and fec clients */
1111                 struct fec_client *fc, *tmp;
1112                 for (i = 0; senders[i].name; i++)
1113                         if (senders[i].shutdown_clients)
1114                                 senders[i].shutdown_clients();
1115                 list_for_each_entry_safe(fc, tmp, &fec_client_list, node)
1116                         fc->state = FEC_STATE_NONE;
1117                 mmd->stream_start.tv_sec = 0;
1118                 mmd->stream_start.tv_usec = 0;
1119         }
1120         if (vss_next())
1121                 vss_eof(vsst);
1122         else if (vss_paused()) {
1123                 if (mmd->chunks_sent)
1124                         set_eof_barrier(vsst);
1125                 mmd->chunks_sent = 0;
1126         } else if (vss_repos()) { /* repositioning due to ff/jmp command */
1127                 tv_add(now, &vsst->announce_tv, &vsst->data_send_barrier);
1128                 set_eof_barrier(vsst);
1129                 mmd->chunks_sent = 0;
1130                 mmd->current_chunk = afh_get_start_chunk(mmd->repos_request,
1131                         &mmd->afd.afhi, mmd->afd.audio_format_id);
1132                 mmd->new_vss_status_flags &= ~VSS_REPOS;
1133                 set_mmd_offset();
1134         }
1135         /* If a sender command is pending, run it. */
1136         if (mmd->sender_cmd_data.cmd_num >= 0) {
1137                 int num = mmd->sender_cmd_data.cmd_num,
1138                         sender_num = mmd->sender_cmd_data.sender_num;
1139
1140                 if (senders[sender_num].client_cmds[num]) {
1141                         ret = senders[sender_num].client_cmds[num]
1142                                 (&mmd->sender_cmd_data);
1143                         if (ret < 0)
1144                                 PARA_ERROR_LOG("%s\n", para_strerror(-ret));
1145                 }
1146                 mmd->sender_cmd_data.cmd_num = -1;
1147         }
1148         if (vsst->afsss != AFS_SOCKET_CHECK_FOR_WRITE)
1149                 recv_afs_result(vsst, &s->rfds);
1150         else if (FD_ISSET(vsst->afs_socket, &s->wfds)) {
1151                 PARA_NOTICE_LOG("requesting new fd from afs\n");
1152                 ret = write_buffer(vsst->afs_socket, "new");
1153                 if (ret < 0)
1154                         PARA_CRIT_LOG("%s\n", para_strerror(-ret));
1155                 else
1156                         vsst->afsss = AFS_SOCKET_AFD_PENDING;
1157         }
1158         for (i = 0; senders[i].name; i++) {
1159                 if (!senders[i].post_select)
1160                         continue;
1161                 senders[i].post_select(&s->rfds, &s->wfds);
1162         }
1163         if ((vss_playing() && !(mmd->vss_status_flags & VSS_PLAYING)) ||
1164                         (vss_next() && vss_playing()))
1165                 tv_add(now, &vsst->announce_tv, &vsst->data_send_barrier);
1166         vss_send(vsst);
1167         return 0;
1168 }
1169
1170 /**
1171  * Initialize the virtual streaming system task.
1172  *
1173  * \param afs_socket The fd for communication with afs.
1174  * \param s The scheduler to register the vss task to.
1175  *
1176  * This also initializes all supported senders and starts streaming
1177  * if the --autoplay command line flag was given.
1178  */
1179 void init_vss_task(int afs_socket, struct sched *s)
1180 {
1181         static struct vss_task vss_task_struct, *vsst = &vss_task_struct;
1182         int i;
1183         char *hn = para_hostname(), *home = para_homedir();
1184         long unsigned announce_time = conf.announce_time_arg > 0?
1185                         conf.announce_time_arg : 300,
1186                 autoplay_delay = conf.autoplay_delay_arg > 0?
1187                         conf.autoplay_delay_arg : 0;
1188         vsst->header_interval.tv_sec = 5; /* should this be configurable? */
1189         vsst->afs_socket = afs_socket;
1190         ms2tv(announce_time, &vsst->announce_tv);
1191         PARA_INFO_LOG("announce timeval: %lums\n", tv2ms(&vsst->announce_tv));
1192         INIT_LIST_HEAD(&fec_client_list);
1193         for (i = 0; senders[i].name; i++) {
1194                 PARA_NOTICE_LOG("initializing %s sender\n", senders[i].name);
1195                 senders[i].init(&senders[i]);
1196         }
1197         free(hn);
1198         free(home);
1199         mmd->sender_cmd_data.cmd_num = -1;
1200         if (conf.autoplay_given) {
1201                 struct timeval tmp;
1202                 mmd->vss_status_flags |= VSS_PLAYING;
1203                 mmd->new_vss_status_flags |= VSS_PLAYING;
1204                 ms2tv(autoplay_delay, &tmp);
1205                 tv_add(clock_get_realtime(NULL), &tmp, &vsst->autoplay_barrier);
1206                 tv_add(&vsst->autoplay_barrier, &vsst->announce_tv,
1207                         &vsst->data_send_barrier);
1208         }
1209         vsst->task = task_register(&(struct task_info) {
1210                 .name = "vss task",
1211                 .pre_select = vss_pre_select,
1212                 .post_select = vss_post_select,
1213                 .context = vsst,
1214         }, s);
1215 }