vss.c

   1 /* Copyright (C) 1997 Andre Noll <maan@tuebingen.mpg.de>, see file COPYING. */
   2
   3 /** \file vss.c The virtual streaming system.
   4  *
   5  * This contains the audio streaming code of para_server which is independent
   6  * of the current audio format, audio file selector and of the activated
   7  * senders.
   8  */
   9
  10 #include <sys/socket.h>
  11 #include <netinet/in.h>
  12 #include <regex.h>
  13 #include <osl.h>
  14 #include <sys/types.h>
  15 #include <arpa/inet.h>
  16 #include <sys/un.h>
  17 #include <netdb.h>
  18 #include <lopsub.h>
  19
  20 #include "server.lsg.h"
  21 #include "para.h"
  22 #include "error.h"
  23 #include "portable_io.h"
  24 #include "fec.h"
  25 #include "string.h"
  26 #include "afh.h"
  27 #include "afs.h"
  28 #include "net.h"
  29 #include "server.h"
  30 #include "list.h"
  31 #include "send.h"
  32 #include "sched.h"
  33 #include "vss.h"
  34 #include "ipc.h"
  35 #include "fd.h"
  36
  37 extern struct misc_meta_data *mmd;
  38 extern const struct sender udp_sender, dccp_sender, http_sender;
  39 const struct sender * const senders[] = {
  40         &http_sender, &dccp_sender, &udp_sender, NULL};
  41
  42 /** The possible states of the afs socket. */
  43 enum afs_socket_status {
  44         /** Socket is inactive. */
  45         AFS_SOCKET_READY,
  46         /** Socket fd was included in the write fd set for select(). */
  47         AFS_SOCKET_CHECK_FOR_WRITE,
  48         /** vss wrote a request to the socket and waits for reply from afs. */
  49         AFS_SOCKET_AFD_PENDING
  50 };
  51
  52 /** The task structure for the virtual streaming system. */
  53 struct vss_task {
  54         /** Copied from the -announce_time command line option. */
  55         struct timeval announce_tv;
  56         /** End of the announcing interval. */
  57         struct timeval data_send_barrier;
  58         /** End of the EOF interval. */
  59         struct timeval eof_barrier;
  60         /** Only used if --autoplay_delay was given. */
  61         struct timeval autoplay_barrier;
  62         /** Used for afs-server communication. */
  63         int afs_socket;
  64         /** The current state of \a afs_socket. */
  65         enum afs_socket_status afsss;
  66         /** The memory mapped audio file. */
  67         char *map;
  68         /** The size of the memory mapping. */
  69         size_t mapsize;
  70         /** Used by the scheduler. */
  71         struct task *task;
  72         /** Pointer to the header of the mapped audio file. */
  73         char *header_buf;
  74         /** Length of the audio file header. */
  75         size_t header_len;
  76         /** Time between audio file headers are sent. */
  77         struct timeval header_interval;
  78         /* Only used if afh supports dynamic chunks. */
  79         void *afh_context;
  80 };
  81
  82 /**
  83  * The list of currently connected fec clients.
  84  *
  85  * Senders may use \ref vss_add_fec_client() to add entries to the list.
  86  */
  87 static struct list_head fec_client_list;
  88
  89 /**
  90  * Data associated with one FEC group.
  91  *
  92  * A FEC group consists of a fixed number of slices and this number is given by
  93  * the \a slices_per_group parameter of struct \ref fec_client_parms. Each FEC
  94  * group contains a number of chunks of the current audio file.
  95  *
  96  * FEC slices directly correspond to the data packages sent by the paraslash
  97  * senders that use FEC. Each slice is identified by its group number and its
  98  * number within the group. All slices have the same size, but the last slice
  99  * of the group may not be filled entirely.
 100  */
 101 struct fec_group {
 102         /** The number of the FEC group. */
 103         uint32_t num;
 104         /** Number of bytes in this group. */
 105         uint32_t bytes;
 106         /** The first chunk of the current audio file belonging to the group. */
 107         uint32_t first_chunk;
 108         /** The number of chunks contained in this group. */
 109         uint32_t num_chunks;
 110         /** When the first chunk was sent. */
 111         struct timeval start;
 112         /** The duration of the full group. */
 113         struct timeval duration;
 114         /** The group duration divided by the number of slices. */
 115         struct timeval slice_duration;
 116         /** Group contains the audio file header that occupies that many slices. */
 117         uint8_t num_header_slices;
 118         /** Number of bytes per slice for this group. */
 119         uint16_t slice_bytes;
 120 };
 121
 122 /** A FEC client is always in one of these states. */
 123 enum fec_client_state {
 124         FEC_STATE_NONE = 0,     /**< not initialized and not enabled */
 125         FEC_STATE_DISABLED,     /**< temporarily disabled */
 126         FEC_STATE_READY_TO_RUN  /**< initialized and enabled */
 127 };
 128
 129 /**
 130  * Describes one connected FEC client.
 131  */
 132 struct fec_client {
 133         /** Current state of the client */
 134         enum fec_client_state state;
 135         /** The connected sender client (transport layer). */
 136         struct sender_client *sc;
 137         /** Parameters requested by the client. */
 138         struct fec_client_parms *fcp;
 139         /** Used by the core FEC code. */
 140         struct fec_parms *parms;
 141         /** The position of this client in the fec client list. */
 142         struct list_head node;
 143         /** When the first slice for this client was sent. */
 144         struct timeval stream_start;
 145         /** The first chunk sent to this FEC client. */
 146         int first_stream_chunk;
 147         /** Describes the current group. */
 148         struct fec_group group;
 149         /** The current slice. */
 150         uint8_t current_slice_num;
 151         /** The data to be FEC-encoded.  */
 152         unsigned char **src_data;
 153         /** Last time an audio  header was sent. */
 154         struct timeval next_header_time;
 155         /** Extra slices needed to store largest chunk + header. */
 156         int num_extra_slices;
 157         /** Contains the FEC-encoded data. */
 158         unsigned char *enc_buf;
 159         /** Maximal packet size. */
 160         int mps;
 161 };
 162
 163 /**
 164  * Get the chunk time of the current audio file.
 165  *
 166  * \return A pointer to a struct containing the chunk time, or NULL,
 167  * if currently no audio file is selected.
 168  */
 169 struct timeval *vss_chunk_time(void)
 170 {
 171         if (mmd->afd.afhi.chunk_tv.tv_sec == 0 &&
 172                         mmd->afd.afhi.chunk_tv.tv_usec == 0)
 173                 return NULL;
 174         return &mmd->afd.afhi.chunk_tv;
 175 }
 176
 177 /**
 178  * Write a fec header to a buffer.
 179  *
 180  * \param buf The buffer to write to.
 181  * \param h The fec header to write.
 182  */
 183 static void write_fec_header(struct fec_client *fc, struct vss_task *vsst)
 184 {
 185         char *buf = (char *)fc->enc_buf;
 186         struct fec_group *g = &fc->group;
 187         struct fec_client_parms *p = fc->fcp;
 188
 189         write_u32(buf, FEC_MAGIC);
 190
 191         write_u8(buf + 4, p->slices_per_group + fc->num_extra_slices);
 192         write_u8(buf + 5, p->data_slices_per_group + fc->num_extra_slices);
 193         write_u32(buf + 6, g->num_header_slices? vsst->header_len : 0);
 194
 195         write_u32(buf + 10, g->num);
 196         write_u32(buf + 14, g->bytes);
 197
 198         write_u8(buf + 18, fc->current_slice_num);
 199         write_u8(buf + 19, 0); /* unused */
 200         write_u16(buf + 20, g->slice_bytes);
 201         write_u8(buf + 22, g->first_chunk? 0 : 1);
 202         write_u8(buf + 23, vsst->header_len? 1 : 0);
 203         memset(buf + 24, 0, 8);
 204 }
 205
 206 static bool need_audio_header(struct fec_client *fc, struct vss_task *vsst)
 207 {
 208         if (!mmd->current_chunk) {
 209                 tv_add(now, &vsst->header_interval, &fc->next_header_time);
 210                 return false;
 211         }
 212         if (!vsst->header_buf)
 213                 return false;
 214         if (vsst->header_len == 0)
 215                 return false;
 216         if (fc->group.num > 0) {
 217                 if (!fc->fcp->need_periodic_header)
 218                         return false;
 219                 if (tv_diff(&fc->next_header_time, now, NULL) > 0)
 220                         return false;
 221         }
 222         tv_add(now, &vsst->header_interval, &fc->next_header_time);
 223         return true;
 224 }
 225
 226 static bool need_data_slices(struct fec_client *fc, struct vss_task *vsst)
 227 {
 228         if (fc->group.num > 0)
 229                 return true;
 230         if (!vsst->header_buf)
 231                 return true;
 232         if (vsst->header_len == 0)
 233                 return true;
 234         if (fc->fcp->need_periodic_header)
 235                 return true;
 236         return false;
 237 }
 238
 239 static int fc_num_data_slices(const struct fec_client *fc)
 240 {
 241         return fc->fcp->data_slices_per_group + fc->num_extra_slices;
 242 }
 243
 244 static int fc_num_slices(const struct fec_client *fc)
 245 {
 246         return fc->fcp->slices_per_group + fc->num_extra_slices;
 247 }
 248
 249 static int fc_num_redundant_slices(const struct fec_client *fc)
 250 {
 251         return fc->fcp->slices_per_group - fc->fcp->data_slices_per_group;
 252 }
 253
 254 static int num_slices(long unsigned bytes, int max_payload, int rs)
 255 {
 256         int ret;
 257
 258         assert(max_payload > 0);
 259         assert(rs > 0);
 260         ret = DIV_ROUND_UP(bytes, max_payload);
 261         if (ret + rs > 255)
 262                 return -E_BAD_CT;
 263         return ret;
 264 }
 265
 266 /* set group start and group duration */
 267 static void set_group_timing(struct fec_client *fc, struct vss_task *vsst)
 268 {
 269         struct fec_group *g = &fc->group;
 270         struct timeval *chunk_tv = vss_chunk_time();
 271
 272         if (!need_data_slices(fc, vsst))
 273                 ms2tv(200, &g->duration);
 274         else
 275                 tv_scale(g->num_chunks, chunk_tv, &g->duration);
 276         tv_divide(fc->fcp->slices_per_group + fc->num_extra_slices,
 277                 &g->duration, &g->slice_duration);
 278         PARA_DEBUG_LOG("durations (group/chunk/slice): %lu/%lu/%lu\n",
 279                 tv2ms(&g->duration), tv2ms(chunk_tv), tv2ms(&g->slice_duration));
 280 }
 281
 282 static int initialize_fec_client(struct fec_client *fc, struct vss_task *vsst)
 283 {
 284         int i, k, n, ret;
 285         int hs, ds, rs; /* header/data/redundant slices */
 286         struct fec_client_parms *fcp = fc->fcp;
 287
 288         /* set mps */
 289         if (fcp->init_fec) {
 290                 /*
 291                  * Set the maximum slice size to the Maximum Packet Size if the
 292                  * transport protocol allows determination of this value. The user
 293                  * can specify a slice size up to this value.
 294                  */
 295                 ret = fcp->init_fec(fc->sc);
 296                 if (ret < 0)
 297                         return ret;
 298                 fc->mps = ret;
 299         } else
 300                 fc->mps = generic_max_transport_msg_size(fc->sc->fd);
 301         if (fc->mps <= FEC_HEADER_SIZE)
 302                 return -ERRNO_TO_PARA_ERROR(EINVAL);
 303
 304         /* free previous buffers, if any */
 305         if (fc->src_data) {
 306                 k = fc_num_data_slices(fc);
 307                 for (i = 0; i < k; i++)
 308                         free(fc->src_data[i]);
 309                 free(fc->src_data);
 310                 fc->src_data = NULL;
 311         }
 312         free(fc->enc_buf);
 313
 314         rs = fc_num_redundant_slices(fc);
 315         ret = num_slices(vsst->header_len, fc->mps - FEC_HEADER_SIZE, rs);
 316         if (ret < 0)
 317                 return ret;
 318         hs = ret;
 319         ret = num_slices(mmd->afd.max_chunk_size, fc->mps - FEC_HEADER_SIZE, rs);
 320         if (ret < 0)
 321                 return ret;
 322         ds = ret;
 323         if (fc->fcp->need_periodic_header)
 324                 k = hs + ds;
 325         else
 326                 k = PARA_MAX(hs, ds);
 327         if (k < fc->fcp->data_slices_per_group)
 328                 k = fc->fcp->data_slices_per_group;
 329         fc->num_extra_slices = k - fc->fcp->data_slices_per_group;
 330         n = fc_num_slices(fc);
 331         PARA_INFO_LOG("mps: %d, k: %d, n: %d, extra slices: %d\n",
 332                 fc->mps, k, n, fc->num_extra_slices);
 333
 334         fec_free(fc->parms);
 335         ret = fec_new(k, n, &fc->parms);
 336         if (ret < 0)
 337                 return ret;
 338         fc->src_data = para_malloc(k * sizeof(char *));
 339         for (i = 0; i < k; i++)
 340                 fc->src_data[i] = para_malloc(fc->mps);
 341         fc->enc_buf = para_malloc(fc->mps);
 342
 343         fc->state = FEC_STATE_READY_TO_RUN;
 344         fc->next_header_time.tv_sec = 0;
 345         fc->stream_start = *now;
 346         fc->first_stream_chunk = mmd->current_chunk;
 347         return 1;
 348 }
 349
 350 static int vss_get_chunk(int chunk_num, struct vss_task *vsst,
 351                 char **buf, size_t *sz)
 352 {
 353         int ret;
 354
 355         /*
 356          * Chunk zero is special for header streams: It is the first portion of
 357          * the audio file which consists of the audio file header. It may be
 358          * arbitrary large due to embedded meta data. Audio format handlers may
 359          * replace the header by a stripped one with meta data omitted which is
 360          * of bounded size. We always use the stripped header for streaming
 361          * rather than the unmodified header (chunk zero).
 362          */
 363         if (chunk_num == 0 && vsst->header_len > 0) {
 364                 assert(vsst->header_buf);
 365                 *buf = vsst->header_buf; /* stripped header */
 366                 *sz = vsst->header_len;
 367                 return 0;
 368         }
 369         ret = afh_get_chunk(chunk_num, &mmd->afd.afhi,
 370                 mmd->afd.audio_format_id, vsst->map, vsst->mapsize,
 371                 (const char **)buf, sz, &vsst->afh_context);
 372         if (ret < 0) {
 373                 *buf = NULL;
 374                 *sz = 0;
 375         }
 376         return ret;
 377 }
 378
 379 static int compute_group_size(struct vss_task *vsst, struct fec_group *g,
 380                 int max_bytes)
 381 {
 382         char *buf;
 383         size_t len;
 384         int ret, i, max_chunks = PARA_MAX(1LU, 150 / tv2ms(vss_chunk_time()));
 385
 386         if (g->first_chunk == 0) {
 387                 g->num_chunks = 1;
 388                 ret = vss_get_chunk(0, vsst, &buf, &len);
 389                 if (ret < 0)
 390                          return ret;
 391                 g->bytes = len;
 392                 return 0;
 393         }
 394
 395         g->num_chunks = 0;
 396         g->bytes = 0;
 397         /*
 398          * Include chunks into the group until the group duration is at least
 399          * 150ms.  For ogg and wma, a single chunk's duration (ogg page/wma
 400          * super frame) is already larger than 150ms, so a FEC group consists
 401          * of exactly one chunk for these audio formats.
 402          */
 403         for (i = 0;; i++) {
 404                 int chunk_num = g->first_chunk + i;
 405
 406                 if (g->bytes > 0 && i >= max_chunks) /* duration limit */
 407                         break;
 408                 if (chunk_num >= mmd->afd.afhi.chunks_total) /* eof */
 409                         break;
 410                 ret = vss_get_chunk(chunk_num, vsst, &buf, &len);
 411                 if (ret < 0)
 412                          return ret;
 413                 if (g->bytes + len > max_bytes)
 414                         break;
 415                 /* Include this chunk */
 416                 g->bytes += len;
 417                 g->num_chunks++;
 418         }
 419         if (g->num_chunks == 0)
 420                 return -E_EOF;
 421         PARA_DEBUG_LOG("group #%u: %u chunks, %u bytes total\n", g->num,
 422                 g->num_chunks, g->bytes);
 423         return 1;
 424 }
 425
 426 /*
 427  * Compute the slice size of the next group.
 428  *
 429  * The FEC parameters n and k are fixed but the slice size varies per
 430  * FEC group.  We'd like to choose slices as small as possible to avoid
 431  * unnecessary FEC calculations but large enough to guarantee that the
 432  * k data slices suffice to encode the header (if needed) and the data
 433  * chunk(s).
 434  *
 435  * Once we know the payload of the next group, we define the number s
 436  * of bytes per slice for this group by
 437  *
 438  *      s = ceil(payload / k)
 439  *
 440  * However, for header streams, computing s is more complicated since no
 441  * overlapping of header and data slices is possible. Hence we have k >=
 442  * 2 and s must satisfy
 443  *
 444  * (*)  ceil(h / s) + ceil(d / s) <= k
 445  *
 446  * where h and d are payload of the header and the data chunk(s)
 447  * respectively. In general there is no value for s such that (*)
 448  * becomes an equality, for example if h = 4000, d = 5000 and k = 10.
 449  *
 450  * We use the following approach for computing a suitable value for s:
 451  *
 452  * Let
 453  *      k1 := ceil(k * min(h, d) / (h + d)),
 454  *      k2 := k - k1.
 455  *
 456  * Note that k >= 2 implies k1 > 0 and k2 > 0, so
 457  *
 458  *      s := max(ceil(min(h, d) / k1), ceil(max(h, d) / k2))
 459  *
 460  * is well-defined. Inequality (*) holds for this value of s since k1
 461  * slices suffice to store min(h, d) while k2 slices suffice to store
 462  * max(h, d), i.e. the first addent of (*) is bounded by k1 and the
 463  * second by k2.
 464  *
 465  * For the above example we obtain
 466  *
 467  *      k1 = ceil(10 * 4000 / 9000) = 5, k2 = 5,
 468  *      s = max(4000 / 5, 5000 / 5) = 1000,
 469  *
 470  * which is optimal since a slice size of 999 bytes would already require
 471  * 11 slices.
 472  */
 473 static int compute_slice_size(struct fec_client *fc, struct vss_task *vsst)
 474 {
 475         struct fec_group *g = &fc->group;
 476         int k = fc_num_data_slices(fc);
 477         int n = fc_num_slices(fc);
 478         int ret, k1, k2, h, d, min, max, sum;
 479         int max_slice_bytes = fc->mps - FEC_HEADER_SIZE;
 480         int max_group_bytes;
 481
 482         if (!need_audio_header(fc, vsst)) {
 483                 max_group_bytes = k * max_slice_bytes;
 484                 g->num_header_slices = 0;
 485                 ret = compute_group_size(vsst, g, max_group_bytes);
 486                 if (ret < 0)
 487                         return ret;
 488                 g->slice_bytes = DIV_ROUND_UP(g->bytes, k);
 489                 if (g->slice_bytes == 0)
 490                         g->slice_bytes = 1;
 491                 return 1;
 492         }
 493         if (!need_data_slices(fc, vsst)) {
 494                 g->bytes = 0;
 495                 g->num_chunks = 0;
 496                 g->slice_bytes = DIV_ROUND_UP(vsst->header_len, k);
 497                 g->num_header_slices = k;
 498                 return 1;
 499         }
 500         h = vsst->header_len;
 501         max_group_bytes = (k - num_slices(h, max_slice_bytes, n - k))
 502                 * max_slice_bytes;
 503         ret = compute_group_size(vsst, g, max_group_bytes);
 504         if (ret < 0)
 505                 return ret;
 506         d = g->bytes;
 507         if (d == 0) {
 508                 g->slice_bytes = DIV_ROUND_UP(h, k);
 509                 ret = num_slices(vsst->header_len, g->slice_bytes, n - k);
 510                 if (ret < 0)
 511                         return ret;
 512                 g->num_header_slices = ret;
 513                 return 1;
 514         }
 515         min = PARA_MIN(h, d);
 516         max = PARA_MAX(h, d);
 517         sum = h + d;
 518         k1 = DIV_ROUND_UP(k * min, sum);
 519         k2 = k - k1;
 520         assert(k1 > 0);
 521         assert(k2 > 0);
 522
 523         g->slice_bytes = PARA_MAX(DIV_ROUND_UP(min, k1), DIV_ROUND_UP(max, k2));
 524         /*
 525          * This value of s := g->slice_bytes satisfies inequality (*) above,
 526          * but it might be larger than max_slice_bytes. However, we know that
 527          * max_slice_bytes are sufficient to store header and data, so:
 528          */
 529         g->slice_bytes = PARA_MIN((int)g->slice_bytes, max_slice_bytes);
 530
 531         ret = num_slices(vsst->header_len, g->slice_bytes, n - k);
 532         if (ret < 0)
 533                 return ret;
 534         g->num_header_slices = ret;
 535         return 1;
 536 }
 537
 538 static int setup_next_fec_group(struct fec_client *fc, struct vss_task *vsst)
 539 {
 540         int ret, i, c;
 541         size_t copy, src_copied, slice_copied;
 542         struct fec_group *g = &fc->group;
 543
 544         if (fc->state == FEC_STATE_NONE) {
 545                 ret = initialize_fec_client(fc, vsst);
 546                 if (ret < 0)
 547                         return ret;
 548                 g->first_chunk = mmd->current_chunk;
 549                 g->num = 0;
 550                 g->start = *now;
 551         } else {
 552                 struct timeval tmp;
 553                 if (g->first_chunk + g->num_chunks >= mmd->afd.afhi.chunks_total)
 554                         return 0;
 555                 /*
 556                  * Start and duration of this group depend only on the previous
 557                  * group. Compute the new group start as g->start += g->duration.
 558                  */
 559                 tmp = g->start;
 560                 tv_add(&tmp, &g->duration, &g->start);
 561                 set_group_timing(fc, vsst);
 562                 g->first_chunk += g->num_chunks;
 563                 g->num++;
 564         }
 565         compute_slice_size(fc, vsst);
 566         assert(g->slice_bytes > 0);
 567         fc->current_slice_num = 0;
 568         if (g->num == 0)
 569                 set_group_timing(fc, vsst);
 570         /* setup header slices */
 571         for (i = 0, src_copied = 0; i < g->num_header_slices; i++) {
 572                 copy = PARA_MIN((size_t)g->slice_bytes, vsst->header_len - src_copied);
 573                 if (copy == 0)
 574                         break;
 575                 memcpy(fc->src_data[i], vsst->header_buf + src_copied, copy);
 576                 if (copy < g->slice_bytes)
 577                         memset(fc->src_data[i] + copy, 0, g->slice_bytes - copy);
 578                 src_copied += copy;
 579         }
 580         /*
 581          * There might be more than one header slice to fill although only the
 582          * first one will be used. Zero out any remaining header slices.
 583          */
 584         while (i < g->num_header_slices)
 585                 memset(fc->src_data[i++], 0, g->slice_bytes);
 586
 587         slice_copied = 0;
 588         for (c = g->first_chunk; c < g->first_chunk + g->num_chunks; c++) {
 589                 char *buf;
 590                 size_t src_len;
 591                 ret = vss_get_chunk(c, vsst, &buf, &src_len);
 592                 if (ret < 0)
 593                         return ret;
 594                 if (src_len == 0)
 595                         continue;
 596                 src_copied = 0;
 597                 while (src_copied < src_len) {
 598                         copy = PARA_MIN((size_t)g->slice_bytes - slice_copied,
 599                                 src_len - src_copied);
 600                         memcpy(fc->src_data[i] + slice_copied,
 601                                 buf + src_copied, copy);
 602                         src_copied += copy;
 603                         slice_copied += copy;
 604                         if (slice_copied == g->slice_bytes) {
 605                                 i++;
 606                                 slice_copied = 0;
 607                         }
 608                 }
 609         }
 610         if (i < fc_num_data_slices(fc) && slice_copied < g->slice_bytes)
 611                 memset(fc->src_data[i] + slice_copied, 0,
 612                          g->slice_bytes - slice_copied);
 613         /* zero out remaining slices, if any */
 614         while (++i < fc_num_data_slices(fc))
 615                 memset(fc->src_data[i], 0, g->slice_bytes);
 616         PARA_DEBUG_LOG("FEC group %u: %u chunks (%u - %u), %u bytes\n",
 617                 g->num, g->num_chunks, g->first_chunk,
 618                 g->first_chunk + g->num_chunks - 1, g->bytes
 619         );
 620         PARA_DEBUG_LOG("slice_bytes: %d, %d header slices, %d data slices\n",
 621                 g->slice_bytes, g->num_header_slices, fc_num_data_slices(fc)
 622         );
 623         return 1;
 624 }
 625
 626 static int compute_next_fec_slice(struct fec_client *fc, struct vss_task *vsst)
 627 {
 628         if (fc->state == FEC_STATE_NONE || fc->current_slice_num
 629                         == fc->fcp->slices_per_group + fc->num_extra_slices) {
 630                 int ret = setup_next_fec_group(fc, vsst);
 631                 if (ret == 0)
 632                         return 0;
 633                 if (ret < 0) {
 634                         PARA_ERROR_LOG("%s\n", para_strerror(-ret));
 635                         PARA_ERROR_LOG("FEC client temporarily disabled\n");
 636                         fc->state = FEC_STATE_DISABLED;
 637                         return ret;
 638                 }
 639         }
 640         write_fec_header(fc, vsst);
 641         fec_encode(fc->parms, (const unsigned char * const*)fc->src_data,
 642                 fc->enc_buf + FEC_HEADER_SIZE, fc->current_slice_num,
 643                 fc->group.slice_bytes);
 644         return 1;
 645 }
 646
 647 /**
 648  * Return a buffer that marks the end of the stream.
 649  *
 650  * \param buf Result pointer.
 651  * \return The length of the eof buffer.
 652  *
 653  * This is used for (multicast) udp streaming where closing the socket on the
 654  * sender might not give rise to an eof condition at the peer.
 655  */
 656 size_t vss_get_fec_eof_packet(const char **buf)
 657 {
 658         static const char fec_eof_packet[FEC_HEADER_SIZE] = FEC_EOF_PACKET;
 659         *buf = fec_eof_packet;
 660         return FEC_HEADER_SIZE;
 661 }
 662
 663 /**
 664  * Add one entry to the list of active fec clients.
 665  *
 666  * \param sc  Generic sender_client data of the transport layer.
 667  * \param fcp FEC parameters as supplied by the transport layer.
 668  *
 669  * \return Newly allocated fec_client struct.
 670  */
 671 struct fec_client *vss_add_fec_client(struct sender_client *sc,
 672                                       struct fec_client_parms *fcp)
 673 {
 674         struct fec_client *fc = para_calloc(sizeof(*fc));
 675
 676         fc->sc  = sc;
 677         fc->fcp = fcp;
 678         para_list_add(&fc->node, &fec_client_list);
 679         return fc;
 680 }
 681
 682 /**
 683  * Remove one entry from the list of active fec clients.
 684  *
 685  * \param fc The client to be removed.
 686  */
 687 void vss_del_fec_client(struct fec_client *fc)
 688 {
 689         int i;
 690
 691         list_del(&fc->node);
 692         free(fc->enc_buf);
 693         if (fc->src_data) {
 694                 for (i = 0; i < fc_num_data_slices(fc); i++)
 695                         free(fc->src_data[i]);
 696                 free(fc->src_data);
 697         }
 698         fec_free(fc->parms);
 699         free(fc);
 700 }
 701
 702 /*
 703  * Compute if/when next slice is due. If it isn't due yet and \a diff is
 704  * not \p Null, compute the time difference next - now, where
 705  *
 706  *      next = stream_start + (first_group_chunk - first_stream_chunk)
 707  *              * chunk_time + slice_num * slice_time
 708  */
 709 static int next_slice_is_due(struct fec_client *fc, struct timeval *diff)
 710 {
 711         struct timeval tmp, next;
 712         int ret;
 713
 714         if (fc->state == FEC_STATE_NONE)
 715                 return 1;
 716         tv_scale(fc->current_slice_num, &fc->group.slice_duration, &tmp);
 717         tv_add(&tmp, &fc->group.start, &next);
 718         ret = tv_diff(&next, now, diff);
 719         return ret < 0? 1 : 0;
 720 }
 721
 722 static void set_eof_barrier(struct vss_task *vsst)
 723 {
 724         struct fec_client *fc;
 725         struct timeval timeout = {1, 0}, *chunk_tv = vss_chunk_time();
 726
 727         if (!chunk_tv)
 728                 goto out;
 729         list_for_each_entry(fc, &fec_client_list, node) {
 730                 struct timeval group_duration;
 731
 732                 if (fc->state != FEC_STATE_READY_TO_RUN)
 733                         continue;
 734                 tv_scale(fc->group.num_chunks, chunk_tv, &group_duration);
 735                 if (tv_diff(&timeout, &group_duration, NULL) < 0)
 736                         timeout = group_duration;
 737         }
 738 out:
 739         tv_add(now, &timeout, &vsst->eof_barrier);
 740 }
 741
 742 /**
 743  * Check if vss status flag \a P (playing) is set.
 744  *
 745  * \return Greater than zero if playing, zero otherwise.
 746  *
 747  */
 748 unsigned int vss_playing(void)
 749 {
 750         return mmd->new_vss_status_flags & VSS_PLAYING;
 751 }
 752
 753 /**
 754  * Check if the \a N (next) status flag is set.
 755  *
 756  * \return Greater than zero if set, zero if not.
 757  *
 758  */
 759 unsigned int vss_next(void)
 760 {
 761         return mmd->new_vss_status_flags & VSS_NEXT;
 762 }
 763
 764 /**
 765  * Check if a reposition request is pending.
 766  *
 767  * \return Greater than zero if true, zero otherwise.
 768  *
 769  */
 770 unsigned int vss_repos(void)
 771 {
 772         return mmd->new_vss_status_flags & VSS_REPOS;
 773 }
 774
 775 /**
 776  * Check if the vss is currently paused.
 777  *
 778  * \return Greater than zero if paused, zero otherwise.
 779  *
 780  */
 781 unsigned int vss_paused(void)
 782 {
 783         return !(mmd->new_vss_status_flags & VSS_NEXT)
 784                 && !(mmd->new_vss_status_flags & VSS_PLAYING);
 785 }
 786
 787 /**
 788  * Check if the vss is currently stopped.
 789  *
 790  * \return Greater than zero if paused, zero otherwise.
 791  *
 792  */
 793 unsigned int vss_stopped(void)
 794 {
 795         return (mmd->new_vss_status_flags & VSS_NEXT)
 796                 && !(mmd->new_vss_status_flags & VSS_PLAYING);
 797 }
 798
 799 static int chk_barrier(const char *bname, const struct timeval *barrier,
 800                 struct timeval *diff, int print_log)
 801 {
 802         long ms;
 803
 804         if (tv_diff(now, barrier, diff) > 0)
 805                 return 1;
 806         ms = tv2ms(diff);
 807         if (print_log && ms)
 808                 PARA_DEBUG_LOG("%s barrier: %lims left\n", bname, ms);
 809         return -1;
 810 }
 811
 812 static void vss_compute_timeout(struct sched *s, struct vss_task *vsst)
 813 {
 814         struct timeval tv;
 815         struct fec_client *fc;
 816
 817         if (!vss_playing() || !vsst->map)
 818                 return;
 819         if (vss_next() && vsst->map) /* only sleep a bit, nec*/
 820                 return sched_request_timeout_ms(100, s);
 821
 822         /* Each of these barriers must have passed until we may proceed */
 823         if (sched_request_barrier(&vsst->autoplay_barrier, s) == 1)
 824                 return;
 825         if (sched_request_barrier(&vsst->eof_barrier, s) == 1)
 826                 return;
 827         if (sched_request_barrier(&vsst->data_send_barrier, s) == 1)
 828                 return;
 829         /*
 830          * Compute the select timeout as the minimal time until the next
 831          * chunk/slice is due for any client.
 832          */
 833         compute_chunk_time(mmd->chunks_sent, &mmd->afd.afhi.chunk_tv,
 834                 &mmd->stream_start, &tv);
 835         if (sched_request_barrier_or_min_delay(&tv, s) == 0)
 836                 return;
 837         list_for_each_entry(fc, &fec_client_list, node) {
 838                 if (fc->state != FEC_STATE_READY_TO_RUN)
 839                         continue;
 840                 if (next_slice_is_due(fc, &tv))
 841                         return sched_min_delay(s);
 842                 sched_request_timeout(&tv, s);
 843         }
 844 }
 845
 846 static void vss_eof(struct vss_task *vsst)
 847 {
 848
 849         if (!vsst->map)
 850                 return;
 851         if (mmd->new_vss_status_flags & VSS_NOMORE)
 852                 mmd->new_vss_status_flags = VSS_NEXT;
 853         set_eof_barrier(vsst);
 854         afh_free_header(vsst->header_buf, mmd->afd.audio_format_id);
 855         vsst->header_buf = NULL;
 856         para_munmap(vsst->map, vsst->mapsize);
 857         vsst->map = NULL;
 858         mmd->chunks_sent = 0;
 859         //mmd->offset = 0;
 860         mmd->afd.afhi.seconds_total = 0;
 861         mmd->afd.afhi.chunk_tv.tv_sec = 0;
 862         mmd->afd.afhi.chunk_tv.tv_usec = 0;
 863         free(mmd->afd.afhi.chunk_table);
 864         mmd->afd.afhi.chunk_table = NULL;
 865         vsst->mapsize = 0;
 866         afh_close(vsst->afh_context, mmd->afd.audio_format_id);
 867         vsst->afh_context = NULL;
 868         mmd->events++;
 869 }
 870
 871 static int need_to_request_new_audio_file(struct vss_task *vsst)
 872 {
 873         struct timeval diff;
 874
 875         if (vsst->map) /* have audio file */
 876                 return 0;
 877         if (!vss_playing()) /* don't need one */
 878                 return 0;
 879         if (mmd->new_vss_status_flags & VSS_NOMORE)
 880                 return 0;
 881         if (vsst->afsss == AFS_SOCKET_AFD_PENDING) /* already requested one */
 882                 return 0;
 883         if (chk_barrier("autoplay_delay", &vsst->autoplay_barrier,
 884                         &diff, 1) < 0)
 885                 return 0;
 886         return 1;
 887 }
 888
 889 static void set_mmd_offset(void)
 890 {
 891         struct timeval offset;
 892         tv_scale(mmd->current_chunk, &mmd->afd.afhi.chunk_tv, &offset);
 893         mmd->offset = tv2ms(&offset);
 894 }
 895
 896 static void vss_pre_select(struct sched *s, void *context)
 897 {
 898         int i;
 899         struct vss_task *vsst = context;
 900
 901         if (need_to_request_new_audio_file(vsst)) {
 902                 PARA_DEBUG_LOG("ready and playing, but no audio file\n");
 903                 para_fd_set(vsst->afs_socket, &s->wfds, &s->max_fileno);
 904                 vsst->afsss = AFS_SOCKET_CHECK_FOR_WRITE;
 905         } else
 906                 para_fd_set(vsst->afs_socket, &s->rfds, &s->max_fileno);
 907         FOR_EACH_SENDER(i) {
 908                 if (!senders[i]->pre_select)
 909                         continue;
 910                 senders[i]->pre_select(&s->max_fileno, &s->rfds, &s->wfds);
 911         }
 912         vss_compute_timeout(s, vsst);
 913 }
 914
 915 static int recv_afs_msg(int afs_socket, int *fd, uint32_t *code, uint32_t *data)
 916 {
 917         char control[255] __a_aligned(8), buf[8];
 918         struct msghdr msg = {.msg_iov = NULL};
 919         struct cmsghdr *cmsg;
 920         struct iovec iov;
 921         int ret = 0;
 922
 923         *fd = -1;
 924         iov.iov_base = buf;
 925         iov.iov_len = sizeof(buf);
 926         msg.msg_iov = &iov;
 927         msg.msg_iovlen = 1;
 928         msg.msg_control = control;
 929         msg.msg_controllen = sizeof(control);
 930         memset(buf, 0, sizeof(buf));
 931         ret = recvmsg(afs_socket, &msg, 0);
 932         if (ret < 0)
 933                 return -ERRNO_TO_PARA_ERROR(errno);
 934         if (iov.iov_len != sizeof(buf))
 935                 return -E_AFS_SHORT_READ;
 936         *code = *(uint32_t*)buf;
 937         *data =  *(uint32_t*)(buf + 4);
 938         for (cmsg = CMSG_FIRSTHDR(&msg); cmsg; cmsg = CMSG_NXTHDR(&msg, cmsg)) {
 939                 if (cmsg->cmsg_level != SOL_SOCKET
 940                         || cmsg->cmsg_type != SCM_RIGHTS)
 941                         continue;
 942                 if ((cmsg->cmsg_len - CMSG_LEN(0)) / sizeof(int) != 1)
 943                         continue;
 944                 *fd = *(int *)CMSG_DATA(cmsg);
 945         }
 946         return 1;
 947 }
 948
 949 #ifndef MAP_POPULATE
 950 /** As of 2018, neither FreeBSD-11.2 nor NetBSD-8.0 have MAP_POPULATE. */
 951 #define MAP_POPULATE 0
 952 #endif
 953
 954 static void recv_afs_result(struct vss_task *vsst, fd_set *rfds)
 955 {
 956         int ret, passed_fd, shmid;
 957         uint32_t afs_code = 0, afs_data = 0;
 958         struct stat statbuf;
 959
 960         if (!FD_ISSET(vsst->afs_socket, rfds))
 961                 return;
 962         ret = recv_afs_msg(vsst->afs_socket, &passed_fd, &afs_code, &afs_data);
 963         if (ret == -ERRNO_TO_PARA_ERROR(EAGAIN))
 964                 return;
 965         if (ret < 0)
 966                 goto err;
 967         vsst->afsss = AFS_SOCKET_READY;
 968         if (afs_code == NO_ADMISSIBLE_FILES) {
 969                 PARA_NOTICE_LOG("no admissible files\n");
 970                 ret = 0;
 971                 goto err;
 972         }
 973         ret = -E_NOFD;
 974         if (afs_code != NEXT_AUDIO_FILE) {
 975                 PARA_ERROR_LOG("afs code: %u, expected: %d\n", afs_code,
 976                         NEXT_AUDIO_FILE);
 977                 goto err;
 978         }
 979         if (passed_fd < 0)
 980                 goto err;
 981         shmid = afs_data;
 982         ret = load_afd(shmid, &mmd->afd);
 983         if (ret < 0)
 984                 goto err;
 985         shm_destroy(shmid);
 986         ret = fstat(passed_fd, &statbuf);
 987         if (ret < 0) {
 988                 PARA_ERROR_LOG("fstat error:\n");
 989                 ret = -ERRNO_TO_PARA_ERROR(errno);
 990                 goto err;
 991         }
 992         ret = para_mmap(statbuf.st_size, PROT_READ, MAP_PRIVATE | MAP_POPULATE,
 993                 passed_fd, &vsst->map);
 994         if (ret < 0)
 995                 goto err;
 996         vsst->mapsize = statbuf.st_size;
 997         close(passed_fd);
 998         mmd->chunks_sent = 0;
 999         mmd->current_chunk = 0;
1000         mmd->offset = 0;
1001         mmd->events++;
1002         mmd->num_played++;
1003         mmd->new_vss_status_flags &= (~VSS_NEXT);
1004         afh_get_header(&mmd->afd.afhi, mmd->afd.audio_format_id,
1005                 vsst->map, vsst->mapsize, &vsst->header_buf, &vsst->header_len);
1006         return;
1007 err:
1008         free(mmd->afd.afhi.chunk_table);
1009         mmd->afd.afhi.chunk_table = NULL;
1010         if (passed_fd >= 0)
1011                 close(passed_fd);
1012         if (ret < 0)
1013                 PARA_ERROR_LOG("%s\n", para_strerror(-ret));
1014         mmd->new_vss_status_flags = VSS_NEXT;
1015 }
1016
1017 /**
1018  * Main sending function.
1019  *
1020  * This function gets called from vss_post_select(). It checks whether the next
1021  * chunk of data should be pushed out. It obtains a pointer to the data to be
1022  * sent out as well as its length from mmd->afd.afhi. This information is then
1023  * passed to each supported sender's send() function as well as to the send()
1024  * functions of each registered fec client.
1025  */
1026 static void vss_send(struct vss_task *vsst)
1027 {
1028         int i, ret;
1029         bool fec_active = false;
1030         struct timeval due;
1031         struct fec_client *fc, *tmp_fc;
1032         char *buf;
1033         size_t len;
1034
1035         if (!vsst->map || !vss_playing())
1036                 return;
1037         if (chk_barrier("eof", &vsst->eof_barrier, &due, 1) < 0)
1038                 return;
1039         if (chk_barrier("data send", &vsst->data_send_barrier, &due, 1) < 0)
1040                 return;
1041         list_for_each_entry_safe(fc, tmp_fc, &fec_client_list, node) {
1042                 if (fc->state == FEC_STATE_DISABLED)
1043                         continue;
1044                 if (!next_slice_is_due(fc, NULL)) {
1045                         fec_active = true;
1046                         continue;
1047                 }
1048                 if (compute_next_fec_slice(fc, vsst) <= 0)
1049                         continue;
1050                 PARA_DEBUG_LOG("sending %u:%u (%u bytes)\n", fc->group.num,
1051                         fc->current_slice_num, fc->group.slice_bytes);
1052                 fc->current_slice_num++;
1053                 fc->fcp->send_fec(fc->sc, (char *)fc->enc_buf,
1054                         fc->group.slice_bytes + FEC_HEADER_SIZE);
1055                 fec_active = true;
1056         }
1057         if (mmd->current_chunk >= mmd->afd.afhi.chunks_total) { /* eof */
1058                 if (!fec_active)
1059                         mmd->new_vss_status_flags |= VSS_NEXT;
1060                 return;
1061         }
1062         compute_chunk_time(mmd->chunks_sent, &mmd->afd.afhi.chunk_tv,
1063                 &mmd->stream_start, &due);
1064         if (tv_diff(&due, now, NULL) > 0)
1065                 return;
1066         if (!mmd->chunks_sent) {
1067                 mmd->stream_start = *now;
1068                 mmd->events++;
1069                 set_mmd_offset();
1070         }
1071         ret = vss_get_chunk(mmd->current_chunk, vsst, &buf, &len);
1072         if (ret < 0) {
1073                 PARA_ERROR_LOG("could not get chunk %lu: %s\n",
1074                         mmd->current_chunk, para_strerror(-ret));
1075         } else {
1076                 /*
1077                  * We call ->send() even if len is zero because senders might
1078                  * have data queued which can be sent now.
1079                  */
1080                 FOR_EACH_SENDER(i) {
1081                         if (!senders[i]->send)
1082                                 continue;
1083                         senders[i]->send(mmd->current_chunk, mmd->chunks_sent,
1084                                 buf, len, vsst->header_buf, vsst->header_len);
1085                 }
1086         }
1087         mmd->chunks_sent++;
1088         mmd->current_chunk++;
1089 }
1090
1091 static int vss_post_select(struct sched *s, void *context)
1092 {
1093         int ret, i;
1094         struct vss_task *vsst = context;
1095
1096         ret = task_get_notification(vsst->task);
1097         if (ret < 0) {
1098                 afh_free_header(vsst->header_buf, mmd->afd.audio_format_id);
1099                 return ret;
1100         }
1101         if (!vsst->map || vss_next() || vss_paused() || vss_repos()) {
1102                 /* shut down senders and fec clients */
1103                 struct fec_client *fc, *tmp;
1104                 FOR_EACH_SENDER(i)
1105                         if (senders[i]->shutdown_clients)
1106                                 senders[i]->shutdown_clients();
1107                 list_for_each_entry_safe(fc, tmp, &fec_client_list, node)
1108                         fc->state = FEC_STATE_NONE;
1109                 mmd->stream_start.tv_sec = 0;
1110                 mmd->stream_start.tv_usec = 0;
1111         }
1112         if (vss_next())
1113                 vss_eof(vsst);
1114         else if (vss_paused()) {
1115                 if (mmd->chunks_sent)
1116                         set_eof_barrier(vsst);
1117                 mmd->chunks_sent = 0;
1118         } else if (vss_repos()) { /* repositioning due to ff/jmp command */
1119                 tv_add(now, &vsst->announce_tv, &vsst->data_send_barrier);
1120                 set_eof_barrier(vsst);
1121                 mmd->chunks_sent = 0;
1122                 mmd->current_chunk = afh_get_start_chunk(mmd->repos_request,
1123                         &mmd->afd.afhi, mmd->afd.audio_format_id);
1124                 mmd->new_vss_status_flags &= ~VSS_REPOS;
1125                 set_mmd_offset();
1126         }
1127         /* If a sender command is pending, run it. */
1128         if (mmd->sender_cmd_data.cmd_num >= 0) {
1129                 int num = mmd->sender_cmd_data.cmd_num,
1130                         sender_num = mmd->sender_cmd_data.sender_num;
1131
1132                 if (senders[sender_num]->client_cmds[num]) {
1133                         ret = senders[sender_num]->client_cmds[num]
1134                                 (&mmd->sender_cmd_data);
1135                         if (ret < 0)
1136                                 PARA_ERROR_LOG("%s\n", para_strerror(-ret));
1137                 }
1138                 mmd->sender_cmd_data.cmd_num = -1;
1139         }
1140         if (vsst->afsss != AFS_SOCKET_CHECK_FOR_WRITE)
1141                 recv_afs_result(vsst, &s->rfds);
1142         else if (FD_ISSET(vsst->afs_socket, &s->wfds)) {
1143                 PARA_NOTICE_LOG("requesting new fd from afs\n");
1144                 ret = write_buffer(vsst->afs_socket, "new");
1145                 if (ret < 0)
1146                         PARA_CRIT_LOG("%s\n", para_strerror(-ret));
1147                 else
1148                         vsst->afsss = AFS_SOCKET_AFD_PENDING;
1149         }
1150         FOR_EACH_SENDER(i) {
1151                 if (!senders[i]->post_select)
1152                         continue;
1153                 senders[i]->post_select(&s->rfds, &s->wfds);
1154         }
1155         if ((vss_playing() && !(mmd->vss_status_flags & VSS_PLAYING)) ||
1156                         (vss_next() && vss_playing()))
1157                 tv_add(now, &vsst->announce_tv, &vsst->data_send_barrier);
1158         vss_send(vsst);
1159         return 0;
1160 }
1161
1162 /**
1163  * Initialize the virtual streaming system task.
1164  *
1165  * \param afs_socket The fd for communication with afs.
1166  * \param s The scheduler to register the vss task to.
1167  *
1168  * This also initializes all supported senders and starts streaming
1169  * if the --autoplay command line flag was given.
1170  */
1171 void vss_init(int afs_socket, struct sched *s)
1172 {
1173         static struct vss_task vss_task_struct, *vsst = &vss_task_struct;
1174         int i;
1175         long unsigned announce_time = OPT_UINT32_VAL(ANNOUNCE_TIME),
1176                 autoplay_delay = OPT_UINT32_VAL(AUTOPLAY_DELAY);
1177         vsst->header_interval.tv_sec = 5; /* should this be configurable? */
1178         vsst->afs_socket = afs_socket;
1179         ms2tv(announce_time, &vsst->announce_tv);
1180         PARA_INFO_LOG("announce timeval: %lums\n", tv2ms(&vsst->announce_tv));
1181         init_list_head(&fec_client_list);
1182         FOR_EACH_SENDER(i) {
1183                 PARA_NOTICE_LOG("initializing %s sender\n", senders[i]->name);
1184                 senders[i]->init();
1185         }
1186         mmd->sender_cmd_data.cmd_num = -1;
1187         if (OPT_GIVEN(AUTOPLAY)) {
1188                 struct timeval tmp;
1189                 mmd->vss_status_flags |= VSS_PLAYING;
1190                 mmd->new_vss_status_flags |= VSS_PLAYING;
1191                 ms2tv(autoplay_delay, &tmp);
1192                 tv_add(clock_get_realtime(NULL), &tmp, &vsst->autoplay_barrier);
1193                 tv_add(&vsst->autoplay_barrier, &vsst->announce_tv,
1194                         &vsst->data_send_barrier);
1195         }
1196         vsst->task = task_register(&(struct task_info) {
1197                 .name = "vss",
1198                 .pre_select = vss_pre_select,
1199                 .post_select = vss_post_select,
1200                 .context = vsst,
1201         }, s);
1202 }
1203
1204 /**
1205  * Turn off the virtual streaming system.
1206  *
1207  * This is only executed on exit. It calls the ->shutdown method of all senders.
1208  */
1209 void vss_shutdown(void)
1210 {
1211         int i;
1212
1213         FOR_EACH_SENDER(i) {
1214                 if (!senders[i]->shutdown)
1215                         continue;
1216                 PARA_NOTICE_LOG("shutting down %s sender\n", senders[i]->name);
1217                 senders[i]->shutdown();
1218         }
1219 }