fecdec_filter.c

   1 /*
   2  * Copyright (C) 2009 Andre Noll <maan@systemlinux.org>
   3  *
   4  * Licensed under the GPL v2. For licencing details see COPYING.
   5  */
   6
   7 /** \file fecdec_filter.c A filter that fec-decodes an audio stream. */
   8
   9 #include <regex.h>
  10
  11 #include <dirent.h>
  12 #include "para.h"
  13 #include "error.h"
  14 #include "list.h"
  15 #include "sched.h"
  16 #include "ggo.h"
  17 #include "filter.h"
  18 #include "string.h"
  19 #include "portable_io.h"
  20 #include "fec.h"
  21 #include "fd.h"
  22
  23 /**
  24  * How many FEC groups to store in memory.
  25  *
  26  * Packet reordering requires to keep more than one FEC group in memory because
  27  * slices belonging to the next FEC group may arrive before the current FEC group
  28  * is complete.
  29  */
  30 #define NUM_FEC_GROUPS 3
  31
  32 /** Default size of the output buffer of the fecdec filter. */
  33 #define FECDEC_DEFAULT_OUTBUF_SIZE (3 * 1024)
  34 /** Maximal size of the output buffer of the fecdec filter. */
  35 #define FECDEC_MAX_OUTBUF_SIZE (1024 * 1024)
  36
  37 /** Data read from the header of a slice. */
  38 struct fec_header {
  39         /** Total number of slices in this group. */
  40         uint8_t slices_per_group;
  41         /** Number of slices needed to start decoding. */
  42         uint8_t data_slices_per_group;
  43         /** Size of the ogg vorbis header (zero for mp3, aac). */
  44         uint32_t audio_header_size;
  45         /** Number of the FEC group this slice belongs to. */
  46         uint32_t group_num;
  47         /** Size of the data in this FEC group. */
  48         uint32_t group_bytes;
  49         /** Number of this slice in the group. */
  50         uint8_t slice_num;
  51         /** Used data bytes of this slice. */
  52         uint16_t slice_bytes;
  53         /** Non-zero if this group is the beginning of the stream. */
  54         uint8_t bos;
  55         /** Non-zero if this stream embedds audio headers into fec groups. */
  56         uint8_t header_stream;
  57 };
  58
  59 /**
  60  * The status of one partially received FEC group.
  61  */
  62 struct fecdec_group {
  63         /** The header read from the last slice. */
  64         struct fec_header h;
  65         /** How many slices received so far. */
  66         int num_received_slices;
  67         /** The size of the \a idx and the \a data arrays below. */
  68         int num_slices;
  69         /** Array of indices of the received slices. */
  70         int *idx;
  71         /** Content of the received slices. */
  72         unsigned char **data;
  73 };
  74
  75 /**
  76  * The fecdec filter defers decoding of the first group until the first slice
  77  * of the next group was received. This avoids buffer underruns in subsequent
  78  * filters of the filter chain.
  79  */
  80 enum group_completion_status {
  81         /** No complete group received so far. */
  82         GCS_NO_COMPLETE_GROUP,
  83         /** First group received, but not yet decoded. */
  84         GCS_FIRST_GROUP_COMPLETE,
  85         /** At least one complete group decoded. */
  86         GCS_FIRST_GROUP_DECODED,
  87 };
  88
  89 /**
  90  * Data private to the fecdec filter.
  91  */
  92 struct private_fecdec_data {
  93         /** Used by the fec core code. */
  94         struct fec_parms *fec;
  95         /** Keeps track of what was received so far. */
  96         struct fecdec_group groups[NUM_FEC_GROUPS];
  97         /** Whether an audio file header was already received. */
  98         int have_header;
  99         /** See \ref group_completion_status. */
 100         unsigned completion_status;
 101         /** Points to the first received group. */
 102         struct fecdec_group *first_complete_group;
 103 };
 104
 105 /** Iterate over all fecdec groups. */
 106 #define FOR_EACH_FECDEC_GROUP(g, d) for (g = (d)->groups; \
 107         (g) < (d)->groups + NUM_FEC_GROUPS; (g)++)
 108
 109 static int group_complete(struct fecdec_group *fg)
 110 {
 111         return fg->num_received_slices >= fg->h.data_slices_per_group;
 112 }
 113
 114 static int group_empty(struct fecdec_group *fg)
 115 {
 116         return fg->num_received_slices == 0;
 117 }
 118
 119 static void clear_group(struct fecdec_group *fg)
 120 {
 121         int i;
 122
 123         for (i = 0; i < fg->num_slices; i++) {
 124                 free(fg->data[i]);
 125                 fg->data[i] = NULL;
 126                 fg->idx[i] = -1;
 127         }
 128         free(fg->data);
 129         free(fg->idx);
 130         fg->num_slices = 0;
 131         memset(&fg->h, 0, sizeof(struct fec_header));
 132         fg->num_received_slices = 0;
 133 }
 134
 135 static int find_group(struct fec_header *h,
 136                 struct private_fecdec_data *pfd, struct fecdec_group **result)
 137 {
 138         struct fecdec_group *fg;
 139
 140         FOR_EACH_FECDEC_GROUP(fg, pfd) {
 141                 if (fg->h.group_num != h->group_num)
 142                         continue;
 143                 if (fg->num_received_slices == 0)
 144                         goto success;
 145                 if (fg->h.slices_per_group != h->slices_per_group)
 146                         return -E_BAD_FEC_HEADER;
 147                 if (fg->h.data_slices_per_group != h->data_slices_per_group)
 148                         return -E_BAD_FEC_HEADER;
 149                 if (fg->h.group_bytes != h->group_bytes)
 150                         return -E_BAD_FEC_HEADER;
 151 success:
 152                 *result = fg;
 153                 return 1;
 154         }
 155         return 0;
 156 }
 157
 158 static struct fecdec_group *find_unused_group(struct private_fecdec_data *pfd)
 159 {
 160         struct fecdec_group *fg;
 161
 162         FOR_EACH_FECDEC_GROUP(fg, pfd) {
 163                 if (fg->num_received_slices == 0)
 164                         return fg;
 165         }
 166         return NULL;
 167 }
 168
 169 static struct fecdec_group *try_to_free_group(struct private_fecdec_data *pfd)
 170 {
 171         struct fecdec_group *fg;
 172
 173         FOR_EACH_FECDEC_GROUP(fg, pfd) {
 174                 if (!group_complete(fg))
 175                         continue;
 176                 /*
 177                  * Don't clear the first complete group if it has not yet been
 178                  * decoded.
 179                  */
 180                 if (pfd->completion_status == GCS_FIRST_GROUP_COMPLETE
 181                                 && pfd->first_complete_group == fg)
 182                         continue;
 183                 clear_group(fg);
 184                 return fg;
 185         }
 186         return NULL;
 187 }
 188
 189 static struct fecdec_group *free_oldest_group(struct private_fecdec_data *pfd)
 190 {
 191         struct fecdec_group *fg, *oldest = NULL;
 192
 193         FOR_EACH_FECDEC_GROUP(fg, pfd) {
 194                 if (!oldest || oldest->h.group_num > fg->h.group_num)
 195                         oldest = fg;
 196         }
 197         if (!group_complete(oldest) && !group_empty(oldest))
 198                 PARA_WARNING_LOG("Clearing incomplete group %d "
 199                         "(contains %d slices)\n", oldest->h.group_num,
 200                         oldest->num_received_slices);
 201         assert(pfd->completion_status != GCS_FIRST_GROUP_COMPLETE
 202                 || oldest != pfd->first_complete_group);
 203         clear_group(oldest);
 204         return oldest;
 205 }
 206
 207 /* returns 1 if the group was found, 0 if not, negative on errors */
 208 static int get_group(struct fec_header *h, struct private_fecdec_data *pfd,
 209                 struct fecdec_group **result)
 210 {
 211         struct fecdec_group *fg;
 212         int ret = find_group(h, pfd, &fg);
 213
 214         if (ret < 0)
 215                 return ret;
 216         if (ret > 0) /* found group */
 217                 goto success;
 218         /* group not found */
 219         fg = find_unused_group(pfd);
 220         if (fg)
 221                 goto success;
 222         fg = try_to_free_group(pfd);
 223         if (fg)
 224                 goto success;
 225         fg = free_oldest_group(pfd);
 226         ret = 0;
 227 success:
 228         fg->h = *h;
 229         *result = fg;
 230         return ret;
 231 }
 232
 233 /*
 234  * returns 1 if slice was added, zero otherwise (because the group was already
 235  * complete). In any case the number of received slices is being increased by
 236  * one.
 237  */
 238 static int add_slice(char *buf, struct fecdec_group *fg)
 239 {
 240         int r, slice_num;
 241
 242         if (group_complete(fg)) {
 243                 PARA_DEBUG_LOG("group %d complete, ignoring slice %d\n",
 244                         fg->h.group_num, fg->h.slice_num);
 245                 fg->num_received_slices++;
 246                 return 0;
 247         }
 248         slice_num = fg->h.slice_num;
 249         if (fg->num_slices == 0) {
 250                 fg->num_slices = fg->h.slices_per_group;
 251                 fg->idx = para_malloc(fg->num_slices * sizeof(int));
 252                 fg->data = para_malloc(fg->num_slices * sizeof(unsigned char *));
 253                 memset(fg->data, 0, fg->num_slices * sizeof(unsigned char *));
 254         }
 255         r = fg->num_received_slices;
 256         fg->idx[r] = slice_num;
 257         fg->data[r] = para_malloc(fg->h.slice_bytes);
 258         memcpy(fg->data[r], buf, fg->h.slice_bytes);
 259         fg->num_received_slices++;
 260         return 1;
 261 }
 262
 263 enum fec_group_usability {
 264         FEC_GROUP_UNUSABLE,
 265         FEC_GROUP_USABLE,
 266         FEC_GROUP_USABLE_SKIP_HEADER,
 267         FEC_GROUP_USABLE_WITH_HEADER
 268 };
 269
 270 static enum fec_group_usability group_is_usable(struct fecdec_group *fg,
 271                 struct private_fecdec_data *pfd)
 272 {
 273         struct fec_header *h = &fg->h;
 274
 275         if (!h->header_stream)
 276                 return FEC_GROUP_USABLE;
 277         if (pfd->have_header) {
 278                 if (h->audio_header_size)
 279                         return FEC_GROUP_USABLE_SKIP_HEADER;
 280                 return FEC_GROUP_USABLE;
 281         }
 282         if (fg->h.bos)
 283                 return FEC_GROUP_USABLE;
 284         if (fg->h.audio_header_size)
 285                 return FEC_GROUP_USABLE_WITH_HEADER;
 286         return FEC_GROUP_UNUSABLE;
 287 }
 288
 289 static int decode_group(struct fecdec_group *fg, struct filter_node *fn)
 290 {
 291         int i, ret, sb = fg->h.slice_bytes;
 292         size_t written, need;
 293         struct private_fecdec_data *pfd = fn->private_data;
 294         enum fec_group_usability u = group_is_usable(fg, pfd);
 295
 296         if (u == FEC_GROUP_UNUSABLE) {
 297                 PARA_INFO_LOG("dropping unusable group %d\n", fg->h.group_num);
 298                 return 0;
 299         }
 300         PARA_DEBUG_LOG("decoding group %d (%d slices)\n", fg->h.group_num,
 301                 fg->h.data_slices_per_group);
 302         ret = fec_decode(pfd->fec, fg->data, fg->idx, sb);
 303         if (ret < 0)
 304                 return ret;
 305         pfd->have_header = 1;
 306         i = 0;
 307         if (u == FEC_GROUP_USABLE_SKIP_HEADER) {
 308                 i = ROUND_UP(fg->h.audio_header_size, fg->h.slice_bytes)
 309                         / fg->h.slice_bytes;
 310                 PARA_DEBUG_LOG("skipping %d header slices\n", i);
 311         }
 312         PARA_DEBUG_LOG("writing group %d (%d/%d decoded data bytes)\n",
 313                 fg->h.group_num, fg->h.group_bytes,
 314                 fg->h.data_slices_per_group * sb);
 315         need = fn->loaded + (fg->h.data_slices_per_group - i)* sb;
 316         if (need > fn->bufsize) {
 317                 fn->bufsize = PARA_MAX(fn->bufsize * 2, need);
 318                 if (fn->bufsize > FECDEC_MAX_OUTBUF_SIZE)
 319                         return -E_FECDEC_OVERRUN;
 320                 PARA_INFO_LOG("increasing fec buf to %zu\n", fn->bufsize);
 321                 fn->buf = para_realloc(fn->buf, fn->bufsize);
 322         }
 323         if (u == FEC_GROUP_USABLE_WITH_HEADER) {
 324                 PARA_INFO_LOG("writing audio file header\n");
 325                 written = 0;
 326                 for (i = 0; i < fg->h.data_slices_per_group; i++) {
 327                         size_t n = sb;
 328                         if (written >= fg->h.audio_header_size)
 329                                 break;
 330                         if (sb + written > fg->h.audio_header_size)
 331                                 n = fg->h.audio_header_size - written;
 332                         memcpy(fn->buf + fn->loaded, fg->data[i], n);
 333                         fn->loaded += n;
 334                         written += n;
 335                 }
 336         }
 337         written = 0;
 338         for (; i < fg->h.data_slices_per_group; i++) {
 339                 size_t n = sb;
 340                 if (n + written > fg->h.group_bytes)
 341                         n = fg->h.group_bytes - written;
 342                 memcpy(fn->buf + fn->loaded, fg->data[i], n);
 343                 fn->loaded += n;
 344                 written += n;
 345         }
 346         return 0;
 347 }
 348
 349 /**
 350  * Read a fec header from a buffer.
 351  *
 352  * \param buf The buffer to write to.
 353  * \param h The fec header to write.
 354  */
 355 static int read_fec_header(char *buf, size_t len, struct fec_header *h)
 356 {
 357         uint32_t magic;
 358
 359         if (len < FEC_HEADER_SIZE)
 360                 return 0;
 361         magic = read_u32(buf);
 362         if (magic != FEC_MAGIC)
 363                 return -E_BAD_FEC_HEADER;
 364         h->slices_per_group = read_u8(buf + 4);
 365         h->data_slices_per_group = read_u8(buf + 5);
 366         h->audio_header_size = read_u32(buf + 6);
 367
 368         h->group_num = read_u32(buf + 10);
 369         h->group_bytes = read_u32(buf + 14);
 370
 371         h->slice_num = read_u8(buf + 18);
 372         h->slice_bytes = read_u16(buf + 20);
 373         h->bos = read_u8(buf + 22);
 374         h->header_stream = read_u8(buf + 23);
 375         if (!memcmp(buf, FEC_EOF_PACKET, FEC_EOF_PACKET_LEN))
 376                 return -E_FECDEC_EOF;
 377 //      PARA_DEBUG_LOG("group %u, slize %u, slices per group: %u\n",
 378 //              h->group_num, h->slice_num, h->slices_per_group);
 379         return 1;
 380 }
 381
 382 /* returns 1 if we used the buffer, 0 if we didn't, negative on errors */
 383 static int dispatch_slice(char *buf, size_t len, struct fec_header *h,
 384                 struct filter_node *fn)
 385 {
 386         struct fecdec_group *fg;
 387         int ret, k, n;
 388         struct private_fecdec_data *pfd = fn->private_data;
 389
 390         if (h->slice_bytes > len) /* can not use the thing, try to read more */
 391                 return 0;
 392         ret = get_group(h, pfd, &fg);
 393         if (ret < 0)
 394                 return ret;
 395         if (!add_slice(buf, fg))
 396                 return 1;
 397         if (group_complete(fg)) {
 398                 if (pfd->completion_status == GCS_NO_COMPLETE_GROUP) {
 399                         pfd->completion_status = GCS_FIRST_GROUP_COMPLETE;
 400                         pfd->first_complete_group = fg;
 401                         return 1;
 402                 }
 403                 assert(pfd->fec);
 404                 ret = decode_group(fg, fn);
 405                 if (ret < 0)
 406                         return ret;
 407                 return 1;
 408         }
 409         if (pfd->completion_status == GCS_NO_COMPLETE_GROUP)
 410                 return 1;
 411         if (pfd->completion_status == GCS_FIRST_GROUP_DECODED)
 412                 return 1;
 413         if (fg == pfd->first_complete_group)
 414                 return 1;
 415         assert(!pfd->fec);
 416         k = h->data_slices_per_group;
 417         n = h->slices_per_group;
 418         PARA_NOTICE_LOG("init fec (%d, %d)\n", k, n);
 419         ret = fec_new(k, n, &pfd->fec);
 420         if (ret < 0)
 421                 return ret;
 422         ret = decode_group(pfd->first_complete_group, fn);
 423         if (ret < 0)
 424                 return ret;
 425         pfd->completion_status = GCS_FIRST_GROUP_DECODED;
 426         return 1;
 427 }
 428
 429 static ssize_t fecdec(char *buf, size_t len, struct filter_node *fn)
 430 {
 431         int ret;
 432         struct fec_header h;
 433
 434         ret = read_fec_header(buf, len, &h);
 435         if (ret <= 0)
 436                 return ret;
 437         if (!h.slice_bytes)
 438                 return -E_BAD_SLICE_SIZE;
 439         if (h.slice_num > h.slices_per_group)
 440                 return -E_BAD_SLICE_NUM;
 441         ret = dispatch_slice(buf + FEC_HEADER_SIZE, len - FEC_HEADER_SIZE,
 442                 &h, fn);
 443         //PARA_INFO_LOG("ret: %d, len: %d, slice_bytes: %d\n", ret, len, h.slice_bytes);
 444         if (ret <= 0)
 445                 return ret;
 446         return FEC_HEADER_SIZE + h.slice_bytes;
 447 }
 448
 449 static void fecdec_close(struct filter_node *fn)
 450 {
 451         struct private_fecdec_data *pfd = fn->private_data;
 452         struct fecdec_group *fg;
 453
 454         FOR_EACH_FECDEC_GROUP(fg, pfd)
 455                 clear_group(fg);
 456         free(fn->buf);
 457         fn->buf = NULL;
 458         fec_free(pfd->fec);
 459         free(fn->private_data);
 460         fn->private_data = NULL;
 461 }
 462
 463 static void fecdec_open(struct filter_node *fn)
 464 {
 465         struct private_fecdec_data *pfd;
 466         fn->bufsize = FECDEC_DEFAULT_OUTBUF_SIZE;
 467         fn->buf = para_malloc(fn->bufsize);
 468         pfd = para_calloc(sizeof(*pfd));
 469         pfd->completion_status = GCS_NO_COMPLETE_GROUP;
 470         fn->private_data = pfd;
 471         fn->loaded = 0;
 472 }
 473
 474 /**
 475  * The init function of the fecdec filter.
 476  *
 477  * \param f struct to initialize.
 478  */
 479 void fecdec_filter_init(struct filter *f)
 480 {
 481         f->convert = fecdec;
 482         f->close = fecdec_close;
 483         f->open = fecdec_open;
 484 }