vss: Fix (harmless) memory leak.

Without the call to afh_close(), if an mp4 file is being streamed when a
server command is executed, valgrind reports many memory leaks such as this:

32,384 bytes in 1 blocks are still reachable in loss record 10 of 10
   at 0x4047BE2: realloc (vg_replace_malloc.c:1801)
   by 0x8052A99: arr_realloc (string.c:40)
   by 0x8052AC8: arr_alloc (string.c:61)
   by 0x8069CE7: read_stsz (mp4.c:244)
   by 0x8069CE7: parse_sub_atoms (mp4.c:563)
   by 0x806A3A6: parse_sub_atoms (mp4.c:575)
   by 0x806A3A6: parse_sub_atoms (mp4.c:575)
   by 0x806A3A6: parse_sub_atoms (mp4.c:575)
   by 0x806A3A6: parse_sub_atoms (mp4.c:575)
   by 0x806A524: open_file (mp4.c:622)
   by 0x806A5B0: mp4_open (mp4.c:669)
   by 0x8069593: aac_afh_open (aac_afh.c:69)
   by 0x804E7DF: afh_get_chunk (afh_common.c:249)

This only affects aac/mp4 because this is the only supported audio format
which employs dynamic chunks.

compress: Make "clip" message less noisy.

It's perfectly normal for this message to happen, so log this with lower
severity.

aft: Don't leak status_item_ls_data.path.

Currently we initialize this pointer variable by creating a copy of the memory
mapped osl object on the heap, and leak this copy on exit. We may avoid the
copy since we may as well look up the path again in make_status_items(). This
is cheap because we already know the row of the audio file table at this point.

aft: Simplify make_inode_status_items().

This function calls get_audio_file_path_of_row() although the path is already
known at this point. Moreover, since the function is called twice to produce
the human-readable and the parser-friendly status items, we perform identical
work in each call. We can easily avoid a system call by calling stat(2)
only once in the caller, The mtime string is also computed twice, so move
the computation into the caller as well.

call_callback(): Fix error text.

It was clearly intended to print the error text which corresponds to ret2
here because the function returns ret but discards the value of ret2 after
logging the error.

Modify para_hostname() to return a static buffer.

All but one caller immediately free the result after using it. The exception
is daemon.c, which maintains a copy in struct daemon, and leaks it on exit.

All users can trivially be converted to use the new version, which does not
require to free the result.

audiod: Free status items on exit.

In close_stat_pipe() we call clear_and_dump_items(), then dump the
status items again for no good reason. Rename clear_and_dump_items() to
clear_status_items(), stop dumping items there, and call the new function
also from audiod_cleanup() to avoid the memory leaks at exit.

audiod: Free receiver/filter/writer configurations.

We allocate a bunch of arrays, configurations and lopsub parse results.
Teach audiod_cleanup() to free those to avoid memory leaks on exit.

audiod: Fix a trivial memory leak at exit.

The buffer for the socket name is allocated on the heap at startup and
never freed.

openssl: Fix a memory leak.

This leak happens only with openssl-1.1, where we call RSA_free() which does
not free the coefficient for the Chinese remainder theorem we extracted from
the key file.

fec: Don't oversize gf_exp[].

Apart from the initialization code, there is only one user of the Galois
field exponential table. This user passes a value modulo GF_SIZE, so we
never access the second half of the array.

server: Allocate the scheduler structure after calling afs_init().

Since the audio file selector allocates its own scheduler instance, we
currently allocate two instances and free only one. Avoid this memory leak
by delaying the allocation until after the afs process is born.

The latest possible point to allocate the scheduler instance is in
server_init(), just before the signal task is initialized, so move the call
to sched_new() there. Since that passes a pointer to server_poll() and this
function calls status_refresh() we have to move those two functions up.

server: Kill global variable sched.

Make it local to main() and pass the pointer to the few functions that need it.

Make struct sched private, introduce sched_new().

This moves the declaration of the structure from sched.h to sched.c because
the information stored in this structure has almost no users outside of the
scheduler core.

As a result, the size of the structure is no longer known outside of sched.c.
To initialize a scheduler instance, users now must call the new sched_new(),
passing an alternative poll function if needed, We don't let applications
set the default timeout anymore because the value is kind of arbitrary anyway
and most users specified one second. So hardcode this as the default.

Besides allocating the scheduler structure, sched_new() also initializes the
task list and the poll function pointer. Thanks to these initializations,
the two conditions of sched.c removed in this patch are never true.

error.h: Remove some macros.

Each is only used once in the same file, and they are all rather obvious,
so open-code them.

The exception is ERRNO_TO_PARA_ERROR() which is used pervasively, so
leave this macro unmodified.

Kill OSL_ERRNO_TO_PARA_ERROR.

The users outside of error.h may as well call osl(), which leaves only
a single caller in error.h. Open-code the macro there and remove it.

btr: Fix buffer tree merging.

The merge case of add_btrb_to_children() is rather broken. For one, if
the node has more than one child and we end up freeing the btr buffer in
the first iteration, we read stale contents when calling may_merge_btrb()
in the next iteration of the loop.

Secondly, not all callers of add_btrb_to_children() cope with btrb being
freed after merging occurred. In particular, the alsa writer triggers an
invalid read such as:

at 0x804C7AC: btr_drop_buffer_reference (buffer_tree.c:351)
by 0x804CD4A: btr_pushdown_br (buffer_tree.c:520)
by 0x804CD4A: btr_pushdown (buffer_tree.c:539)
by 0x804D948: check_wav_post_monitor (check_wav.c:194)
by 0x804C31B: call_post_monitor (sched.c:118)
by 0x804C31B: sched_post_monitor (sched.c:144)
by 0x804C31B: schedule (sched.c:184)
by 0x804A9CE: setup_and_schedule (write.c:97)
by 0x804A9CE: main (write.c:149)

The problem is that btr_pushdown_br() calls add_btrb_to_children(), followed
by btr_drop_buffer_reference(). The first function frees br->btrb in the
may-merge case and the second function reads from this pointer.

This patch addresses both issues. It renames may_merge_btrb() to
try_merge_btrb(), checks more carefully if a merge is possible, and performs
the merge. This function needs to return whether the buffer was merged because
the callers have to clean up in different ways depending on whether or not
buffers were merged.

This retains the nice speedup of f64cbcc03484 at the cost of even more
complicated buffer tree code.

Reproducer (must run on a slow machine or under valgrind to trigger):

para sender udp add 224.0.1.38:8000
para_recv -r udp > fec-encoded-data
./para_filter -f fecdec -f mp3dec < fec-encoded-data | ./para_write

Fixes: f64cbcc034844628b7e7817e27205cc6b48e9a18

audiod: Remove buffer tree node of status task on errors.

This is a real memory leak since due to the missing call to btr_remove_node()
we leak one buffer tree node each time we reconnect to the server.

filter.c: Remove pointless variable and assignment.

write.c: Make stdin task variable local.

The variable is not used outside of setup_and_schedule(), so there is no
reason for it to be global.

Fix (benign) memory leak at exit in para_filter.

We missed to free the filter-specific lopsub parse result.

stdin: Only read from stdin if fd 0 is ready.

If fd 0 refers to a tty, this file descriptor is blocking. So make sure we
don't read unless we know that the read operation won't block.

aft: Reload afhi before creating the status items.

make_status_items() accesses the audio format handler information via
status_item_ls_data.afhi, which was set when the current audio file was
loaded. However, the pointers of the ahfi structure might have become stale
if the server reloads the afs tables in between, for example when SIGHUP
was received. This may lead to a crash or worse.

aft: Improve error path of open_and_update_audio_file().

On errors that occur after status_item_ls_data->path has been initialized, we
return without setting ->path to NULL. This is bad because a subsequent event
could call make_status_items(), which then proceeds using the invalid path.

This commit adds a few labels to improve the error handling and to clean
up properly in all cases. A side effect of this change is that on certain
errors where we used to fail we now continue, trying the next best file as
long as there are entries left in the score table.

aft.c: Shorten comment on memory-mapped files.

There is no reason to go into this much detail.

Improve documentation of para_printf().

This was quite hard to read due to the many \a directives. Remove those
and improve the wording.

Improve error diagnostics of add server command.

If a file whose path does not match any known ending is attempted to be
added, we silently ignore the file even if --verbose is given. This happens
for example, if the audio format handler for the given file was not compiled
in. Make this case more obvious by sending a message if --verbose is given.

mood: Don't abort the check if an empty mood exists.

It's perfectly valid to define a mood whose definition is empty. Nevertheless,
the osl loop callback mood_get_name_and_def_by_row(), which is called by the
check subcommand, returns an error in this case because it cannot map the
empty file. This terminates the osl loop and results in a rather cryptic
error about loop termination. To improve on this, detect this case, print
a more decent message, and continue the loop.

Empty playlists were handled correctly, but the name of the empty playlist
was not shown in the message. Fix this as well.

aft: Avoid unnecessary allocation of current hash buffer.

Currently we allocate the hash pointer of the global status_item_ls_data
structure once at first use. We can avoid the allocation by having it point
to the global current_hash[]. This way it always contains an up-to-date value,
so we no longer need to re-lookup the hash in aft_close().

Speed up blob operations.

The current status items are unaffected by any blob operations, so this code
is completely unnecessary.

Merge topic branch t/deprecate_setatt into master

A single patch which deprecates the setatt server subcommand. This subcommand
fails, for example, if the name of an audio file happens to end in '+' or
'-'. The replacement for setatt is the touch subcommand, which gained two
options to set or unset attributes.

* refs/heads/t/deprecate_setatt:
  server: Deprecate setatt in favor of touch.

vss: Make vss_chunk_time() static.

It's only called from vss.c.

web: Kill horizontal line at the bottom of each page.

It serves no purpose.

Remove ->execute() of struct writer.

No writer implements this method.

sched.h: Remove an unnecessary declaration.

This incomplete declaration is not needed because the first use of struct
task is the declaration of task_register() further down in the file. This
function returns a pointer to struct task, and this works as an incomplete
declaration as well.

vss: Make vss_next() and vss_repos() static.

Unlike vss_playing(), vss_paused() and vss_stopped(), these are only called
from within vss.c.

vss: Change vss_playing() and friends to return bool.

All users are in boolean contexts.

send_common.c does not need afs.h.

Sometimes it only takes 17 years to get a bug fixed. Well, it's not really
a bug, but it does trigger a needless recompilation when afs.h changes.

Fixes: 2abba90245f87fab096edfc3faf7df61646b713f

Merge topic branch t/completion into master

The completers for para_client and para_audioc handle some cases incorrectly
or not at all. This series improves on that.

* refs/heads/t/completion:
  Revamp bash_completion.
  bash completion: Fix help option parsing.
  audioc: Fix option completion of version and stat.
  i9e: Introduce i9e_get_nonopt_argnum().
  i9e: Introduce i9e_cword_is_option_arg().
  i9e: Constify i9e_complete_option().

Move FOR_EACH_RECEIVER from recv.h to recv_common.c.

It called twice from there but from nowhere else.

wma: Use unsigned byte arrays.

They get initialized with values which cause an overflow on systems where
char is signed.

server: Delay vss shutdown in command handler context.

The sender status subcommand invoked via ->handle_connect() accesses memory
that has been freed in vss_shutdown(), resulting in garbage output. This
use-after-free bug is correctly reported by valgrind. It can easily be fixed
by moving the vss_shutdown() call down.

Fixes: 018a7b7927b76044b28eece39039cb2f5ea9c192

i9e: Constify completer arrays.

This way the array of completers goes into the rodata section.

Prefer __func__ to __FUNCTION__.

The former is part of the C99 standard, while the latter is only provided
for backward compatibility. This change also silences many gcc warnings when
compiling with -Wpendantic (disabled in the default build).

imdct: Kill fftsample_t typedef.

There is no advantage in not using plain float here.

Doxgen: Do not omit brief descriptions.

Commit 3107d2411a7a was a bit overzealous because with BRIEF_MEMBER_DESC
and REPEAT_BRIEF both set to NO the short text does not even make it into
the detailed description. This was unintended, so partially revert this change.

Fixes: 3107d2411a7a8f4085d0db65851483f2cb3c4f6e

fd: Modify xwrite() and write_all() to take void * buffer argument.

That's what the underlying call to writev(2) expects.

Merge topic branch t/wmadec into master

A few patches which remove unused code from the wma decoder and audio
format handler. Notably, noise coding was removed completely since
it was only used for unusual bit rates. Most likely, it never worked
in the first place.

* refs/heads/t/wmadec:
  wmadec: Fix typo in comment.
  wmadec: Remove a stale comment in wma_init().
  wmadec: Kill pointless start/end computations.
  wmadec: Remove noise coding.
  wmadec: Simplify wma_init().
  wmadec: Remove fft().

net.c: Convert SS_IS_ADDR_V4MAPPED() to lower case.

It's not a macro, after all. Remove the superfluous braces and fix
a whitespace issue while at it.

Shrink struct rmatt_event_data.

The aft event handler needs to know the bit number of the attribute which is
being removed in order to clear the bit in the afs info structure of each row
of the audio file table. The handler does not need to know the attribute's
name, though, and remove_attribute() already prints it, so remove this field
from the event data structure.

filter.c: Constify dummy variable.

It needs to be non-static, but it may be const because the amp filter
only reads the values of this array.

filter.c: Remove unused status_item_list[].

para_filter does not need this at all, and never has, afaict.

audiod.c: Make slots[] static.

It's only used in audiod.c.

server.c: Remove unused server_get_tasks().

The last caller was removed when the tasks server subcommand was disabled
eight years ago.

Fixes: bb91597b9ecf650a63a40753f7f7c771576d252e

Merge topic branch t/select- into master

A single patch which implements the new "select -" feature to switch
back to the previous mood or playlist.

* refs/heads/t/select-:
  com_select(): Support '-' to reactivate the previous mood/playlist.

css: Remove memItem tweaks.

The pages look better without this since the tables no longer contain
horizontal lines above all entities.

css: Fix a typo in comment.

fec.c: Remove an unused #include.

The fec code does not need the helpers from portable_io.h.

Move public key to web/.

It's only needed for the web pages, so it should not be contained in the
top-level directory.

INSTALL: Remove installation instructions of lopsub.

These days, people should just install the Debian package. If lopsub is not
installed, the configure script prints detailed instructions about how to
obtain lopsub with and without apt.

http sender: Kill pointless macro.

The code is shorter and easier to read without the macro.

Introduce VSS_NEW_AUDIO_FILE to fix playlist updates.

The playlist event handler handles afsi change events by moving the affected
entry to the end of the playlist. This is the right thing to do if the
event was triggered by virtual streaming system streaming a new file. It is
incorrect, however, if the event was triggered by a subcommand such as touch.

This commit introduces the new afs event type VSS_NEW_AUDIO_FILE to distinguish
between the two different use cases. The audio file table event handler
ignores the VSS_NEW_AUDIO_FILE event while the playlist event handler ignores
the AFSI_CHANGE event. The moods event handler treats both events equally,

Get rid of a pointless static one-liner function in playlist.c while at it.

aft: Pass correct afsi argument to AFSI_CHANGE event handlers.

Each time a new audio file is opened for streaming, we update the numplayed
and lastplayed fields of its afs info entry of the audio file table, then
update the global afsi and ahfi structures, then trigger an AFSI_CHANGE event,
which calls all table event handlers. The event handlers receive as arguments
a pointer to the old afsi and a pointer to the already modified aft row.

The AFSI_CHANGE event handler of the audio file table gets called in the
situation described above, and also via the touch and cpsi subcommands,
because these also change the afsi info structure and therefore trigger
AFSI_CHANGE events as well. The handler checks whether the affected audio
file is the current audio file, and if it is, extracts the modified afsi
from the audio file table into the global afsi structure.

The problem is that in case of the above "next audio file" scenario, the
old afsi pointer points to the global afsi structure, which gets updated
by the aft event handler. Therefore the event handlers which happen to run
after the event handler of the audio file table see the already updated afsi
through the old_afsi pointer.

Since the audio file table happens to be the first table of the 7-element
afs_tables[] array iterated by afs_event(), all six other event handlers see
the incorrect afsi. However, only the moods event handler looks at the old afsi
to update the mean and quadratic variation of the lastplayed and numplayed
values of the afs statistics. Due to the bug described above, the old and
new lastplayed and numplayed values coincide, and therefore the statistics
update is a no-op. In practice, at least for moods with many admissible files,
the values will only be slightly off, so the bug is rather benign.

Fix this by renaming the on-stack new_afsi to old_afsi, adjusting
initializations accordingly, and passing a pointer to this instance instead.

Improve documentation of set_max_chunk_size().

The old text implied that the function could be removed at some point, which
is not the case. Remove this part of the documentation and clarify what the
function actually does.

Warn about old (0.5.x or earlier) on-disk afhi.

Nine years ago, starting with commit 234647bb5, old on-disk entries are
reported with a notice to re-add the file in order to update the audio file
table. Bump the loglevel for now, and add a comment to turn the check into
a hard error eventually.

doxyen: Completely suppress brief descriptions.

This shortens the doxygen pages, removing lots of pointless duplications.

buffer_tree: Assert that we don't pass NULL to memcpy().

The buffer pointer cannot be NULL here because this only happens when the
buffer tree area is full, which is not the case thanks to the previous n <=
btr_pool_unused(btrp) check.

mp.c: Remove a dead store.

Found by the clang analyzer.

wmadec: Fix typo in comment.

wmadec: Remove a stale comment in wma_init().

Noise coding has been removed.

Fixes: 9fe8a674535a00c6011f86b4ece3344200d00aa2

mood.c: Remove a dead store and fix the documentation of mood_load().

The function returns 1 on success, not the number of admissible files.

Found by the clang analyzer.

flac_afh: Check for possible integer overflows.

This is a callback function which should carefully check its inputs.

gcc-compat.h: Drop inline #define.

There is no reason to believe that the programmer does a better job than
the compiler here.

wmadec: Kill pointless start/end computations.

Neither start nor end are used. The loop simply adds up the entries of one
line of the exponent_bands matrix.

Found by the clang analyzer.

play.c: Kill pointless typedef.

The signature of the function pointer is too simple to warrant a typedef.

afs.h: Omit superfluous semicolons.

The DECLARE_BLOB_SYMBOLS macro expands to a bunch of declarations, each of
which is terminated by a semicolon. So don't add another one.

Makefile: Drop redundant -Wuninitialized.

It is implied by -Wextra, which is the same as -W, but more descriptive.

Merge topic branch t/build into master

A medium sized series for the build system which improves the way the git
version string is stored in the executables and man pages. Subsequent patches
of the series remove some warts from the makefile: we no longer use order-only
dependencies and the .PRECIOUS target.

The merge results in a conflict against the "remove regex include" commit
67388cd4fae0. This is trivial to resolve, though.

* refs/heads/t/build:
  Doxify version functions.
  Doxify OV_EXCLUDE_STATIC_CALLBACKS #define.
  Makefile: Fix braino in tarball target.
  build: Remove superfluous dependency in Makefile.real.
  build: Remove the .PRECIOUS target.
  build: Improve clean targets.
  build: Get rid of directory order-only dependencies.
  build: Compile with -Wunused -Wall also on BSD.
  build: Revamp git versioning.
  build: Merge version.{c,h} into string.{c,h}.

server: Deprecate setatt in favor of touch.

This adds --set-attribute and --unset-attribute to the touch subcommand,
re-implementing the features of the setatt command with a saner syntax.

We augment the change_atts_data structure using pre-computed values for
verbose and dry-run mode and pass a pointer to this structure rather than
the general callback arg pointer. The existing setatt subcommand neither
sets nor consults the two new booleans.

The touch completer of para_client is updated to complete the two new options,
executing the lsatt subcommand to get the attribute names. The manual and
the test suite also need minor adjustments.

Include regex.h from para.h.

Every .c file includes it anyway.

Revamp bash_completion.

This rewrite of the bash_completion script improves completion for the
para_client and para_audioc commands significantly.

One flaw which is fixed by this patch is related to the fact that by default
readline creates COMP_WORDS by splitting at characters that separate a shell
command, including "=", but for paraslash commands we only want to split at
spaces. So we modify the completer to return the special code 124 to instruct
readline to try split again with space as the only delimiter.

bash completion: Fix help option parsing.

If we complete on para_client or para_audioc options rather than on server
or audiod subcommands, we parse the --help output to determine the options to
complete on. The regular expression we currently use for that is too lenient
because it also matches the options in the synopsis section of the help output.

Fix this by prefixing the expression with '^' to extract only the options
of the subsequent help text.

audioc: Fix option completion of version and stat.

If the current word starts with a dash, we should always complete on options,
regardless of the word number.

i9e: Introduce i9e_get_nonopt_argnum().

Call the new function from various subcommand completers to attempt completion
only on the first or the first two non-option arguments.

i9e: Introduce i9e_cword_is_option_arg().

Call the new function to complete --admissible, --sort and --listing-mode of
the ls subcommand and teach the touch completer to prevent filename completion
if a numerical argument is expected. The grab subcommand of para_audiod
also benefits from the new helper: para_audioc learned to complete the three
different grab modes.

Since --admissible expects a mood or playlist argument, factor out the code
from the select completer which returns the list of all moods and playlists
so that it can be called by the ls completer as well.

i9e: Constify i9e_complete_option().

i9e_extract_completions() and i9e_complete_option() both take a char **
argument for the option/string list although they do not modify the pointers
of the list. This commit marks these pointer variables constant.

doxygen: Don't show includes.

They use a lot of space and don't help much to understand the API or code.

load_afd(): Double check shared memory sizes.

The shared memory ID is sent by a trusted source, so it is a programming error
(rather than a runtime error that could be handled) if the size of the shared
memory area is smaller than the size of an audio file data structure. Thus,
the right thing to do is to abort immediately in this case.

about: Mention that paraslash works without internet access.

It's a noteworthy feature if software works without relying on third-party
internet services.

mp3_afh: Kill FOR_EACH_FIELD().

The macro has only one user. Open-code it to shorten the code and improve
readability.

mp3_afh: Document id3_field_init() and id3_field_finish().

These functions are somewhat obscure because they are not part of the
libid3tag API. They are not part of the internal paraslash API either,
so their documentation should not be shown on the API page. Exclude the
documentation with the doxygen \cond and \endcond markers.

aft.c: Remove unused enum touch_flags.

This enum became unused ten years ago when the touch command learned to use
the lopsub library.

Fixes: fdf416e9af730a1df9eec8d7acb108d7ca881926

server: Add missing non-opts name to help text.

blob: Get rid of the two dummy event handlers.

The four blob operation structures defined in blob.c are created by
a macro which initializes the function pointer for the event handler
to ${name}_event_handler, where $name is the blob type, i.e. one of
images, lyrics, moods, playlists.

Only two of the four, moods and playlists, need an event handler
because the images and lyrics tables ignore events. Currently we
have to define dummy functions {images,lyrics}_event_handler() to
avoid link errors. This extra code can easily be avoided by making
the macros a little smarter.

Check return value of lsu_com_help().

This function fails if an invalid command name is passed as the argument, yet
all callers ignore the error. Modify the callers to print the strerror text as
appropriate and no longer do that in lsu_lopsub_error(). Rename this function
and introduce the error type argument to print more meaningful error messages.

One visible consequence is that

para_client help does-not-exist

used to succeed while it now exits with status 1.

afs.c: Improve documentation.

Add an overview of the file and expand the description of
open_next_audio_file() and afs_init().

wmadec: Remove noise coding.

It is not used anyway in most cases, and it complicates the code
considerably.

wmadec: Simplify wma_init().

This equivalent transformation saves a few lines and one level of
indentation.

wmadec: Remove fft().

It has only one caller, imdct_half(), so get rid of the trivial
function. Dedox the static imdct_half() while at it.

client: Fix completion for the select subcommand.

We missed to complete the -v option that was added recently.

Fixes: 1f31fcdd74ab1aab01cbc70942f9d69bb779156a