manual: Fix typo in description of blob tables.

Blob indices start at one, so "positive" is correct.

Remove explicit uses of _GNU_SOURCE.

The best way to add these flags is to use the autoconf helper
AC_USE_SYSTEM_EXTENSIONS. This macro adds defines to config.h, so we
must include config.h (via para.h) before anything else. The two files
for which this matters are fixed by moving the include directive for
para.h to the top.

The AC_USE_SYSTEM_EXTENSIONS macro was introduced in Autoconf 2.60,
which was released ten years ago. The existing AC_PREREQ([2.61])
check in configure.ac makes sure the macro is defined.

build: Remove duplicate para_fade in configure summary.

Merge branch 'refs/heads/t/opus_cleanup'

Was cooking for two months.

* refs/heads/t/opus_cleanup:
  opus: Make opus_common.[ch] independent of ogg.h.
  opus: Use uint16_t for preskip and gain.

gcc-compat.h: Remove gcc-3 workaround.

Since b0e2c4a9 we require gcc-4.2 or later, so this is no longer
needed.

Merge branch 'refs/heads/t/audiod-time-string'

Was cooking for several months.

* refs/heads/t/audiod-time-string:
  audiod: Improve get_time_string().
  audiod: Force status dump on slot changes.
  audiod: Avoid to report 100% time at startup.
  audiod: Simplify get_time_string()

play: Print hex representation of key sequence in help.

Some predefined keys of para_play, for example the four cursor keys,
are mapped to key sequences which should not be printed verbatim to
the console in com_help().

This patch introduces get_key_map_seq_safe(), an alternative to
get_key_map_seq() which returns the hexadecimal representation of the
bytes in the sequence of the given key. Single character sequences,
however, are printed verbatim if the character is printable. com_help()
is changed to call get_key_map_seq_safe() instead of get_key_map_seq().

server: Fix --autoplay-delay.

init_vss_task() is called before the scheduler has initialized the
timeval available everywhere through the global now pointer. Hence,
in this function ->now is {0, 0}, and the computed autoplay barrier
will be in the past, effectively making --autoplay-delay a no-op.

Fix this by calling clock_get_realtime() to get the current time.

Remove support for compile-time loglevel.

Setting the compile-time loglevel to a non-default value (i.e.,
greater than zero) results in many compile time warnings due to
unused variables. These are not easy to fix, and the feature isn't
very important anyway. Remove it.

Merge branch 'refs/heads/t/gui-improvements'

Improved wide-character support and fixes related to signal
handling. This topic branch was cooking in next for two months.

* refs/heads/t/gui-improvements:
  gui.c: Constify argument to find_cmd_byname().
  gui.c: Improve description of signal task.
  gui.c: Remove pointless return statement.
  gui.c: Remove silly warning on SIGINT.
  gui: Kill process group *before* shutting down curses.
  gui.c: Reset terminal on shutdown in external mode.
  gui: Avoid bad terminal state with xterm.
  gui.c: Constify local variables of add_spaces().
  Introduce sanitize_str().
  string.c: Simplify and rename wide character helpers.

manual: Rewrite section on score table.

This streamlines the text a bit and adds a starting sentence which
describes the purpose of the score table.

play.c: Simplify get_mapped_keyseqs().

Removing the debug log message allows to get rid of three
local variables and an allocation.

build: Insist on m4 being installed.

Unlike stated in the manual, m4 is not an optional package that is
only needed on developer machines to build the html version of the
manual. Rather, the m4 macro processor is an essential requirement
because the gengetopt input files are generated with m4 from their
templates in m4/gengetopt.

This patch moves the documentation item on m4 from the development
section of the manual to the list of required packages for building
the paraslash package. It also adds a check for the m4 executable
to configure.ac to let the generated configure script fail the build
early on systems where m4 is not installed.

wmadec: Fix left shift of negative value.

gcc-6.1 complains about this:

wmadec_filter.c:819:33: warning: left shift of negative value [-Wshift-negative-value]
   mult1 = mult * exponents[((-1 << bsize)) >> esize];

The new code still looks wrong because we now shift a negative value
to the right. Moreover, it is not clear that the resulting value
is within array bounds. On the other hand, ffmpeg has the same fix
(commit a48b24e5 in the ffmpeg repository), so..

Makefile.real: Remove duplicate $build_date.

This was introduced one year ago in commit e080d112.

gui: Improve documentation of --stat-cmd.

The new text is shorter and more to the point.

Constify argument of playlist_open() and change_current_mood().

The only reason these arguments are not const is that we create an
osl object out of it, which contains a non-constant data pointer.

The osl library functions we call here will not touch this memory,
so it's safe to let both functions take a const pointer and cast it at
initialization of the non-constant ->data pointer of struct osl object.

The single caller of each function is activate_mood_or_playlist()
whose argument can now also me made to point to constant memory.

Finally, the arg pointer of com_select_callback() is passed to
activate_mood_or_playlist(), so the variable can be of type const
char * as well.

filter.c: Use EXIT_SUCCESS.

Trivial change, since POSIX requires EXIT_SUCCESS to be zero.

Merge branch 'refs/heads/t/wmadec'

This topic branch was cooking in next for two months.

* refs/heads/t/wmadec:
  wmadec: Simplify wma_lsp_to_curve_init().
  wmadec: Make pwd->reset_block_lengths a boolean.
  bitstream.h: Remove some superflous parentheses.
  wmadec: Simplify get_vlc().

play.c: Check whether filter ->close() is NULL.

While audiod.c and filter.c test whether ->close is NULL
before they attempt to call the function, play.c calls ->close()
unconditionally. This does not matter because all filters provide the
close method. But it is documented in filter.h that ->close may be
NULL. To avoid future surprises and to be consistent with para_audiod
and para_filter, let's change play.c to check for NULL as well.

afh: Make ->suffixes array const.

Not only the individual strings are constant, but also the array itself.

blob_get_name_by_id(): Treat id of dummy row as invalid.

If the given id equals the id of the dummy row, the function currently
returns an empty object. This is unfortunate, since blob table users
should not know about the dummy row implementation detail. This patch
makes the function return -E_DUMMY_ROW instead.

In error.h, the E_DUMMY_ROW error code was defined in the section
for mood.c because this file contains the only user of the error
code. With another user in blob.c it seems appropriate to move it to
the blob section instead.

Merge branch 'refs/heads/t/markdown'

The topich branch was started on 2015-12-13, and has been cooking
in next since 2016-01-30. The merge resulted in conflicts for both
files which were easy to resolve.

* refs/heads/t/markdown:
  Convert manual and NEWS from grutatxt to markdown.

doc: Remove systemlinux links from documentation.

The systemlinux.org server is still up, but the paraslash web page
just redirects to people.tuebingen.mpg.de, so only mention the latter
in the documentation.

manual: Bump required gcc version to 4.1.

gcc-3 is not good enough any more since it has no support for weak
references, which were introduced half a year ago in commit 9bf6dc2e
(error.h: Never call (para_)strerror() on osl errors).

gcc-3.3 was released in 2003, gcc-4.2 in 2007. It should be OK to
require gcc-4.2 from now on.

Make dates in ls output align nicely again.

Commit 3c978d34 "fixed" a whitespace issue by replacing two consecutive
space characters in a format string by a single space. However,
the duplicated space character actually had a purpose. This commit
re-adds the additional space character and explains through a comment
why it is needed.

afs: Remove incorrect log message.

This was introduced in f8ed713d (com_select() callback: Return negative
on errors.) last year. It is incorrect for two reasons. First, arg
may well be NULL, and second, we might be about to open a mood rather
than a playlist.

Merge branch 'refs/heads/t/attribute_fix'

com_setatt() was broken if more than 32 attributes are defined. The
branch merged in this commit contains a fix for this bug, and a new
test that exercises the code related to attributes.

Was cooking in next for six weeks.

* refs/heads/t/attribute_fix:
  manual: Add realpath to list of packages.
  Add test that exercises attribute code.
  test-lib: Canonicalize test_dir.
  attribute: Avoid shifting 32 bit integers.

audiod: Improve get_time_string().

If the stream start time announced by para_server is newer than the
time para_audiod started the receiver, we assume that para_audiod
was started in the middle of an audio stream and adjust the play
time accordingly.

However, the server stream time can also be newer due to clock
differences or network hiccups. This patch changes audiod to apply
the adjustment only if the time difference is large.

udp_send.c: Send EOF packet only once.

Currently this can be sent many times, which is pointless and might
confuse clients. This patch adds a bool member to struct udp_target
to keep track whether the EOF packet has been sent.

NEWS: Re-add download link for current master.

This link on the main page got lost when paraslash-0.5.5 was
released. As explained on the download page, the master branch is
the version people should use, so we should really put back the link.

Merge branch 'refs/heads/t/image_id_mm'

A single commit that was cooking for several months.

* refs/heads/t/image_id_mm:
  server: Add mood methods image_id and lyrics_id.

i9e: Replace assertion with warning.

The assertion in dispatch_key() can easily be triggered with keys
that map to multi-byte sequences. This patch prevents para_play from
aborting when such a key is pressed. It now issues a warning message,
but no longer aborts.

i9e: Fix compilation on Ubuntu-12.04.

Commit c0162946 (i9e: Avoid key binding macros) from half a year
ago broke compilation for readline-6.2, which ships at least with
Ubuntu-12.04. The problem is that c0162946 changed dispatch_key()
to use rl_executing_keyseq, a readline variable that was introduced
in readline-6.3. Compilation fails on systems with readline-6.2 or
older because the variable does not exist.

This patch modifies interactive.c to provide an equivalent of
rl_executing_keyseq and changes dispatch_key() to use this version
instead.

i9e: print warning if keyseq can not be mapped.

In i9e_open() we currently ignore errors from rl_generic_bind(), which
is OK, but we should at least let the user know that the binding
won't work. While at it, call rl_bind_keyseq_in_map() instead of
rl_generic_bind() as the former function provides all we need and
is simpler.

Also fix the typo in the comment.

i9e: Zero out private pointer on open.

This should not matter at the moment since i9e_open() is only called
once and the i9e_private structure is static, so it's already zeroed
out by the first time the function is called. But since the ie9 API
is supposed to work across multiple open/close cycles, it seems wise
to be conservative here.

Merge branch 'maint'

A couple of overflow bugs and a aslignment issue, all detected by ubsan. Plus
two unrelated old bugs.

* maint:
  client: Fix lsatt completer.
  playlist: Do not update score if no playlist is open.
  Avoid member access within misaligned address for ancillary data buffer.
  mood.c: Avoid overflow in update_quadratic_deviation().
  mood.c: Avoid integer underflow.
  mood.c: Avoid integer overflow.

client: Fix lsatt completer.

The lsatt command does not take any non-option arguments. So it is wrong
to complete on the available attributes.

mp3_afh: Always create id3v2 tags.

When para_afh is asked to modify the tags of an mp3 file, it looks
at both version 1 and version 2 id3 tags. Currently, if the file
contains only id3v1 tags, para_afh will replace the tag contents but
will not create a version 2 tag. This is unfortunate if the length of
a given tag value exceeds the fixed-size byte limit of id3v1 because
it results in a truncated value and there is no way to specify that
an id3v2 tag should be created (which could store tags of any size).

This commit makes para_afh always write id3v2 tags. This actually
simplifies the code a bit because with this change the v2_tag variable
can never be NULL, allowing to get rid of a conditional.

mp3_afh: Let free_tag() accept NULL pointer.

This way it is more similar to free(3) and related functions. It
also allows to replace two checks in mp3_afh.c by a single check
in free_tag().

opus: Make opus_common.[ch] independent of ogg.h.

The only reason opus_common.c includes ogg.h is that struct opus_header
contains a variable of type ogg_uint32_t. By using plain uint32_t
instead we may get rid of the include.

opus: Use uint16_t for preskip and gain.

These values are obtained by reading a 16 bit value from a buffer,
so uint16_t is the right type for these fields.

opus_afh.c: Trivial whitespace fix.

Just an overlong line.

opus_common.c: Fix trival whitespace issue.

playlist: Do not update score if no playlist is open.

This bug caused the score of the current audio file to be updated
twice in mood mode since both the mood event handler and playlist
event handler honor afs events and update the score.

We fix the bug by moving the check whether a playlist is open to the
top of the playlist event handler, similar to the check in the mood
event handler of mood.c. If no playlist is open, we now return early
from the playlist event handler, ignoring all afs events.

Avoid member access within misaligned address for ancillary data buffer.

For glibc-2.23, the CMSG_FIRSTHDR macro is defined as

#define CMSG_FIRSTHDR(mhdr) \
  ((size_t) (mhdr)->msg_controllen >= sizeof (struct cmsghdr)                 \
   ? (struct cmsghdr *) (mhdr)->msg_control : (struct cmsghdr *) 0)

In recv_cred_buffer(), pass_afd() and dispose_fds() the on-stack
ancillary data buffer is not necessarily aligned. The pointer is
cast to struct cmsghdr *, then dereferenced, resulting in undefined
behaviour due to the lack of alignment.

This patch asks the compiler to align the ancillary data buffers.

mood.c: Avoid overflow in update_quadratic_deviation().

The last multiplication of the expression returned can overflow. This
patch replaces the expression by an equivalent one which avoids to
multiply large numbers.

audiod: Force status dump on slot changes.

This makes para_gui report such changes immediately. Without these
extra dumps, it may take up to 500ms for the stat client to notice.

audiod: Avoid to report 100% time at startup.

This teaches get_time_string() to handle the case of zero values for
sss and wstime. These happen to be zero for a short time period when
para_server is changing its audio file.

audiod: Simplify get_time_string()

The function does the right thing if audiod is on but there is no
slot info available. Kill the special casing.

i9e: Remove pointless call to rl_set_keymap() in i9e_open().

The call to rl_set_keymap() can be removed since i9e_attach_to_stdout()
already activates the bare key map.

i9e: Remove stale comment for dispatch_key().

Should have been removed when we switched to key sequences.

i9e: Remove stale comment for i9e_signal_dispatch().

The function also cares about SIGWINCH.

i9e: Remove unused member of struct i9e_private.

gui.c: Constify argument to find_cmd_byname().

gui.c: Improve description of signal task.

The comment to the main() function of para_gui contains a short
description of all tasks which are created on startup. The description
of the signal task was somewhat outdated because it referred to
SIGWINCH, which is not responsible for the handling of terminal size
changes any more.

This patch removes the outdated part from the comment and adds an
explanation of the action on SIGUSR1.

gui.c: Remove pointless return statement.

In signal_post_select() we call die() on SIGTERM which never returns.

gui.c: Remove silly warning on SIGINT.

Sending SIGINT to para_gui has no effect, yet we print a strange
"reset" warning in this case. This patch removes the warning and the
outdated comment which referred to do_select(), a function which was
removed long ago.

Note that (a) we still catch SIGINT, and (b) hitting CTRL+C still
causes the status task to respawn the stat process because CTRL+C
sends SIGINT to the foreground process group, which includes the
stat process.

build: Let man pages depend on git-version.h.

This is necessary to always include the correct version number in
the man pages. For example, if the work tree becomes dirty because
an unrelated file has been modified, the version string changes and
we need to regenerate the man pages.

gui: Kill process group *before* shutting down curses.

Currently we perform shutdown on exit the other way round. Hence the
running external command may interfere with the shutdown of the curses
system. This patch changes die() to first signal the child processes,
then wait for them to terminate. This avoids the race.

mood.c: Avoid integer underflow.

The three variables x, s, n are all of unsigned type, and the
subtraction x - s / n may underflow, resulting in a very large positive
value. This should not matter since we square the difference, but on
the other hand, the underflow can easily be avoided. This patch uses
a temporary variable to do so.

mood.c: Avoid integer overflow.

The quadratic deviation qd can be very large, causing the
multiplication n * qd to overflow. The new code avoids the
multiplication at the cost of two calls to int_sqrt() instead of one.

manual: Add realpath to list of packages.

It's a pity that this useful utility seems not to be installed by
default on Ubuntu systems.

gui.c: Reset terminal on shutdown in external mode.

If para_gui receives a terminating signal while an external program
is running, the terminal might be left in an unusable state. This
patch handles this case by first returning to program mode, which
sets the terminal to in-curses state, then calling endwin().

The def_prog_mode() call made no sense here at all.

gui: Avoid bad terminal state with xterm.

If para_gui is signalled in external mode, and the running program
has set the mouse mask to receive mouse events, mouse buttons
(copy and paste) might not work after para_gui exits. This has
been observed at least with xterm and aumix as the external program.

Setting an all-one mask seems to cure the problem.

string.c: Alloc space for terminating null wide character.

Should not matter since we already know the number of wide characters
and never look past the allocated buffer. But let's be conservative
here and allocate space for the terminating null wide character.

gui.c: Constify local variables of add_spaces().

There is no need to modify the all-spaces string as we can as well
print its end in order to output the desired number of spaces. This
allows to make the array variable const, along with "sz", which stores
the length of the string.

gui.c: Remove condition which is always true.

If top.win is NULL, curses_active() is false so we return early.

Introduce sanitize_str().

Currently we sanitize the status item strings for para_gui in
align_str() of gui.c. This implementation is flawed because it does
not work for wide character strings.

This patch provides an abstraction in string.c which works in both
the UFT-8 and non-UTF-8 case.

The flawed implementation of this function in gui.c is removed and
the surrounding code is changed to call the new function instead.

gui: Remove pointless special casing in align_str().

Regardless of whether str[0] is the null byte, passing str is correct
(and done for left and right alignment).

string.c: Simplify and rename wide character helpers.

Just assume non-printable characters are one character wide. This gives
a more reasonable approximation than the hack we have now.

This patch also renames mutt_wcwidth() to xwcwidth() and
mutt_wcswidth() to xwcswidth() since these functions have nothing in
common with mutt any more.

Merge branch 'refs/heads/t/com_sender'

A single commit which was cooking in next for several months.

* refs/heads/t/com_sender:
  Avoid duplication of sender subcommands.

wmadec: Simplify wma_lsp_to_curve_init().

There's only one caller, and it passes pwd->frame_len as the second
argument to the function. Since we pass pwd as well, the second
argument of the function can be removed.

wmadec: Make pwd->reset_block_lengths a boolean.

This field is already used as such. Improve the documentation while at it.

bitstream.h: Remove some superflous parentheses.

wmadec: Simplify get_vlc().

The last parameter is always bigger than 2, which is all the function
needs to know. Hence we may remove the parameter and get rid of some
macros that were only used to compute it.

Remove unused error code E_NO_AUDIO_TRACK.

It was introduced last year in commit 741c19c2 (The mp4 tagger)
and has always been unused.

client: Add completer for version command.

This command gained the -v flag but the commit that introduced it
last year (26dc18b2, Unify version command handlers) missed to provide
the corresponding completer for para_client.

Add test that exercises attribute code.

This test would fail without the previous fix that changed the
shifted integers to 64 bit.

test-lib: Canonicalize test_dir.

This makes it easier to write tests. The realpath command is
available at least on Linux and *BSD.

attribute: Avoid shifting 32 bit integers.

att_logical_or() is called from com_check() to set up a bitmask where
a bit is set if and only if it corresponds to an existing attribute.
Doing "1 << i" is wrong in this context because the constant "1" is a
(signed) 32 bit quantity and we need to be able to shift by more than
31 bits for the attribute mask.

Fix this by using an uint64_t variable instead.

Merge branch 'maint'

A single fix that avoids to shift 32 bit integers for attribute
bitmasks where 64 bit quantities are necessary.

attribute: Avoid shifting 32 bit integers.

Doing "1UL << i" is wrong here, because the constant "1UL" is 32 bit
on 32 bit systems and we definitely need 64 bit quantities for the
attribute mask.

Fix this by using an uint64_t variable instead.

spxdec: Check frame sizes.

We pass a buffer of fixed size MAX_FRAME_SIZE (defined to 2000)
to the speex decoder. This sanity check makes sure we never overrun
the buffer. Although this adds one function call per output frame,
the overhead is in the noise.

Also document MAX_FRAME_SIZE while at it.

Convert manual and NEWS from grutatxt to markdown.

Grutatext still works but the project seems to be dead, so we have
to switch to something else eventually.

This patch converts the two grutatext documents in the tree to the
markdown language, getting rid of the dependency on grutatext at
the expense of a new dependency on the markdown executable. Only the
discount markdown converter has been tested and is known to work.

The commit also changes the "Tools" section of the manual to list
discount instead of grutatext.

Merge branch 'refs/heads/t/para_play_fixes'

Was cooking in next since 2015-10-25.

* refs/heads/t/para_play_fixes:
  i9e: Avoid key binding macros.
  play: Fix off-by-one in jmp 100.

para.h: Fix typo in comment.

The option is called --sample-format rather than --format.

string.c: Handle invalid loglevels gracefully.

Public functions should always return a proper error code on
failure. Returning -1 is asking for trouble.

t0005: Split audiod man page tests.

This makes it easier to diagnose potential problems due to missing
man page sections.

Constify struct filter access and introduce filter_get().

This modifies all users of the filter API to not access the filter
array directly. Instead all callers now obtain a const pointer to
the filter structure through the new filter_get() accessor function.

However, the filter array can not be made constant yet because the
->init methods modify the filter structure. This requires some casts
in filter_common.c unfortunately.

Deactivate implicit make rules.

Without this, make might execute commands defined by implicit
rules. This can cause subtle build errors that are hard to debug.

To make this work we need to define CC though, and RM must not be
defined through the =? operator.

Make FOR_EACH_SUPPORTED_FILTER() local to filter_common.c.

The macro is only used in this .c file, so it should not be
public. This patch moves the macro from filter.h to filter_common.c.

Fix documentation of check_receiver_arg().

Receiver name and options are NOT separated by a colon. Also, all three
receivers (http, udp, dccp) are always supported, so it's pointless
to talk about supported paraslash receivers. This patch simplifies
the comment accordingly.

play.c: Remove bogus __a_unused attribute for session_open().

The play task pointer IS used in this function.

t0004: Switch to new syntax for ls command.

The old way of specifying ls options is deprecated and should no
longer be used.

build: Remove arch_cppflags.

This workaround for Solaris is no longer needed as Solaris is
unsupported for years.

command.c: Open-code mmd_dup().

This function is short and has only a single caller. The code becomes
clearer by open-coding it in the caller.

command.c: Improve documentation of vss_status_tohuman().

At the time the function is called, we already took a copy of the
mmd struct.

filter.h: Improve documentation of ->pre_select().

Fix a grammar issue ("it only allowed") and explain the purpose of
the fd sets.

afh_recv: Improve documentation of --begin-chunk.

The help text referred to --info, which was removed four years ago
in commit 06f33ca1. This patch also inlucdes a couple of minor other
improvements to the same paragraph.