client: Fix typo in comment.

client: Remove duplicate include.

The client.cmdline.h header file was included twice.

Merge branch 't/stdin_stdout_fixes'

Was cooking for almost a month.

b99b4a stdin/stdout: Restore fd flags on shutdown.

Conflicts:
stdin.c
stdout.c

Fix help text of com_touch().

It is the amp filter rather than the compress filter that makes use
of the amplification value stored in the audio file table.

Simplify i9e_line_handler.

The line handlers of all three users of the i9e API (play, client
and audioc) return immediately if the passed line is NULL or the
empty string. Hence we may call the line handler only if there is a
non-empty line to dispatch.

Moving the check for a non-empty line to generic i9e code simplifies
the three line handlers a bit and avoids code duplication.

i9e: Fix a prompt display issue

If a line handler calls PARA_XXX_LOG() to write a log message before
attaching a buffer tree node, the prompt is not displayed properly.

Fix this by attaching a dummy btrn before the line handler is called.

audioc: Abstract out connection code.

This way we get a nice error message in interactive mode when
para_audiod is down. Before:

para_audioc> help
i9e_line_handler: No such file or directory

After:

para_audioc> help
connect_audiod: could not connect /var/paraslash/audiod_socket.schubert
i9e_line_handler: No such file or directory

Merge branch 't/gui_improvements'

Was cooking for more than one month.

bf1831 string: Speed up xvasprintf().
bcc083 string: Add discard feature for for_each_line().
e3868d string: Simplify return value of for_each_line().
d1f0f0 string: Simplify for_each_line().
23b121 string: Clean up for_each_line() and related functions.
6256ed string: Replace the for_each_line_modes enum by a bitmap.
14e689 gui: Don't sleep before executing the status command.
e90c6c gui: Speed up add_spaces().
20e2c6 gui: Rename do_exit().
ef0508 gui: Remove superfluous cmd_died.
d7562b gui: Check stdin for readability.
a44fa6 gui: Discard overlong input lines.

Conflicts:
gui.c

Overview: Add new slides, powered by dia.

This replaces the skencil file by a dia source file which contains
several overview slides.  Makefile and .gitignore are adjusted
accordingly.

The overwhelming new logo for paraslash.0.5.

Made with gimp-1.0.4 from 1999.

The opus decoder.

Implementation is similar to the speex decoder, in particular meta
data handling is almost identical.

The opus audio format handler.

This fills the dummy files opus_afh.c and opus_common.c which were
introduced in the previous commit with content.  One function,
opus_parse_header(), will also be needed by the decoder to
be introduced in the next commit. So this function belongs to
opus_common.c and must be public.

ogg/opus: Infrastructure.

This adds tests for libopus to configure.ac and minimal (non-working)
implementations of the ogg/opus decoder and audio format handler.

speex: Don't export spx_ctl().

This is only used from spx_common.c, so make it static and kill
the prototype in spx.h.

Merge branch 't/doc'

Simple enough and cooking since 2013-05-05.

e82be0 manual: Add a new paragraph for installing dependencies.
1d6f5f manual: Add missing references of two optional packages.
4a6061 check_wav.c: Fix documentation of check_wav_post_select().
f9c625 Add two missing Copyright headers and file annotations.
16af9d Add documentation of public functions in check_wav.c.

Merge remote-tracking branch 'mpi/master'

Fix compilation on Ubuntu precise.

This distro ships glibc-2.15 where clock_gettime() is part of the
realtime library librt. So all executables which call clock_gettime()
must be linked with -lrt. The configure script detects this and adds
-lrt to LDFLAGS. However, -lrt must come *after* the objects to be
linked together, which is currently not the case.

Fix this by moving $(LDFLAGS) to the end of the recipe for the targets
of all executables.

filter_common.c: Fix two typos in comment.

alsa writer: Do not print uninitialized data.

ALSA's snd_output_buffer_string() returns the current size of valid
data in the returned data buffer, but this buffer is not guaranteed
to be zero-terminated.

Currently alsa_init() ignores this fact and prints the buffer up to
the first NULL byte.  Therefore it may print garbage that follows the
valid data in the buffer. If there is no zero byte after the data,
it may even segfault.

Fix this bug by using memchr() instead of strchr() and carefully
tracking the number of bytes processed.

file writer: Use xwrite() instead of plain write().

Currently the file writer's ->post_select() sets t->error to -1 on
errors, rather than using a proper error code. This may result in
a segfault when this number is passed to para_strerror().

Replacing the call to write() by xwrite() not only gives a proper
error code but also treats EAGAIN as a non-fatal error.

Merge branch 't/sched_improvements'

This topic has been cooking for a month. During this period, one
problem on BSD has been found and fixed.

3ad5b0 Fix build on FreeBSD
484e75 sched: Rename new_post_select back to post_select.
74c880 sched: Kill old ->post_select variant.
c77e19 grab client: Switch to the alternative post select method.
38aeac client supervisor: Switch to the alternative post select method.
e009fa client exec: Switch to the alternative post select method.
742718 i9e: Switch to the alternative post select method.
2e6b8f vss: Switch to the alternative post select method.
6e83b4 stdout: Switch to the alternative post select method.
1995ce stdin: Switch to the alternative post select method.
88b0ec audioc: Switch to the alternative post select method.
b210e8 afs command task: Switch to the alternative post select method.
12f683 afs signal task: Switch to the alternative post select method.
ccef24 server signal task: Switch to the alternative post select method.
a6dabd server command task: Switch to the alternative post select method.
855c53 write: Switch to the alternative post select method.
58b74b play: Switch to the alternative post select method.
cf4982 afh_recv:  Switch to the alternative post select method.
4dc05b client: Switch to the alternative post select method.
043fd6 audiod: Switch command_task to the alternative post select method.
ce462a audiod: Switch the status task to the alternative post select method.
a7f2d1 audiod: Switch signal task to the alternative post select method.
ba2f65 osx writer: Switch to the alternative post select method.
3642d2 oss writer: Switch to the alternative post select method.
c29db3 file writer: Switch to the alternative post select method.
36875c ao: Switch to the alternative post select method.
3b3049 alsa: Switch to the alternative post select method.
60b853 wmadec: Switch to the alternative post select method.
6c8719 wav filter: Switch to the alternative post select method.
03e915 spxdec: Switch to the alternative post select method.
24bbc5 resample: Switch to the alternative post select method.
4ca80f prebuffer: Switch to the alternative post select method.
a55083 oggdec: Switch to the alternative post select method.
806d26 mp3dec: Switch to the alternative post select method.
7dcaf5 flacdec: Switch to the alternative post select method.
4dc9b9 fecdec: Switch to the alternative post select method.
f6e2cb compress: Switch to the alternative post select method.
ac3371 amp: Switch to the alternative post select method.
7c2c68 aacdec: Switch to the alternative post select method.
b333e0 dccp_recv: Switch to the alternative post select method.
00e793 udp_recv: Switch to the alternative post select method.
9c00a7 sched: Provide alternative post_select variant.
24758c Replace gettimeofday() by clock_gettime().
01f802 sched: Get rid of (pre)select shortcuts.
5bb44a audiod: Avoid delay when closing slot.

Conflicts:
string.c

configure.ac: Do not print play objects.

This is a debug statement from the early days of development of
para_play. It can safely be removed.

Fix build on FreeBSD

Commit 24758c5f (Replace gettimeofday() by clock_gettime()) removed
the inclusion of sys/time.h from several files since this header was
believed to be needed only for gettimeofday(), which was removed in
the same commit.

However, this broke the build on FreeBSD since sys/time.h
also pulled in the declaration of u_short, which is required by
/usr/include/netinet/udp.h. Therefore the compilation of udp_send.c
failed with

/usr/include/netinet/udp.h:42: error: expected specifier-qualifier-list before 'u_short'

This patch changes udp_send.c to include sys/types.h, which provides
the missing declaration.

Merge branch 't/utf8'

Was cooking since 2013-03-10.

a946af string.c: Fix typo in documentation of skip_cells().
251394 Switch to HTF-8 for web pages.
09c6bc gui: Try to link against libncursesw.
36f38a UTF-8 support for para_gui.
a99804 mp3_afh: Switch to UTF-8 encoding.
f78b53 gui: Don't compute string length unnecessarily.
6224f7 Get rid of unused HAVE_NCURSES define.
6cd788 Fix --with-curses configure option.

oss mixer: Improve error message.

If /dev/mixer does not exist, para_fade fails with

main: No such file or directory

This is a rather bad error message, since the name of the missing file
is not mentioned. This patch makes oss_mix.c print the additional line

 oss_mix_open: could not open /dev/mixer

manual: Add a new paragraph for installing dependencies.

This allows to install all required and optional packages with
a single command.

stdin/stdout: Restore fd flags on shutdown.

The stdin/stdout code should restore the flags to the old value to
avoid surprises, for example in shell scripts.

This changes stdin.c and stdout.c to save the old value. It is
restored in ->post_select when the buffer tree node is removed and
no more I/O takes place.

wma: Fix sparse error.

wma_common.c defines wma_log2() with __attribute__ ((const)), but the
declaration in wma.h lacks this attribute. Sparse does not like that
and fails with

wma_common.c:147:15: error: symbol 'wma_log2' redeclared with different type (originally declared at wma.h:28) - different modifiers

Add the const attribute also to wma.h.

aacdec: Fix check of return value of NeAACDecInit2().

This function returns (char)-1 on errors and zero on success. Checking
whether the return value is negative is incorrect on systems where
char is unsigned.  On raspberry/ARM, gcc complains:

aacdec_filter.c:126:6: warning: comparison is always false due to limited range of data type [-Wtype-limits]

Fix this by checking agains zero instead.

manual: Add missing references of two optional packages.

The curses lib and libsamplerate are both optional but were not
mentioned in the "Requirements" section. This patch adds both.

string: Speed up xvasprintf().

This avoids to call vsnprintf() twice in the common case where the
result is small.

The running time of a simple test case that called this function in
a loop improved from 13s to 8s due to this change.

string: Add discard feature for for_each_line().

This adds the new FELF_DISCARD_FIRST flag which instructs
for_each_line() to discard everything up to the next newline.

The new feature is only used by para_gui. When para_gui detects
a partial overlong input line, it ignores this data and passes the
FELF_DISCARD_FIRST flag in subsequent calls to for_each_line(). Hence
output continues at the next line.

string: Simplify return value of for_each_line().

No caller used this function for counting lines, so simplify it by always
returning the number of bytes not processed.

string: Simplify for_each_line().

No user calls this with line_hander == NULL, so remove the special treatment
of this case.

string: Clean up for_each_line() and related functions.

While for_each_complete_line() is a static function, there are two
public functions, for_each_line() and for_each_line_ro(), which are
implemented as simple wrappers for the static one. The only difference
between the two is that for_each_line_ro() sets the FELF_READ_ONLY
bit while for_each_line() does not.

Since we are about to add another bit of information soon, let's make
the bitmap and the static function public, and remove the two wrappers.
All callers are changed to pass an additional "unsigned flags" to
indicate whether they want the read-only behavior.

Documentation is updated accordingly.

string: Replace the for_each_line_modes enum by a bitmap.

Currently we pass an "enum for_each_line_modes" as the first argument
to for_each_complete_line(). The parameter is effectively a boolean
since the enumeration defines only two possible values.

For the upcoming discard feature of for_each_line_modes() we'll need
to pass another bit of information, so this patch changes the type of
the first argument to for_each_complete_line() to unsigned and treats
it as a bit array. The only bit defined so far is LINE_MODE_RO, with
unchanged semantics.

The two callers are updated to reflect this change.

gui: Don't sleep before executing the status command.

This results in uncacceptable delays when the status command fails
for any reason, for example because the server is down.

Replace this code by introducing a struct timeval variable "next_exec",
which stores the earliest possible time to restart the status command.

Move all status fetching code before the select() call in do_select()
to open_stat_pipe() and rename the function to status_pre_select(),
which is more appropriate.

gui: Speed up add_spaces().

The calls to waddstr() in this function showed up in profiles. So
print the full string at once instead of calling waddstr() for each
character.

gui: Rename do_exit().

This function sends SIGTERM to every process in the process group of
para_gui and dies thereafter. So kill_pg_and_die() is more descriptive
than the old name.

gui: Remove superfluous cmd_died.

We might as well directly refer to cmd_pid which is set to zero in the
signal handling code after the process exits.

gui: Check stdin for readability.

If the select_loop of para_gui runs in getch or command mode we
currently wait a full timeout period before checking for pending
input.

This patch adds stdin to the set of file descriptors monitored by
select so that a key press causes select() to return immediately.

gui: Discard overlong input lines.

If an external command produces output without newlines, the current
code ends up calling read_nonblock() with a buffer size of zero which
triggers the assertion in readv_nonblock().

Increase the output buffer to 32K and fix the problem by simply
discarding all input if the input buffer is full and contains no
newline character.

A better fix would be to discard everything until the next newline
character is read, but this requires more work, so let's go with this
simple fix for now.

Merge branch 't/allow_zero_btr_add'

Was cooking for over a month.

sched: Rename new_post_select back to post_select.

sched: Kill old ->post_select variant.

It has no more users.

grab client: Switch to the alternative post select method.

client supervisor: Switch to the alternative post select method.

client exec: Switch to the alternative post select method.

i9e: Switch to the alternative post select method.

vss: Switch to the alternative post select method.

stdout: Switch to the alternative post select method.

stdin: Switch to the alternative post select method.

audioc: Switch to the alternative post select method.

afs command task: Switch to the alternative post select method.

afs signal task: Switch to the alternative post select method.

server signal task: Switch to the alternative post select method.

server command task: Switch to the alternative post select method.

write: Switch to the alternative post select method.

play: Switch to the alternative post select method.

afh_recv:  Switch to the alternative post select method.

client: Switch to the alternative post select method.

audiod: Switch command_task to the alternative post select method.

audiod: Switch the status task to the alternative post select method.

audiod: Switch signal task to the alternative post select method.

osx writer: Switch to the alternative post select method.

oss writer: Switch to the alternative post select method.

file writer: Switch to the alternative post select method.

ao: Switch to the alternative post select method.

alsa: Switch to the alternative post select method.

wmadec: Switch to the alternative post select method.

wav filter: Switch to the alternative post select method.

spxdec: Switch to the alternative post select method.

resample: Switch to the alternative post select method.

prebuffer: Switch to the alternative post select method.

oggdec: Switch to the alternative post select method.

mp3dec: Switch to the alternative post select method.

flacdec: Switch to the alternative post select method.

fecdec: Switch to the alternative post select method.

compress: Switch to the alternative post select method.

amp: Switch to the alternative post select method.

aacdec: Switch to the alternative post select method.

dccp_recv: Switch to the alternative post select method.

udp_recv: Switch to the alternative post select method.

sched: Provide alternative post_select variant.

Code which accesses the ->error field of another task has been
a source of bugs in the past. This patch is a first step to make
->error private to sched.c.

Currently the ->post_select() methods of all tasks are supposed
to set ->error to a negative value to indicate that the task
should be terminated, i.e. t->error being negative instructs the
scheduler to not call t->pre_select() or t->post_select() any more
in subsequent iterations.  An equivalent way to achieve the same
is to let ->post_select() return an error code instead. Benefits
include

* It reduces the use of ->error outside of sched.c
* It's impossible to miss setting the error code
* It simplifies code slightly

Therefore we'd like to change the prototype of the ->post_select()
methods from

void (*post_select)(struct sched *s, struct task *t);
to
int (*post_select)(struct sched *s, struct task *t);

Changes to struct sched affects many parts of the code base,
hence converting all users at once would result in a very
large patch. Therefore we temporarily introduce an additional
->new_post_select() method according to the second declaration
above. The scheduler calls the new method if it is defined and falls
back to the old variant otherwise. This approach allows to switch
over one task after another without breaking things.

This patch introduces the infrastructure just described and switches
over the http receiver. Subsequent commits will change all other tasks
in the same way. After all tasks have been switched over we can get
rid of the old ->post_select variant and rename ->new_post_select()
back to ->post_select().

Replace gettimeofday() by clock_gettime().

POSIX.1-2008 marks gettimeofday() as obsolete, so let's switch to
clock_gettime().

clock_gettime() operates on timespecs rather than on timevals like
gettimeofday() does. Since timevals are extensively used in all
parts of paraslash, and select() takes a timeval pointer as the
timeout parameter, it seems to be easiest to add a new wrapper,
clock_get_realtime(). It calls clock_gettime(), performs error
checking (all errors are treated fatal and abort the program), and
converts the result to a timeval.

Another difference between gettimeofday() and clock_gettime()
is that sys/time.h needs to be included for gettimeofday(), while
clock_gettime() is declared in time.h which gets included from para.h.
Hence we can remove the include statement for sys/time.h everywhere.

Programs which call clock_gettime need to be linked against librt on
glibc versions before 2.17 while BSD and newer glibc-based systems
have no such requirement. To make matters more interesting,
MacOS lacks clock_gettime() completely although this function conforms
to SUSv2 and POSIX.1-2001.

We'd like to avoid the unnecessary dependence on librt on systems that
have clock_gettime() in -lc, and we must fall back to gettimeofday()
on MacOS. Hence this commit also introduces a check in configure.ac
which determines whether clock_gettime() is available and, if it is,
whether -lrt is needed. Executables are only linked with -lrt if
configure found that this is necessary.

check_wav.c: Fix documentation of check_wav_post_select().

This function does not take a pointer to a buffer tree node, yet the
comment referred to "btrn". Simply drop this part of the sentence.

compress: Further optimize inner loop.

This kills the local adjusted_sample variable of the inner loop of
compress_post_select().  Surprisingly enough, this saves another 5%
of execution time.

compress: Remove log statement in inner loop.

We don't want to spam the log, and killing the statement seems to
make it a bit faster as well.

compress: Avoid PARA_ABS and PARA_MAX in inner loop.

These macros are type-safe and evaluate their arguments only once.
However, they are also slow. For the compress filter we are dealing
with ints and unsigned ints only, so the additional checks performed
by the macros only slow things down. Getting rid of the macros reduces
the running time of

para_filter -f compress < foo.wav > /dev/null

by approximately 8%.

compress: Compile with -O3.

By default all objects are compiled with -Os. For the compress filter,
which has to deal with large amounts of uncompressed audio data,
gcc emits rather inefficient code. Switching to -O3 resulted in a 10%
performance improvement on my Lenovo laptop.

sched: Get rid of (pre)select shortcuts.

These shortcuts let the scheduler skip any subsequent ->pre_select()
calls as well as the actual call to select(2) if the current task's
->pre_select() requested a zero timeout.

This idea turned out to be dubios at best. The main problem is that
->post_select no longer knows whether ->pre_select() and select()
have been called. For example, if ->pre_select() monitors some file
descriptor, ->post_select() might find it not ready for I/O even when
it actually is because ->pre_select() or select() was optimized away.

Another problem are tasks whose ->post_select() method expects that
->pre_select() sets some variable in a shared data structure.

This patch removes the scheduler optimizations so that all
->pre_select() methods of all tasks are called once per scheduler
interval.

audiod: Avoid delay when closing slot.

Currently we might wait up to a full scheduler interval until a slot
is closed.

This commit changes the pre_select method of the status task to check
whether some slot can be closed. In this case it requests a minimal
delay from the scheduler.

The current try_to_close_slot() is split into two functions,
must_close_slot() and close_unused_slots(). The former function is
called from ->pre_select(). It only checks whether a slot must be
closed but performs no action.

The latter function, close_unused_slots() probes all slots and closes
those for which must_close_slot() returns true.

Add two missing Copyright headers and file annotations.

Rename SERVER_AUDIO_FORMATS to AUDIO_FORMAT_HANDLERS.

The audio format handlers are used by para_server, para_afh and
para_play, so the old name was misleading.

configure.ac: Shorten config summary.

With many filters/writers the output line becomes rather long.
Moreover, filters and writers are also used by para_play but para_play
is not mentionend in the prefix. Just skip the prefix.

manual: Don't try to enumerate audio formats.

This is a high-level description where no details
are needed. Flac was missing anyway.

amp: Remove stray comment.

Add documentation of public functions in check_wav.c.

The init, shutdown, pre_select and post_select functions of this
file are exported via check_wav.h, so they should be documented. This
commit adds doxygen comments for all of them.

Remove old stream cipher API.

No users remained after the sideband compatibility code has been
removed.

Allow addblob commands to create output.

Currently all addblob commands remain silent even on fatal errors
because para_client either reads the command output, or sends its
stdin, but never both.

This patch overcomes this shortcoming. It makes para_client create
two buffer trees instead of one. The client states CL_SENT_COMMAND
and CL_RECEIVING are replaced by a single CL_EXECUTING state.

Blob data is now sent as a sideband packet.  The change breaks
compatibility with earlier 0.4.x versions again, but that's OK as
this is 0.5.0 material anyway.