net: revert restricting SO_REUSEADDR

This reverts part of commit a5927501e41fa3fca2975452617474e78ffecc48
(08_refactor-makesock.diff, 25 Feb 2010), which restricted by default
SO_REUSEADDR to connection-oriented protocols only - it used to be
set on all passive sockets.

However, the same problem exists also for UDP, whenever connecting
more than one listener on the same host, hence revert it.

btr: Fix a nasty thinko in merge_input_pool().

We must take into account the number of bytes already consumed from the wrap buffer.
Otherwise, we might end up not merging as much as we must,  which may cause errors
in the child nodes.

This bug was quite hard to hit, but it did bite the aac decoder reliably when used in audiod
with UDP + FEC.

btr: Kill an unused variable.

net.h: Fic compilation on systems with partial DCCP support.

There exists at least one system that defines IPPROTO_DCCP but not
DCCP_SOCKOPT_CCID and friends. On such systems compilation fails due
to to undefined symbols.

Fix this problem by checking each value separately.

11_recv-segfault.diff

This fixes a segmentation fault when trying to access a NULL rn.conf:

vongole> para_recv -r 'dccp -i localhost -c 253'
dccp_recv_ccid_support_check: 'CCID-253' not supported on this host.
main: parse failed
Segmentation fault

10_set-client-ccid.diff

This adds a commandline option to either
 * select the CCID in use for the sender-receiver half-connection or
 * advertise the (para_)client's priorities for the CCID;
 * the feature is optional and can be used to fine-tune a connection.

The arguments are both range-checked by gengetopt, and against the CCIDs
available on the host. Currently known CCIDs are 2-4, 248-254. Trying a
CCID which is not supported by the host exits via the following route:

 dccp_recv_ccid_support_check: 'CCID-253' not supported on this host.
 main: parse failed
 main: recv syntax error

The CCID negotiation can be watched in wireshark, between the 'Request'
packet sent by the para_client and the corresponding 'Response' packet of
the para_server. Here are some example negotiations:

     +-------------+---------------+----------------+
     | client-list |  server-list  | resulting CCID |
     +-------------+---------------+----------------+
     |  3, 2       |   2, 3, 4     |       2        |
     |  4, 3, 2, 4 |   3, 2, 4     |       3        |
     |  2, 4       |   2, 3, 4     |       2        |
     |  4, 3, 2, 4 |   2, 3, 4     |       2        |
     |  2          |   2, 3, 4     |       2        |
     |  3          |   2, 3, 4     |       3        |
     |  4          |   2, 3, 4     |       4        |
     +-------------+---------------+----------------+

The server list of (2, 3, 4) is the unaltered default, it can be changed on
the server using the same mechanism.

As shown, the easiest way is to use just a single '--ccid <n>' argument;
when passing multiple values, the outcome is determined by the algorithm
described in RFC 4340, 6.3.1:
 * 'server-priority' means that the server overrids the result;
 * the server traverses its list of preferences in order of priority and
 * uses the first entry which also appears in the client-list;
 * resets connection with negotiation failure when there is no common value.

Applying this algorithm on the above lists can be used to verify the
table. This also illustrates that repetition of CCID values has no effect
on the outcome: if the repeated value is first in the server list, it will
be chosen; otherwise all instances of that value are ignored.

09_fix-errno-usage.diff

This fixes a bug in the use of errno which corresponds to the 'common mistake'
in the use of errno(3): to not save it before making new system calls. Thanks.

08_refactor-makesock.diff

This is a refactoring of makesock():
 * the ubiquitous AF_UNSPEC is promoted as the default;
 * a wrapper for active sockets, para_connect_simple();
 * para_listen() now supports flowopts;
 * a wrapper for passive sockets, para_listen_simple();
 * for consistency, port numbers (which are 2 byte in
   UDP, TCP, and DCCP) have all been set to 'uint16_t'.

07_flow-opt-support.diff

In order to support a class of socket options which have to be set
before commiting a socket to a connection, this patch adds an API
for "pre-connection" socket options, called "flowopts" here.

The API is used as follows:
 * to provide queue storage, a new head is allocated using flowopt_new();
 * this queue is then populated with pre-connection socket options via
   - generic 'add' method flowopt_add(),
   - a specific variant for adding Boolean options - flowopt_add_bool(),
   - convenience macros - OPT_ADD(), OPT_ENABLE(), OPT_DISABLE();
 * the rest is then dealt with automatically by makesock():
   - any provided flowopts are set before making the connection,
   - due to using a queue, the order of invocation is preserved,
   - after making the connection, makesock() frees storage that has been
     previously allocated by flowopt_new() and flowopt_add.*().

06_get-tx-ccid.diff

This patch adds support for querying the TX half-connection CCID
in use to from sender to client.

On more recent kernels (> 2.6.30) supporting this functionality,
connected clients are now displayed in the manner
          <IP-address>"#"<port>"~"<CCID-number>

05_dccp-supported-ccid-lookup.diff

This adds a self-contained function to return the space-separated list of
CCIDs available on the para_server. Visible via 'para_client si'.

Since feature negotiation for CCIDs is supported only from v2.6.30-rc1
(released 7th April 2009), a more recent kernel (>= 2.6.30) is needed to
support this feature, as well as subsequent per-connection use of CCIDs.

Note: This patch still uses a hardcoded upper bound (DCCP_MAX_HOST_CCIDS),
      support dynamically detecting the number of CCIDs will be in 2.6.33.

04_per-connection-ccid-constants.diff

This adds symbolic constants for per-connection CCID support; these are used
by subsequent patches.

Per-connection CCID support is available in the Linux kernel from v2.6.30-rc1
(7th April 2009) onwards, further information is available at:
 * symbolic names are taken from include/linux/dccp.h,
 * API documentation is in Documentation/networking/dccp.txt.

The patch also corrects the manner of using doxygen comments in the #defines.

03_resolve-port-names.diff

This patch allows to resolve port numbers into names defined
in the services(5) /etc/services database:
 (a) it provides a standalone function which will fall back to
     stringifying a port number;
 (b) it resets the 'numeric service' flag of getnameinfo(3) to
     analogously consider a lookup in /etc/services.

Assuming the following had been added to /etc/services:
para_server_control 2990/tcp # para_server control
paraslash_http_service 8000/tcp        # paraslash http sender
paraslash_dccp_service 8000/dccp       # paraslash dccp sender
paraslash_udp_service 8000/udp        # paraslash udp sender,

then the output of 'para_client si' would look like:

http sender:
        status: on
        port: paraslash_http_service
        ...
dccp sender:
        status: on
        port: paraslash_dccp_service
        ...
udp sender:
        status: on
        port: paraslash_udp_service
        ...

Note: On some systems the service lookup may involve LDAP or NIS lookups,
depending on the 'services' configuration in /etc/nsswitch.conf. This does
not seem to cause a problem, as it implies a working network connection.

02_udp-sender-info.diff

udp sender: simplify port information of 'si' command

The 'udp' information is already in the transport protocol name,
hence removed by this patch.

http sender:
status: on
port: 8000
...
dccp sender:
status: on
port: 8000
...
udp sender:
status: on
port: udp 8000

For DCCP, the case is similar, http relies on TCP.

01_convert-v6-mapped-v4-addresses.diff

This updates the resolution of v4/v6 addresses to present v6-mapped-v4
addresses in dot-quad format rather than as subtype of v6 address.

The getnameinfo(3) is in use for both address classes, where potential
DNS lookups (requiring Internet connectivity) are avoided by using the
NI_NUMERICHOST flag.
The use of this flag reduces getnameinfo() to inet_ntop(3). In the 'Bugs'
section of the inet_ntop() manpage it is stated that v6-mapped-v4 addresses
are converted into an IPv6 format, which is what had been observed here.

The patch works around the issue by casting the v6-mapped-v4 address into
a genuine AF_INET IPv4 socket address.

Add some missing documentation of public functions.

README.afs: Update the Troubles section.

It still talked about para_fsck which was replaced by oslfsck in paraslash-0.4.0.

REQUIREMENTS update.

NEWS update.

Fix doxygen reference to struct writer.

Fixes
Warning: unable to resolve reference to `struct' for \ref command

Remove doxygen reference to private struct mood.

This fixes the doxygen warning

Warning: unable to resolve reference to `mood' for \ref command

client_open(): Add documentation of missing parameters.

sched: Add missing documentation for timeout-request functions.

oggdec: Kill unused ->stream_start of struct private_oggdec_data().

oggdec: Fix a thinko in post_select().

The old code broke out of the decoding loop if btr_node_status() returned zero
which is true if  no more input data is available for decoding or we already
have decoded more than 640K. However, in the first case there might still be
decoded data available to be passed to the child nodes and we should pass
that data as quick as possible to avoid buffer underruns.

So call btr_get_output_queue_size() rather than btr_node_status() to detect
the second case.

btr: Rename btr_bytes_pending() and make it public.

The oggvorbis decoder needs to know this info, so make it public. As we have already
btr_get_input_queue_size() it is natural to rename btr_bytes_pending() to
btr_get_output_queue_size().

dccp_recv: Use para_readv() instead of recv_bin_buffer().

When the end of the buffer pool area is reached, the old code ended up calling recv()
with a buffer size smaller than a full datagram. This results in data being lost
because the remaining part of the datagram will be discarded rather than returned
at the next call to recv().

By using the new btr_pool_get_buffers() we obtain two buffers in this case, a small
one pointing to the end of the area and a larger one pointing to the area start. Passing
both buffers to para_readv() instead of using recv_bin_buffer() receives the full
datagram and therefore avoids the above mentioned loss of data.

Add para_readv(), a simple wrapper for readv().

This new function will be used by the dccp receiver in a subsequent patch.

Introduce btr_pool_get_buffers().

This allows the users of the buffer pool API to obtain references to both parts
of the buffer pool area in case there is free space available at the end of the
area as well as at the beginning.

This is needed for reading from file descriptors where reading less than a full
datagram would discard the remaining part (DCCP and UDP).

configure: Check for broken snprintf().

We rely on a working snprintf implementation at several places, so abort early
of the system has no fully C99 compliant version.

alsa: Remove xrun().

This function tried to compute the duration of the underun but never
really worked.  The values were more or less random (up to hundreds
of seconds) and thus of little value.

Fix a couple of memory leaks.

Found by valgrinds memory checker.

Fix make clean and make install.

Commit 77aa6680 replaced the hardcoded list of binaries in Makefile.in
by the autoconf macro @executables@. However, the "install" and the
"clean" targets still used the now undefined $(BINARIES) variable. This
caused "make clean" to not remove any executables and "make install"
to fail with

/usr/bin/install -c -s -m 755  /usr/local/bin
/usr/bin/install: missing destination file operand after `/usr/local/bin'
Try `/usr/bin/install --help' for more information.

Fix this bug by using @executables@ rather than $(BINARIES).

Merge branch 'maint'

Conflicts:
recv_common.c

recv: Don't set argv to NULL when parsing receiver args.

This leads to error messages like

(null): unrecognized option '--foo'

in case an invalid option was given. Fix it by setting argv[0] to
the receiver name instead.

Thanks to Gerrit Renker for pointing out this bug.

Merge remote branch 'fml/next'

client: Remove the buffer tree node on errors.

This fixes restarting of the status client task in case para_server is being restarted.

sched: Add sched_request_barrier_or_min_delay().

This is what some tasks need, so add this public function to the scheduler.

audiod: Split open_current_receiver().

We need to check whether the current receiver should be opened from both
pre_select() and post_select(). So rename this function to must_start_decoder(),
make it return bool and do not start the decoder there.

This change makes audiod start the decoder as soon as possible.

audiod: Fix time diff log message.

The average time diff was always displayed as "+".

time.c: tv_convex_combination() fixes.

Fix some typos, make it return zero if both coefficients are zero.

wma: Defer decoding until two data blocks are available.

This avoids buffer underruns caused by frames that span two blocks.

Add buffer tree support for the osx writer.

Fix makes paraslash build again on Max OS.

audiod: Request a minimal delay if the status buffer tree node is in error state.

This happens during startup and causes a large delay.

[btr] Complete source code documentation.

[btr] Add more documentation.

configure.ac: Remove some unused AC_SUBST() exports.

configure: Don't mention the list of supported senders/receivers.

It is the constant list http, dccp, udp.

Don't hardcode the list of executables in Makefile.in.

Just export the list via the $all_executables variable from configure.ac. Rename it to
$ececutables while we're at it and remove two unused variables in configure.ac.

Build para_audiod unconditionally.

The wma decoder will always be build, so the case of no supported
audio files can not happen.

Remove some unused error codes.

Don't use ENAVAIL.

NetBSD doesn't know it, and the error text does not fit well. So replace
it by a paraslash error message.

Fix some format string warnings on x86_64.

Merge branch 'master' into next

Conflicts:
stdin.c

Merge branch 'maint'

Merge remote branch 'athcx/maint' into maint

[btr]: Avoid a gcc warning.

Although the warning
warning: 'brs[1]' may be used uninitialized in this function
is clearly bogus, it can't hurt to assert that i == 2 which also makes the warning to away.

[btr] Only print debug message if we're really increasing the wrap buffer.

[btr] Documentation update.

audiod cleanups.

It's pointless to change the scheduler's timeout during post_select().

[btr] Add more documentation.

client: Fix a memory leak in client_post_select().

sched: Reset the descriptor sets on timeouts.

This is certainly not neccessary on linux, but it does not hurt
and is clearly more portable.

alsa: Replace check for pending frames on eof by a barrier.

The old code could lead to a an endless loop where the alsa writer
would never be unscheduled.

[btr] Add more documentation.

[btr] Add more documentation.

stdin/stdout cleanup.

para_client was the last user of the non-btr code in stdin.[ch]
and stdout.[ch]. Remove this unused code and update the documentation.

btr support for para_client.

The use of the client code in audiod requires a node to be inserted
as the _parent_ of some existing node, which was not neccessary
before. Therefore a new btrn pointer for the child node is added to
struct btr_node_description and btr_new_node() is adjusted accordingly.

The patch also adds a small helper sched_request_barrier() to
the scheduler.

[btr] log message cleanups.

[btr] Add a comment to btr_pool_available().

[btr] btr_node_status(): Node pointer should never be NULL.

filter.h: Document that the ->close method need not be provided.

audiod: Add a paranoia check to close_writers().

Add documentation of struct btr_node and btr_pool.

[btr] Fix btr_get_input_queue_size().

We must take care of wrap buffers when computing the input queue size.

Introduce btr_node_description.

As the number of arguments to btr_new_node() grows, the code becomes
hard to read, especially since some callers must set many of the
arguments to NULL.

Using a pointer to a struct has the additional advantage that adding
new parameters does no longer require to touch all callers.

file_write: Use para_open() and set the fd to non-blocking mode.

[btr] Fix merge_input_pool().

This function contained the following bug: wbr, buf1 and sz1 could
be used without being initialized. This was sometimes hitting the
assertion (buf1 && buf2).

Fix this by initializing these variables at the top.

Skip btr suffix from {pre,post}_select_btr().

Everything uses btr now, so there's no need for a suffix any more.
Update the documentation a bit.

Kill unused writer_node_group code.

file_write: Use sched_min_delay().

file_write: Kill ->fd of struct private_file_write_data.

Also, simplify the logic in file_write_post_select_btr() a bit.

file_write: Kill non-btr code.

Also, don't free the config on close.

oss fixes and cleanups.

- Kill ->samplerate and ->channels of struct private_oss_write_data.
- Don't invalidate the config on close().
- Simplify oss_pre_select_btr().

oss: Kill non-btr code.

alsa: Kill non-btr code.

write: Kill non-btr mode.

Yes, this breaks the build on Macs. Sue me.

Make writers remove btr node on errors.

This is what receivers/filters do as well.

filter_common: Use sched_min_delay() helper.

client.c: Add comment on the supervisor task.

mp3dec: Don't check for bad data delay on errors.

mp3dec does not need --buffer_tree.

stdin: Avoid overrun errors.

Request a timeout of 100ms if the buffer pool is full rather
than returning an error.

alsa: Ignore errors from the btr query.

Just use default values in case samplerate and channels can not
be obtained from parent nodes of the buffer tree.

configure.ac: para_client needs time.o.

alsa: Always write as much as possible.

No need to play games with snd_pcm_avail_update().

alsa: Increase timeout on eof to 20ms.

Kill fields buf, loaded and output_error of struct receiver node.

udp_recv: Kill non-btr code.

dccp_recv: Kill non-btr code.