Merge branch 'master' into next

Conflicts:
audiod_command.c

audiod: Clean up status output.

It's a mess. Fortunately, this is much cleaner in 0.4.x..

audiod: Properly prefix uptime string.

The prefix was missing the first time the uptime was printed in the status output.

Merge branch 'master' into next

Conflicts:
audiod_command.c

audiod: Fix some memory leaks in the com_stat() error paths.

Merge branch 'master' into next

Fix a memory leak in filter.c.

We must free the filter configs as well.

Fix a typo in the udp_recv help.

Fix memory leaks in xxx_recv_init().

Not serious but it's good to make valgrind happy.

Merge branch 'master' into next

Conflicts:
client_common.c

Make RSA keys larger than 512 bit work.

This allows to use the 2048 bit keys which are necessary for paraslash-0.4.x also for
paraslash-0.3.5.

NEWS update.

Add bitrate, frequency, and channels mood methods.

This isolates the number comparing code from the year mood method so that it can also
be used by the new methods.

Add mood methods {artist, title, album, comment}_matches.

Document the new mood methods and remove the documentation of the played_rarely
mood method that has been deleted recently.

Merge branch 'master' into next

Fix com_init() in case arguments are given.

As the ->name field of struct afs_table was only initialized in the afs process,
com_init(), which gets forked from the server process, did not see the table
names and would segfault due to a NULL pointer dereference if table names
were given as arguments.

Fix it by initializing the ->name fields in the definition of the afs_tables array.

This bug was introduced in commit 53d503ce back in 2007...

Scoring performance enhancements.

The old scoring code computed the afsi, afhi, and the path of the audio file for each
item of the mood,  which is unnecessary.  This patch moves these computations from
get_item_score() into compute_mood_score() so that afsi, afhi and path are only
computed once  per audio file.

As a result, get_item_score() can no longer fail, so we may skip the checks for negative
return values.

Merge branch 'master' into next

Conflicts:
mood.c

Scoring fixes.

Rename add_item_score to get_item_score(), properly check its return value,
and use the computed score only for admissible files.

Move mood methods to a separate file.

As more mood methods will be added in subsequent patches, it's good to separate
moods from mood methods.

This also removes the played_rarely mood method, since it never really worked: Whether
or not a file was played rarely depends on the afs statistics which have not been
computed at the time the mood scrore function is executed.

gui: Output "xxx tag not set" for unset tags rather than empty strings.

Add documentation to struct rc4_context.

Merge commit 'fml/master' into next

Add the new "year" mood method.

This includes a Y2K heuristic for year tags that contain only two digits. If that two-digit
number N is less or equal than the current year minus 2000, assume that it means 2000 + N.
Otherwise, assume 1900 + N.

Examples: 0 -> 2000, 42 -> 1942, 9->2009.

Add missing regex include to generated command_list files.

Introduce para_regcomp.

A wrapper for regcomp() that logs an error message if the regcomp() failed
and uses a return value according to the paraslash rules. Currently there is
only one user of regular expressions, is_v4_dot_quad(), which is converted
to para_regex(), but new callers will be added soon.

Unfortunately, this change made it necessary to include regex.h in all .c files
that use string.h. Clean up the order in which headers are included a bit while
we're at it.

Maybe I should rethink the rule "Only .c files shall include header files"...

Pass full argument list to mood parsers.

Currently, for each mood line only the first word after the mood method  is passed
to the mood parser. Passing all arguments allows for mood parsers that take more
than one argument.l

fade.c: Fix a gcc warning on FreeBSD.

fade.c:220: warning: long unsigned int format, time_t arg (arg 4)

recv/filter: Init loglevel earlier.

This avoids that early debug messages are always printed.

fd.c: Simplify write_ok().

Use para_select() rather than open-code it.

fd.c: Simplify para_select().

No need  to save errno into an extra variable.

com_stat(): Return a proper error message if an invalid option was given.

Rewrite grab-client code.

This gets rid of the gengetopt grab client command line parser and all the special
treatment it caused.

Replace split_args() by create_argv().

The latter function is superior as it honors quotes and special characters like '\n'.
This allows for example to use whitespace characters in mood methods.
Fixup and simplify all callers accordingly.

The patch broke the grab command of para_audiod which is deactivated ATM and
will be fixed in a subsequent patch.

Merge branch 'master' into next

Fix a bug in the output of para_audioc.

This bites In case of short writes to stdout. The bug was literally there since day one
but never showed up as short writes usually don't happen with the rather small amount
of data that is written by para_audioc.

gui: Avoid unnecessary strdup's and replace newlines by spaces in curses output.

align_str() made a copy of the given buffer because one of its callers, print_in_bar(),
passes a string literal and align_str() needs to truncate large strings.However, all other
callers pass a writable string anyway, so do the strdup() in print_in_bar(). This avoids the
unnecessary copies for each status item.

The areas for the status items was designed to hold only a part of a single line, so status
item text should not contain newlines. The patch replaces newlines by spaces.

Also get rid of a stale comment.

gui: Use variable-sized input buffer for the audiod pipe.

The previous fixed size of 8192 might be too small if the audio file contains large
tags. OTOH, 8192 is much too large for the bulk of all audio files. So use a small
buffer that gets increased on demand.

Fix a bug in the output of para_audioc.

This bites In case of short writes to stdout. The bug was literally there since day one
but never showed up as short writes usually don't happen with the rather small amount
of data that is written by para_audioc.

New codename for 0.4.

Documentation updates for 0.4.

Merge branch 'master' into next

INSTALL: Fix the help text on how to create the RSA key pair.

Some day, I will write a user-friendly script that generates the keys...

Add a check for libosl to configure.ac.

If libosl is not found, configure will exit with an error message describing how
to download and install libosl. We could make it optional and build only the
client side of paraslash if libosl is not available, but that seems not be worth the
trouble as everyone likely wants to build para_server anyway.

Makefile: Remove *_command_list.* on make clean.

No need to do this only for maintainer-clean.

command_util: Generate properly documented command header files.

para_server: Don't link with stat.o.

We linked stat.o only because command.o needs the status item array.
Definining this array in command.c allows to link para_server without
stat.o.

Change the syntax of the parameters to the touch command.

It's more natural to specify e.g. the numplayed count as

touch -n=42

rather than

touch -n42

Fix some gcc warnings.

Moving the declaration of send_afs_status() which depends on
struct rc4_context out of afs.h fixes a couple of these:

afs.h:120: warning: 'struct rc4_context' declared inside parameter list

Merge branch 'afh_cleanup' into next.

Quite a few conflicts, but no real problem. git rerere rulez!

Conflicts:
afs.c
afs.cmd
aft.c
attribute.c
audiod_command.c
blob.c
command.c
para.h
server.c
server.cmd
stat.c

Merge branch 'crypt' into next

NEWS update.

audioc stat: Remove __a_unused attributes from com_stat().

argc and argv _are_ used.

audioc stat: Make status item mask 64 bits wide.

We already have more than 32 status items.

Merge commit 'fml/master'

Revamp status item handling.

This patch changes the way the status items are printed and parsed.
The new parser-friendly format is used internally and, as a side
effect, is also available as an new listing mode for the ls command
and for the stat commands of both para_server and para_audiod.

With the new format, each status item is prefixed by its size, and the
status item identifier is printed as a numerical value. This simplifies
the parsing code in para_audiod/para_gui a bit and should make it
perform better as the status items do not have to be looked up by name.

More importantly, the new format  gets rid of the restriction that
status items should not contain newline characters because the parser
knows in advance how much it has to read to get the complete item. This
restriction became a real problem as more and more audio files contain
(version 2 id3) tags that contain much more than a single line. For
example the linux podcast mp3 files contain the full content of the
podcast as text in the command tag.

make_attribute_lines(): Check return value of ().

As get_attribute_text() might fail, we have to check its return value.

Support netmask subsets

This allows to specify sets of addresses which are defined by sharing
the least-common netmask value.

For example, if the allow list contains the following addresses:

        10.0.0.2/24  10.0.0.2/32

then the second address is redundant since it is already included
via the first one. The least-common netmask value is 24; with this
patch a command like

        para_client sender http deny 10.0.0.0/24

will catch both addresses.

Make allow/deny syntax consistent with that of add/delete

After the changes for the add/delete commands, this patch updates
allow/deny to use the same syntax and (almost) the same code.

Obtain afs status items directly from afs.

This patch changes the way how the afs status items are passed from afs to the stat
command handler. Previously, afs passed the status item string to the server process
whenever a new audio file was loaded. The server process stored the string in the mmd
shared memory area from which it was available to the client process that executed the
stat command.

This approach has the disadvantage that  the size of the string must be restricted to a
fixed number of bytes,  VERBOSE_LS_OUTPUT_SIZE, determined at compile time and
independent of the audio file.  As version 2 id3 tags and vorbis comments do not impose
an upper bound on the size of the tags a rather ugly patch was merged recently to the master
branch which truncated the size of the tags if it exceeded VERBOSE_LS_OUTPUT_SIZE.

This patch gets rid of this restriction by not storing the info string in the mmd structure. Instead,
the stat command requests the information directly from the afs process via the callback
mechanism which is also used by other afs commands.

Major audio format handler cleanups.

The main change is the replacement of afhi->taginfo by more specific
fields: This patch adds struct taginfo to the audio format handler
info struct.

The prefix is no longer stored inside the osl database, i.e. it is
no longer duplicated for each audio file.

The tag information is only stored in memory as a dynamically allocated
string if it is new, i.e. if the struct was generated by the audio format
handler. If it was retrieved from the database, pointers to the memory
mapped table are used instead.

The crappy fixup_info_string() function is gone. It was too ugly to live.
Of course, this re-introduces the bug it fixed, but as we broke the
on disk format with this patch anyway, we might as well fix it right(TM).
This will be done in a subsequent patch.

afhi->eof_tv is gone as well. It was not useful at all.

Stronger crypto for client authentication.

This patch changes the way clients are authenticated:

- The size of the challenge has been increased from sizeof(unsigned long)
to 64. Openssl's Rand_bytes() is used to get the random buffer for the
challenge and the rc4 keys.

- The client responds with the sha1 hash of the challenge rather than
sending back the decrypted challenge in plain text.

- The rc4 keys are now 2 x 32 bytes long. They are rsa encrypted and
sent together with the challenge.

- Authentication requests for invalid users are not immediatedly denied
as this would reveal the fact that the user does not exist.

- rsa keys are required to be at least 2048 bits long.

Update to gengetopt 2.22.2.

This introduced a new gcc warning which is fixed by this patch.

Make rc4 encryption/decryption more explicit.

The old code used a rather fancy way to (de)activate encryption on
a per fd basis: In net.c there was an array of rc4 keys, indexed by fd.
This is rather wastful because the array size is determined by the
highest fd for which encryption is activated.

It's also hard to comprehend and it's easy to get strange results if
one forgets to deactivate the encryption after the fd is closed.

This patch introduces a new structure, rc4_context, which consists of
an fd and the needed rc4 keys. Users explicitly call the new rc4 variants
of the receving/sending functions which take a pointer to a struct
rc4_context instead of a file descriptor but are otherwise identical.

Keep crypt simple!

Move para_tmpname() to file_write.c and make it static.

Also use para_random() instead of rand().

Use openssl's RAND_load_file() and RAND_bytes() to get randomness.

This should yield random data that is cryptographically stronger than
random().

Kill the client-0.2.6 compatibility mode and the --plain option.

This makes rc4 encryption mandatory.

Deactivate gcc's strict aliasing optimizations.

This causes a lot of warnings which are not easy to fix and probably
harmless. So simply disallow gcc to assume the strictest aliasing
rules.

Replace the convert_0.2-0.3.sh script by convert_0.3-0.4.sh.

Add new ls option -d.

This is useful for the conversion script that transforms the afs
database to the 0.4 format.

Fix osl() wrapper.

Fix checking of return values from osl_open().

Use different paths for the 0.4 database and the afs socket.

Add osl.h include to generated command C files.

Fix para_strerror() and use osl() wrapper for osl library calls.

First draft of the libosl patch series.

Merge commit 'fml/master'

Trivial typo fixes and cosmetic cleanups.

Fix a typo in the audiod man page.

Thanks to Gerrit Renker who pointed out the typo.

Merge commit 'fml/master'

alsa_write: Avoid EAGAIN.

Before writing to the sound device, use snd_pcm_avail_update() to
check how many frames alsa will accept and write only that many
frames.

Merge commit 'meins/master'

Truncate overlong tag info and replace newlines by spaces.

The tag info which is computed by the audio format handlers and stored
in the audio file table is read into a fixed-size buffer by the audio
file selector in open_and_update_audio_file(), passed to the server
process and then sent to the client via the stat command. It is not
interpreted at all during this process. In particular, it is not
essential for correctly streaming the audio file.

Vorbis comments and id3v2 tags have no size limit and may contain
arbitrary data which may lead to the following twi problems:

- As noted by Gerrit Renker, if the tag info is too long
to fit into the fixed-size buffer, the current code skips
the audio file and removes it from the list of currently
admissible files. So para_server fails to stream such files.

- If the tag info contains newlines, these are included
verbatim in the status output which may confuse para_audiod.

This patch truncates the tag info string if it does not fit into the
4K buffer and replaces newlines by spaces. This is a bit ugly but
avoids both of the above problems. It's still possible to retrieve
the complete tag info via the "ls -lv" command.

aft: Reorganize make_status_items().

It's cleaner to allocate the struct ls_data within make_status_items().

Fix build on MacOs.

The changes to write.h broke the osx writer. The fix is trivial though.

aft: Make make_status_items() static.

Move its single caller, open_and_update_audio_file(), below
make_status_items and get rid of the declaration in afs.h.

Kill some semicolons outside function definitions.

struct writer_node: Store the number of the writer rather than a pointer.

This makes it easier to get the name of the writer from the writer_node
struct.

Fix a gcc warning on x86_64.

Fix a copy-and-paste typo in the udp sender.

Fix the --log_color option of para_server and para_audiod.

rbtree: Add const qualifier to some functions.

The 'rb_first()', 'rb_last()', 'rb_next()' and 'rb_prev()' calls take a pointer
to an RB node or RB root. They do not change the pointed objects, so add a
'const' qualifier.

See commit f4b477c47332367d35686bd2b808c2156b96d7c7 in the linux source tree.

Add some missing source code documentation.

Add ggo/.gitignore to hide derived ggo files.

Add new prebuffer filter.

This could be handy for lossy networks that require a lot of buffering
in addition to methods (like FEC) to cope with packet loss.

filter: Force a minimal select timeout if something was converted.

When filter_preselect() runs. other pre_select functions might have
already been called and decided to do nothing, e.g. because their
output buffer was full or the input buffer was empty.

If this call to filter_preselect() changed any of the involved buffers,
we want those other pre_select() functions to be called ASAP. So force
a minimal timeout for the next select call to avoid unnecessary delays.

mp3dec: Try harder to recover from non-fatal errors.

If there's still data left, try to decode the next header in the
same scheduler run. This avoids unnecessary copies of large parts
of the mp3 input buffer.

audiod: Properly handle wng open failures.

If opening the writer node group fails, no task is being registered to the
scheduler although a task structure is allocated. This makes audiod think
everything is fine until the output buffer of the receiver or a filter is
filled up which may take several seconds.

Fix this flaw by setting the error field of the wng to -E_TASK_UNREGISTERED.
This causes audiod to close the receiver node and the filter chain and to
clear the affected slot.

First draft of the oss writer.

This adds client-side support for FreeBSD and NetBSD and provides an
alternative writer for Linux.

Allow writers that have no pre_select functions.

Also, fix the pointer being printed in a debug message of the scheduler.