Fix com_add segfault.
[paraslash.git] / aft.c
1 #include "para.h"
2 #include "error.h"
3 #include <sys/mman.h>
4 #include <fnmatch.h>
5 #include "afh.h"
6 #include "afs.h"
7 #include "net.h"
8 #include "string.h"
9 #include "vss.h"
10
11 #define AFS_AUDIO_FILE_DIR "/home/mp3"
12
13 static struct osl_table *audio_file_table;
14
15 /**
16  * Describes the layout of the mmapped-afs info struct.
17  *
18  * \sa struct afs_info.
19  */
20 enum afsi_offsets {
21         /** Where .last_played is stored. */
22         AFSI_LAST_PLAYED_OFFSET = 0,
23         /** Storage position of the attributes bitmap. */
24         AFSI_ATTRIBUTES_OFFSET = 8,
25         /** Storage position of the .num_played field. */
26         AFSI_NUM_PLAYED_OFFSET = 16,
27         /** Storage position of the .image_id field. */
28         AFSI_IMAGE_ID_OFFSET = 20,
29         /** Storage position of the .lyrics_id field. */
30         AFSI_LYRICS_ID_OFFSET = 24,
31         /** Storage position of the .audio_format_id field. */
32         AFSI_AUDIO_FORMAT_ID_OFFSET = 28,
33         /** On-disk storage space needed. */
34         AFSI_SIZE = 29
35 };
36
37 /**
38  * Convert a struct afs_info to an osl object.
39  *
40  * \param afsi Pointer to the audio file info to be converted.
41  * \param obj Result pointer.
42  *
43  * \sa load_afsi().
44  */
45 void save_afsi(struct afs_info *afsi, struct osl_object *obj)
46 {
47         char *buf = obj->data;
48
49         write_u64(buf + AFSI_LAST_PLAYED_OFFSET, afsi->last_played);
50         write_u64(buf + AFSI_ATTRIBUTES_OFFSET, afsi->attributes);
51         write_u32(buf + AFSI_NUM_PLAYED_OFFSET, afsi->num_played);
52         write_u32(buf + AFSI_IMAGE_ID_OFFSET, afsi->image_id);
53         write_u32(buf + AFSI_LYRICS_ID_OFFSET, afsi->lyrics_id);
54         write_u8(buf + AFSI_AUDIO_FORMAT_ID_OFFSET,
55                 afsi->audio_format_id);
56 }
57
58 /**
59  *  Get the audio file selector info struct stored in an osl object.
60  *
61  * \param afsi Points to the audio_file info structure to be filled in.
62  * \param obj The osl object holding the data.
63  *
64  * \return Positive on success, negative on errors. Possible errors: \p E_BAD_AFS.
65  *
66  * \sa save_afsi().
67  */
68 int load_afsi(struct afs_info *afsi, struct osl_object *obj)
69 {
70         char *buf = obj->data;
71         if (obj->size < AFSI_SIZE)
72                 return -E_BAD_AFS;
73         afsi->last_played = read_u64(buf + AFSI_LAST_PLAYED_OFFSET);
74         afsi->attributes = read_u64(buf + AFSI_ATTRIBUTES_OFFSET);
75         afsi->num_played = read_u32(buf + AFSI_NUM_PLAYED_OFFSET);
76         afsi->image_id = read_u32(buf + AFSI_IMAGE_ID_OFFSET);
77         afsi->lyrics_id = read_u32(buf + AFSI_LYRICS_ID_OFFSET);
78         afsi->audio_format_id = read_u8(buf +
79                 AFSI_AUDIO_FORMAT_ID_OFFSET);
80         return 1;
81 }
82
83 /** The columns of the audio file table. */
84 enum audio_file_table_columns {
85         /** The hash on the content of the audio file. */
86         AFTCOL_HASH,
87         /** The full path in the filesystem. */
88         AFTCOL_PATH,
89         /** The audio file selector info. */
90         AFTCOL_AFSI,
91         /** The audio format handler info. */
92         AFTCOL_AFHI,
93         /** The chunk table info and the chunk table of the audio file. */
94         AFTCOL_CHUNKS,
95         /** The number of columns of this table. */
96         NUM_AFT_COLUMNS
97 };
98
99 static struct osl_column_description aft_cols[] = {
100         [AFTCOL_HASH] = {
101                 .storage_type = OSL_MAPPED_STORAGE,
102                 .storage_flags = OSL_RBTREE | OSL_FIXED_SIZE | OSL_UNIQUE,
103                 .name = "hash",
104                 .compare_function = osl_hash_compare,
105                 .data_size = HASH_SIZE
106         },
107         [AFTCOL_PATH] = {
108                 .storage_type = OSL_MAPPED_STORAGE,
109                 .storage_flags = OSL_RBTREE | OSL_UNIQUE,
110                 .name = "path",
111                 .compare_function = string_compare,
112         },
113         [AFTCOL_AFSI] = {
114                 .storage_type = OSL_MAPPED_STORAGE,
115                 .storage_flags = OSL_FIXED_SIZE,
116                 .name = "afs_info",
117                 .data_size = AFSI_SIZE
118         },
119         [AFTCOL_AFHI] = {
120                 .storage_type = OSL_MAPPED_STORAGE,
121                 .name = "afh_info",
122         },
123         [AFTCOL_CHUNKS] = {
124                 .storage_type = OSL_DISK_STORAGE,
125                 .name = "chunks",
126         }
127 };
128
129 static struct osl_table_description audio_file_table_desc = {
130         .name = "audio_files",
131         .num_columns = NUM_AFT_COLUMNS,
132         .flags = OSL_LARGE_TABLE,
133         .column_descriptions = aft_cols
134 };
135
136 static char *prefix_path(const char *prefix, int len, const char *path)
137 {
138         int speclen;
139         char *n;
140
141         for (;;) {
142                 char c;
143                 if (*path != '.')
144                         break;
145                 c = path[1];
146                 /* "." */
147                 if (!c) {
148                         path++;
149                         break;
150                 }
151                 /* "./" */
152                 if (c == '/') {
153                         path += 2;
154                         continue;
155                 }
156                 if (c != '.')
157                         break;
158                 c = path[2];
159                 if (!c)
160                         path += 2;
161                 else if (c == '/')
162                         path += 3;
163                 else
164                         break;
165                 /* ".." and "../" */
166                 /* Remove last component of the prefix */
167                 do {
168                         if (!len)
169                                 return NULL;
170                         len--;
171                 } while (len && prefix[len-1] != '/');
172                 continue;
173         }
174         if (!len)
175                 return para_strdup(path);
176         speclen = strlen(path);
177         n = para_malloc(speclen + len + 1);
178         memcpy(n, prefix, len);
179         memcpy(n + len, path, speclen+1);
180         return n;
181 }
182
183 /*
184  * We fundamentally don't like some paths: we don't want
185  * dot or dot-dot anywhere.
186  *
187  * Also, we don't want double slashes or slashes at the
188  * end that can make pathnames ambiguous.
189  */
190 static int verify_dotfile(const char *rest)
191 {
192         /*
193          * The first character was '.', but that has already been discarded, we
194          * now test the rest.
195          */
196         switch (*rest) {
197         /* "." is not allowed */
198         case '\0': case '/':
199                 return 1;
200
201         case '.':
202                 if (rest[1] == '\0' || rest[1] == '/')
203                         return -1;
204         }
205         return 1;
206 }
207
208 static int verify_path(const char *path, char **resolved_path)
209 {
210         const char *orig_path = path;
211         char c;
212         const char prefix[] = AFS_AUDIO_FILE_DIR "/";
213         const size_t prefix_len = strlen(prefix);
214
215         PARA_DEBUG_LOG("path: %s\n", path);
216         c = *path++;
217         if (!c)
218                 return -E_BAD_PATH;
219         while (c) {
220                 if (c == '/') {
221                         c = *path++;
222                         switch (c) {
223                         default:
224                                 continue;
225                         case '/': case '\0':
226                                 break;
227                         case '.':
228                                 if (verify_dotfile(path) > 0)
229                                         continue;
230                         }
231                         *resolved_path = NULL;
232                         return -E_BAD_PATH;
233                 }
234                 c = *path++;
235         }
236         if (*orig_path == '/')
237                 *resolved_path = prefix_path("", 0, orig_path);
238         else
239                 *resolved_path = prefix_path(prefix, prefix_len, orig_path);
240         PARA_DEBUG_LOG("resolved: %s\n", *resolved_path);
241         return *resolved_path? 1: -E_BAD_PATH;
242 }
243
244 enum afhi_offsets {
245         AFHI_SECONDS_TOTAL_OFFSET = 0,
246         AFHI_BITRATE_OFFSET = 4,
247         AFHI_FREQUENCY_OFFSET = 8,
248         AFHI_CHANNELS_OFFSET = 12,
249         AFHI_INFO_STRING_OFFSET = 13,
250         MIN_AFHI_SIZE = 14
251 };
252
253 static unsigned sizeof_afhi_buf(const struct audio_format_info *afhi)
254 {
255         if (!afhi)
256                 return 0;
257         return strlen(afhi->info_string) + MIN_AFHI_SIZE;
258 }
259
260 static void save_afhi(struct audio_format_info *afhi, char *buf)
261 {
262         if (!afhi)
263                 return;
264         write_u32(buf + AFHI_SECONDS_TOTAL_OFFSET,
265                 afhi->seconds_total);
266         write_u32(buf + AFHI_BITRATE_OFFSET, afhi->bitrate);
267         write_u32(buf + AFHI_FREQUENCY_OFFSET, afhi->frequency);
268         write_u8(buf + AFHI_CHANNELS_OFFSET, afhi->channels);
269         strcpy(buf + AFHI_INFO_STRING_OFFSET, afhi->info_string); /* OK */
270         PARA_DEBUG_LOG("last byte written: %p\n", buf + AFHI_INFO_STRING_OFFSET + strlen(afhi->info_string));
271 }
272
273 static void load_afhi(const char *buf, struct audio_format_info *afhi)
274 {
275         afhi->seconds_total = read_u32(buf + AFHI_SECONDS_TOTAL_OFFSET);
276         afhi->bitrate = read_u32(buf + AFHI_BITRATE_OFFSET);
277         afhi->frequency = read_u32(buf + AFHI_FREQUENCY_OFFSET);
278         afhi->channels = read_u8(buf + AFHI_CHANNELS_OFFSET);
279         strcpy(afhi->info_string, buf + AFHI_INFO_STRING_OFFSET);
280 }
281
282 static unsigned sizeof_chunk_info_buf(struct audio_format_info *afhi)
283 {
284         if (!afhi)
285                 return 0;
286         return 4 * afhi->chunks_total + 20;
287
288 }
289
290 /** The offsets of the data contained in the AFTCOL_CHUNKS column. */
291 enum chunk_info_offsets {
292         /** The total number of chunks (4 bytes). */
293         CHUNKS_TOTAL_OFFSET = 0,
294         /** The length of the audio file header (4 bytes). */
295         HEADER_LEN_OFFSET = 4,
296         /** The start of the audio file header (4 bytes). */
297         HEADER_OFFSET_OFFSET = 8,
298         /** The seconds part of the chunk time (4 bytes). */
299         CHUNK_TV_TV_SEC_OFFSET = 12,
300         /** The microseconds part of the chunk time (4 bytes). */
301         CHUNK_TV_TV_USEC = 16,
302         /** Chunk table entries start here. */
303         CHUNK_TABLE_OFFSET = 20,
304 };
305
306 /* TODO: audio format handlers could just produce this */
307 static void save_chunk_info(struct audio_format_info *afhi, char *buf)
308 {
309         int i;
310
311         if (!afhi)
312                 return;
313         write_u32(buf + CHUNKS_TOTAL_OFFSET, afhi->chunks_total);
314         write_u32(buf + HEADER_LEN_OFFSET, afhi->header_len);
315         write_u32(buf + HEADER_OFFSET_OFFSET, afhi->header_offset);
316         write_u32(buf + CHUNK_TV_TV_SEC_OFFSET, afhi->chunk_tv.tv_sec);
317         write_u32(buf + CHUNK_TV_TV_USEC, afhi->chunk_tv.tv_usec);
318         for (i = 0; i < afhi->chunks_total; i++)
319                 write_u32(buf + CHUNK_TABLE_OFFSET + 4 * i, afhi->chunk_table[i]);
320 }
321
322 static int load_chunk_info(struct osl_object *obj, struct audio_format_info *afhi)
323 {
324         char *buf = obj->data;
325         int i;
326
327         if (obj->size < CHUNK_TABLE_OFFSET)
328                 return -E_BAD_DATA_SIZE;
329
330         afhi->chunks_total = read_u32(buf + CHUNKS_TOTAL_OFFSET);
331         afhi->header_len = read_u32(buf + HEADER_LEN_OFFSET);
332         afhi->header_offset = read_u32(buf + HEADER_OFFSET_OFFSET);
333         afhi->chunk_tv.tv_sec = read_u32(buf + CHUNK_TV_TV_SEC_OFFSET);
334         afhi->chunk_tv.tv_usec = read_u32(buf + CHUNK_TV_TV_USEC);
335
336         if (afhi->chunks_total * 4 + CHUNK_TABLE_OFFSET > obj->size)
337                 return -E_BAD_DATA_SIZE;
338         afhi->chunk_table = para_malloc(afhi->chunks_total * sizeof(size_t));
339         for (i = 0; i < afhi->chunks_total; i++)
340                 afhi->chunk_table[i] = read_u32(buf + CHUNK_TABLE_OFFSET + 4 * i);
341         return 1;
342 }
343
344 /**
345  * Get the row of the audio file table corresponding to the given path.
346  *
347  * \param path The full path of the audio file.
348  * \param row Result pointer.
349  *
350  * \return The return value of the underlying call to osl_get_row().
351  */
352 int aft_get_row_of_path(char *path, struct osl_row **row)
353 {
354         struct osl_object obj = {.data = path, .size = strlen(path) + 1};
355
356         PARA_NOTICE_LOG("audio_file_table: %p\n", audio_file_table);
357         return osl_get_row(audio_file_table, AFTCOL_PATH, &obj, row);
358 }
359
360 /**
361  * Get the row of the audio file table corresponding to the given hash value.
362  *
363  * \param hash The hash value of the desired audio file.
364  * \param row resul pointer.
365  *
366  * \return The return value of the underlying call to osl_get_row().
367  */
368 int aft_get_row_of_hash(HASH_TYPE *hash, struct osl_row **row)
369 {
370         const struct osl_object obj = {.data = hash, .size = HASH_SIZE};
371         return osl_get_row(audio_file_table, AFTCOL_HASH, &obj, row);
372 }
373
374 /**
375  * Get the osl object holding the audio file selector info of a row.
376  *
377  * \param row Pointer to a row in the audio file table.
378  * \param obj Result pointer.
379  *
380  * \return The return value of the underlying call to osl_get_object().
381  */
382 int get_afsi_object_of_row(const void *row, struct osl_object *obj)
383 {
384         return osl_get_object(audio_file_table, row, AFTCOL_AFSI, obj);
385 }
386
387 /**
388  * Get the osl object holding the audio file selector info, given a path.
389  *
390  *
391  * \param path The full path of the audio file.
392  * \param obj Result pointer.
393  *
394  * \return Positive on success, negative on errors.
395  */
396 int get_afsi_object_of_path(char *path, struct osl_object *obj)
397 {
398         struct osl_row *row;
399         int ret = aft_get_row_of_path(path, &row);
400         if (ret < 0)
401                 return ret;
402         return get_afsi_object_of_row(row, obj);
403 }
404
405 /**
406  * Get the audio file selector info, given a row of the audio file table.
407  *
408  * \param row Pointer to a row in the audio file table.
409  * \param afsi Result pointer.
410  *
411  * \return Positive on success, negative on errors.
412  */
413 int get_afsi_of_row(const struct osl_row *row, struct afs_info *afsi)
414 {
415         struct osl_object obj;
416         int ret = get_afsi_object_of_row(row, &obj);
417         if (ret < 0)
418                 return ret;
419         return load_afsi(afsi, &obj);
420 }
421
422 /**
423  * Get the path of an audio file, given a row of the audio file table.
424  *
425  * \param row Pointer to a row in the audio file table.
426  * \param path Result pointer.
427  *
428  * \return Positive on success, negative on errors.
429  */
430 int get_audio_file_path_of_row(const struct osl_row *row, char **path)
431 {
432         struct osl_object path_obj;
433         int ret = osl_get_object(audio_file_table, row, AFTCOL_PATH,
434                 &path_obj);
435         if (ret < 0)
436                 return ret;
437         *path = path_obj.data;
438         return 1;
439 }
440
441 /**
442  * Get the object containing the hash value of an audio file, given a row.
443  *
444  * \param row Pointer to a row of the audio file table.
445  * \param obj Result pointer.
446  *
447  * \return The return value of the underlying call to osl_get_object().
448  *
449  * \sa get_hash_of_row().
450  */
451 int get_hash_object_of_aft_row(const void *row, struct osl_object *obj)
452 {
453         return osl_get_object(audio_file_table, row, AFTCOL_HASH, obj);
454 }
455
456 /**
457  * Get the hash value of an audio file, given a row of the audio file table.
458  *
459  * \param row Pointer to a row of the audio file table.
460  * \param hash Result pointer.
461  *
462  * \a hash points to mapped data and must not be freed by the caller.
463  *
464  * \return The return value of the underlying call to
465  * get_hash_object_of_aft_row().
466  */
467 static int get_hash_of_row(const void *row, HASH_TYPE **hash)
468 {
469         struct osl_object obj;
470         int ret = get_hash_object_of_aft_row(row, &obj);
471
472         if (ret < 0)
473                 return ret;
474         *hash = obj.data;
475         return 1;
476 }
477
478 /**
479  * Get the audio format handler info, given a row of the audio file table.
480  *
481  * \param row Pointer to a row of the audio file table.
482  * \param afhi Result pointer.
483  *
484  * \return The return value of the underlying call to osl_get_object().
485  *
486  * \sa get_chunk_table_of_row().
487  */
488 int get_afhi_of_row(const void *row, struct audio_format_info *afhi)
489 {
490         struct osl_object obj;
491         int ret = osl_get_object(audio_file_table, row, AFTCOL_AFHI,
492                 &obj);
493         if (ret < 0)
494                 return ret;
495         load_afhi(obj.data, afhi);
496         return 1;
497 }
498
499 /**
500  * Get the chunk table of an audio file, given a row of the audio file table.
501  *
502  * \param row Pointer to a row of the audio file table.
503  * \param afhi Result pointer.
504  *
505  * \return The return value of the underlying call to osl_open_disk_object().
506  *
507  * \sa get_afhi_of_row().
508  */
509 int get_chunk_table_of_row(const void *row, struct audio_format_info *afhi)
510 {
511         struct osl_object obj;
512         int ret = osl_open_disk_object(audio_file_table, row, AFTCOL_CHUNKS,
513                 &obj);
514         if (ret < 0)
515                 return ret;
516         ret = load_chunk_info(&obj, afhi);
517         osl_close_disk_object(&obj);
518         return ret;
519 }
520
521 /**
522  * Mmap the given audio file and update statistics.
523  *
524  * \param aft_row Determines the audio file to be opened and updated.
525  * \param afd Result pointer.
526  *
527  * On success, the numplayed field of the audio file selector info is increased
528  * and the lastplayed time is set to the current time. Finally, the score of
529  * the audio file is updated.
530  *
531  * \return Positive on success, negative on errors.
532  */
533 int open_and_update_audio_file(struct osl_row *aft_row, struct audio_file_data *afd)
534 {
535         HASH_TYPE *aft_hash, file_hash[HASH_SIZE];
536         struct osl_object afsi_obj;
537         struct afs_info new_afsi;
538         int ret = get_hash_of_row(aft_row, &aft_hash);
539
540         if (ret < 0)
541                 return ret;
542         ret = get_audio_file_path_of_row(aft_row, &afd->path);
543         if (ret < 0)
544                 return ret;
545         ret = get_afsi_object_of_row(aft_row, &afsi_obj);
546         if (ret < 0)
547                 return ret;
548         ret = load_afsi(&afd->afsi, &afsi_obj);
549         if (ret < 0)
550                 return ret;
551         ret = get_afhi_of_row(aft_row, &afd->afhi);
552         if (ret < 0)
553                 return ret;
554         ret = get_chunk_table_of_row(aft_row, &afd->afhi);
555         if (ret < 0)
556                 return ret;
557         ret = mmap_full_file(afd->path, O_RDONLY, &afd->map);
558         if (ret < 0)
559                 goto err;
560         hash_function(afd->map.data, afd->map.size, file_hash);
561         ret = -E_HASH_MISMATCH;
562         if (hash_compare(file_hash, aft_hash))
563                 goto err;
564         new_afsi = afd->afsi;
565         new_afsi.num_played++;
566         new_afsi.last_played = time(NULL);
567         save_afsi(&new_afsi, &afsi_obj); /* in-place update */
568         if (afd->current_play_mode == PLAY_MODE_PLAYLIST)
569                 ret = playlist_update_audio_file(aft_row);
570         else
571                 ret = mood_update_audio_file(aft_row, &afd->afsi);
572         return ret;
573 err:
574         free(afd->afhi.chunk_table);
575         return ret;
576 }
577
578 time_t now;
579
580 static int get_local_time(uint64_t *seconds, char *buf, size_t size)
581 {
582         struct tm t;
583
584         if (!localtime_r((time_t *)seconds, &t))
585                 return -E_LOCALTIME;
586         if (*seconds + 6 * 30 * 24 * 3600 > now) {
587                 if (!strftime(buf, size, "%b %e %k:%M", &t))
588                         return -E_STRFTIME;
589                 return 1;
590         }
591         if (!strftime(buf, size, "%b %e  %Y", &t))
592                 return -E_STRFTIME;
593         return 1;
594 }
595
596 #define GET_NUM_DIGITS(x, num) { \
597         typeof((x)) _tmp = PARA_ABS(x); \
598         *num = 1; \
599         if ((x)) \
600                 while ((_tmp) > 9) { \
601                         (_tmp) /= 10; \
602                         (*num)++; \
603                 } \
604         }
605
606 static short unsigned get_duration(int seconds_total, char *buf, short unsigned max_width)
607 {
608         short unsigned width;
609         int s = seconds_total;
610         unsigned hours = s / 3600, mins = (s % 3600) / 60, secs = s % 60;
611
612         if (s < 3600) { /* less than one hour => m:ss or mm:ss */
613                 GET_NUM_DIGITS(mins, &width); /* 1 or 2 */
614                 width += 3; /* 4 or 5 */
615                 if (buf)
616                         sprintf(buf, "%*u:%02u", max_width - width + 1, mins, secs);
617                 return width;
618         }
619         /* more than one hour => h:mm:ss, hh:mm:ss, hhh:mm:ss, ... */
620         GET_NUM_DIGITS(hours, &width);
621         width += 6;
622         if (buf)
623                 sprintf(buf, "%*u:%02u:%02u", max_width - width + 1, hours, mins, secs);
624         return width;
625 }
626
627 static char *make_attribute_line(const char *att_bitmap, struct afs_info *afsi)
628 {
629         char *att_text, *att_line;
630
631         get_attribute_text(&afsi->attributes, " ", &att_text);
632         if (!att_text)
633                 return para_strdup(att_bitmap);
634         att_line = make_message("%s (%s)", att_bitmap, att_text);
635         free(att_text);
636         return att_line;
637 }
638
639 static char *make_lyrics_line(struct afs_info *afsi)
640 {
641         char *lyrics_name;
642         lyr_get_name_by_id(afsi->lyrics_id, &lyrics_name);
643         if (!lyrics_name)
644                 return make_message("%u", afsi->lyrics_id);
645         return make_message("%u (%s)", afsi->lyrics_id, lyrics_name);
646 }
647
648 static char *make_image_line(struct afs_info *afsi)
649 {
650         char *image_name;
651         img_get_name_by_id(afsi->image_id, &image_name);
652         if (!image_name)
653                 return make_message("%u", afsi->image_id);
654         return make_message("%u (%s)", afsi->image_id, image_name);
655 }
656
657 static int print_list_item(struct ls_data *d, struct ls_options *opts,
658         struct para_buffer *b)
659 {
660         int ret;
661         char att_buf[65];
662         char last_played_time[30];
663         char duration_buf[30]; /* nobody has an audio file long enough to overflow this */
664         char score_buf[30] = "";
665         struct afs_info *afsi = &d->afsi;
666         struct audio_format_info *afhi = &d->afhi;
667         struct ls_widths *w = &opts->widths;
668         int have_score = opts->flags & LS_FLAG_ADMISSIBLE_ONLY;
669
670         if (opts->mode == LS_MODE_SHORT) {
671                 para_printf(b, "%s\n", d->path);
672                 return 1;
673         }
674         get_attribute_bitmap(&afsi->attributes, att_buf);
675         ret = get_local_time(&afsi->last_played, last_played_time,
676                 sizeof(last_played_time));
677         if (ret < 0)
678                 return ret;
679         get_duration(afhi->seconds_total, duration_buf, w->duration_width);
680         if (have_score) {
681                 if (opts->mode == LS_MODE_LONG)
682                         sprintf(score_buf, "%*li ", w->score_width, d->score);
683                 else
684                         sprintf(score_buf, "%li ", d->score);
685         }
686
687         if (opts->mode == LS_MODE_LONG) {
688                 para_printf(b,
689                         "%s"    /* score */
690                         "%s "   /* attributes */
691                         "%*d "  /* image_id  */
692                         "%*d "  /* lyrics_id */
693                         "%*d "  /* bitrate */
694                         "%s "   /* audio format */
695                         "%*d "  /* frequency */
696                         "%d "   /* channels */
697                         "%s "   /* duration */
698                         "%*d "  /* num_played */
699                         "%s "   /* last_played */
700                         "%s\n", /* path */
701                         score_buf,
702                         att_buf,
703                         w->image_id_width, afsi->image_id,
704                         w->lyrics_id_width, afsi->lyrics_id,
705                         w->bitrate_width, afhi->bitrate,
706                         audio_format_name(afsi->audio_format_id),
707                         w->frequency_width, afhi->frequency,
708                         afhi->channels,
709                         duration_buf,
710                         w->num_played_width, afsi->num_played,
711                         last_played_time,
712                         d->path
713                 );
714                 return 1;
715         }
716         if (opts->mode == LS_MODE_VERBOSE) {
717                 char asc_hash[2 * HASH_SIZE + 1];
718                 char *att_line, *lyrics_line, *image_line;
719
720                 hash_to_asc(d->hash, asc_hash);
721                 att_line = make_attribute_line(att_buf, afsi);
722                 lyrics_line = make_lyrics_line(afsi);
723                 image_line = make_image_line(afsi);
724                 para_printf(b,
725                         "%s: %s\n" /* path */
726                         "%s%s%s" /* score */
727                         "attributes: %s\n"
728                         "hash: %s\n"
729                         "image_id: %s\n"
730                         "lyrics_id: %s\n"
731                         "bitrate: %dkbit/s\n"
732                         "format: %s\n"
733                         "frequency: %dHz\n"
734                         "channels: %d\n"
735                         "duration: %s\n"
736                         "num_played: %d\n"
737                         "last_played: %s\n\n",
738                         (opts->flags & LS_FLAG_FULL_PATH)?
739                                 "path" : "file", d->path,
740                         have_score? "score: " : "", score_buf,
741                                 have_score? "\n" : "",
742                         att_line,
743                         asc_hash,
744                         image_line,
745                         lyrics_line,
746                         afhi->bitrate,
747                         audio_format_name(afsi->audio_format_id),
748                         afhi->frequency,
749                         afhi->channels,
750                         duration_buf,
751                         afsi->num_played,
752                         last_played_time
753                 );
754                 free(att_line);
755                 free(lyrics_line);
756                 free(image_line);
757                 return 1;
758         }
759         return 1;
760 }
761
762 static int ls_audio_format_compare(const void *a, const void *b)
763 {
764         struct ls_data *d1 = *(struct ls_data **)a, *d2 = *(struct ls_data **)b;
765         return NUM_COMPARE(d1->afsi.audio_format_id, d2->afsi.audio_format_id);
766 }
767
768 static int ls_duration_compare(const void *a, const void *b)
769 {
770         struct ls_data *d1 = *(struct ls_data **)a, *d2 = *(struct ls_data **)b;
771         return NUM_COMPARE(d1->afhi.seconds_total, d2->afhi.seconds_total);
772 }
773
774 static int ls_bitrate_compare(const void *a, const void *b)
775 {
776         struct ls_data *d1 = *(struct ls_data **)a, *d2 = *(struct ls_data **)b;
777         return NUM_COMPARE(d1->afhi.bitrate, d2->afhi.bitrate);
778 }
779
780 static int ls_lyrics_id_compare(const void *a, const void *b)
781 {
782         struct ls_data *d1 = *(struct ls_data **)a, *d2 = *(struct ls_data **)b;
783         return NUM_COMPARE(d1->afsi.lyrics_id, d2->afsi.lyrics_id);
784 }
785
786 static int ls_image_id_compare(const void *a, const void *b)
787 {
788         struct ls_data *d1 = *(struct ls_data **)a, *d2 = *(struct ls_data **)b;
789         return NUM_COMPARE(d1->afsi.image_id, d2->afsi.image_id);
790 }
791
792 static int ls_channels_compare(const void *a, const void *b)
793 {
794         struct ls_data *d1 = *(struct ls_data **)a, *d2 = *(struct ls_data **)b;
795         return NUM_COMPARE(d1->afhi.channels, d2->afhi.channels);
796 }
797
798 static int ls_frequency_compare(const void *a, const void *b)
799 {
800         struct ls_data *d1 = *(struct ls_data **)a, *d2 = *(struct ls_data **)b;
801         return NUM_COMPARE(d1->afhi.frequency, d2->afhi.frequency);
802 }
803
804 static int ls_num_played_compare(const void *a, const void *b)
805 {
806         struct ls_data *d1 = *(struct ls_data **)a, *d2 = *(struct ls_data **)b;
807         return NUM_COMPARE(d1->afsi.num_played, d2->afsi.num_played);
808 }
809
810 static int ls_last_played_compare(const void *a, const void *b)
811 {
812         struct ls_data *d1 = *(struct ls_data **)a, *d2 = *(struct ls_data **)b;
813         return NUM_COMPARE(d1->afsi.last_played, d2->afsi.last_played);
814 }
815
816 static int ls_score_compare(const void *a, const void *b)
817 {
818         struct ls_data *d1 = *(struct ls_data **)a, *d2 = *(struct ls_data **)b;
819         return NUM_COMPARE(d1->score, d2->score);
820 }
821
822 static int ls_path_compare(const void *a, const void *b)
823 {
824         struct ls_data *d1 = *(struct ls_data **)a, *d2 = *(struct ls_data **)b;
825         return strcmp(d1->path, d2->path);
826 }
827
828 static int sort_matching_paths(struct ls_options *options)
829 {
830         size_t nmemb = options->num_matching_paths;
831         size_t size = sizeof(uint32_t);
832         int (*compar)(const void *, const void *);
833         int i;
834
835         options->data_ptr = para_malloc(nmemb * sizeof(*options->data_ptr));
836         for (i = 0; i < nmemb; i++)
837                 options->data_ptr[i] = options->data + i;
838
839         /* In these cases the array is already sorted */
840         if (options->sorting == LS_SORT_BY_PATH
841                 && !(options->flags & LS_FLAG_ADMISSIBLE_ONLY)
842                 && (options->flags & LS_FLAG_FULL_PATH))
843                 return 1;
844         if (options->sorting == LS_SORT_BY_SCORE &&
845                         options->flags & LS_FLAG_ADMISSIBLE_ONLY)
846                 return 1;
847
848         switch (options->sorting) {
849         case LS_SORT_BY_PATH:
850                 compar = ls_path_compare; break;
851         case LS_SORT_BY_SCORE:
852                 compar = ls_score_compare; break;
853         case LS_SORT_BY_LAST_PLAYED:
854                 compar = ls_last_played_compare; break;
855         case LS_SORT_BY_NUM_PLAYED:
856                 compar = ls_num_played_compare; break;
857         case LS_SORT_BY_FREQUENCY:
858                 compar = ls_frequency_compare; break;
859         case LS_SORT_BY_CHANNELS:
860                 compar = ls_channels_compare; break;
861         case LS_SORT_BY_IMAGE_ID:
862                 compar = ls_image_id_compare; break;
863         case LS_SORT_BY_LYRICS_ID:
864                 compar = ls_lyrics_id_compare; break;
865         case LS_SORT_BY_BITRATE:
866                 compar = ls_bitrate_compare; break;
867         case LS_SORT_BY_DURATION:
868                 compar = ls_duration_compare; break;
869         case LS_SORT_BY_AUDIO_FORMAT:
870                 compar = ls_audio_format_compare; break;
871         default:
872                 return -E_BAD_SORT;
873         }
874         qsort(options->data_ptr, nmemb, size, compar);
875         return 1;
876 }
877
878 /* row is either an aft_row or a row of the score table */
879 /* TODO: Only compute widths if we need them */
880 static int prepare_ls_row(struct osl_row *row, void *ls_opts)
881 {
882         int ret, i;
883         struct ls_options *options = ls_opts;
884         struct ls_data *d;
885         struct ls_widths *w;
886         unsigned short num_digits;
887         unsigned tmp;
888         struct osl_row *aft_row;
889         long score;
890         char *path;
891
892         if (options->flags & LS_FLAG_ADMISSIBLE_ONLY) {
893                 ret = get_score_and_aft_row(row, &score, &aft_row);
894                 if (ret < 0)
895                         return ret;
896         } else
897                 aft_row = row;
898         ret = get_audio_file_path_of_row(aft_row, &path);
899         if (ret < 0)
900                 return ret;
901         if (!(options->flags & LS_FLAG_FULL_PATH)) {
902                 char *p = strrchr(path, '/');
903                 if (p)
904                         path = p + 1;
905         }
906         if (options->num_patterns) {
907                 for (i = 0; i < options->num_patterns; i++) {
908                         ret = fnmatch(options->patterns[i], path, FNM_PATHNAME);
909                         if (!ret)
910                                 break;
911                         if (ret == FNM_NOMATCH)
912                                 continue;
913                         return -E_FNMATCH;
914                 }
915                 if (i >= options->num_patterns) /* no match */
916                         return 1;
917         }
918         tmp = options->num_matching_paths++;
919         if (options->num_matching_paths > options->array_size) {
920                 options->array_size++;
921                 options->array_size *= 2;
922                 options->data = para_realloc(options->data, options->array_size
923                         * sizeof(*options->data));
924         }
925         d = options->data + tmp;
926         ret = get_afsi_of_row(aft_row, &d->afsi);
927         if (ret < 0)
928                 return ret;
929         ret = get_afhi_of_row(aft_row, &d->afhi);
930         if (ret < 0)
931                 return ret;
932         d->path = path;
933         ret = get_hash_of_row(aft_row, &d->hash);
934         if (ret < 0)
935                 return ret;
936         w = &options->widths;
937         GET_NUM_DIGITS(d->afsi.image_id, &num_digits);
938         w->image_id_width = PARA_MAX(w->image_id_width, num_digits);
939         GET_NUM_DIGITS(d->afsi.lyrics_id, &num_digits);
940         w->lyrics_id_width = PARA_MAX(w->lyrics_id_width, num_digits);
941         GET_NUM_DIGITS(d->afhi.bitrate, &num_digits);
942         w->bitrate_width = PARA_MAX(w->bitrate_width, num_digits);
943         GET_NUM_DIGITS(d->afhi.frequency, &num_digits);
944         w->frequency_width = PARA_MAX(w->frequency_width, num_digits);
945         GET_NUM_DIGITS(d->afsi.num_played, &num_digits);
946         w->num_played_width = PARA_MAX(w->num_played_width, num_digits);
947         /* just get the number of chars to print this amount of time */
948         tmp = get_duration(d->afhi.seconds_total, NULL, 0);
949         w->duration_width = PARA_MAX(w->duration_width, tmp);
950         if (options->flags & LS_FLAG_ADMISSIBLE_ONLY) {
951                 GET_NUM_DIGITS(score, &num_digits);
952                 num_digits++; /* add one for the sign (space or "-") */
953                 w->score_width = PARA_MAX(w->score_width, num_digits);
954                 d->score = score;
955         }
956         return 1;
957 }
958
959 static int com_ls_callback(const struct osl_object *query,
960                 struct osl_object *ls_output)
961 {
962         struct ls_options *opts = query->data;
963         char *p, *pattern_start = (char *)query->data + sizeof(*opts);
964         struct para_buffer b = {.buf = NULL, .size = 0};
965         int i = 0, ret;
966
967         PARA_NOTICE_LOG("%d patterns\n", opts->num_patterns);
968         if (opts->num_patterns) {
969                 opts->patterns = para_malloc(opts->num_patterns * sizeof(char *));
970                 for (i = 0, p = pattern_start; i < opts->num_patterns; i++) {
971                         opts->patterns[i] = p;
972                         p += strlen(p) + 1;
973                         PARA_NOTICE_LOG("pattern %d: %s\n", i, opts->patterns[i]);
974                 }
975         } else
976                 opts->patterns = NULL;
977         if (opts->flags & LS_FLAG_ADMISSIBLE_ONLY)
978                 ret = admissible_file_loop(opts, prepare_ls_row);
979         else
980                 ret = osl_rbtree_loop(audio_file_table, AFTCOL_PATH, opts,
981                         prepare_ls_row);
982         if (ret < 0)
983                 goto out;
984         ret = opts->num_patterns? -E_NO_MATCH : 0;
985         if (!opts->num_matching_paths) {
986                 PARA_NOTICE_LOG("no match, ret: %d\n", ret);
987                 goto out;
988         }
989         ret = sort_matching_paths(opts);
990         if (ret < 0)
991                 goto out;
992         if (opts->flags & LS_FLAG_REVERSE)
993                 for (i = opts->num_matching_paths - 1; i >= 0; i--) {
994                         ret = print_list_item(opts->data_ptr[i], opts, &b);
995                         if (ret < 0)
996                                 break;
997                 }
998         else
999                 for (i = 0; i < opts->num_matching_paths; i++) {
1000                         ret = print_list_item(opts->data_ptr[i], opts, &b);
1001                         if (ret < 0)
1002                                 break;
1003                 }
1004         ret = 1;
1005 out:
1006         ls_output->data = b.buf;
1007         PARA_NOTICE_LOG("ls_outoute.data: %p\n", ls_output->data);
1008         ls_output->size = b.size;
1009         free(opts->data);
1010         free(opts->data_ptr);
1011         free(opts->patterns);
1012         return ret;
1013 }
1014
1015 /*
1016  * TODO: flags -h (sort by hash)
1017  *
1018  * long list: list hash, attributes as (xx--x-x-), file size, lastplayed
1019  * full list: list everything, including afsi, afhi, atts as clear text
1020  *
1021  * */
1022 int com_afs_ls(int fd, int argc, char * const * const argv)
1023 {
1024         int i, ret;
1025         unsigned flags = 0;
1026         enum ls_sorting_method sort = LS_SORT_BY_PATH;
1027         enum ls_listing_mode mode = LS_MODE_SHORT;
1028         struct ls_options opts = {.patterns = NULL};
1029         struct osl_object query = {.data = &opts, .size = sizeof(opts)},
1030                 ls_output;
1031
1032         for (i = 1; i < argc; i++) {
1033                 const char *arg = argv[i];
1034                 if (arg[0] != '-')
1035                         break;
1036                 if (!strcmp(arg, "--")) {
1037                         i++;
1038                         break;
1039                 }
1040                 if (!strncmp(arg, "-l", 2)) {
1041                         if (!*(arg + 2)) {
1042                                 mode = LS_MODE_LONG;
1043                                 continue;
1044                         }
1045                         if (*(arg + 3))
1046                                 return -E_AFT_SYNTAX;
1047                         switch(*(arg + 2)) {
1048                         case 's':
1049                                 mode = LS_MODE_SHORT;
1050                                 continue;
1051                         case 'l':
1052                                 mode = LS_MODE_LONG;
1053                                 continue;
1054                         case 'v':
1055                                 mode = LS_MODE_VERBOSE;
1056                                 continue;
1057                         case 'm':
1058                                 mode = LS_MODE_MBOX;
1059                                 continue;
1060                         default:
1061                                 return -E_AFT_SYNTAX;
1062                         }
1063                 }
1064                 if (!strcmp(arg, "-p")) {
1065                         flags |= LS_FLAG_FULL_PATH;
1066                         continue;
1067                 }
1068                 if (!strcmp(arg, "-a")) {
1069                         flags |= LS_FLAG_ADMISSIBLE_ONLY;
1070                         continue;
1071                 }
1072                 if (!strcmp(arg, "-r")) {
1073                         flags |= LS_FLAG_REVERSE;
1074                         continue;
1075                 }
1076                 if (!strncmp(arg, "-s", 2)) {
1077                         if (!*(arg + 2) || *(arg + 3))
1078                                 return -E_AFT_SYNTAX;
1079                         switch(*(arg + 2)) {
1080                         case 'p':
1081                                 sort = LS_SORT_BY_PATH;
1082                                 continue;
1083                         case 's': /* -ss implies -a */
1084                                 sort = LS_SORT_BY_SCORE;
1085                                 flags |= LS_FLAG_ADMISSIBLE_ONLY;
1086                                 continue;
1087                         case 'l':
1088                                 sort = LS_SORT_BY_LAST_PLAYED;
1089                                 continue;
1090                         case 'n':
1091                                 sort = LS_SORT_BY_NUM_PLAYED;
1092                                 continue;
1093                         case 'f':
1094                                 sort = LS_SORT_BY_FREQUENCY;
1095                                 continue;
1096                         case 'c':
1097                                 sort = LS_SORT_BY_CHANNELS;
1098                                 continue;
1099                         case 'i':
1100                                 sort = LS_SORT_BY_IMAGE_ID;
1101                                 continue;
1102                         case 'y':
1103                                 sort = LS_SORT_BY_LYRICS_ID;
1104                                 continue;
1105                         case 'b':
1106                                 sort = LS_SORT_BY_BITRATE;
1107                                 continue;
1108                         case 'd':
1109                                 sort = LS_SORT_BY_DURATION;
1110                                 continue;
1111                         case 'a':
1112                                 sort = LS_SORT_BY_AUDIO_FORMAT;
1113                                 continue;
1114                         default:
1115                                 return -E_AFT_SYNTAX;
1116                         }
1117                 }
1118                 return -E_AFT_SYNTAX;
1119         }
1120         time(&now);
1121         opts.flags = flags;
1122         opts.sorting = sort;
1123         opts.mode = mode;
1124         opts.num_patterns = argc - i;
1125         ret = send_option_arg_callback_request(&query, opts.num_patterns,
1126                 argv + i, com_ls_callback, &ls_output);
1127         if (ret > 0) {
1128                 ret = send_buffer(fd, (char *)ls_output.data);
1129                 free(ls_output.data);
1130         }
1131         return ret;
1132 }
1133
1134 /**
1135  * Call the given function for each file in the audio file table.
1136  *
1137  * \param private_data An arbitrary data pointer, passed to \a func.
1138  * \param func The custom function to be called.
1139  *
1140  * \return The return value of the underlying call to osl_rbtree_loop().
1141  */
1142 int audio_file_loop(void *private_data, osl_rbtree_loop_func *func)
1143 {
1144         return osl_rbtree_loop(audio_file_table, AFTCOL_HASH, private_data,
1145                 func);
1146 }
1147
1148 static struct osl_row *find_hash_sister(HASH_TYPE *hash)
1149 {
1150         const struct osl_object obj = {.data = hash, .size = HASH_SIZE};
1151         struct osl_row *row;
1152
1153         osl_get_row(audio_file_table, AFTCOL_HASH, &obj, &row);
1154         return row;
1155 }
1156
1157 enum aft_row_offsets {
1158         AFTROW_AFHI_OFFSET_POS = 0,
1159         AFTROW_CHUNKS_OFFSET_POS = 2,
1160         AFTROW_AUDIO_FORMAT_OFFSET = 4,
1161         AFTROW_FLAGS_OFFSET = 5,
1162         AFTROW_HASH_OFFSET = 9,
1163         AFTROW_PATH_OFFSET = (AFTROW_HASH_OFFSET + HASH_SIZE),
1164 };
1165
1166 /* never save the afsi, as the server knows it too. Note that afhi might be NULL.
1167  * In this case, afhi won't be stored in the buffer  */
1168 static void save_audio_file_info(HASH_TYPE *hash, const char *path,
1169                 struct audio_format_info *afhi, uint32_t flags,
1170                 uint8_t audio_format_num, struct osl_object *obj)
1171 {
1172         size_t path_len = strlen(path) + 1;
1173         size_t afhi_size = sizeof_afhi_buf(afhi);
1174         size_t size = AFTROW_PATH_OFFSET + path_len + afhi_size
1175                 + sizeof_chunk_info_buf(afhi);
1176         char *buf = para_malloc(size);
1177         uint16_t pos;
1178
1179         write_u8(buf + AFTROW_AUDIO_FORMAT_OFFSET, audio_format_num);
1180         write_u32(buf + AFTROW_FLAGS_OFFSET, flags);
1181
1182         memcpy(buf + AFTROW_HASH_OFFSET, hash, HASH_SIZE);
1183         strcpy(buf + AFTROW_PATH_OFFSET, path);
1184
1185         pos = AFTROW_PATH_OFFSET + path_len;
1186         PARA_DEBUG_LOG("size: %zu, afhi starts at %d\n", size, pos);
1187         PARA_DEBUG_LOG("last afhi byte: %p, pos %zu\n", buf + pos + afhi_size - 1,
1188                 pos + afhi_size - 1);
1189         write_u16(buf + AFTROW_AFHI_OFFSET_POS, pos);
1190         save_afhi(afhi, buf + pos);
1191
1192         pos += afhi_size;
1193         PARA_DEBUG_LOG("size: %zu, chunks start at %d\n", size, pos);
1194         write_u16(buf + AFTROW_CHUNKS_OFFSET_POS, pos);
1195         save_chunk_info(afhi, buf + pos);
1196         PARA_DEBUG_LOG("last byte in buf: %p\n", buf + size - 1);
1197         obj->data = buf;
1198         obj->size = size;
1199 }
1200
1201 /*
1202 input:
1203 ~~~~~~
1204 HS:     hash sister
1205 PB:     path brother
1206 F:      force flag given
1207
1208 output:
1209 ~~~~~~~
1210 AFHI:   whether afhi and chunk table are computed and sent
1211 ACTION: table modifications to be performed
1212
1213 +---+----+-----+------+---------------------------------------------------+
1214 | HS | PB | F  | AFHI | ACTION
1215 +---+----+-----+------+---------------------------------------------------+
1216 | Y |  Y |  Y  |  Y   | if HS != PB: remove PB. HS: force afhi update,
1217 |                     | update path, keep afsi
1218 +---+----+-----+------+---------------------------------------------------+
1219 | Y |  Y |  N  |  N   | if HS == PB: do not send callback request at all.
1220 |                     | otherwise: remove PB, HS: update path, keep afhi,
1221 |                     | afsi.
1222 +---+----+-----+------+---------------------------------------------------+
1223 | Y |  N |  Y  |  Y   | (rename) force afhi update of HS, update path of
1224 |                     | HS, keep afsi
1225 +---+----+-----+------+---------------------------------------------------+
1226 | Y |  N |  N  |  N   | (file rename) update path of HS, keep afsi, afhi
1227 +---+----+-----+------+---------------------------------------------------+
1228 | N |  Y |  Y  |  Y   | (file change) update afhi, hash, of PB, keep afsi
1229 |                     | (force has no effect)
1230 +---+----+-----+------+---------------------------------------------------+
1231 | N |  Y |  N  |  Y   | (file change) update afhi, hash of PB, keep afsi
1232 +---+----+-----+------+---------------------------------------------------+
1233 | N |  N |  Y  |  Y   | (new file) create new entry (force has no effect)
1234 +---+----+-----+------+---------------------------------------------------+
1235 | N |  N |  N  |  Y   | (new file) create new entry
1236 +---+----+-----+------+---------------------------------------------------+
1237
1238 afhi <=> force or no HS
1239
1240 */
1241
1242
1243 #define ADD_FLAG_LAZY 1
1244 #define ADD_FLAG_FORCE 2
1245 #define ADD_FLAG_VERBOSE 4
1246
1247 /* TODO: change log messages so that they get written to the result buffer */
1248
1249 static int com_add_callback(const struct osl_object *query,
1250                 __a_unused struct osl_object *result)
1251 {
1252         char *buf = query->data, *path;
1253         struct osl_row *pb, *aft_row;
1254         const struct osl_row *hs;
1255         struct osl_object objs[NUM_AFT_COLUMNS];
1256         HASH_TYPE *hash;
1257         char asc[2 * HASH_SIZE + 1];
1258         int ret;
1259         char afsi_buf[AFSI_SIZE];
1260         uint32_t flags = read_u32(buf + AFTROW_FLAGS_OFFSET);
1261         struct afs_info default_afsi = {.last_played = 0};
1262
1263         hash = (HASH_TYPE *)buf + AFTROW_HASH_OFFSET;
1264         hash_to_asc(hash, asc);;
1265         objs[AFTCOL_HASH].data = buf + AFTROW_HASH_OFFSET;
1266         objs[AFTCOL_HASH].size = HASH_SIZE;
1267
1268         path = buf + AFTROW_PATH_OFFSET;
1269         objs[AFTCOL_PATH].data = path;
1270         objs[AFTCOL_PATH].size = strlen(path) + 1;
1271
1272         PARA_DEBUG_LOG("request to add %s with hash %s\n", path, asc);
1273         hs = find_hash_sister(hash);
1274         ret = aft_get_row_of_path(path, &pb);
1275         if (ret < 0 && ret != -E_RB_KEY_NOT_FOUND)
1276                 return ret;
1277         if (hs && pb && hs == pb && !(flags & ADD_FLAG_FORCE)) {
1278                 if (flags & ADD_FLAG_VERBOSE)
1279                         PARA_NOTICE_LOG("ignoring duplicate %p\n", path);
1280                 return 1;
1281         }
1282         if (hs && hs != pb) {
1283                 struct osl_object obj;
1284                 if (pb) { /* hs trumps pb, remove pb */
1285                         if (flags & ADD_FLAG_VERBOSE)
1286                                 PARA_NOTICE_LOG("removing path brother\n");
1287                         ret = osl_del_row(audio_file_table, pb);
1288                         if (ret < 0)
1289                                 return ret;
1290                         pb = NULL;
1291                 }
1292                 /* file rename, update hs' path */
1293                 ret = osl_get_object(audio_file_table, hs, AFTCOL_PATH, &obj);
1294                 if (flags & ADD_FLAG_VERBOSE)
1295                         PARA_NOTICE_LOG("rename %s -> %s\n", (char *)obj.data, path);
1296                 ret = osl_update_object(audio_file_table, hs, AFTCOL_PATH,
1297                         &objs[AFTCOL_PATH]);
1298                 if (ret < 0)
1299                         return ret;
1300                 if (!(flags & ADD_FLAG_FORCE))
1301                         return ret;
1302         }
1303         /* no hs or force mode, child must have sent afhi */
1304         uint16_t afhi_offset = read_u16(buf + AFTROW_AFHI_OFFSET_POS);
1305         uint16_t chunks_offset = read_u16(buf + AFTROW_CHUNKS_OFFSET_POS);
1306
1307         objs[AFTCOL_AFHI].data = buf + afhi_offset;
1308         objs[AFTCOL_AFHI].size = chunks_offset - afhi_offset;
1309         if (!objs[AFTCOL_AFHI].size) /* "impossible" */
1310                 return -E_NO_AFHI;
1311         objs[AFTCOL_CHUNKS].data = buf + chunks_offset;
1312         objs[AFTCOL_CHUNKS].size = query->size - chunks_offset;
1313         if (pb && !hs) { /* update pb's hash */
1314                 char old_asc[2 * HASH_SIZE + 1];
1315                 HASH_TYPE *old_hash;
1316                 ret = get_hash_of_row(pb, &old_hash);
1317                 if (ret < 0)
1318                         return ret;
1319                 hash_to_asc(old_hash, old_asc);
1320                 if (flags & ADD_FLAG_VERBOSE)
1321                         PARA_NOTICE_LOG("file change: %s %s -> %s\n", path,
1322                                 old_asc, asc);
1323                 ret = osl_update_object(audio_file_table, pb, AFTCOL_HASH,
1324                         &objs[AFTCOL_HASH]);
1325                 if (ret < 0)
1326                         return ret;
1327         }
1328         if (hs || pb) { /* (hs != NULL and pb != NULL) implies hs == pb */
1329                 const void *row = pb? pb : hs;
1330                 /* update afhi and chunk_table */
1331                 if (flags & ADD_FLAG_VERBOSE)
1332                         PARA_NOTICE_LOG("updating audio format handler info (%zd bytes)\n",
1333                                 objs[AFTCOL_AFHI].size);
1334                 ret = osl_update_object(audio_file_table, row, AFTCOL_AFHI,
1335                         &objs[AFTCOL_AFHI]);
1336                 if (ret < 0)
1337                         return ret;
1338                 if (flags & ADD_FLAG_VERBOSE)
1339                         PARA_NOTICE_LOG("updating chunk table\n");
1340                 ret = osl_update_object(audio_file_table, row, AFTCOL_CHUNKS,
1341                         &objs[AFTCOL_CHUNKS]);
1342                 if (ret < 0)
1343                         return ret;
1344                 ret = mood_update_audio_file(row, NULL);
1345                 if (ret < 0)
1346                         return ret;
1347         }
1348         /* new entry, use default afsi */
1349         default_afsi.last_played = time(NULL) - 365 * 24 * 60 * 60;
1350         default_afsi.audio_format_id = read_u8(buf + AFTROW_AUDIO_FORMAT_OFFSET);
1351
1352         if (flags & ADD_FLAG_VERBOSE)
1353                 PARA_NOTICE_LOG("adding %s\n", path);
1354         objs[AFTCOL_AFSI].data = &afsi_buf;
1355         objs[AFTCOL_AFSI].size = AFSI_SIZE;
1356         save_afsi(&default_afsi, &objs[AFTCOL_AFSI]);
1357         ret = osl_add_and_get_row(audio_file_table, objs, &aft_row);
1358         if (ret < 0)
1359                 return ret;
1360         return mood_update_audio_file(aft_row, NULL);
1361 }
1362
1363 struct private_add_data {
1364         int fd;
1365         uint32_t flags;
1366 };
1367
1368 static int path_brother_callback(const struct osl_object *query,
1369                 struct osl_object *result)
1370 {
1371         char *path = query->data;
1372         struct osl_row *path_brother;
1373         int ret = aft_get_row_of_path(path, &path_brother);
1374         if (ret < 0)
1375                 return ret;
1376         result->data = para_malloc(sizeof(path_brother));
1377         result->size = sizeof(path_brother);
1378         *(struct osl_row **)(result->data) = path_brother;
1379         return 1;
1380 }
1381
1382 static int hash_sister_callback(const struct osl_object *query,
1383                 struct osl_object *result)
1384 {
1385         HASH_TYPE *hash = query->data;
1386         struct osl_row *hash_sister;
1387
1388         hash_sister = find_hash_sister(hash);
1389         if (!hash_sister)
1390                 return -E_RB_KEY_NOT_FOUND;
1391         result->data = para_malloc(sizeof(hash_sister));
1392         result->size = sizeof(hash_sister);
1393         *(struct osl_row **)(result->data) = hash_sister;
1394         return 1;
1395 }
1396
1397
1398 static int add_one_audio_file(const char *arg, const void *private_data)
1399 {
1400         int ret;
1401         uint8_t format_num = -1;
1402         const struct private_add_data *pad = private_data;
1403         struct audio_format_info afhi, *afhi_ptr = NULL;
1404         struct osl_row *pb = NULL, *hs = NULL; /* path brother/hash sister */
1405         struct osl_object map, obj = {.data = NULL}, query, result;
1406         char *path;
1407         HASH_TYPE hash[HASH_SIZE];
1408
1409         afhi.header_offset = 0;
1410         afhi.header_len = 0;
1411         ret = verify_path(arg, &path);
1412         if (ret < 0)
1413                 return ret;
1414         query.data = path;
1415         query.size = strlen(path) + 1;
1416         ret = send_callback_request(path_brother_callback, &query, &result);
1417         if (ret < 0 && ret != -E_RB_KEY_NOT_FOUND)
1418                 goto out_free;
1419         if (ret >= 0) {
1420                 pb = *(struct osl_row **)result.data;
1421                 free(result.data);
1422         }
1423         ret = 1;
1424         if (pb && (pad->flags & ADD_FLAG_LAZY)) { /* lazy is really cheap */
1425                 if (pad->flags & ADD_FLAG_VERBOSE)
1426                         ret = send_va_buffer(pad->fd, "lazy-ignore: %s\n", path);
1427                 goto out_free;
1428         }
1429         /* We still want to add this file. Compute its hash. */
1430         ret = mmap_full_file(path, O_RDONLY, &map);
1431         if (ret < 0)
1432                 goto out_free;
1433         hash_function(map.data, map.size, hash);
1434
1435         /* Check whether database contains file with the same hash. */
1436         query.data = hash;
1437         query.size = HASH_SIZE;
1438         ret = send_callback_request(hash_sister_callback, &query, &result);
1439         if (ret < 0 && ret != -E_RB_KEY_NOT_FOUND)
1440                 goto out_free;
1441         if (ret >= 0) {
1442                 hs = *(struct osl_row **)result.data;
1443                 free(result.data);
1444         }
1445         /* Return success if we already know this file. */
1446         ret = 1;
1447         if (pb && hs && hs == pb && (!(pad->flags & ADD_FLAG_FORCE))) {
1448                 if (pad->flags & ADD_FLAG_VERBOSE)
1449                         ret = send_va_buffer(pad->fd,
1450                                 "not forcing update: %s\n", path);
1451                 goto out_unmap;
1452         }
1453         /*
1454          * we won't recalculate the audio format info and the chunk table if
1455          * there is a hash sister unless in FORCE mode.
1456          */
1457         if (!hs || (pad->flags & ADD_FLAG_FORCE)) {
1458                 ret = compute_afhi(path, map.data, map.size, &afhi);
1459                 if (ret < 0)
1460                         goto out_unmap;
1461                 format_num = ret;
1462                 afhi_ptr = &afhi;
1463         }
1464         munmap(map.data, map.size);
1465         save_audio_file_info(hash, path, afhi_ptr, pad->flags, format_num, &obj);
1466         /* Ask afs to consider this entry for adding. */
1467         ret = send_callback_request(com_add_callback, &obj, NULL);
1468         goto out_free;
1469
1470 out_unmap:
1471         munmap(map.data, map.size);
1472 out_free:
1473         if (ret < 0)
1474                 send_va_buffer(pad->fd, "failed to add %s (%s)\n", path,
1475                         PARA_STRERROR(-ret));
1476         free(obj.data);
1477         free(path);
1478         if (afhi_ptr)
1479                 free(afhi_ptr->chunk_table);
1480         return 1; /* it's not an error if not all files could be added */
1481 }
1482
1483 int com_add(int fd, int argc, char * const * const argv)
1484 {
1485         int i, ret;
1486         struct private_add_data pad = {.fd = fd, .flags = 0};
1487         struct stat statbuf;
1488
1489         PARA_NOTICE_LOG("argv[1]: %s\n", argv[1]);
1490         for (i = 1; i < argc; i++) {
1491                 const char *arg = argv[i];
1492                 if (arg[0] != '-')
1493                         break;
1494                 if (!strcmp(arg, "--")) {
1495                         i++;
1496                         break;
1497                 }
1498                 if (!strcmp(arg, "-l")) {
1499                         pad.flags |= ADD_FLAG_LAZY;
1500                         continue;
1501                 }
1502                 if (!strcmp(arg, "-f")) {
1503                         pad.flags |= ADD_FLAG_FORCE;
1504                         continue;
1505                 }
1506                 if (!strcmp(arg, "-v")) {
1507                         pad.flags |= ADD_FLAG_VERBOSE;
1508                         continue;
1509                 }
1510         }
1511         if (argc <= i)
1512                 return -E_AFT_SYNTAX;
1513         for (; i < argc; i++) {
1514                 ret = stat(argv[i], &statbuf);
1515                 if (ret < 0)
1516                         return -E_AFS_STAT;
1517                 if (S_ISDIR(statbuf.st_mode)) {
1518                         ret = for_each_file_in_dir(argv[i],
1519                                 add_one_audio_file, &pad);
1520                         continue;
1521                 }
1522                 ret = add_one_audio_file(argv[i], &pad);
1523         }
1524         ret = 1;
1525         return ret;
1526
1527 }
1528
1529 struct com_touch_options {
1530         long num_played;
1531         long last_played;
1532         long lyrics_id;
1533         long image_id;
1534 };
1535
1536 static int com_touch_callback(const struct osl_object *query,
1537                 __a_unused struct osl_object *result)
1538 {
1539         struct com_touch_options *cto = query->data;
1540         char *p = (char *)query->data + sizeof(*cto);
1541         size_t len;
1542         int ret, no_options = cto->num_played < 0 && cto->last_played < 0 &&
1543                 cto->lyrics_id < 0 && cto->image_id < 0;
1544
1545         for (;p < (char *)query->data + query->size; p += len + 1) {
1546                 struct afs_info old_afsi, new_afsi;
1547                 struct osl_object obj;
1548                 struct osl_row *row;
1549
1550                 len = strlen(p);
1551                 ret = aft_get_row_of_path(p, &row);
1552                 if (ret < 0)
1553                         return ret;
1554                 ret = get_afsi_object_of_row(row, &obj);
1555                 if (ret < 0)
1556                         return ret;
1557                 ret = load_afsi(&old_afsi, &obj);
1558                 if (ret < 0)
1559                         return ret;
1560                 new_afsi = old_afsi;
1561                 if (no_options) {
1562                         new_afsi.num_played++;
1563                         new_afsi.last_played = time(NULL);
1564                 } else {
1565                         if (cto->lyrics_id >= 0)
1566                                 new_afsi.lyrics_id = cto->lyrics_id;
1567                         if (cto->image_id >= 0)
1568                                 new_afsi.image_id = cto->image_id;
1569                         if (cto->num_played >= 0)
1570                                 new_afsi.num_played = cto->num_played;
1571                         if (cto->last_played >= 0)
1572                                 new_afsi.last_played = cto->last_played;
1573                 }
1574                 save_afsi(&new_afsi, &obj); /* in-place update */
1575                 ret = mood_update_audio_file(row, &old_afsi);
1576                 if (ret < 0)
1577                         return ret;
1578         }
1579         return 1;
1580 }
1581
1582 int com_touch(__a_unused int fd, int argc, char * const * const argv)
1583 {
1584         struct com_touch_options cto = {
1585                 .num_played = -1,
1586                 .last_played = -1,
1587                 .lyrics_id = -1,
1588                 .image_id = -1
1589         };
1590         struct osl_object options = {.data = &cto, .size = sizeof(cto)};
1591         int i, ret;
1592
1593
1594         for (i = 1; i < argc; i++) {
1595                 const char *arg = argv[i];
1596                 if (arg[0] != '-')
1597                         break;
1598                 if (!strcmp(arg, "--")) {
1599                         i++;
1600                         break;
1601                 }
1602                 if (!strncmp(arg, "-n", 2)) {
1603                         ret = para_atol(arg + 2, &cto.num_played);
1604                         if (ret < 0)
1605                                 goto err;
1606                         continue;
1607                 }
1608                 if (!strncmp(arg, "-l", 2)) {
1609                         ret = para_atol(arg + 2, &cto.last_played);
1610                         if (ret < 0)
1611                                 goto err;
1612                         continue;
1613                 }
1614                 if (!strncmp(arg, "-y", 2)) {
1615                         ret = para_atol(arg + 2, &cto.lyrics_id);
1616                         if (ret < 0)
1617                                 goto err;
1618                         continue;
1619                 }
1620                 if (!strncmp(arg, "-i", 2)) {
1621                         ret = para_atol(arg + 2, &cto.image_id);
1622                         if (ret < 0)
1623                                 goto err;
1624                         continue;
1625                 }
1626         }
1627         ret = -E_AFT_SYNTAX;
1628         if (i >= argc)
1629                 goto err;
1630         return send_option_arg_callback_request(&options, argc - i,
1631                 argv + i, com_touch_callback, NULL);
1632 err:
1633         return ret;
1634 }
1635
1636 struct com_rm_options {
1637         uint32_t flags;
1638 };
1639
1640 static int com_rm_callback(const struct osl_object *query,
1641                 __a_unused struct osl_object *result)
1642 {
1643         struct com_rm_options *cro = query->data;
1644         char *p = (char *)query->data + sizeof(*cro);
1645         size_t len;
1646         int ret;
1647
1648         for (;p < (char *)query->data + query->size; p += len + 1) {
1649                 struct osl_row *row;
1650
1651                 len = strlen(p);
1652                 ret = aft_get_row_of_path(p, &row);
1653                 if (ret < 0)
1654                         return ret;
1655                 ret = mood_delete_audio_file(row);
1656                 if (ret < 0)
1657                         return ret;
1658                 ret = osl_del_row(audio_file_table, row);
1659                 if (ret < 0)
1660                         return ret;
1661         }
1662         return 1;
1663 }
1664
1665 /*
1666  * TODO options: -v verbose, -f dont stop if file not found
1667  * -h remove by hash, use fnmatch
1668  *
1669  * */
1670
1671 int com_afs_rm(__a_unused int fd, int argc,  char * const * const argv)
1672 {
1673         struct com_rm_options cro = {.flags = 0};
1674         struct osl_object options = {.data = &cro, .size = sizeof(cro)};
1675         int i, ret;
1676
1677         for (i = 1; i < argc; i++) {
1678                 const char *arg = argv[i];
1679                 if (arg[0] != '-')
1680                         break;
1681                 if (!strcmp(arg, "--")) {
1682                         i++;
1683                         break;
1684                 }
1685         }
1686         ret = -E_AFT_SYNTAX;
1687         if (i >= argc)
1688                 goto err;
1689         return send_option_arg_callback_request(&options, argc - i,
1690                 argv + i, com_rm_callback, NULL);
1691 err:
1692         return ret;
1693 }
1694
1695 /**
1696  * Close the audio file table.
1697  *
1698  * \param flags Ususal flags that are passed to osl_close_table().
1699  *
1700  * \sa osl_close_table().
1701  */
1702 void aft_shutdown(enum osl_close_flags flags)
1703 {
1704         osl_close_table(audio_file_table, flags);
1705 }
1706
1707 /**
1708  * Open the audio file table.
1709  *
1710  * \param ti Gets initialized by this function.
1711  * \param db The database directory.
1712  *
1713  * \return Positive on success, negative on errors.
1714  *
1715  * \sa osl_open_table().
1716  */
1717 int aft_init(struct table_info *ti, const char *db)
1718 {
1719         int ret;
1720
1721         audio_file_table_desc.dir = db;
1722         ti->desc = &audio_file_table_desc;
1723         ret = osl_open_table(ti->desc, &ti->table);
1724         if (ret >= 0) {
1725                 unsigned num;
1726                 audio_file_table = ti->table;
1727                 osl_get_num_rows(audio_file_table, &num);
1728                 PARA_INFO_LOG("audio file table contains %d files\n", num);
1729                 return ret;
1730         }
1731         PARA_INFO_LOG("failed to open audio file table\n");
1732         audio_file_table = NULL;
1733         return ret == -E_NOENT? 1 : ret;
1734 }