Merge branch 'maint'
authorAndre Noll <maan@tuebingen.mpg.de>
Mon, 13 Nov 2017 16:23:14 +0000 (17:23 +0100)
committerAndre Noll <maan@tuebingen.mpg.de>
Mon, 13 Nov 2017 16:23:14 +0000 (17:23 +0100)
* maint:
  Fix snapshot removal reason.

1  2 
dss.c

diff --combined dss.c
--- 1/dss.c
--- 2/dss.c
+++ b/dss.c
  #include <sys/wait.h>
  #include <fnmatch.h>
  #include <limits.h>
 -
 +#include <fcntl.h>
 +#include <lopsub.h>
 +#include <sys/mman.h>
  
  #include "gcc-compat.h"
 -#include "cmdline.h"
  #include "log.h"
  #include "str.h"
  #include "err.h"
  #include "tv.h"
  #include "snap.h"
  #include "ipc.h"
 +#include "dss.lsg.h"
 +
 +#define CMD_PTR(_cname) lls_cmd(LSG_DSS_CMD_ ## _cname, dss_suite)
 +#define OPT_RESULT(_cname, _oname) (lls_opt_result(\
 +      LSG_DSS_ ## _cname ## _OPT_ ## _oname, (CMD_PTR(_cname) == CMD_PTR(DSS))? lpr : sublpr))
 +#define OPT_GIVEN(_cname, _oname) (lls_opt_given(OPT_RESULT(_cname, _oname)))
 +#define OPT_STRING_VAL(_cname, _oname) (lls_string_val(0, \
 +      OPT_RESULT(_cname, _oname)))
 +#define OPT_UINT32_VAL(_cname, _oname) (lls_uint32_val(0, \
 +              OPT_RESULT(_cname, _oname)))
 +
 +struct dss_user_data {int (*handler)(void);};
 +#define EXPORT_CMD_HANDLER(_cmd) const struct dss_user_data \
 +      lsg_dss_com_ ## _cmd ## _user_data = { \
 +              .handler = com_ ## _cmd \
 +      };
 +
 +/*
 + * Command line and active options. We need to keep a copy of the parsed
 + * command line options for the SIGHUP case where we merge the command line
 + * options and the new config file options.
 + */
 +static struct lls_parse_result *cmdline_lpr, *lpr;
  
 -/** Command line and config file options. */
 -static struct gengetopt_args_info conf;
 +/** Parsed subcommand options. */
 +static struct lls_parse_result *cmdline_sublpr, *sublpr;
 +/** Wether daemon_init() was called. */
 +static bool daemonized;
  /** Non-NULL if we log to a file. */
  static FILE *logfile;
  /** The read end of the signal pipe */
@@@ -101,7 -75,6 +101,7 @@@ static const char *hook_status_descript
  static int disk_space_low(struct disk_space *ds)
  {
        struct disk_space ds_struct;
 +      uint32_t val;
  
        if (!ds) {
                int ret = get_disk_space(".", &ds_struct);
                        return ret;
                ds = &ds_struct;
        }
 -      if (conf.min_free_mb_arg)
 -              if (ds->free_mb < conf.min_free_mb_arg)
 +      val = OPT_UINT32_VAL(DSS, MIN_FREE_MB);
 +      if (val != 0)
 +              if (ds->free_mb < val)
                        return 1;
 -      if (conf.min_free_percent_arg)
 -              if (ds->percent_free < conf.min_free_percent_arg)
 +      val = OPT_UINT32_VAL(DSS, MIN_FREE_PERCENT);
 +      if (val != 0)
 +              if (ds->percent_free < val)
                        return 1;
 -      if (conf.min_free_percent_inodes_arg)
 -              if (ds->percent_free_inodes < conf.min_free_percent_inodes_arg)
 +      val = OPT_UINT32_VAL(DSS, MIN_FREE_PERCENT_INODES);
 +      if (val != 0)
 +              if (ds->percent_free_inodes < val)
                        return 1;
        return 0;
  }
  static void dump_dss_config(const char *msg)
  {
        const char dash[] = "-----------------------------";
 +      char *lopsub_dump;
        int ret;
        FILE *log = logfile? logfile : stderr;
        struct disk_space ds;
        int64_t now = get_current_time();
  
 -      if (conf.loglevel_arg > INFO)
 +      if (OPT_UINT32_VAL(DSS, LOGLEVEL) > INFO)
                return;
  
        fprintf(log, "%s <%s config> %s\n", dash, msg, dash);
  
        /* we continue on errors from get_disk_space */
  
 -      fprintf(log, "\n*** command line and config file options ***\n\n");
 -      cmdline_parser_dump(log, &conf);
 +      fprintf(log, "\n*** non-default options ***\n\n");
 +      lopsub_dump = lls_dump_parse_result(lpr, CMD_PTR(DSS), true);
 +      fprintf(log, "%s", lopsub_dump);
 +      free(lopsub_dump);
 +      fprintf(log, "\n*** non-default options for \"run\" ***\n\n");
 +      lopsub_dump = lls_dump_parse_result(lpr, CMD_PTR(RUN), true);
 +      fprintf(log, "%s", lopsub_dump);
 +      free(lopsub_dump);
        fprintf(log, "\n*** internal state ***\n\n");
        fprintf(log,
                "pid: %d\n"
                "num_consecutive_rsync_errors: %d\n"
                ,
                (int) getpid(),
 -              logfile? conf.logfile_arg : "stderr",
 +              logfile? OPT_STRING_VAL(RUN, LOGFILE) : "stderr",
                snapshot_currently_being_removed?
                        snapshot_currently_being_removed->name : "(none)",
                path_to_last_complete_snapshot?
        fprintf(log, "%s </%s config> %s\n", dash, msg, dash);
  }
  
 -/* a litte cpp magic helps to DRY */
 -#define COMMANDS \
 -      COMMAND(ls) \
 -      COMMAND(create) \
 -      COMMAND(prune) \
 -      COMMAND(run) \
 -      COMMAND(kill) \
 -      COMMAND(reload) \
 -
 -#define COMMAND(x) static int com_ ##x(void);
 -COMMANDS
 -#undef COMMAND
 -#define COMMAND(x) if (conf.x ##_given) return com_ ##x();
 -static int call_command_handler(void)
 -{
 -      COMMANDS
 -      DSS_EMERG_LOG(("BUG: did not find command handler\n"));
 -      return -E_BUG;
 -}
 -#undef COMMAND
 -#undef COMMANDS
 -
  static int loglevel = -1;
  static const char *location_file = NULL;
  static int         location_line = -1;
@@@ -237,16 -222,15 +237,16 @@@ __printf_1_2 void dss_log(const char* f
        struct tm *tm;
        time_t t1;
        char str[255] = "";
 +      int lpr_ll = lpr? OPT_UINT32_VAL(DSS, LOGLEVEL) : WARNING;
  
 -      if (loglevel < conf.loglevel_arg)
 +      if (loglevel < lpr_ll)
                return;
        outfd = logfile? logfile : stderr;
        time(&t1);
        tm = localtime(&t1);
        strftime(str, sizeof(str), "%b %d %H:%M:%S", tm);
        fprintf(outfd, "%s ", str);
 -      if (conf.loglevel_arg <= INFO)
 +      if (lpr_ll <= INFO)
                fprintf(outfd, "%i: ", loglevel);
  #ifdef DSS_NO_FUNC_NAMES
        fprintf(outfd, "%s:%d: ", location_file, location_line);
   */
  static __printf_1_2 void dss_msg(const char* fmt,...)
  {
 -      FILE *outfd = conf.daemon_given? logfile : stdout;
 +      FILE *outfd = logfile? logfile : stdout;
        va_list argp;
        va_start(argp, fmt);
        vfprintf(outfd, fmt, argp);
@@@ -274,8 -258,8 +274,8 @@@ static char *get_config_file_name(void
  {
        char *home, *config_file;
  
 -      if (conf.config_file_given)
 -              return dss_strdup(conf.config_file_arg);
 +      if (OPT_GIVEN(DSS, CONFIG_FILE))
 +              return dss_strdup(OPT_STRING_VAL(DSS, CONFIG_FILE));
        home = get_homedir();
        config_file = make_message("%s/.dssrc", home);
        free(home);
@@@ -291,7 -275,7 +291,7 @@@ static int send_signal(int sig
        free(config_file);
        if (ret < 0)
                return ret;
 -      if (conf.dry_run_given) {
 +      if (OPT_GIVEN(DSS, DRY_RUN)) {
                dss_msg("%d\n", (int)pid);
                return 0;
        }
        return 1;
  }
  
 +struct signal_info {
 +      const char * const name;
 +      int num;
 +};
 +
 +/*
 + * The table below was taken 2016 from proc/sig.c of procps-3.2.8. Copyright
 + * 1998-2003 by Albert Cahalan, GPLv2.
 + */
 +static const struct signal_info signal_table[] = {
 +      {"ABRT",   SIGABRT},  /* IOT */
 +      {"ALRM",   SIGALRM},
 +      {"BUS",    SIGBUS},
 +      {"CHLD",   SIGCHLD},  /* CLD */
 +      {"CONT",   SIGCONT},
 +      {"FPE",    SIGFPE},
 +      {"HUP",    SIGHUP},
 +      {"ILL",    SIGILL},
 +      {"INT",    SIGINT},
 +      {"KILL",   SIGKILL},
 +      {"PIPE",   SIGPIPE},
 +#ifdef SIGPOLL
 +      {"POLL",   SIGPOLL},  /* IO */
 +#endif
 +      {"PROF",   SIGPROF},
 +#ifdef SIGPWR
 +      {"PWR",    SIGPWR},
 +#endif
 +      {"QUIT",   SIGQUIT},
 +      {"SEGV",   SIGSEGV},
 +#ifdef SIGSTKFLT
 +      {"STKFLT", SIGSTKFLT},
 +#endif
 +      {"STOP",   SIGSTOP},
 +      {"SYS",    SIGSYS},   /* UNUSED */
 +      {"TERM",   SIGTERM},
 +      {"TRAP",   SIGTRAP},
 +      {"TSTP",   SIGTSTP},
 +      {"TTIN",   SIGTTIN},
 +      {"TTOU",   SIGTTOU},
 +      {"URG",    SIGURG},
 +      {"USR1",   SIGUSR1},
 +      {"USR2",   SIGUSR2},
 +      {"VTALRM", SIGVTALRM},
 +      {"WINCH",  SIGWINCH},
 +      {"XCPU",   SIGXCPU},
 +      {"XFSZ",   SIGXFSZ}
 +};
 +
 +#define SIGNAL_TABLE_SIZE (sizeof(signal_table) / sizeof(signal_table[0]))
 +#ifndef SIGRTMAX
 +#define SIGRTMAX 64
 +#endif
 +
  static int com_kill(void)
  {
 -      return send_signal(SIGTERM);
 -}
 +      const char *arg = OPT_STRING_VAL(KILL, SIGNAL);
 +      int ret, i;
  
 -static int com_reload(void)
 -{
 -      return send_signal(SIGHUP);
 +      if (*arg >= '0' && *arg <= '9') {
 +              int64_t val;
 +              ret = dss_atoi64(arg, &val);
 +              if (ret < 0)
 +                      return ret;
 +              if (val < 0 || val > SIGRTMAX)
 +                      return -ERRNO_TO_DSS_ERROR(EINVAL);
 +              return send_signal(val);
 +      }
 +      if (strncasecmp(arg, "sig", 3) == 0)
 +              arg += 3;
 +      if (strcasecmp(arg, "CLD") == 0)
 +              return send_signal(SIGCHLD);
 +      if (strcasecmp(arg, "IOT") == 0)
 +              return send_signal(SIGABRT);
 +      for (i = 0; i < SIGNAL_TABLE_SIZE; i++)
 +              if (strcasecmp(arg, signal_table[i].name) == 0)
 +                      return send_signal(signal_table[i].num);
 +      DSS_ERROR_LOG(("invalid sigspec: %s\n", arg));
 +      return -ERRNO_TO_DSS_ERROR(EINVAL);
  }
 +EXPORT_CMD_HANDLER(kill);
  
  static void dss_get_snapshot_list(struct snapshot_list *sl)
  {
 -      get_snapshot_list(sl, conf.unit_interval_arg, conf.num_intervals_arg);
 +      get_snapshot_list(sl, OPT_UINT32_VAL(DSS, UNIT_INTERVAL),
 +              OPT_UINT32_VAL(DSS, NUM_INTERVALS));
  }
  
  static int64_t compute_next_snapshot_time(void)
  {
        int64_t x = 0, now = get_current_time(), unit_interval
 -              = 24 * 3600 * conf.unit_interval_arg, ret;
 -      unsigned wanted = desired_number_of_snapshots(0, conf.num_intervals_arg),
 +              = 24 * 3600 * OPT_UINT32_VAL(DSS, UNIT_INTERVAL), ret;
 +      unsigned wanted = desired_number_of_snapshots(0,
 +              OPT_UINT32_VAL(DSS, NUM_INTERVALS)),
                num_complete = 0;
        int i;
        struct snapshot *s = NULL;
@@@ -451,8 -361,8 +451,8 @@@ static void pre_create_hook(void
        assert(snapshot_creation_status == HS_READY);
        /* make sure that the next snapshot time will be recomputed */
        invalidate_next_snapshot_time();
 -      DSS_DEBUG_LOG(("executing %s\n", conf.pre_create_hook_arg));
 -      dss_exec_cmdline_pid(&create_pid, conf.pre_create_hook_arg);
 +      DSS_DEBUG_LOG(("executing %s\n", OPT_STRING_VAL(DSS, PRE_CREATE_HOOK)));
 +      dss_exec_cmdline_pid(&create_pid, OPT_STRING_VAL(DSS, PRE_CREATE_HOOK));
        snapshot_creation_status = HS_PRE_RUNNING;
  }
  
@@@ -471,8 -381,8 +471,8 @@@ static void pre_remove_hook(struct snap
        *snapshot_currently_being_removed = *s;
        snapshot_currently_being_removed->name = dss_strdup(s->name);
  
 -      cmd = make_message("%s %s/%s", conf.pre_remove_hook_arg,
 -              conf.dest_dir_arg, s->name);
 +      cmd = make_message("%s %s/%s", OPT_STRING_VAL(DSS, PRE_REMOVE_HOOK),
 +              OPT_STRING_VAL(DSS, DEST_DIR), s->name);
        DSS_DEBUG_LOG(("executing %s\n", cmd));
        dss_exec_cmdline_pid(&remove_pid, cmd);
        free(cmd);
@@@ -559,11 -469,10 +559,11 @@@ static struct snapshot *find_redundant_
        int i, interval;
        struct snapshot *s;
        unsigned missing = 0;
 +      uint32_t N = OPT_UINT32_VAL(DSS, NUM_INTERVALS);
  
        DSS_DEBUG_LOG(("looking for intervals containing too many snapshots\n"));
 -      for (interval = conf.num_intervals_arg - 1; interval >= 0; interval--) {
 -              unsigned keep = desired_number_of_snapshots(interval, conf.num_intervals_arg);
 +      for (interval = N - 1; interval >= 0; interval--) {
 +              unsigned keep = desired_number_of_snapshots(interval, N);
                unsigned num = sl->interval_count[interval];
                struct snapshot *victim = NULL, *prev = NULL;
                int64_t score = LONG_MAX;
@@@ -613,13 -522,13 +613,13 @@@ static struct snapshot *find_outdated_s
        struct snapshot *s;
  
        DSS_DEBUG_LOG(("looking for snapshots belonging to intervals >= %d\n",
 -              conf.num_intervals_arg));
 +              OPT_UINT32_VAL(DSS, NUM_INTERVALS)));
        FOR_EACH_SNAPSHOT(s, i, sl) {
                if (snapshot_is_being_created(s))
                        continue;
                if (is_reference_snapshot(s))
                        continue;
 -              if (s->interval < conf.num_intervals_arg)
 +              if (s->interval < OPT_UINT32_VAL(DSS, NUM_INTERVALS))
                        continue;
                return s;
        }
@@@ -632,7 -541,7 +632,7 @@@ static struct snapshot *find_oldest_rem
        struct snapshot *s, *ref = NULL;
  
        num_complete = num_complete_snapshots(sl);
 -      if (num_complete <= conf.min_complete_arg)
 +      if (num_complete <= OPT_UINT32_VAL(DSS, MIN_COMPLETE))
                return NULL;
        FOR_EACH_SNAPSHOT(s, i, sl) {
                if (snapshot_is_being_created(s))
@@@ -692,7 -601,7 +692,7 @@@ static int try_to_free_disk_space(void
        if (tv_diff(&next_removal_check, &now, NULL) > 0)
                return 0;
        if (!low_disk_space) {
 -              if (conf.keep_redundant_given)
 +              if (OPT_GIVEN(DSS, KEEP_REDUNDANT))
                        return 0;
                if (snapshot_creation_status != HS_READY)
                        return 0;
         * snapshots than configured, plus one. This way there is always one
         * snapshot that can be recycled.
         */
 -      if (!low_disk_space && sl.num_snapshots <= 1 << conf.num_intervals_arg)
 +      if (!low_disk_space && sl.num_snapshots <=
 +                      1 << OPT_UINT32_VAL(DSS, NUM_INTERVALS))
                goto out;
        why = "outdated";
        victim = find_outdated_snapshot(&sl);
        if (!low_disk_space)
                goto out;
        DSS_WARNING_LOG(("disk space low and nothing obvious to remove\n"));
+       why = "oldest";
        victim = find_oldest_removable_snapshot(&sl);
        if (victim)
                goto remove;
@@@ -744,9 -653,8 +745,9 @@@ out
  
  static void post_create_hook(void)
  {
 -      char *cmd = make_message("%s %s/%s", conf.post_create_hook_arg,
 -              conf.dest_dir_arg, path_to_last_complete_snapshot);
 +      char *cmd = make_message("%s %s/%s",
 +              OPT_STRING_VAL(DSS, POST_CREATE_HOOK),
 +              OPT_STRING_VAL(DSS, DEST_DIR), path_to_last_complete_snapshot);
        DSS_NOTICE_LOG(("executing %s\n", cmd));
        dss_exec_cmdline_pid(&create_pid, cmd);
        free(cmd);
@@@ -760,8 -668,8 +761,8 @@@ static void post_remove_hook(void
  
        assert(s);
  
 -      cmd = make_message("%s %s/%s", conf.post_remove_hook_arg,
 -              conf.dest_dir_arg, s->name);
 +      cmd = make_message("%s %s/%s", OPT_STRING_VAL(DSS, POST_REMOVE_HOOK),
 +              OPT_STRING_VAL(DSS, DEST_DIR), s->name);
        DSS_NOTICE_LOG(("executing %s\n", cmd));
        dss_exec_cmdline_pid(&remove_pid, cmd);
        free(cmd);
@@@ -957,12 -865,11 +958,12 @@@ static int handle_rsync_exit(int status
        if (es != 0 && es != 24) {
                DSS_WARNING_LOG(("rsync exit code %d, error count %d\n",
                        es, ++num_consecutive_rsync_errors));
 -              if (conf.create_given) {
 +              if (!logfile) { /* called by com_run() */
                        ret = -E_BAD_EXIT_CODE;
                        goto out;
                }
 -              if (num_consecutive_rsync_errors > conf.max_rsync_errors_arg) {
 +              if (num_consecutive_rsync_errors >
 +                              OPT_UINT32_VAL(RUN, MAX_RSYNC_ERRORS)) {
                        ret = -E_TOO_MANY_RSYNC_ERRORS;
                        snapshot_creation_status = HS_READY;
                        goto out;
@@@ -999,7 -906,7 +1000,7 @@@ static int handle_pre_create_hook_exit(
        if (es) {
                if (!warn_count--) {
                        DSS_NOTICE_LOG(("pre_create_hook %s returned %d\n",
 -                              conf.pre_create_hook_arg, es));
 +                              OPT_STRING_VAL(DSS, PRE_CREATE_HOOK), es));
                        DSS_NOTICE_LOG(("deferring snapshot creation...\n"));
                        warn_count = 60; /* warn only once per hour */
                }
@@@ -1053,160 -960,85 +1054,160 @@@ static int handle_sigchld(void
        return -E_BUG;
  }
  
 -static int check_config(void)
 +static int change_to_dest_dir(void)
  {
 -      if (conf.unit_interval_arg <= 0) {
 -              DSS_ERROR_LOG(("bad unit interval: %i\n", conf.unit_interval_arg));
 +      int ret;
 +      const char *dd = OPT_STRING_VAL(DSS, DEST_DIR);
 +
 +      DSS_INFO_LOG(("changing cwd to %s\n", dd));
 +      if (chdir(dd) >= 0)
 +              return 1;
 +      ret = -ERRNO_TO_DSS_ERROR(errno);
 +      DSS_ERROR_LOG(("could not change cwd to %s\n", dd));
 +      return ret;
 +}
 +
 +static int check_config(const struct lls_command *cmd)
 +{
 +      int ret;
 +      uint32_t unit_interval = OPT_UINT32_VAL(DSS, UNIT_INTERVAL);
 +      uint32_t num_intervals = OPT_UINT32_VAL(DSS, NUM_INTERVALS);
 +
 +      if (unit_interval == 0) {
 +              DSS_ERROR_LOG(("bad unit interval: %i\n", unit_interval));
                return -E_INVALID_NUMBER;
        }
 -      DSS_DEBUG_LOG(("unit interval: %i day(s)\n", conf.unit_interval_arg));
 -      if (conf.num_intervals_arg <= 0 || conf.num_intervals_arg > 30) {
 -              DSS_ERROR_LOG(("bad number of intervals: %i\n",
 -                      conf.num_intervals_arg));
 +      DSS_DEBUG_LOG(("unit interval: %i day(s)\n", unit_interval));
 +
 +      if (num_intervals == 0 || num_intervals > 30) {
 +              DSS_ERROR_LOG(("bad number of intervals: %i\n", num_intervals));
                return -E_INVALID_NUMBER;
        }
 -      DSS_DEBUG_LOG(("number of intervals: %i\n", conf.num_intervals_arg));
 +      if (cmd == CMD_PTR(RUN) || cmd == CMD_PTR(CREATE))
 +              if (!OPT_GIVEN(DSS, SOURCE_DIR)) {
 +                      DSS_ERROR_LOG(("--source-dir required\n"));
 +                      return -E_SYNTAX;
 +              }
 +      if (cmd == CMD_PTR(RUN) || cmd == CMD_PTR(CREATE)
 +                      || cmd == CMD_PTR(LS) || cmd == CMD_PTR(PRUNE)) {
 +              if (!OPT_GIVEN(DSS, DEST_DIR)) {
 +                      DSS_ERROR_LOG(("--dest-dir required\n"));
 +                      return -E_SYNTAX;
 +              }
 +              ret = change_to_dest_dir();
 +              if (ret < 0)
 +                      return ret;
 +      }
 +      DSS_DEBUG_LOG(("number of intervals: %i\n", num_intervals));
        return 1;
  }
  
 -/*
 - * Returns < 0 on errors, 0 if no config file is given and > 0 if the config
 - * file was read successfully.
 - */
 -static int parse_config_file(bool sighup)
 +static int lopsub_error(int lopsub_ret, char **errctx)
  {
 -      int ret, config_file_exists;
 +      const char *msg = lls_strerror(-lopsub_ret);
 +      if (*errctx)
 +              DSS_ERROR_LOG(("%s: %s\n", *errctx, msg));
 +      else
 +              DSS_ERROR_LOG(("%s\n", msg));
 +      free(*errctx);
 +      *errctx = NULL;
 +      return -E_LOPSUB;
 +}
 +
 +static int parse_config_file(bool sighup, const struct lls_command *cmd)
 +{
 +      int ret, fd = -1;
        char *config_file = get_config_file_name();
        struct stat statbuf;
 -      char *old_logfile_arg = NULL;
 -      int old_daemon_given = 0;
 -
 -      if (sighup) {
 -              if (conf.logfile_given)
 -                      old_logfile_arg = dss_strdup(conf.logfile_arg);
 -              old_daemon_given = conf.daemon_given;
 +      void *map;
 +      size_t sz;
 +      int cf_argc;
 +      char **cf_argv, *errctx = NULL;
 +      struct lls_parse_result *cf_lpr, *merged_lpr, *clpr;
 +      const char *subcmd_name;
 +
 +      ret = open(config_file, O_RDONLY);
 +      if (ret < 0) {
 +              if (errno != ENOENT || OPT_GIVEN(DSS, CONFIG_FILE)) {
 +                      ret = -ERRNO_TO_DSS_ERROR(errno);
 +                      DSS_ERROR_LOG(("config file %s can not be opened\n",
 +                              config_file));
 +                      goto out;
 +              }
 +              /* no config file -- nothing to do */
 +              ret = 0;
 +              goto success;
        }
 -
 -      config_file_exists = !stat(config_file, &statbuf);
 -      if (!config_file_exists && conf.config_file_given) {
 +      fd = ret;
 +      ret = fstat(fd, &statbuf);
 +      if (ret < 0) {
                ret = -ERRNO_TO_DSS_ERROR(errno);
                DSS_ERROR_LOG(("failed to stat config file %s\n", config_file));
 -              goto out;
 +              goto close_fd;
        }
 -      if (config_file_exists) {
 -              struct cmdline_parser_params params;
 -              params.override = sighup;
 -              params.initialize = 0;
 -              params.check_required = 1;
 -              params.check_ambiguity = 0;
 -              params.print_errors = 1;
 -              if (sighup) { /* invalidate all rsync options */
 -                      int i;
 -
 -                      for (i = 0; i < conf.rsync_option_given; i++) {
 -                              free(conf.rsync_option_arg[i]);
 -                              conf.rsync_option_arg[i] = NULL;
 -                      }
 -                      conf.rsync_option_given = 0;
 -              }
 -              cmdline_parser_config_file(config_file, &conf, &params);
 +      sz = statbuf.st_size;
 +      if (sz == 0) { /* config file is empty -- nothing to do */
 +              ret = 0;
 +              goto success;
        }
 -      ret = check_config();
 -      if (ret < 0)
 -              goto out;
 -      if (sighup) {
 -              /* don't change daemon mode on SIGHUP */
 -              conf.daemon_given = old_daemon_given;
 -              close_log(logfile);
 -              logfile = NULL;
 -              if (conf.logfile_given)
 -                      free(old_logfile_arg);
 -              else if (conf.daemon_given) { /* re-use old logfile */
 -                      conf.logfile_arg = old_logfile_arg;
 -                      conf.logfile_given = 1;
 -              }
 +      map = mmap(NULL, sz, PROT_READ, MAP_PRIVATE, fd, 0);
 +      if (map == MAP_FAILED) {
 +              ret = -ERRNO_TO_DSS_ERROR(errno);
 +              DSS_ERROR_LOG(("failed to mmap config file %s\n",
 +                      config_file));
 +              goto close_fd;
 +      }
 +      if (cmd == CMD_PTR(DSS))
 +              subcmd_name = NULL;
 +      else
 +              subcmd_name = lls_command_name(cmd);
 +      ret = lls_convert_config(map, sz, subcmd_name, &cf_argv, &errctx);
 +      munmap(map, sz);
 +      if (ret < 0) {
 +              DSS_ERROR_LOG(("failed to convert config file %s\n",
 +                      config_file));
 +              ret = lopsub_error(ret, &errctx);
 +              goto close_fd;
 +      }
 +      cf_argc = ret;
 +      ret = lls_parse(cf_argc, cf_argv, cmd, &cf_lpr, &errctx);
 +      lls_free_argv(cf_argv);
 +      if (ret < 0) {
 +              ret = lopsub_error(ret, &errctx);
 +              goto close_fd;
 +      }
 +      clpr = cmd == CMD_PTR(DSS)? cmdline_lpr : cmdline_sublpr;
 +      if (sighup) /* config file overrides command line */
 +              ret = lls_merge(cf_lpr, clpr, cmd, &merged_lpr, &errctx);
 +      else /* command line options overrride config file options */
 +              ret = lls_merge(clpr, cf_lpr, cmd, &merged_lpr, &errctx);
 +      lls_free_parse_result(cf_lpr, cmd);
 +      if (ret < 0) {
 +              ret = lopsub_error(ret, &errctx);
 +              goto close_fd;
        }
 -      if (conf.logfile_given && conf.run_given && conf.daemon_given) {
 -              logfile = open_log(conf.logfile_arg);
 -              log_welcome(conf.loglevel_arg);
 +      ret = 1;
 +success:
 +      assert(ret >= 0);
 +      DSS_DEBUG_LOG(("loglevel: %d\n", OPT_UINT32_VAL(DSS, LOGLEVEL)));
 +      if (cmd != CMD_PTR(DSS)) {
 +              if (ret > 0) {
 +                      if (sublpr != cmdline_sublpr)
 +                              lls_free_parse_result(sublpr, cmd);
 +                      sublpr = merged_lpr;
 +              } else
 +                      sublpr = cmdline_sublpr;
 +      } else {
 +              if (ret > 0) {
 +                      if (lpr != cmdline_lpr)
 +                              lls_free_parse_result(lpr, cmd);
 +                      lpr = merged_lpr;
 +              } else
 +                      lpr = cmdline_lpr;
        }
 -      DSS_DEBUG_LOG(("loglevel: %d\n", conf.loglevel_arg));
 -      ret = config_file_exists;
 +close_fd:
 +      if (fd >= 0)
 +              close(fd);
  out:
        free(config_file);
        if (ret < 0)
        return ret;
  }
  
 -static int change_to_dest_dir(void)
 -{
 -      DSS_INFO_LOG(("changing cwd to %s\n", conf.dest_dir_arg));
 -      return dss_chdir(conf.dest_dir_arg);
 -}
 -
  static int handle_sighup(void)
  {
        int ret;
  
        DSS_NOTICE_LOG(("SIGHUP, re-reading config\n"));
        dump_dss_config("old");
 -      ret = parse_config_file(true /* SIGHUP */);
 +      ret = parse_config_file(true /* SIGHUP */, CMD_PTR(DSS));
 +      if (ret < 0)
 +              return ret;
 +      ret = parse_config_file(true /* SIGHUP */, CMD_PTR(RUN));
        if (ret < 0)
                return ret;
 +      ret = check_config(CMD_PTR(RUN));
 +      if (ret < 0)
 +              return ret;
 +      close_log(logfile);
 +      logfile = NULL;
 +      if (OPT_GIVEN(RUN, DAEMON) || daemonized) {
 +              logfile = open_log(OPT_STRING_VAL(RUN, LOGFILE));
 +              log_welcome(OPT_UINT32_VAL(DSS, LOGLEVEL));
 +              daemonized = true;
 +      }
        dump_dss_config("reloaded");
        invalidate_next_snapshot_time();
 -      return change_to_dest_dir();
 +      return 1;
  }
  
  static void kill_children(void)
   */
  static int use_rsync_locally(char *logname)
  {
 -      char *h = conf.remote_host_arg;
 +      const char *h = OPT_STRING_VAL(DSS, REMOTE_HOST);
  
        if (strcmp(h, "localhost") && strcmp(h, "127.0.0.1"))
                return 0;
 -      if (conf.remote_user_given && strcmp(conf.remote_user_arg, logname))
 +      if (OPT_GIVEN(DSS, REMOTE_USER) &&
 +                      strcmp(OPT_STRING_VAL(DSS, REMOTE_USER), logname))
                return 0;
        return 1;
  }
@@@ -1301,6 -1125,8 +1302,6 @@@ static int rename_resume_snap(int64_t c
        sl.num_snapshots = 0;
  
        ret = 0;
 -      if (conf.no_resume_given)
 -              goto out;
        dss_get_snapshot_list(&sl);
        /*
         * Snapshot recycling: We first look at the newest snapshot. If this
  static void create_rsync_argv(char ***argv, int64_t *num)
  {
        char *logname;
 -      int i = 0, j;
 +      int i = 0, j, N = OPT_GIVEN(DSS, RSYNC_OPTION);
        struct snapshot_list sl;
 +      static bool seeded;
  
        dss_get_snapshot_list(&sl);
        assert(!name_of_reference_snapshot);
        name_of_reference_snapshot = name_of_newest_complete_snapshot(&sl);
        free_snapshot_list(&sl);
  
 -      *argv = dss_malloc((15 + conf.rsync_option_given) * sizeof(char *));
 +      *argv = dss_malloc((15 + N) * sizeof(char *));
        (*argv)[i++] = dss_strdup("rsync");
        (*argv)[i++] = dss_strdup("-a");
        (*argv)[i++] = dss_strdup("--delete");
 -      for (j = 0; j < conf.rsync_option_given; j++)
 -              (*argv)[i++] = dss_strdup(conf.rsync_option_arg[j]);
 +      if (!seeded) {
 +              srandom((unsigned)time(NULL)); /* no need to be fancy here */
 +              seeded = true;
 +      }
 +      if (1000 * (random() / (RAND_MAX + 1.0)) < OPT_UINT32_VAL(DSS, CHECKSUM)) {
 +              DSS_NOTICE_LOG(("adding --checksum to rsync options\n"));
 +              (*argv)[i++] = dss_strdup("--checksum");
 +      }
 +      for (j = 0; j < N; j++)
 +              (*argv)[i++] = dss_strdup(lls_string_val(j,
 +                      OPT_RESULT(DSS, RSYNC_OPTION)));
        if (name_of_reference_snapshot) {
                DSS_INFO_LOG(("using %s as reference\n", name_of_reference_snapshot));
                (*argv)[i++] = make_message("--link-dest=../%s",
                DSS_INFO_LOG(("no suitable reference snapshot found\n"));
        logname = dss_logname();
        if (use_rsync_locally(logname))
 -              (*argv)[i++] = dss_strdup(conf.source_dir_arg);
 +              (*argv)[i++] = dss_strdup(OPT_STRING_VAL(DSS, SOURCE_DIR));
        else
 -              (*argv)[i++] = make_message("%s@%s:%s/", conf.remote_user_given?
 -                      conf.remote_user_arg : logname,
 -                      conf.remote_host_arg, conf.source_dir_arg);
 +              (*argv)[i++] = make_message("%s@%s:%s/",
 +                      OPT_GIVEN(DSS, REMOTE_USER)?
 +                              OPT_STRING_VAL(DSS, REMOTE_USER) : logname,
 +                      OPT_STRING_VAL(DSS, REMOTE_HOST),
 +                      OPT_STRING_VAL(DSS, SOURCE_DIR));
        free(logname);
        *num = get_current_time();
        (*argv)[i++] = incomplete_name(*num);
  
  static void exit_hook(int exit_code)
  {
 -      char *argv[3];
 +      const char *argv[3];
        pid_t pid;
  
 -      argv[0] = conf.exit_hook_arg;
 +      argv[0] = OPT_STRING_VAL(DSS, EXIT_HOOK);
        argv[1] = dss_strerror(-exit_code);
        argv[2] = NULL;
  
        DSS_NOTICE_LOG(("executing %s %s\n", argv[0], argv[1]));
 -      dss_exec(&pid, conf.exit_hook_arg, argv);
 +      dss_exec(&pid, argv[0], (char **)argv);
  }
  
  static void lock_dss_or_die(void)
  
  static int com_run(void)
  {
 -      int ret;
 +      int ret, fd = -1;
 +      char *config_file;
 +      pid_t pid;
  
 -      lock_dss_or_die();
 -      if (conf.dry_run_given) {
 -              DSS_ERROR_LOG(("dry_run not supported by this command\n"));
 +      if (OPT_GIVEN(DSS, DRY_RUN)) {
 +              DSS_ERROR_LOG(("dry run not supported by this command\n"));
                return -E_SYNTAX;
        }
 +      config_file = get_config_file_name();
 +      ret = get_dss_pid(config_file, &pid);
 +      free(config_file);
 +      if (ret >= 0) {
 +              DSS_ERROR_LOG(("pid %d\n", (int)pid));
 +              return -E_ALREADY_RUNNING;
 +      }
 +      if (OPT_GIVEN(RUN, DAEMON)) {
 +              fd = daemon_init();
 +              daemonized = true;
 +              logfile = open_log(OPT_STRING_VAL(RUN, LOGFILE));
 +      }
 +      lock_dss_or_die();
 +      dump_dss_config("startup");
        ret = install_sighandler(SIGHUP);
        if (ret < 0)
                return ret;
 +      if (fd >= 0) {
 +              ret = write(fd, "\0", 1);
 +              if (ret != 1) {
 +                      DSS_ERROR_LOG(("write to daemon pipe returned %d\n",
 +                              ret));
 +                      if (ret < 0)
 +                              return -ERRNO_TO_DSS_ERROR(errno);
 +                      return -E_BUG;
 +              }
 +      }
        ret = select_loop();
        if (ret >= 0) /* impossible */
                ret = -E_BUG;
        exit_hook(ret);
        return ret;
  }
 +EXPORT_CMD_HANDLER(run);
  
  static int com_prune(void)
  {
        ret = 0;
        goto out;
  rm:
 -      if (conf.dry_run_given) {
 +      if (OPT_GIVEN(DSS, DRY_RUN)) {
                dss_msg("%s snapshot %s (interval = %i)\n",
                        why, victim->name, victim->interval);
                ret = 0;
@@@ -1627,7 -1415,6 +1628,7 @@@ out
        free_snapshot_list(&sl);
        return ret;
  }
 +EXPORT_CMD_HANDLER(prune);
  
  static int com_create(void)
  {
        char **rsync_argv;
  
        lock_dss_or_die();
 -      if (conf.dry_run_given) {
 +      if (OPT_GIVEN(DSS, DRY_RUN)) {
                int i;
                char *msg = NULL;
                create_rsync_argv(&rsync_argv, &current_snapshot_creation_time);
@@@ -1676,7 -1463,6 +1677,7 @@@ out
        free_rsync_argv(rsync_argv);
        return ret;
  }
 +EXPORT_CMD_HANDLER(create);
  
  static int com_ls(void)
  {
        free_snapshot_list(&sl);
        return 1;
  }
 +EXPORT_CMD_HANDLER(ls);
  
  static int setup_signal_handling(void)
  {
        return install_sighandler(SIGCHLD);
  }
  
 +static void handle_version_and_help(void)
 +{
 +      char *txt;
 +
 +      if (OPT_GIVEN(DSS, DETAILED_HELP))
 +              txt = lls_long_help(CMD_PTR(DSS));
 +      else if (OPT_GIVEN(DSS, HELP))
 +              txt = lls_short_help(CMD_PTR(DSS));
 +      else if (OPT_GIVEN(DSS, VERSION))
 +              txt = dss_strdup(VERSION_STRING);
 +      else
 +              return;
 +      printf("%s", txt);
 +      free(txt);
 +      exit(EXIT_SUCCESS);
 +}
 +
 +static void show_subcommand_summary(void)
 +{
 +      const struct lls_command *cmd;
 +      int i;
 +
 +      printf("Available subcommands:\n");
 +      for (i = 1; (cmd = lls_cmd(i, dss_suite)); i++) {
 +              const char *name = lls_command_name(cmd);
 +              const char *purpose = lls_purpose(cmd);
 +              printf("%-10s%s\n", name, purpose);
 +      }
 +      exit(EXIT_SUCCESS);
 +}
 +
  int main(int argc, char **argv)
  {
        int ret;
 -      struct cmdline_parser_params params;
 -
 -      params.override = 0;
 -      params.initialize = 1;
 -      params.check_required = 0;
 -      params.check_ambiguity = 0;
 -      params.print_errors = 1;
 +      const struct lls_command *cmd = CMD_PTR(DSS);
 +      char *errctx = NULL;
 +      unsigned num_inputs;
 +      const struct dss_user_data *ud = NULL;
  
 -      cmdline_parser_ext(argc, argv, &conf, &params); /* aborts on errors */
 -      ret = parse_config_file(0);
 -      ret = parse_config_file(false /* no SIGHUP */);
 +      ret = lls_parse(argc, argv, cmd, &cmdline_lpr, &errctx);
 +      if (ret < 0) {
 +              ret = lopsub_error(ret, &errctx);
 +              goto out;
 +      }
 +      lpr = cmdline_lpr;
 +      ret = parse_config_file(false /* no SIGHUP */, cmd);
        if (ret < 0)
                goto out;
 -      if (ret == 0) { /* no config file given */
 -              /*
 -               * Parse the command line options again, but this time check
 -               * that all required options are given.
 -               */
 -              params.override = 1;
 -              params.initialize = 1;
 -              params.check_required = 1;
 -              params.check_ambiguity = 1;
 -              params.print_errors = 1;
 -              cmdline_parser_ext(argc, argv, &conf, &params); /* aborts on errors */
 +      handle_version_and_help();
 +      num_inputs = lls_num_inputs(lpr);
 +      if (num_inputs == 0)
 +              show_subcommand_summary();
 +      ret = lls_lookup_subcmd(argv[argc - num_inputs], dss_suite, &errctx);
 +      if (ret < 0) {
 +              ret = lopsub_error(ret, &errctx);
 +              goto out;
        }
 -      if (conf.daemon_given)
 -              daemon_init();
 -      ret = change_to_dest_dir();
 +      cmd = lls_cmd(ret, dss_suite);
 +      ret = lls_parse(num_inputs, argv + argc - num_inputs, cmd,
 +              &cmdline_sublpr, &errctx);
 +      if (ret < 0) {
 +              ret = lopsub_error(ret, &errctx);
 +              goto out;
 +      }
 +      sublpr = cmdline_sublpr;
 +      ret = parse_config_file(false /* no SIGHUP */, cmd);
 +      if (ret < 0)
 +              goto out;
 +      ret = check_config(cmd);
        if (ret < 0)
                goto out;
 -      dump_dss_config("startup");
        ret = setup_signal_handling();
        if (ret < 0)
                goto out;
 -      ret = call_command_handler();
 +      ud = lls_user_data(cmd);
 +      ret = ud->handler();
        signal_shutdown();
  out:
 -      if (ret < 0)
 +      if (ret < 0) {
 +              if (errctx)
 +                      DSS_ERROR_LOG(("%s\n", errctx));
                DSS_EMERG_LOG(("%s\n", dss_strerror(-ret)));
 +      }
 +      free(errctx);
 +      lls_free_parse_result(lpr, CMD_PTR(DSS));
 +      if (lpr != cmdline_lpr)
 +              lls_free_parse_result(cmdline_lpr, CMD_PTR(DSS));
 +      lls_free_parse_result(sublpr, cmd);
 +      if (sublpr != cmdline_sublpr)
 +              lls_free_parse_result(cmdline_sublpr, cmd);
        exit(ret >= 0? EXIT_SUCCESS : EXIT_FAILURE);
  }