fd.c

   1 /*
   2  * Copyright (C) 2006-2010 Andre Noll <maan@systemlinux.org>
   3  *
   4  * Licensed under the GPL v2. For licencing details see COPYING.
   5  */
   6
   7 /** \file fd.c Helper functions for file descriptor handling. */
   8
   9 #include <regex.h>
  10 #include <sys/types.h>
  11 #include <dirent.h>
  12 #include <sys/mman.h>
  13 #include <fcntl.h>
  14 #include <sys/uio.h>
  15
  16 #include "para.h"
  17 #include "error.h"
  18 #include "string.h"
  19 #include "fd.h"
  20
  21 /**
  22  * Write a buffer to a file descriptor, re-write on short writes.
  23  *
  24  * \param fd The file descriptor.
  25  * \param buf The buffer to be sent.
  26  * \param len The length of \a buf.
  27  *
  28  * \return Standard. In any case, the number of bytes that have been written is
  29  * stored in \a len.
  30  */
  31 int write_all(int fd, const char *buf, size_t *len)
  32 {
  33         size_t total = *len;
  34
  35         assert(total);
  36         *len = 0;
  37         while (*len < total) {
  38                 int ret = write(fd, buf + *len, total - *len);
  39                 if (ret == -1)
  40                         return -ERRNO_TO_PARA_ERROR(errno);
  41                 *len += ret;
  42         }
  43         return 1;
  44 }
  45
  46 /**
  47  * Write a buffer to a non-blocking file descriptor.
  48  *
  49  * \param fd The file descriptor.
  50  * \param buf the buffer to write.
  51  * \param len the number of bytes of \a buf.
  52  * \param max_bytes_per_write Do not write more than that many bytes at once.
  53  *
  54  * If \a max_bytes_per_write is non-zero, do not send more than that many bytes
  55  * per write().
  56  *
  57  * EAGAIN is not considered an error condition.  For example CCID3 has a
  58  * sending wait queue which fills up and is emptied asynchronously. The EAGAIN
  59  * case means that there is currently no space in the wait queue, but this can
  60  * change at any moment.
  61  *
  62  * \return Negative on errors, number of bytes written else.
  63  */
  64 int write_nonblock(int fd, const char *buf, size_t len,
  65                 size_t max_bytes_per_write)
  66 {
  67         size_t written = 0;
  68         int ret = 0;
  69
  70         while (written < len) {
  71                 size_t num = len - written;
  72
  73                 if (max_bytes_per_write && max_bytes_per_write < num)
  74                         num = max_bytes_per_write;
  75                 ret = write(fd, buf + written, num);
  76                 if (ret < 0 && errno == EAGAIN)
  77                         return written;
  78                 if (ret < 0)
  79                         return -ERRNO_TO_PARA_ERROR(errno);
  80                 written += ret;
  81         }
  82         return written;
  83 }
  84
  85 /**
  86  * Read from a non-blocking file descriptor into multiple buffers.
  87  *
  88  * \param fd The file descriptor to read from.
  89  * \param iov Scatter/gather array used in readv().
  90  * \param iovcnt Number of elements in \a iov.
  91  * \param rfds An optional fd set pointer.
  92  * \param num_bytes Result pointer. Contains the number of bytes read from \a fd.
  93  *
  94  * If \a rfds is not \p NULL and the (non-blocking) file descriptor \a fd is
  95  * not set in \a rfds, this function returns early without doing anything.
  96  * Otherwise The function tries to read up to \a sz bytes from \a fd. As for
  97  * write_nonblock(), EAGAIN is not considered an error condition. However, EOF
  98  * is.
  99  *
 100  * \return Zero or a negative error code. If the underlying call to readv(2)
 101  * returned zero (indicating an end of file condition) or failed for some
 102  * reason other than \p EAGAIN, a negative return value is returned.
 103  *
 104  * In any case, \a num_bytes contains the number of bytes that have been
 105  * successfully read from \a fd (zero if the first readv() call failed with
 106  * EAGAIN). Note that even if the function returns negative, some data might
 107  * have been read before the error occured. In this case \a num_bytes is
 108  * positive.
 109  *
 110  * \sa \ref write_nonblock(), read(2), readv(2).
 111  */
 112 int readv_nonblock(int fd, struct iovec *iov, int iovcnt, fd_set *rfds,
 113                 size_t *num_bytes)
 114 {
 115         int ret, i, j;
 116
 117         *num_bytes = 0;
 118         /*
 119          * Avoid a shortcoming of select(): Reads from a non-blocking fd might
 120          * return EAGAIN even if FD_ISSET() returns true. However, FD_ISSET()
 121          * returning false definitely means that no data can currently be read.
 122          * This is the common case, so it is worth to avoid the overhead of the
 123          * read() system call in this case.
 124          */
 125         if (rfds && !FD_ISSET(fd, rfds))
 126                 return 0;
 127
 128         for (i = 0, j = 0; i < iovcnt;) {
 129
 130                 /* fix up the first iov */
 131                 assert(j < iov[i].iov_len);
 132                 iov[i].iov_base += j;
 133                 iov[i].iov_len -= j;
 134                 ret = readv(fd, iov + i, iovcnt - i);
 135                 iov[i].iov_base -= j;
 136                 iov[i].iov_len += j;
 137
 138                 if (ret == 0)
 139                         return -E_EOF;
 140                 if (ret < 0) {
 141                         if (errno == EAGAIN)
 142                                 return 0;
 143                         return -ERRNO_TO_PARA_ERROR(errno);
 144                 }
 145                 *num_bytes += ret;
 146                 while (ret > 0) {
 147                         if (ret < iov[i].iov_len - j) {
 148                                 j += ret;
 149                                 break;
 150                         }
 151                         ret -= iov[i].iov_len - j;
 152                         j = 0;
 153                         if (++i >= iovcnt)
 154                                 break;
 155                 }
 156         }
 157         return 0;
 158 }
 159
 160 /**
 161  * Read from a non-blocking file descriptor into a single buffer.
 162  *
 163  * \param fd The file descriptor to read from.
 164  * \param buf The buffer to read data to.
 165  * \param sz The size of \a buf.
 166  * \param rfds \see \ref readv_nonblock().
 167  * \param num_bytes \see \ref readv_nonblock().
 168  *
 169  * This is a simple wrapper for readv_nonblock() which uses an iovec with a single
 170  * buffer.
 171  *
 172  * \return The return value of the underlying call to readv_nonblock().
 173  */
 174 int read_nonblock(int fd, void *buf, size_t sz, fd_set *rfds, size_t *num_bytes)
 175 {
 176         struct iovec iov = {.iov_base = buf, .iov_len = sz};
 177         return readv_nonblock(fd, &iov, 1, rfds, num_bytes);
 178 }
 179
 180 /**
 181  * Read a buffer and check its content for a pattern.
 182  *
 183  * \param fd The file descriptor to receive from.
 184  * \param pattern The expected pattern.
 185  * \param bufsize The size of the internal buffer.
 186  * \param rfds Passed to read_nonblock().
 187  *
 188  * This function tries to read at most \a bufsize bytes from the non-blocking
 189  * file descriptor \a fd. If at least \p strlen(\a pattern) bytes have been
 190  * received, the beginning of the received buffer is compared with \a pattern,
 191  * ignoring case.
 192  *
 193  * \return Positive if \a pattern was received, negative on errors, zero if no data
 194  * was available to read.
 195  *
 196  * \sa \ref read_nonblock(), \sa strncasecmp(3).
 197  */
 198 int read_pattern(int fd, const char *pattern, size_t bufsize, fd_set *rfds)
 199 {
 200         size_t n, len;
 201         char *buf = para_malloc(bufsize + 1);
 202         int ret = read_nonblock(fd, buf, bufsize, rfds, &n);
 203
 204         buf[n] = '\0';
 205         if (ret < 0)
 206                 goto out;
 207         ret = 0;
 208         if (n == 0)
 209                 goto out;
 210         ret = -E_READ_PATTERN;
 211         len = strlen(pattern);
 212         if (n < len)
 213                 goto out;
 214         if (strncasecmp(buf, pattern, len) != 0)
 215                 goto out;
 216         ret = 1;
 217 out:
 218         if (ret < 0) {
 219                 PARA_NOTICE_LOG("%s\n", para_strerror(-ret));
 220                 PARA_NOTICE_LOG("recvd %zu bytes: %s\n", n, buf);
 221         }
 222         free(buf);
 223         return ret;
 224 }
 225
 226 /**
 227  * Check whether a file exists.
 228  *
 229  * \param fn The file name.
 230  *
 231  * \return Non-zero iff file exists.
 232  */
 233 int file_exists(const char *fn)
 234 {
 235         struct stat statbuf;
 236
 237         return !stat(fn, &statbuf);
 238 }
 239
 240 /**
 241  * Paraslash's wrapper for select(2).
 242  *
 243  * It calls select(2) (with no exceptfds) and starts over if select() was
 244  * interrupted by a signal.
 245  *
 246  * \param n The highest-numbered descriptor in any of the two sets, plus 1.
 247  * \param readfds fds that should be checked for readability.
 248  * \param writefds fds that should be checked for writablility.
 249  * \param timeout_tv upper bound on the amount of time elapsed before select()
 250  * returns.
 251  *
 252  * \return The return value of the underlying select() call on success, the
 253  * negative system error code on errors.
 254  *
 255  * All arguments are passed verbatim to select(2).
 256  * \sa select(2) select_tut(2).
 257  */
 258 int para_select(int n, fd_set *readfds, fd_set *writefds,
 259                 struct timeval *timeout_tv)
 260 {
 261         int ret;
 262         do
 263                 ret = select(n, readfds, writefds, NULL, timeout_tv);
 264         while (ret < 0 && errno == EINTR);
 265         if (ret < 0)
 266                 return -ERRNO_TO_PARA_ERROR(errno);
 267         return ret;
 268 }
 269
 270 /**
 271  * Set a file descriptor to blocking mode.
 272  *
 273  * \param fd The file descriptor.
 274  *
 275  * \return Standard.
 276  */
 277 __must_check int mark_fd_blocking(int fd)
 278 {
 279         int flags = fcntl(fd, F_GETFL);
 280         if (flags < 0)
 281                 return -ERRNO_TO_PARA_ERROR(errno);
 282         flags = fcntl(fd, F_SETFL, ((long)flags) & ~O_NONBLOCK);
 283         if (flags < 0)
 284                 return -ERRNO_TO_PARA_ERROR(errno);
 285         return 1;
 286 }
 287
 288 /**
 289  * Set a file descriptor to non-blocking mode.
 290  *
 291  * \param fd The file descriptor.
 292  *
 293  * \return Standard.
 294  */
 295 __must_check int mark_fd_nonblocking(int fd)
 296 {
 297         int flags = fcntl(fd, F_GETFL);
 298         if (flags < 0)
 299                 return -ERRNO_TO_PARA_ERROR(errno);
 300         flags = fcntl(fd, F_SETFL, ((long)flags) | O_NONBLOCK);
 301         if (flags < 0)
 302                 return -ERRNO_TO_PARA_ERROR(errno);
 303         return 1;
 304 }
 305
 306 /**
 307  * Set a file descriptor in a fd_set.
 308  *
 309  * \param fd The file descriptor to be set.
 310  * \param fds The file descriptor set.
 311  * \param max_fileno Highest-numbered file descriptor.
 312  *
 313  * This wrapper for FD_SET() passes its first two arguments to \p FD_SET. Upon
 314  * return, \a max_fileno contains the maximum of the old_value and \a fd.
 315  *
 316  * \sa para_select.
 317 */
 318 void para_fd_set(int fd, fd_set *fds, int *max_fileno)
 319 {
 320         assert(fd >= 0 && fd < FD_SETSIZE);
 321 #if 0
 322         {
 323                 int flags = fcntl(fd, F_GETFL);
 324                 if (!(flags & O_NONBLOCK)) {
 325                         PARA_EMERG_LOG("fd %d is a blocking file descriptor\n", fd);
 326                         exit(EXIT_FAILURE);
 327                 }
 328         }
 329 #endif
 330         FD_SET(fd, fds);
 331         *max_fileno = PARA_MAX(*max_fileno, fd);
 332 }
 333
 334 /**
 335  * Paraslash's wrapper for fgets(3).
 336  *
 337  * \param line Pointer to the buffer to store the line.
 338  * \param size The size of the buffer given by \a line.
 339  * \param f The stream to read from.
 340  *
 341  * \return Unlike the standard fgets() function, an integer value
 342  * is returned. On success, this function returns 1. On errors, -E_FGETS
 343  * is returned. A zero return value indicates an end of file condition.
 344  */
 345 __must_check int para_fgets(char *line, int size, FILE *f)
 346 {
 347 again:
 348         if (fgets(line, size, f))
 349                 return 1;
 350         if (feof(f))
 351                 return 0;
 352         if (!ferror(f))
 353                 return -E_FGETS;
 354         if (errno != EINTR) {
 355                 PARA_ERROR_LOG("%s\n", strerror(errno));
 356                 return -E_FGETS;
 357         }
 358         clearerr(f);
 359         goto again;
 360 }
 361
 362 /**
 363  * Paraslash's wrapper for mmap.
 364  *
 365  * \param length Number of bytes to mmap.
 366  * \param prot Either PROT_NONE or the bitwise OR of one or more of
 367  * PROT_EXEC PROT_READ PROT_WRITE.
 368  * \param flags Exactly one of MAP_SHARED and MAP_PRIVATE.
 369  * \param fd The file to mmap from.
 370  * \param offset Mmap start.
 371  * \param map Result pointer.
 372  *
 373  * \return Standard.
 374  *
 375  * \sa mmap(2).
 376  */
 377 int para_mmap(size_t length, int prot, int flags, int fd, off_t offset,
 378                 void *map)
 379 {
 380         void **m = map;
 381
 382         errno = EINVAL;
 383         if (!length)
 384                 goto err;
 385         *m = mmap(NULL, length, prot, flags, fd, offset);
 386         if (*m != MAP_FAILED)
 387                 return 1;
 388 err:
 389         *m = NULL;
 390         return -ERRNO_TO_PARA_ERROR(errno);
 391 }
 392
 393 /**
 394  * Wrapper for the open(2) system call.
 395  *
 396  * \param path The filename.
 397  * \param flags The usual open(2) flags.
 398  * \param mode Specifies the permissions to use.
 399  *
 400  * The mode parameter must be specified when O_CREAT is in the flags, and is
 401  * ignored otherwise.
 402  *
 403  * \return The file descriptor on success, negative on errors.
 404  *
 405  * \sa open(2).
 406  */
 407 int para_open(const char *path, int flags, mode_t mode)
 408 {
 409         int ret = open(path, flags, mode);
 410
 411         if (ret >= 0)
 412                 return ret;
 413         return -ERRNO_TO_PARA_ERROR(errno);
 414 }
 415
 416 /**
 417  * Wrapper for chdir(2).
 418  *
 419  * \param path The specified directory.
 420  *
 421  * \return Standard.
 422  */
 423 int para_chdir(const char *path)
 424 {
 425         int ret = chdir(path);
 426
 427         if (ret >= 0)
 428                 return 1;
 429         return -ERRNO_TO_PARA_ERROR(errno);
 430 }
 431
 432 /**
 433  * Save the cwd and open a given directory.
 434  *
 435  * \param dirname Path to the directory to open.
 436  * \param dir Result pointer.
 437  * \param cwd File descriptor of the current working directory.
 438  *
 439  * \return Standard.
 440  *
 441  * Opening the current directory (".") and calling fchdir() to return is
 442  * usually faster and more reliable than saving cwd in some buffer and calling
 443  * chdir() afterwards.
 444  *
 445  * If \a cwd is not \p NULL "." is opened and the resulting file descriptor is
 446  * stored in \a cwd. If the function returns success, and \a cwd is not \p
 447  * NULL, the caller must close this file descriptor (probably after calling
 448  * fchdir(*cwd)).
 449  *
 450  * On errors, the function undos everything, so the caller needs neither close
 451  * any files, nor change back to the original working directory.
 452  *
 453  * \sa getcwd(3).
 454  *
 455  */
 456 int para_opendir(const char *dirname, DIR **dir, int *cwd)
 457 {
 458         int ret;
 459
 460         if (cwd) {
 461                 ret = para_open(".", O_RDONLY, 0);
 462                 if (ret < 0)
 463                         return ret;
 464                 *cwd = ret;
 465         }
 466         ret = para_chdir(dirname);
 467         if (ret < 0)
 468                 goto close_cwd;
 469         *dir = opendir(".");
 470         if (*dir)
 471                 return 1;
 472         ret = -ERRNO_TO_PARA_ERROR(errno);
 473         /* Ignore return value of fchdir() and close(). We're busted anyway. */
 474         if (cwd) {
 475                 int __a_unused ret2 = fchdir(*cwd); /* STFU, gcc */
 476         }
 477 close_cwd:
 478         if (cwd)
 479                 close(*cwd);
 480         return ret;
 481 }
 482
 483 /**
 484  * A wrapper for fchdir().
 485  *
 486  * \param fd An open file descriptor.
 487  *
 488  * \return Standard.
 489  */
 490 int para_fchdir(int fd)
 491 {
 492         if (fchdir(fd) < 0)
 493                 return -ERRNO_TO_PARA_ERROR(errno);
 494         return 1;
 495 }
 496
 497 /**
 498  * A wrapper for mkdir(2).
 499  *
 500  * \param path Name of the directory to create.
 501  * \param mode The permissions to use.
 502  *
 503  * \return Standard.
 504  */
 505 int para_mkdir(const char *path, mode_t mode)
 506 {
 507         if (!mkdir(path, mode))
 508                 return 1;
 509         return -ERRNO_TO_PARA_ERROR(errno);
 510 }
 511
 512 /**
 513  * Open a file and map it into memory.
 514  *
 515  * \param path Name of the regular file to map.
 516  * \param open_mode Either \p O_RDONLY or \p O_RDWR.
 517  * \param map On success, the mapping is returned here.
 518  * \param size size of the mapping.
 519  * \param fd_ptr The file descriptor of the mapping.
 520  *
 521  * If \a fd_ptr is \p NULL, the file descriptor resulting from the underlying
 522  * open call is closed after mmap().  Otherwise the file is kept open and the
 523  * file descriptor is returned in \a fd_ptr.
 524  *
 525  * \return Standard.
 526  *
 527  * \sa para_open(), mmap(2).
 528  */
 529 int mmap_full_file(const char *path, int open_mode, void **map,
 530                 size_t *size, int *fd_ptr)
 531 {
 532         int fd, ret, mmap_prot, mmap_flags;
 533         struct stat file_status;
 534
 535         if (open_mode == O_RDONLY) {
 536                 mmap_prot = PROT_READ;
 537                 mmap_flags = MAP_PRIVATE;
 538         } else {
 539                 mmap_prot = PROT_READ | PROT_WRITE;
 540                 mmap_flags = MAP_SHARED;
 541         }
 542         ret = para_open(path, open_mode, 0);
 543         if (ret < 0)
 544                 return ret;
 545         fd = ret;
 546         if (fstat(fd, &file_status) < 0) {
 547                 ret = -ERRNO_TO_PARA_ERROR(errno);
 548                 goto out;
 549         }
 550         *size = file_status.st_size;
 551         ret = para_mmap(*size, mmap_prot, mmap_flags, fd, 0, map);
 552 out:
 553         if (ret < 0 || !fd_ptr)
 554                 close(fd);
 555         else
 556                 *fd_ptr = fd;
 557         return ret;
 558 }
 559
 560 /**
 561  * A wrapper for munmap(2).
 562  *
 563  * \param start The start address of the memory mapping.
 564  * \param length The size of the mapping.
 565  *
 566  * \return Standard.
 567  *
 568  * \sa munmap(2), mmap_full_file().
 569  */
 570 int para_munmap(void *start, size_t length)
 571 {
 572         int err;
 573         if (munmap(start, length) >= 0)
 574                 return 1;
 575         err = errno;
 576         PARA_ERROR_LOG("munmap (%p/%zu) failed: %s\n", start, length,
 577                 strerror(err));
 578         return -ERRNO_TO_PARA_ERROR(err);
 579 }
 580
 581 /**
 582  * Check a file descriptor for writability.
 583  *
 584  * \param fd The file descriptor.
 585  *
 586  * \return positive if fd is ready for writing, zero if it isn't, negative if
 587  * an error occurred.
 588  */
 589
 590 int write_ok(int fd)
 591 {
 592         struct timeval tv;
 593         fd_set wfds;
 594
 595         FD_ZERO(&wfds);
 596         FD_SET(fd, &wfds);
 597         tv.tv_sec = 0;
 598         tv.tv_usec = 0;
 599         return para_select(fd + 1, NULL, &wfds, &tv);
 600 }
 601
 602 /**
 603  * Ensure that file descriptors 0, 1, and 2 are valid.
 604  *
 605  * Common approach that opens /dev/null until it gets a file descriptor greater
 606  * than two.
 607  *
 608  * \sa okir's Black Hats Manual.
 609  */
 610 void valid_fd_012(void)
 611 {
 612         while (1) {
 613                 int fd = open("/dev/null", O_RDWR);
 614                 if (fd < 0)
 615                         exit(EXIT_FAILURE);
 616                 if (fd > 2) {
 617                         close(fd);
 618                         break;
 619                 }
 620         }
 621 }
 622
 623 /**
 624  * Traverse the given directory recursively.
 625  *
 626  * \param dirname The directory to traverse.
 627  * \param func The function to call for each entry.
 628  * \param private_data Pointer to an arbitrary data structure.
 629  *
 630  * For each regular file under \a dirname, the supplied function \a func is
 631  * called.  The full path of the regular file and the \a private_data pointer
 632  * are passed to \a func. Directories for which the calling process has no
 633  * permissions to change to are silently ignored.
 634  *
 635  * \return Standard.
 636  */
 637 int for_each_file_in_dir(const char *dirname,
 638                 int (*func)(const char *, void *), void *private_data)
 639 {
 640         DIR *dir;
 641         struct dirent *entry;
 642         int cwd_fd, ret2, ret = para_opendir(dirname, &dir, &cwd_fd);
 643
 644         if (ret < 0)
 645                 return ret == -ERRNO_TO_PARA_ERROR(EACCES)? 1 : ret;
 646         /* scan cwd recursively */
 647         while ((entry = readdir(dir))) {
 648                 mode_t m;
 649                 char *tmp;
 650                 struct stat s;
 651
 652                 if (!strcmp(entry->d_name, "."))
 653                         continue;
 654                 if (!strcmp(entry->d_name, ".."))
 655                         continue;
 656                 if (lstat(entry->d_name, &s) == -1)
 657                         continue;
 658                 m = s.st_mode;
 659                 if (!S_ISREG(m) && !S_ISDIR(m))
 660                         continue;
 661                 tmp = make_message("%s/%s", dirname, entry->d_name);
 662                 if (!S_ISDIR(m)) {
 663                         ret = func(tmp, private_data);
 664                         free(tmp);
 665                         if (ret < 0)
 666                                 goto out;
 667                         continue;
 668                 }
 669                 /* directory */
 670                 ret = for_each_file_in_dir(tmp, func, private_data);
 671                 free(tmp);
 672                 if (ret < 0)
 673                         goto out;
 674         }
 675         ret = 1;
 676 out:
 677         closedir(dir);
 678         ret2 = para_fchdir(cwd_fd);
 679         if (ret2 < 0 && ret >= 0)
 680                 ret = ret2;
 681         close(cwd_fd);
 682         return ret;
 683 }