gui: Check return value of para_exec_cmdline_pid().
[paraslash.git] / crypt.c
diff --git a/crypt.c b/crypt.c
index 49e9e8ae7863fed3f40881a356957f115bf31769..f33f769f6f035c18946c21fea064b37052802583 100644 (file)
--- a/crypt.c
+++ b/crypt.c
@@ -1,35 +1,32 @@
 /*
- * Copyright (C) 2005-2009 Andre Noll <maan@systemlinux.org>
+ * Copyright (C) 2005-2012 Andre Noll <maan@systemlinux.org>
  *
  * Licensed under the GPL v2. For licencing details see COPYING.
  */
 
-/** \file crypt.c openssl-based RSA encryption/decryption routines */
+/** \file crypt.c Openssl-based encryption/decryption routines. */
 
 #include <regex.h>
-#include <dirent.h>
 #include <sys/types.h>
 #include <sys/socket.h>
 #include <openssl/rand.h>
 #include <openssl/err.h>
 #include <openssl/rc4.h>
+#include <openssl/pem.h>
+#include <openssl/sha.h>
+#include <openssl/bn.h>
 
 #include "para.h"
 #include "error.h"
 #include "string.h"
 #include "crypt.h"
 #include "fd.h"
-/**
- * Fill a buffer with random content.
- *
- * \param buf The buffer to fill.
- * \param num The size of \a buf in bytes.
- *
- * This function puts \a num cryptographically strong pseudo-random bytes into
- * buf. If libssl can not guarantee an unpredictable byte sequence (for example
- * because the PRNG has not been seeded with enough randomness) the function
- * logs an error message and calls exit().
- */
+#include "crypt_backend.h"
+
+struct asymmetric_key {
+       RSA *rsa;
+};
+
 void get_random_bytes_or_die(unsigned char *buf, int num)
 {
        unsigned long err;
@@ -42,13 +39,10 @@ void get_random_bytes_or_die(unsigned char *buf, int num)
        exit(EXIT_FAILURE);
 }
 
-/**
- * Seed pseudo random number generators.
- *
- * This function reads 64 bytes from /dev/urandom and adds them to the SSL
- * PRNG. It also seeds the PRNG used by random() with a random seed obtained
- * from SSL. If /dev/random could not be read, an error message is logged and
- * the function calls exit().
+/*
+ * Read 64 bytes from /dev/urandom and adds them to the SSL PRNG. Seed the PRNG
+ * used by random() with a random seed obtained from SSL. If /dev/random is not
+ * readable the function calls exit().
  *
  * \sa RAND_load_file(3), \ref get_random_bytes_or_die(), srandom(3),
  * random(3), \ref para_random().
@@ -65,19 +59,6 @@ void init_random_seed_or_die(void)
        srandom(seed);
 }
 
-static int check_key_file(const char *file, int private)
-{
-       struct stat st;
-
-       if (stat(file, &st) != 0)
-               return -ERRNO_TO_PARA_ERROR(errno);
-       if (private != LOAD_PRIVATE_KEY)
-               return 0;
-       if ((st.st_uid == getuid()) && (st.st_mode & 077) != 0)
-               return -E_KEY_PERM;
-       return 1;
-}
-
 static EVP_PKEY *load_key(const char *file, int private)
 {
        BIO *key;
@@ -101,18 +82,7 @@ static EVP_PKEY *load_key(const char *file, int private)
        return pkey;
 }
 
-/**
- * read an RSA key from a file
- *
- * \param key_file the file containing the key
- * \param rsa RSA structure is returned here
- * \param private if non-zero, read the private key, otherwise the public key
- *
- * \return The size of the RSA key on success, negative on errors.
- *
- * \sa openssl(1), rsa(1).
- */
-int get_rsa_key(char *key_file, RSA **rsa, int private)
+static int get_openssl_key(const char *key_file, RSA **rsa, int private)
 {
        EVP_PKEY *key = load_key(key_file, private);
 
@@ -126,42 +96,139 @@ int get_rsa_key(char *key_file, RSA **rsa, int private)
        return RSA_size(*rsa);
 }
 
-/**
- * free an RSA structure
- *
- * \param rsa pointer to the RSA struct to free
- *
- * This must be called for any key obtained by get_rsa_key().
+/*
+ * The public key loading functions below were inspired by corresponding code
+ * of openssh-5.2p1, Copyright (c) 1995 Tatu Ylonen <ylo@cs.hut.fi>, Espoo,
+ * Finland. However, not much of the original code remains.
  */
-void rsa_free(RSA *rsa)
+
+static int read_bignum(const unsigned char *buf, size_t len, BIGNUM **result)
 {
+       const unsigned char *p = buf, *end = buf + len;
+       uint32_t bnsize;
+       BIGNUM *bn;
+
+       if (p + 4 < p)
+               return -E_BIGNUM;
+       if (p + 4 > end)
+               return -E_BIGNUM;
+       bnsize = read_ssh_u32(p);
+       PARA_DEBUG_LOG("bnsize: %u\n", bnsize);
+       p += 4;
+       if (p + bnsize < p)
+               return -E_BIGNUM;
+       if (p + bnsize > end)
+               return -E_BIGNUM;
+       if (bnsize > 8192)
+               return -E_BIGNUM;
+       bn = BN_bin2bn(p, bnsize, NULL);
+       if (!bn)
+               return -E_BIGNUM;
+       *result = bn;
+       return bnsize + 4;
+}
+
+static int read_rsa_bignums(const unsigned char *blob, int blen, RSA **result)
+{
+       int ret;
+       RSA *rsa;
+       const unsigned char *p = blob, *end = blob + blen;
+
+       rsa = RSA_new();
+       if (!rsa)
+               return -E_BIGNUM;
+       ret = read_bignum(p, end - p, &rsa->e);
+       if (ret < 0)
+               goto fail;
+       p += ret;
+       ret = read_bignum(p, end - p, &rsa->n);
+       if (ret < 0)
+               goto fail;
+       *result = rsa;
+       return 1;
+fail:
        if (rsa)
                RSA_free(rsa);
+       return ret;
 }
 
-/**
- * decrypt a buffer using an RSA key
- *
- * \param key_file full path of the rsa key
- * \param outbuf the output buffer
- * \param inbuf the encrypted input buffer
- * \param rsa_inlen the length of \a inbuf
- *
- * The \a outbuf must be large enough to hold at least \a rsa_inlen bytes.
- *
- * \return The size of the recovered plaintext on success, negative on errors.
- *
- * \sa RSA_private_decrypt(3)
- **/
-int para_decrypt_buffer(char *key_file, unsigned char *outbuf, unsigned char *inbuf,
-                       unsigned rsa_inlen)
+int get_asymmetric_key(const char *key_file, int private,
+               struct asymmetric_key **result)
 {
-       RSA *rsa;
-       int ret, inlen = rsa_inlen;
+       struct asymmetric_key *key = NULL;
+       void *map = NULL;
+       unsigned char *blob = NULL;
+       size_t map_size, blob_size, decoded_size;
+       int ret, ret2;
+       char *cp;
+
+       key = para_malloc(sizeof(*key));
+       if (private) {
+               ret = get_openssl_key(key_file, &key->rsa, LOAD_PRIVATE_KEY);
+               goto out;
+       }
+       ret = mmap_full_file(key_file, O_RDONLY, &map, &map_size, NULL);
+       if (ret < 0)
+               goto out;
+       ret = is_ssh_rsa_key(map, map_size);
+       if (!ret) {
+               ret = para_munmap(map, map_size);
+               map = NULL;
+               if (ret < 0)
+                       goto out;
+               ret = get_openssl_key(key_file, &key->rsa, LOAD_PUBLIC_KEY);
+               goto out;
+       }
+       cp = map + ret;
+       PARA_INFO_LOG("decoding public rsa-ssh key %s\n", key_file);
+       ret = -ERRNO_TO_PARA_ERROR(EOVERFLOW);
+       if (map_size > INT_MAX / 4)
+               goto out_unmap;
+       blob_size = 2 * map_size;
+       blob = para_malloc(blob_size);
+       ret = uudecode(cp, blob, blob_size);
+       if (ret < 0)
+               goto out_unmap;
+       decoded_size = ret;
+       ret = check_ssh_key_header(blob, decoded_size);
+       if (ret < 0)
+               goto out_unmap;
+       ret = read_rsa_bignums(blob + ret, decoded_size - ret, &key->rsa);
+       if (ret < 0)
+               goto out_unmap;
+       ret = RSA_size(key->rsa);
+out_unmap:
+       ret2 = para_munmap(map, map_size);
+       if (ret >= 0 && ret2 < 0)
+               ret = ret2;
+out:
+       if (ret < 0) {
+               free(key);
+               *result = NULL;
+               PARA_ERROR_LOG("key %s: %s\n", key_file, para_strerror(-ret));
+       } else
+               *result = key;
+       free(blob);
+       return ret;
+}
+
+void free_asymmetric_key(struct asymmetric_key *key)
+{
+       if (!key)
+               return;
+       RSA_free(key->rsa);
+       free(key);
+}
+
+int priv_decrypt(const char *key_file, unsigned char *outbuf,
+               unsigned char *inbuf, int inlen)
+{
+       struct asymmetric_key *priv;
+       int ret;
 
        if (inlen < 0)
                return -E_RSA;
-       ret = get_rsa_key(key_file, &rsa, LOAD_PRIVATE_KEY);
+       ret = get_asymmetric_key(key_file, LOAD_PRIVATE_KEY, &priv);
        if (ret < 0)
                return ret;
        /*
@@ -169,144 +236,91 @@ int para_decrypt_buffer(char *key_file, unsigned char *outbuf, unsigned char *in
         * factor to protect against this kind of attack.
         */
        ret = -E_BLINDING;
-       if (RSA_blinding_on(rsa, NULL) == 0)
+       if (RSA_blinding_on(priv->rsa, NULL) == 0)
                goto out;
-       ret = RSA_private_decrypt(inlen, inbuf, outbuf, rsa, RSA_PKCS1_OAEP_PADDING);
-       RSA_blinding_off(rsa);
+       ret = RSA_private_decrypt(inlen, inbuf, outbuf, priv->rsa,
+               RSA_PKCS1_OAEP_PADDING);
+       RSA_blinding_off(priv->rsa);
        if (ret <= 0)
                ret = -E_DECRYPT;
 out:
-       rsa_free(rsa);
+       free_asymmetric_key(priv);
        return ret;
 }
 
-/**
- * encrypt a buffer using an RSA key
- *
- * \param rsa: public rsa key
- * \param inbuf the input buffer
- * \param len the length of \a inbuf
- * \param outbuf the output buffer
- *
- * \return The size of the encrypted data on success, negative on errors
- *
- * \sa RSA_public_encrypt(3)
- */
-int para_encrypt_buffer(RSA *rsa, unsigned char *inbuf,
+int pub_encrypt(struct asymmetric_key *pub, unsigned char *inbuf,
                unsigned len, unsigned char *outbuf)
 {
        int ret, flen = len; /* RSA_public_encrypt expects a signed int */
 
        if (flen < 0)
                return -E_ENCRYPT;
-       ret = RSA_public_encrypt(flen, inbuf, outbuf, rsa, RSA_PKCS1_OAEP_PADDING);
+       ret = RSA_public_encrypt(flen, inbuf, outbuf, pub->rsa,
+               RSA_PKCS1_OAEP_PADDING);
        return ret < 0? -E_ENCRYPT : ret;
 }
 
-/**
- * Encrypt and send a buffer.
- *
- * \param rc4c The rc4 crypt context.
- * \param buf The buffer to send.
- * \param len The size of \a buf in bytes.
- *
- * \return The return value of the underyling call to write_all().
- *
- * \sa \ref write_all(), RC4(3).
- */
-int rc4_send_bin_buffer(struct rc4_context *rc4c, const char *buf, size_t len)
-{
-       int ret;
-       unsigned char *tmp;
+struct stream_cipher {
+       RC4_KEY key;
+};
 
-       assert(len);
-       tmp = para_malloc(len);
-       RC4(&rc4c->send_key, len, (const unsigned char *)buf, tmp);
-       ret = write_all(rc4c->fd, (char *)tmp, &len);
-       free(tmp);
-       return ret;
+struct stream_cipher *sc_new(const unsigned char *data, int len)
+{
+       struct stream_cipher *sc = para_malloc(sizeof(*sc));
+       RC4_set_key(&sc->key, len, data);
+       return sc;
 }
 
-/**
- * Encrypt and send a \p NULL-terminated buffer.
- *
- * \param rc4c The rc4 crypt context.
- * \param buf The buffer to send.
- *
- * \return The return value of the underyling call to rc4_send_bin_buffer().
- */
-int rc4_send_buffer(struct rc4_context *rc4c, const char *buf)
+void sc_free(struct stream_cipher *sc)
 {
-       return rc4_send_bin_buffer(rc4c, buf, strlen(buf));
+       free(sc);
 }
 
 /**
- * Format, encrypt and send a buffer.
- *
- * \param rc4c The rc4 crypt context.
- * \param fmt A format string.
- *
- * \return The return value of the underyling call to rc4_send_buffer().
+ * The RC4() implementation of openssl apparently reads and writes data in
+ * blocks of 8 bytes. So we have to make sure our buffer sizes are a multiple
+ * of this.
  */
-__printf_2_3 int rc4_send_va_buffer(struct rc4_context *rc4c, const char *fmt, ...)
+#define RC4_ALIGN 8
+
+int sc_send_bin_buffer(struct stream_cipher_context *scc, char *buf,
+               size_t len)
 {
-       char *msg;
        int ret;
+       unsigned char *tmp;
+       static unsigned char remainder[RC4_ALIGN];
+       size_t l1 = ROUND_DOWN(len, RC4_ALIGN), l2 = ROUND_UP(len, RC4_ALIGN);
 
-       PARA_VSPRINTF(fmt, msg);
-       ret = rc4_send_buffer(rc4c, msg);
-       free(msg);
+       assert(len);
+       tmp = para_malloc(l2);
+       RC4(&scc->send->key, l1, (const unsigned char *)buf, tmp);
+       if (len > l1) {
+               memcpy(remainder, buf + l1, len - l1);
+               RC4(&scc->send->key, len - l1, remainder, tmp + l1);
+       }
+       ret = xwrite(scc->fd, (char *)tmp, len);
+       free(tmp);
        return ret;
 }
 
-/**
- * Receive a buffer and decrypt it.
- *
- * \param rc4c The rc4 crypt context.
- * \param buf The buffer to write the decrypted data to.
- * \param size The size of \a buf.
- *
- * \return The number of bytes received on success, negative on errors, zero if
- * the peer has performed an orderly shutdown.
- *
- * \sa recv(2), RC4(3).
- */
-int rc4_recv_bin_buffer(struct rc4_context *rc4c, char *buf, size_t size)
+int sc_recv_bin_buffer(struct stream_cipher_context *scc, char *buf,
+               size_t size)
 {
-       unsigned char *tmp = para_malloc(size);
-       ssize_t ret = recv(rc4c->fd, tmp, size, 0);
+       unsigned char *tmp = para_malloc(ROUND_UP(size, RC4_ALIGN));
+       ssize_t ret = recv(scc->fd, tmp, size, 0);
 
        if (ret > 0)
-               RC4(&rc4c->recv_key, ret, tmp, (unsigned char *)buf);
+               RC4(&scc->recv->key, ret, tmp, (unsigned char *)buf);
        else if (ret < 0)
                ret = -ERRNO_TO_PARA_ERROR(errno);
        free(tmp);
        return ret;
 }
 
-/**
- * Receive a buffer, decrypt it and write terminating NULL byte.
- *
- * \param rc4c The rc4 crypt context.
- * \param buf The buffer to write the decrypted data to.
- * \param size The size of \a buf.
- *
- * Read at most \a size - 1 bytes from file descriptor given by \a rc4c,
- * decrypt the received data and write a NULL byte at the end of the decrypted
- * data.
- *
- * \return The return value of the underlying call to \ref
- * rc4_recv_bin_buffer().
- */
-int rc4_recv_buffer(struct rc4_context *rc4c, char *buf, size_t size)
+void hash_function(const char *data, unsigned long len, unsigned char *hash)
 {
-       int n;
-
-       assert(size);
-       n = rc4_recv_bin_buffer(rc4c, buf, size - 1);
-       if (n >= 0)
-               buf[n] = '\0';
-       else
-               *buf = '\0';
-       return n;
+       SHA_CTX c;
+       SHA1_Init(&c);
+       SHA1_Update(&c, data, len);
+       SHA1_Final(hash, &c);
 }