crypt: Move implementation-independent code to separate file.
[paraslash.git] / crypt.c
diff --git a/crypt.c b/crypt.c
index 49e9e8ae7863fed3f40881a356957f115bf31769..7b602d995d3deccaba5e2e6ab76f4dec5570c95b 100644 (file)
--- a/crypt.c
+++ b/crypt.c
@@ -1,24 +1,33 @@
 /*
- * Copyright (C) 2005-2009 Andre Noll <maan@systemlinux.org>
+ * Copyright (C) 2005-2011 Andre Noll <maan@systemlinux.org>
  *
  * Licensed under the GPL v2. For licencing details see COPYING.
  */
 
-/** \file crypt.c openssl-based RSA encryption/decryption routines */
+/** \file crypt.c Openssl-based encryption/decryption routines. */
 
 #include <regex.h>
-#include <dirent.h>
+#include <stdbool.h>
 #include <sys/types.h>
 #include <sys/socket.h>
 #include <openssl/rand.h>
 #include <openssl/err.h>
 #include <openssl/rc4.h>
+#include <openssl/pem.h>
+#include <openssl/sha.h>
+#include <openssl/bn.h>
 
 #include "para.h"
 #include "error.h"
 #include "string.h"
 #include "crypt.h"
 #include "fd.h"
+#include "crypt_backend.h"
+
+struct asymmetric_key {
+       RSA *rsa;
+};
+
 /**
  * Fill a buffer with random content.
  *
@@ -65,19 +74,6 @@ void init_random_seed_or_die(void)
        srandom(seed);
 }
 
-static int check_key_file(const char *file, int private)
-{
-       struct stat st;
-
-       if (stat(file, &st) != 0)
-               return -ERRNO_TO_PARA_ERROR(errno);
-       if (private != LOAD_PRIVATE_KEY)
-               return 0;
-       if ((st.st_uid == getuid()) && (st.st_mode & 077) != 0)
-               return -E_KEY_PERM;
-       return 1;
-}
-
 static EVP_PKEY *load_key(const char *file, int private)
 {
        BIO *key;
@@ -101,18 +97,7 @@ static EVP_PKEY *load_key(const char *file, int private)
        return pkey;
 }
 
-/**
- * read an RSA key from a file
- *
- * \param key_file the file containing the key
- * \param rsa RSA structure is returned here
- * \param private if non-zero, read the private key, otherwise the public key
- *
- * \return The size of the RSA key on success, negative on errors.
- *
- * \sa openssl(1), rsa(1).
- */
-int get_rsa_key(char *key_file, RSA **rsa, int private)
+static int get_openssl_key(const char *key_file, RSA **rsa, int private)
 {
        EVP_PKEY *key = load_key(key_file, private);
 
@@ -126,26 +111,154 @@ int get_rsa_key(char *key_file, RSA **rsa, int private)
        return RSA_size(*rsa);
 }
 
+/*
+ * The public key loading functions below were inspired by corresponding code
+ * of openssh-5.2p1, Copyright (c) 1995 Tatu Ylonen <ylo@cs.hut.fi>, Espoo,
+ * Finland. However, not much of the original code remains.
+ */
+
+static int read_bignum(const unsigned char *buf, size_t len, BIGNUM **result)
+{
+       const unsigned char *p = buf, *end = buf + len;
+       uint32_t bnsize;
+       BIGNUM *bn;
+
+       if (p + 4 < p)
+               return -E_BIGNUM;
+       if (p + 4 > end)
+               return -E_BIGNUM;
+       bnsize = read_ssh_u32(p);
+       PARA_DEBUG_LOG("bnsize: %u\n", bnsize);
+       p += 4;
+       if (p + bnsize < p)
+               return -E_BIGNUM;
+       if (p + bnsize > end)
+               return -E_BIGNUM;
+       if (bnsize > 8192)
+               return -E_BIGNUM;
+       bn = BN_bin2bn(p, bnsize, NULL);
+       if (!bn)
+               return -E_BIGNUM;
+       *result = bn;
+       return bnsize + 4;
+}
+
+static int read_rsa_bignums(const unsigned char *blob, int blen, RSA **result)
+{
+       int ret;
+       RSA *rsa;
+       const unsigned char *p = blob, *end = blob + blen;
+
+       rsa = RSA_new();
+       if (!rsa)
+               return -E_BIGNUM;
+       ret = read_bignum(p, end - p, &rsa->e);
+       if (ret < 0)
+               goto fail;
+       p += ret;
+       ret = read_bignum(p, end - p, &rsa->n);
+       if (ret < 0)
+               goto fail;
+       *result = rsa;
+       return 1;
+fail:
+       if (rsa)
+               RSA_free(rsa);
+       return ret;
+}
+
 /**
- * free an RSA structure
+ * Read an asymmetric key from a file.
+ *
+ * \param key_file The file containing the key.
+ * \param private if non-zero, read the private key, otherwise the public key.
+ * \param result The key structure is returned here.
  *
- * \param rsa pointer to the RSA struct to free
+ * \return The size of the key on success, negative on errors.
  *
- * This must be called for any key obtained by get_rsa_key().
+ * \sa openssl(1), rsa(1).
  */
-void rsa_free(RSA *rsa)
+int get_asymmetric_key(const char *key_file, int private,
+               struct asymmetric_key **result)
 {
-       if (rsa)
-               RSA_free(rsa);
+       struct asymmetric_key *key = NULL;
+       void *map = NULL;
+       unsigned char *blob = NULL;
+       size_t map_size, blob_size, decoded_size;
+       int ret, ret2;
+       char *cp;
+
+       key = para_malloc(sizeof(*key));
+       if (private) {
+               ret = get_openssl_key(key_file, &key->rsa, LOAD_PRIVATE_KEY);
+               goto out;
+       }
+       ret = mmap_full_file(key_file, O_RDONLY, &map, &map_size, NULL);
+       if (ret < 0)
+               goto out;
+       ret = is_ssh_rsa_key(map, map_size);
+       if (!ret) {
+               ret = para_munmap(map, map_size);
+               map = NULL;
+               if (ret < 0)
+                       goto out;
+               ret = get_openssl_key(key_file, &key->rsa, LOAD_PUBLIC_KEY);
+               goto out;
+       }
+       cp = map + ret;
+       PARA_INFO_LOG("decoding public rsa-ssh key %s\n", key_file);
+       ret = -ERRNO_TO_PARA_ERROR(EOVERFLOW);
+       if (map_size > INT_MAX / 4)
+               goto out;
+       blob_size = 2 * map_size;
+       blob = para_malloc(blob_size);
+       ret = uudecode(cp, blob, blob_size);
+       if (ret < 0)
+               goto out;
+       decoded_size = ret;
+       ret = check_ssh_key_header(blob, decoded_size);
+       if (ret < 0)
+               goto out;
+       ret = read_rsa_bignums(blob + ret, decoded_size - ret, &key->rsa);
+       if (ret < 0)
+               goto out;
+       ret = RSA_size(key->rsa);
+out:
+       ret2 = para_munmap(map, map_size);
+       if (ret >= 0 && ret2 < 0)
+               ret = ret2;
+       if (ret < 0) {
+               free(key);
+               result = NULL;
+               PARA_ERROR_LOG("key %s: %s\n", key_file, para_strerror(-ret));
+       } else
+               *result = key;
+       free(blob);
+       return ret;
+}
+
+/**
+ * Deallocate an asymmetric key structure.
+ *
+ * \param key Pointer to the key structure to free.
+ *
+ * This must be called for any key obtained by get_asymmetric_key().
+ */
+void free_asymmetric_key(struct asymmetric_key *key)
+{
+       if (!key)
+               return;
+       RSA_free(key->rsa);
+       free(key);
 }
 
 /**
- * decrypt a buffer using an RSA key
+ * Decrypt a buffer using a private key.
  *
- * \param key_file full path of the rsa key
- * \param outbuf the output buffer
- * \param inbuf the encrypted input buffer
- * \param rsa_inlen the length of \a inbuf
+ * \param key_file Full path of the key.
+ * \param outbuf The output buffer.
+ * \param inbuf The encrypted input buffer.
+ * \param inlen The length of \a inbuf in bytes.
  *
  * The \a outbuf must be large enough to hold at least \a rsa_inlen bytes.
  *
@@ -153,15 +266,15 @@ void rsa_free(RSA *rsa)
  *
  * \sa RSA_private_decrypt(3)
  **/
-int para_decrypt_buffer(char *key_file, unsigned char *outbuf, unsigned char *inbuf,
-                       unsigned rsa_inlen)
+int priv_decrypt(const char *key_file, unsigned char *outbuf,
+               unsigned char *inbuf, int inlen)
 {
-       RSA *rsa;
-       int ret, inlen = rsa_inlen;
+       struct asymmetric_key *priv;
+       int ret;
 
        if (inlen < 0)
                return -E_RSA;
-       ret = get_rsa_key(key_file, &rsa, LOAD_PRIVATE_KEY);
+       ret = get_asymmetric_key(key_file, LOAD_PRIVATE_KEY, &priv);
        if (ret < 0)
                return ret;
        /*
@@ -169,100 +282,113 @@ int para_decrypt_buffer(char *key_file, unsigned char *outbuf, unsigned char *in
         * factor to protect against this kind of attack.
         */
        ret = -E_BLINDING;
-       if (RSA_blinding_on(rsa, NULL) == 0)
+       if (RSA_blinding_on(priv->rsa, NULL) == 0)
                goto out;
-       ret = RSA_private_decrypt(inlen, inbuf, outbuf, rsa, RSA_PKCS1_OAEP_PADDING);
-       RSA_blinding_off(rsa);
+       ret = RSA_private_decrypt(inlen, inbuf, outbuf, priv->rsa,
+               RSA_PKCS1_OAEP_PADDING);
+       RSA_blinding_off(priv->rsa);
        if (ret <= 0)
                ret = -E_DECRYPT;
 out:
-       rsa_free(rsa);
+       free_asymmetric_key(priv);
        return ret;
 }
 
 /**
- * encrypt a buffer using an RSA key
+ * Encrypt a buffer using an RSA key
  *
- * \param rsa: public rsa key
- * \param inbuf the input buffer
- * \param len the length of \a inbuf
- * \param outbuf the output buffer
+ * \param pub: The public key.
+ * \param inbuf The input buffer.
+ * \param len The length of \a inbuf.
+ * \param outbuf The output buffer.
  *
- * \return The size of the encrypted data on success, negative on errors
+ * \return The size of the encrypted data on success, negative on errors.
  *
  * \sa RSA_public_encrypt(3)
  */
-int para_encrypt_buffer(RSA *rsa, unsigned char *inbuf,
+int pub_encrypt(struct asymmetric_key *pub, unsigned char *inbuf,
                unsigned len, unsigned char *outbuf)
 {
        int ret, flen = len; /* RSA_public_encrypt expects a signed int */
 
        if (flen < 0)
                return -E_ENCRYPT;
-       ret = RSA_public_encrypt(flen, inbuf, outbuf, rsa, RSA_PKCS1_OAEP_PADDING);
+       ret = RSA_public_encrypt(flen, inbuf, outbuf, pub->rsa,
+               RSA_PKCS1_OAEP_PADDING);
        return ret < 0? -E_ENCRYPT : ret;
 }
 
+struct stream_cipher {
+       RC4_KEY key;
+};
+
 /**
- * Encrypt and send a buffer.
+ * Allocate and initialize a stream cipher structure.
  *
- * \param rc4c The rc4 crypt context.
- * \param buf The buffer to send.
- * \param len The size of \a buf in bytes.
- *
- * \return The return value of the underyling call to write_all().
+ * \param data The key.
+ * \param len The size of the key.
  *
- * \sa \ref write_all(), RC4(3).
+ * \return A new stream cipher structure.
  */
-int rc4_send_bin_buffer(struct rc4_context *rc4c, const char *buf, size_t len)
+struct stream_cipher *sc_new(const unsigned char *data, int len)
 {
-       int ret;
-       unsigned char *tmp;
-
-       assert(len);
-       tmp = para_malloc(len);
-       RC4(&rc4c->send_key, len, (const unsigned char *)buf, tmp);
-       ret = write_all(rc4c->fd, (char *)tmp, &len);
-       free(tmp);
-       return ret;
+       struct stream_cipher *sc = para_malloc(sizeof(*sc));
+       RC4_set_key(&sc->key, len, data);
+       return sc;
 }
 
 /**
- * Encrypt and send a \p NULL-terminated buffer.
- *
- * \param rc4c The rc4 crypt context.
- * \param buf The buffer to send.
+ * Deallocate a stream cipher structure.
  *
- * \return The return value of the underyling call to rc4_send_bin_buffer().
+ * \param sc A stream cipher previously obtained by sc_new().
  */
-int rc4_send_buffer(struct rc4_context *rc4c, const char *buf)
+void sc_free(struct stream_cipher *sc)
 {
-       return rc4_send_bin_buffer(rc4c, buf, strlen(buf));
+       free(sc);
 }
 
 /**
- * Format, encrypt and send a buffer.
+ * The RC4() implementation of openssl apparently reads and writes data in
+ * blocks of 8 bytes. So we have to make sure our buffer sizes are a multiple
+ * of this.
+ */
+#define RC4_ALIGN 8
+
+/**
+ * Encrypt and send a buffer.
  *
- * \param rc4c The rc4 crypt context.
- * \param fmt A format string.
+ * \param scc The context.
+ * \param buf The buffer to send.
+ * \param len The size of \a buf in bytes.
+ *
+ * \return The return value of the underyling call to write_all().
  *
- * \return The return value of the underyling call to rc4_send_buffer().
+ * \sa \ref write_all(), RC4(3).
  */
-__printf_2_3 int rc4_send_va_buffer(struct rc4_context *rc4c, const char *fmt, ...)
+int sc_send_bin_buffer(struct stream_cipher_context *scc, const char *buf,
+               size_t len)
 {
-       char *msg;
        int ret;
+       unsigned char *tmp;
+       static unsigned char remainder[RC4_ALIGN];
+       size_t l1 = ROUND_DOWN(len, RC4_ALIGN), l2 = ROUND_UP(len, RC4_ALIGN);
 
-       PARA_VSPRINTF(fmt, msg);
-       ret = rc4_send_buffer(rc4c, msg);
-       free(msg);
+       assert(len);
+       tmp = para_malloc(l2);
+       RC4(&scc->send->key, l1, (const unsigned char *)buf, tmp);
+       if (len > l1) {
+               memcpy(remainder, buf + l1, len - l1);
+               RC4(&scc->send->key, len - l1, remainder, tmp + l1);
+       }
+       ret = write_all(scc->fd, (char *)tmp, &len);
+       free(tmp);
        return ret;
 }
 
 /**
  * Receive a buffer and decrypt it.
  *
- * \param rc4c The rc4 crypt context.
+ * \param scc The context.
  * \param buf The buffer to write the decrypted data to.
  * \param size The size of \a buf.
  *
@@ -271,13 +397,14 @@ __printf_2_3 int rc4_send_va_buffer(struct rc4_context *rc4c, const char *fmt, .
  *
  * \sa recv(2), RC4(3).
  */
-int rc4_recv_bin_buffer(struct rc4_context *rc4c, char *buf, size_t size)
+int sc_recv_bin_buffer(struct stream_cipher_context *scc, char *buf,
+               size_t size)
 {
        unsigned char *tmp = para_malloc(size);
-       ssize_t ret = recv(rc4c->fd, tmp, size, 0);
+       ssize_t ret = recv(scc->fd, tmp, size, 0);
 
        if (ret > 0)
-               RC4(&rc4c->recv_key, ret, tmp, (unsigned char *)buf);
+               RC4(&scc->recv->key, ret, tmp, (unsigned char *)buf);
        else if (ret < 0)
                ret = -ERRNO_TO_PARA_ERROR(errno);
        free(tmp);
@@ -285,28 +412,20 @@ int rc4_recv_bin_buffer(struct rc4_context *rc4c, char *buf, size_t size)
 }
 
 /**
- * Receive a buffer, decrypt it and write terminating NULL byte.
+ * Compute the hash of the given input data.
  *
- * \param rc4c The rc4 crypt context.
- * \param buf The buffer to write the decrypted data to.
- * \param size The size of \a buf.
+ * \param data Pointer to the data to compute the hash value from.
+ * \param len The length of \a data in bytes.
+ * \param hash Result pointer.
  *
- * Read at most \a size - 1 bytes from file descriptor given by \a rc4c,
- * decrypt the received data and write a NULL byte at the end of the decrypted
- * data.
+ * \a hash must point to an area at least \p HASH_SIZE bytes large.
  *
- * \return The return value of the underlying call to \ref
- * rc4_recv_bin_buffer().
- */
-int rc4_recv_buffer(struct rc4_context *rc4c, char *buf, size_t size)
+ * \sa sha(3), openssl(1).
+ * */
+void hash_function(const char *data, unsigned long len, unsigned char *hash)
 {
-       int n;
-
-       assert(size);
-       n = rc4_recv_bin_buffer(rc4c, buf, size - 1);
-       if (n >= 0)
-               buf[n] = '\0';
-       else
-               *buf = '\0';
-       return n;
+       SHA_CTX c;
+       SHA1_Init(&c);
+       SHA1_Update(&c, data, len);
+       SHA1_Final(hash, &c);
 }