be more carful wrt. signed vs. unsigned argument passing
[paraslash.git] / crypt.c
diff --git a/crypt.c b/crypt.c
index c1a2d4e..b3bac46 100644 (file)
--- a/crypt.c
+++ b/crypt.c
@@ -65,6 +65,19 @@ int get_rsa_key(char *key_file, RSA **rsa, int private)
        return RSA_size(*rsa);
 }
 
+/**
+ * free an RSA structure
+ *
+ * \param rsa pointer to the RSA struct to free
+ *
+ * This must be called for any key obtained by get_rsa_key().
+ */
+void rsa_free(RSA *rsa)
+{
+       if (rsa)
+               RSA_free(rsa);
+}
+
 /**
  * decrypt a buffer using an RSA key
  *
@@ -80,14 +93,18 @@ int get_rsa_key(char *key_file, RSA **rsa, int private)
  * \sa RSA_private_decrypt(3)
  **/
 int para_decrypt_buffer(char *key_file, unsigned char *outbuf, unsigned char *inbuf,
-                       int rsa_inlen)
+                       unsigned rsa_inlen)
 {
        RSA *rsa;
-       int ret = get_rsa_key(key_file, &rsa, LOAD_PRIVATE_KEY);
+       int ret, inlen = rsa_inlen;
 
+       if (inlen < 0)
+               return -E_RSA;
+       ret = get_rsa_key(key_file, &rsa, LOAD_PRIVATE_KEY);
        if (ret < 0)
                return ret;
-       ret = RSA_private_decrypt(rsa_inlen, inbuf, outbuf, rsa, RSA_PKCS1_PADDING);
+       ret = RSA_private_decrypt(inlen, inbuf, outbuf, rsa, RSA_PKCS1_PADDING);
+       rsa_free(rsa);
        return (ret > 0)? ret : -E_DECRYPT;
 }
 
@@ -104,7 +121,7 @@ int para_decrypt_buffer(char *key_file, unsigned char *outbuf, unsigned char *in
  * \sa para_decrypt_buffer()
  */
 int para_decrypt_challenge(char *key_file, long unsigned *challenge_nr,
-               unsigned char *inbuf, int rsa_inlen)
+               unsigned char *inbuf, unsigned rsa_inlen)
 {
        unsigned char *rsa_out = OPENSSL_malloc(rsa_inlen + 1);
        int ret = para_decrypt_buffer(key_file, rsa_out, inbuf, rsa_inlen);
@@ -131,10 +148,13 @@ int para_decrypt_challenge(char *key_file, long unsigned *challenge_nr,
  * \sa RSA_public_encrypt(3)
  */
 int para_encrypt_buffer(RSA *rsa, unsigned char *inbuf,
-               const unsigned len, unsigned char *outbuf)
+               unsigned len, unsigned char *outbuf)
 {
-       int ret = RSA_public_encrypt(len, inbuf, outbuf, rsa,
-               RSA_PKCS1_PADDING);
+       int ret, flen = len; /* RSA_public_encrypt expects a signed int */
+
+       if (flen < 0)
+               return -E_ENCRYPT;
+       ret = RSA_public_encrypt(flen, inbuf, outbuf, rsa, RSA_PKCS1_PADDING);
        return ret < 0?  -E_ENCRYPT : ret;
 }