Fixed a bug (introduced in commit 64db6bc3...) and another one in Factors2mx
[libdai.git] / include / dai / factor.h
index 7fe40e9..05f3e82 100644 (file)
@@ -11,8 +11,7 @@
 
 
 /// \file
-/// \brief Defines TFactor<T> and Factor classes
-/// \todo Improve documentation
+/// \brief Defines TFactor<> and Factor classes which represent factors in probability distributions.
 
 
 #ifndef __defined_libdai_factor_h
 namespace dai {
 
 
-// Function object similar to std::divides(), but different in that dividing by zero results in zero
-template<typename T> struct divides0 : public std::binary_function<T, T, T> {
-    // Returns (j == 0 ? 0 : (i/j))
-    T operator()( const T &i, const T &j ) const {
-        if( j == (T)0 )
-            return (T)0;
-        else
-            return i / j;
-    }
-};
-
-
 /// Represents a (probability) factor.
 /** Mathematically, a \e factor is a function mapping joint states of some
  *  variables to the nonnegative real numbers.
  *  More formally, denoting a discrete variable with label \f$l\f$ by
  *  \f$x_l\f$ and its state space by \f$X_l = \{0,1,\dots,S_l-1\}\f$,
- *  then a factor depending on the variables \f$\{x_l\}_{l\in L}\f$ is
+ *  a factor depending on the variables \f$\{x_l\}_{l\in L}\f$ is
  *  a function \f$f_L : \prod_{l\in L} X_l \to [0,\infty)\f$.
  *
- *  In libDAI, a factor is represented by a TFactor<\a T> object, which has two
+ *  In libDAI, a factor is represented by a TFactor<T> object, which has two
  *  components:
  *  \arg a VarSet, corresponding with the set of variables \f$\{x_l\}_{l\in L}\f$
  *  that the factor depends on;
- *  \arg a TProb<\a T>, a vector containing the value of the factor for each possible
+ *  \arg a TProb, a vector containing the value of the factor for each possible
  *  joint state of the variables.
  *
- *  The factor values are stored in the entries of the TProb<\a T> in a particular
+ *  The factor values are stored in the entries of the TProb in a particular
  *  ordering, which is defined by the one-to-one correspondence of a joint state
  *  in \f$\prod_{l\in L} X_l\f$ with a linear index in
  *  \f$\{0,1,\dots,\prod_{l\in L} S_l-1\}\f$ according to the mapping \f$\sigma\f$
- *  induced by VarSet::calcState(const std::map<Var,size_t> &).
+ *  induced by dai::calcLinearState().
  *
  *  \tparam T Should be a scalar that is castable from and to double and should support elementary arithmetic operations.
  *  \todo Define a better fileformat for .fg files (maybe using XML)?
  *  \todo Add support for sparse factors.
  */
-template <typename T> class TFactor {
+template <typename T>
+class TFactor {
     private:
-        VarSet      _vs;
-        TProb<T>    _p;
+        /// Stores the variables on which the factor depends
+        VarSet _vs;
+        /// Stores the factor values
+        TProb<T> _p;
 
     public:
-        /// Iterator over factor entries
-        typedef typename TProb<T>::iterator iterator;
+    /// \name Constructors and destructors
+    //@{
+        /// Constructs factor depending on no variables with value \a p
+        TFactor ( T p = 1 ) : _vs(), _p(1,p) {}
 
-        /// Const iterator over factor entries
-        typedef typename TProb<T>::const_iterator const_iterator;
+        /// Constructs factor depending on the variable \a v with uniform distribution
+        TFactor( const Var &v ) : _vs(v), _p(v.states()) {}
 
-        /// Constructs TFactor depending on no variables, with value p
-        TFactor ( Real p = 1.0 ) : _vs(), _p(1,p) {}
+        /// Constructs factor depending on variables in \a vars with uniform distribution
+        TFactor( const VarSet& vars ) : _vs(vars), _p((size_t)_vs.nrStates()) {
+            DAI_ASSERT( _vs.nrStates() <= std::numeric_limits<std::size_t>::max() );
+        }
 
-        /// Constructs TFactor depending on variables in vars, with uniform distribution
-        TFactor( const VarSet& vars ) : _vs(vars), _p(_vs.nrStates()) {}
+        /// Constructs factor depending on variables in \a vars with all values set to \a p
+        TFactor( const VarSet& vars, T p ) : _vs(vars), _p((size_t)_vs.nrStates(),p) {
+            DAI_ASSERT( _vs.nrStates() <= std::numeric_limits<std::size_t>::max() );
+        }
 
-        /// Constructs TFactor depending on variables in vars, with all values set to p
-        TFactor( const VarSet& vars, Real p ) : _vs(vars), _p(_vs.nrStates(),p) {}
+        /// Constructs factor depending on variables in \a vars, copying the values from a std::vector<>
+        /** \tparam S Type of values of \a x
+         *  \param vars contains the variables that the new factor should depend on.
+         *  \param x Vector with values to be copied.
+         */
+        template<typename S>
+        TFactor( const VarSet& vars, const std::vector<S> &x ) : _vs(vars), _p() {
+            DAI_ASSERT( x.size() == vars.nrStates() );
+            _p = TProb<T>( x.begin(), x.end(), x.size() );
+        }
 
-        /// Constructs TFactor depending on variables in vars, copying the values from the range starting at begin
-        /** \param vars contains the variables that the new TFactor should depend on.
-         *  \tparam Iterator Iterates over instances of type T; should support addition of size_t.
-         *  \param begin Points to first element to be added.
+        /// Constructs factor depending on variables in \a vars, copying the values from an array
+        /** \param vars contains the variables that the new factor should depend on.
+         *  \param p Points to array of values to be added.
          */
-        template<typename TIterator>
-        TFactor( const VarSet& vars, TIterator begin ) : _vs(vars), _p(begin, begin + _vs.nrStates(), _vs.nrStates()) {}
+        TFactor( const VarSet& vars, const T* p ) : _vs(vars), _p(p, p + (size_t)_vs.nrStates(), (size_t)_vs.nrStates()) {
+            DAI_ASSERT( _vs.nrStates() <= std::numeric_limits<std::size_t>::max() );
+        }
 
-        /// Constructs TFactor depending on variables in vars, with values set to the TProb p
+        /// Constructs factor depending on variables in \a vars, copying the values from \a p
         TFactor( const VarSet& vars, const TProb<T> &p ) : _vs(vars), _p(p) {
-            DAI_DEBASSERT( _vs.nrStates() == _p.size() );
+            DAI_ASSERT( _vs.nrStates() == _p.size() );
         }
 
-        /// Constructs TFactor depending on variables in vars, permuting the values given in TProb p
+        /// Constructs factor depending on variables in \a vars, permuting the values given in \a p accordingly
         TFactor( const std::vector<Var> &vars, const std::vector<T> &p ) : _vs(vars.begin(), vars.end(), vars.size()), _p(p.size()) {
+            size_t nrStates = 1;
+            for( size_t i = 0; i < vars.size(); i++ )
+                nrStates *= vars[i].states();
+            DAI_ASSERT( nrStates == p.size() );
             Permute permindex(vars);
             for( size_t li = 0; li < p.size(); ++li )
-                _p[permindex.convert_linear_index(li)] = p[li];
+                _p.set( permindex.convertLinearIndex(li), p[li] );
         }
+    //@}
 
-        /// Constructs TFactor depending on the variable v, with uniform distribution
-        TFactor( const Var &v ) : _vs(v), _p(v.states()) {}
+    /// \name Get/set individual entries
+    //@{
+        /// Sets \a i 'th entry to \a val
+        void set( size_t i, T val ) { _p.set( i, val ); }
 
-        /// Returns const reference to value vector
+        /// Gets \a i 'th entry
+        T get( size_t i ) const { return _p[i]; }
+    //@}
+
+    /// \name Queries
+    //@{
+        /// Returns constant reference to value vector
         const TProb<T>& p() const { return _p; }
+
         /// Returns reference to value vector
         TProb<T>& p() { return _p; }
 
-        /// Returns const reference to variable set
+        /// Returns a copy of the \a i 'th entry of the value vector
+        T operator[] (size_t i) const { return _p[i]; }
+
+        /// Returns constant reference to variable set (i.e., the variables on which the factor depends)
         const VarSet& vars() const { return _vs; }
 
-        /// Returns the number of possible joint states of the variables
+        /// Returns reference to variable set (i.e., the variables on which the factor depends)
+        VarSet& vars() { return _vs; }
+
+        /// Returns the number of possible joint states of the variables on which the factor depends, \f$\prod_{l\in L} S_l\f$
         /** \note This is equal to the length of the value vector.
          */
-        size_t states() const { return _p.size(); }
+        size_t nrStates() const { return _p.size(); }
 
-        /// Returns a copy of the i'th entry of the value vector
-        T operator[] (size_t i) const { return _p[i]; }
+        /// Returns the Shannon entropy of \c *this, \f$-\sum_i p_i \log p_i\f$
+        T entropy() const { return _p.entropy(); }
 
-        /// Returns a reference to the i'th entry of the value vector
-        T& operator[] (size_t i) { return _p[i]; }
+        /// Returns maximum of all values
+        T max() const { return _p.max(); }
 
-        /// Returns iterator pointing to first entry
-        iterator begin() { return _p.begin(); }
-        /// Returns const iterator pointing to first entry
-        const_iterator begin() const { return _p.begin(); }
-        /// Returns iterator pointing beyond last entry
-        iterator end() { return _p.end(); }
-        /// Returns const iterator pointing beyond last entry
-        const_iterator end() const { return _p.end(); }
+        /// Returns minimum of all values
+        T min() const { return _p.min(); }
 
-        /// Sets all values to p
-        TFactor<T> & fill (T p) { _p.fill( p ); return(*this); }
+        /// Returns sum of all values
+        T sum() const { return _p.sum(); }
+        
+        /// Returns sum of absolute values
+        T sumAbs() const { return _p.sumAbs(); }
 
-        /// Draws all values i.i.d. from a uniform distribution on [0,1)
-        TFactor<T> & randomize () { _p.randomize(); return(*this); }
+        /// Returns maximum absolute value of all values
+        T maxAbs() const { return _p.maxAbs(); }
 
+        /// Returns \c true if one or more values are NaN
+        bool hasNaNs() const { return _p.hasNaNs(); }
 
-        /// Multiplies *this with scalar t
-        TFactor<T>& operator*= (T t) {
-            _p *= t;
-            return *this;
-        }
+        /// Returns \c true if one or more values are negative
+        bool hasNegatives() const { return _p.hasNegatives(); }
 
-        /// Divides *this by scalar t
-        TFactor<T>& operator/= (T t) {
-            _p /= t;
-            return *this;
+        /// Returns strength of this factor (between variables \a i and \a j), as defined in eq. (52) of [\ref MoK07b]
+        T strength( const Var &i, const Var &j ) const;
+
+        /// Comparison
+        bool operator==( const TFactor<T>& y ) const {
+            return (_vs == y._vs) && (_p == y._p);
+        }
+    //@}
+
+    /// \name Unary transformations
+    //@{
+        /// Returns negative of \c *this
+        TFactor<T> operator- () const { 
+            // Note: the alternative (shorter) way of implementing this,
+            //   return TFactor<T>( _vs, _p.abs() );
+            // is slower because it invokes the copy constructor of TProb<T>
+            TFactor<T> x;
+            x._vs = _vs;
+            x._p = -_p;
+            return x;
         }
 
-        /// Adds scalar t to *this
-        TFactor<T>& operator+= (T t) {
-            _p += t;
-            return *this;
+        /// Returns pointwise absolute value
+        TFactor<T> abs() const {
+            TFactor<T> x;
+            x._vs = _vs;
+            x._p = _p.abs();
+            return x;
         }
 
-        /// Subtracts scalar t from *this
-        TFactor<T>& operator-= (T t) {
-            _p -= t;
-            return *this;
+        /// Returns pointwise exponent
+        TFactor<T> exp() const {
+            TFactor<T> x;
+            x._vs = _vs;
+            x._p = _p.exp();
+            return x;
         }
 
-        /// Raises *this to the power a
-        TFactor<T>& operator^= (Real a) { _p ^= a; return *this; }
+        /// Returns pointwise logarithm
+        /** If \a zero == \c true, uses <tt>log(0)==0</tt>; otherwise, <tt>log(0)==-Inf</tt>.
+         */
+        TFactor<T> log(bool zero=false) const {
+            TFactor<T> x;
+            x._vs = _vs;
+            x._p = _p.log(zero);
+            return x;
+        }
 
+        /// Returns pointwise inverse
+        /** If \a zero == \c true, uses <tt>1/0==0</tt>; otherwise, <tt>1/0==Inf</tt>.
+         */
+        TFactor<T> inverse(bool zero=true) const {
+            TFactor<T> x;
+            x._vs = _vs;
+            x._p = _p.inverse(zero);
+            return x;
+        }
 
-        /// Returns product of *this with scalar t
-        TFactor<T> operator* (T t) const {
-            TFactor<T> result = *this;
-            result.p() *= t;
-            return result;
+        /// Returns normalized copy of \c *this, using the specified norm
+        /** \throw NOT_NORMALIZABLE if the norm is zero
+         */
+        TFactor<T> normalized( ProbNormType norm=NORMPROB ) const {
+            TFactor<T> x;
+            x._vs = _vs;
+            x._p = _p.normalized( norm );
+            return x;
         }
+    //@}
+
+    /// \name Unary operations
+    //@{
+        /// Draws all values i.i.d. from a uniform distribution on [0,1)
+        TFactor<T>& randomize() { _p.randomize(); return *this; }
+
+        /// Sets all values to \f$1/n\f$ where \a n is the number of states
+        TFactor<T>& setUniform() { _p.setUniform(); return *this; }
+
+        /// Applies absolute value pointwise
+        TFactor<T>& takeAbs() { _p.takeAbs(); return *this; }
+
+        /// Applies exponent pointwise
+        TFactor<T>& takeExp() { _p.takeExp(); return *this; }
+
+        /// Applies logarithm pointwise
+        /** If \a zero == \c true, uses <tt>log(0)==0</tt>; otherwise, <tt>log(0)==-Inf</tt>.
+         */
+        TFactor<T>& takeLog( bool zero = false ) { _p.takeLog(zero); return *this; }
 
-        /// Returns quotient of *this with scalar t
-        TFactor<T> operator/ (T t) const {
-            TFactor<T> result = *this;
-            result.p() /= t;
+        /// Normalizes factor using the specified norm
+        /** \throw NOT_NORMALIZABLE if the norm is zero
+         */
+        T normalize( ProbNormType norm=NORMPROB ) { return _p.normalize( norm ); }
+    //@}
+
+    /// \name Operations with scalars
+    //@{
+        /// Sets all values to \a x
+        TFactor<T>& fill (T x) { _p.fill( x ); return *this; }
+
+        /// Adds scalar \a x to each value
+        TFactor<T>& operator+= (T x) { _p += x; return *this; }
+
+        /// Subtracts scalar \a x from each value
+        TFactor<T>& operator-= (T x) { _p -= x; return *this; }
+
+        /// Multiplies each value with scalar \a x
+        TFactor<T>& operator*= (T x) { _p *= x; return *this; }
+
+        /// Divides each entry by scalar \a x
+        TFactor<T>& operator/= (T x) { _p /= x; return *this; }
+
+        /// Raises values to the power \a x
+        TFactor<T>& operator^= (T x) { _p ^= x; return *this; }
+    //@}
+
+    /// \name Transformations with scalars
+    //@{
+        /// Returns sum of \c *this and scalar \a x
+        TFactor<T> operator+ (T x) const {
+            // Note: the alternative (shorter) way of implementing this,
+            //   TFactor<T> result(*this);
+            //   result._p += x;
+            // is slower because it invokes the copy constructor of TFactor<T>
+            TFactor<T> result;
+            result._vs = _vs;
+            result._p = p() + x;
             return result;
         }
 
-        /// Returns sum of *this and scalar t
-        TFactor<T> operator+ (T t) const {
-            TFactor<T> result(*this);
-            result._p += t;
+        /// Returns difference of \c *this and scalar \a x
+        TFactor<T> operator- (T x) const {
+            TFactor<T> result;
+            result._vs = _vs;
+            result._p = p() - x;
             return result;
         }
 
-        /// Returns *this minus scalar t
-        TFactor<T> operator- (T t) const {
-            TFactor<T> result(*this);
-            result._p -= t;
+        /// Returns product of \c *this with scalar \a x
+        TFactor<T> operator* (T x) const {
+            TFactor<T> result;
+            result._vs = _vs;
+            result._p = p() * x;
             return result;
         }
 
-        /// Returns *this raised to the power a
-        TFactor<T> operator^ (Real a) const {
-            TFactor<T> x;
-            x._vs = _vs;
-            x._p = _p^a;
-            return x;
+        /// Returns quotient of \c *this with scalar \a x
+        TFactor<T> operator/ (T x) const {
+            TFactor<T> result;
+            result._vs = _vs;
+            result._p = p() / x;
+            return result;
         }
 
-        /// Multiplies *this with the TFactor f
-        TFactor<T>& operator*= (const TFactor<T>& f) {
-            if( f._vs == _vs ) // optimize special case
-                _p *= f._p;
-            else
-                *this = (*this * f);
-            return *this;
+        /// Returns \c *this raised to the power \a x
+        TFactor<T> operator^ (T x) const {
+            TFactor<T> result;
+            result._vs = _vs;
+            result._p = p() ^ x;
+            return result;
         }
-
-        /// Divides *this by the TFactor f
-        TFactor<T>& operator/= (const TFactor<T>& f) {
-            if( f._vs == _vs ) // optimize special case
-                _p /= f._p;
-            else
-                *this = (*this / f);
+    //@}
+
+    /// \name Operations with other factors
+    //@{
+        /// Applies binary operation \a op on two factors, \c *this and \a g
+        /** \tparam binOp Type of function object that accepts two arguments of type \a T and outputs a type \a T
+         *  \param g Right operand
+         *  \param op Operation of type \a binOp
+         */
+        template<typename binOp> TFactor<T>& binaryOp( const TFactor<T> &g, binOp op ) {
+            if( _vs == g._vs ) // optimize special case
+                _p.pwBinaryOp( g._p, op );
+            else {
+                TFactor<T> f(*this); // make a copy
+                _vs |= g._vs;
+                DAI_ASSERT( _vs.nrStates() < std::numeric_limits<std::size_t>::max() );
+                size_t N = (size_t)_vs.nrStates();
+
+                IndexFor i_f( f._vs, _vs );
+                IndexFor i_g( g._vs, _vs );
+
+                _p.p().clear();
+                _p.p().reserve( N );
+                for( size_t i = 0; i < N; i++, ++i_f, ++i_g )
+                    _p.p().push_back( op( f._p[i_f], g._p[i_g] ) );
+            }
             return *this;
         }
 
-        /// Adds the TFactor f to *this
-        TFactor<T>& operator+= (const TFactor<T>& f) {
-            if( f._vs == _vs ) // optimize special case
-                _p += f._p;
-            else
-                *this = (*this + f);
-            return *this;
-        }
+        /// Adds \a g to \c *this
+        /** The sum of two factors is defined as follows: if
+         *  \f$f : \prod_{l\in L} X_l \to [0,\infty)\f$ and \f$g : \prod_{m\in M} X_m \to [0,\infty)\f$, then
+         *  \f[f+g : \prod_{l\in L\cup M} X_l \to [0,\infty) : x \mapsto f(x_L) + g(x_M).\f]
+         */
+        TFactor<T>& operator+= (const TFactor<T>& g) { return binaryOp( g, std::plus<T>() ); }
 
-        /// Subtracts the TFactor f from *this
-        TFactor<T>& operator-= (const TFactor<T>& f) {
-            if( f._vs == _vs ) // optimize special case
-                _p -= f._p;
-            else
-                *this = (*this - f);
-            return *this;
-        }
+        /// Subtracts \a g from \c *this
+        /** The difference of two factors is defined as follows: if
+         *  \f$f : \prod_{l\in L} X_l \to [0,\infty)\f$ and \f$g : \prod_{m\in M} X_m \to [0,\infty)\f$, then
+         *  \f[f-g : \prod_{l\in L\cup M} X_l \to [0,\infty) : x \mapsto f(x_L) - g(x_M).\f]
+         */
+        TFactor<T>& operator-= (const TFactor<T>& g) { return binaryOp( g, std::minus<T>() ); }
 
-        /// Returns product of *this with the TFactor f
+        /// Multiplies \c *this with \a g
         /** The product of two factors is defined as follows: if
          *  \f$f : \prod_{l\in L} X_l \to [0,\infty)\f$ and \f$g : \prod_{m\in M} X_m \to [0,\infty)\f$, then
          *  \f[fg : \prod_{l\in L\cup M} X_l \to [0,\infty) : x \mapsto f(x_L) g(x_M).\f]
          */
-        TFactor<T> operator* (const TFactor<T>& f) const {
-            return pointwiseOp(*this,f,std::multiplies<T>());
-        }
+        TFactor<T>& operator*= (const TFactor<T>& g) { return binaryOp( g, std::multiplies<T>() ); }
 
-        /// Returns quotient of *this by the TFactor f
+        /// Divides \c *this by \a g (where division by zero yields zero)
         /** The quotient of two factors is defined as follows: if
          *  \f$f : \prod_{l\in L} X_l \to [0,\infty)\f$ and \f$g : \prod_{m\in M} X_m \to [0,\infty)\f$, then
          *  \f[\frac{f}{g} : \prod_{l\in L\cup M} X_l \to [0,\infty) : x \mapsto \frac{f(x_L)}{g(x_M)}.\f]
          */
-        TFactor<T> operator/ (const TFactor<T>& f) const {
-            return pointwiseOp(*this,f,divides0<T>());
+        TFactor<T>& operator/= (const TFactor<T>& g) { return binaryOp( g, fo_divides0<T>() ); }
+    //@}
+
+    /// \name Transformations with other factors
+    //@{
+        /// Returns result of applying binary operation \a op on two factors, \c *this and \a g
+        /** \tparam binOp Type of function object that accepts two arguments of type \a T and outputs a type \a T
+         *  \param g Right operand
+         *  \param op Operation of type \a binOp
+         */
+        template<typename binOp> TFactor<T> binaryTr( const TFactor<T> &g, binOp op ) const {
+            // Note that to prevent a copy to be made, it is crucial 
+            // that the result is declared outside the if-else construct.
+            TFactor<T> result;
+            if( _vs == g._vs ) { // optimize special case
+                result._vs = _vs;
+                result._p = _p.pwBinaryTr( g._p, op );
+            } else {
+                result._vs = _vs | g._vs;
+                DAI_ASSERT( result._vs.nrStates() < std::numeric_limits<std::size_t>::max() );
+                size_t N = (size_t)result._vs.nrStates();
+
+                IndexFor i_f( _vs, result.vars() );
+                IndexFor i_g( g._vs, result.vars() );
+
+                result._p.p().clear();
+                result._p.p().reserve( N );
+                for( size_t i = 0; i < N; i++, ++i_f, ++i_g )
+                    result._p.p().push_back( op( _p[i_f], g[i_g] ) );
+            }
+            return result;
         }
 
-        /// Returns sum of *this and the TFactor f
+        /// Returns sum of \c *this and \a g
         /** The sum of two factors is defined as follows: if
          *  \f$f : \prod_{l\in L} X_l \to [0,\infty)\f$ and \f$g : \prod_{m\in M} X_m \to [0,\infty)\f$, then
          *  \f[f+g : \prod_{l\in L\cup M} X_l \to [0,\infty) : x \mapsto f(x_L) + g(x_M).\f]
          */
-        TFactor<T> operator+ (const TFactor<T>& f) const {
-            return pointwiseOp(*this,f,std::plus<T>());
+        TFactor<T> operator+ (const TFactor<T>& g) const {
+            return binaryTr(g,std::plus<T>());
         }
 
-        /// Returns *this minus the TFactor f
+        /// Returns \c *this minus \a g
         /** The difference of two factors is defined as follows: if
          *  \f$f : \prod_{l\in L} X_l \to [0,\infty)\f$ and \f$g : \prod_{m\in M} X_m \to [0,\infty)\f$, then
          *  \f[f-g : \prod_{l\in L\cup M} X_l \to [0,\infty) : x \mapsto f(x_L) - g(x_M).\f]
          */
-        TFactor<T> operator- (const TFactor<T>& f) const {
-            return pointwiseOp(*this,f,std::minus<T>());
-        }
-
-        // OBSOLETE
-        /// Sets all values that are smaller than epsilon to 0
-        /** \note Obsolete, to be removed soon
-         */
-        TFactor<T>& makeZero( T epsilon ) {
-            _p.makeZero( epsilon );
-            return *this;
-        }
-
-        // OBSOLETE
-        /// Sets all values that are smaller than epsilon to epsilon
-        /** \note Obsolete, to be removed soon
-         */
-        TFactor<T>& makePositive( T epsilon ) {
-            _p.makePositive( epsilon );
-            return *this;
+        TFactor<T> operator- (const TFactor<T>& g) const {
+            return binaryTr(g,std::minus<T>());
         }
 
-        /// Returns pointwise inverse of *this.
-        /** If zero == true, uses 1 / 0 == 0; otherwise 1 / 0 == Inf.
+        /// Returns product of \c *this with \a g
+        /** The product of two factors is defined as follows: if
+         *  \f$f : \prod_{l\in L} X_l \to [0,\infty)\f$ and \f$g : \prod_{m\in M} X_m \to [0,\infty)\f$, then
+         *  \f[fg : \prod_{l\in L\cup M} X_l \to [0,\infty) : x \mapsto f(x_L) g(x_M).\f]
          */
-        TFactor<T> inverse(bool zero=true) const {
-            TFactor<T> inv;
-            inv._vs = _vs;
-            inv._p = _p.inverse(zero);
-            return inv;
-        }
-
-        /// Returns pointwise exp of *this
-        TFactor<T> exp() const {
-            TFactor<T> e;
-            e._vs = _vs;
-            e._p = _p.exp();
-            return e;
+        TFactor<T> operator* (const TFactor<T>& g) const {
+            return binaryTr(g,std::multiplies<T>());
         }
 
-        /// Returns pointwise logarithm of *this
-        /** If zero==true, uses log(0)==0; otherwise, log(0)=-Inf.
+        /// Returns quotient of \c *this by \a f (where division by zero yields zero)
+        /** The quotient of two factors is defined as follows: if
+         *  \f$f : \prod_{l\in L} X_l \to [0,\infty)\f$ and \f$g : \prod_{m\in M} X_m \to [0,\infty)\f$, then
+         *  \f[\frac{f}{g} : \prod_{l\in L\cup M} X_l \to [0,\infty) : x \mapsto \frac{f(x_L)}{g(x_M)}.\f]
          */
-        TFactor<T> log(bool zero=false) const {
-            TFactor<T> l;
-            l._vs = _vs;
-            l._p = _p.log(zero);
-            return l;
-        }
-
-        /// Returns pointwise absolute value of *this
-        TFactor<T> abs() const {
-            TFactor<T> e;
-            e._vs = _vs;
-            e._p = _p.abs();
-            return e;
-        }
-
-        /// Normalizes *this TFactor according to the specified norm
-        T normalize( typename Prob::NormType norm=Prob::NORMPROB ) { return _p.normalize( norm ); }
-
-        /// Returns a normalized copy of *this, according to the specified norm
-        TFactor<T> normalized( typename Prob::NormType norm=Prob::NORMPROB ) const {
-            TFactor<T> result;
-            result._vs = _vs;
-            result._p = _p.normalized( norm );
-            return result;
+        TFactor<T> operator/ (const TFactor<T>& g) const {
+            return binaryTr(g,fo_divides0<T>());
         }
+    //@}
 
-        /// Returns a slice of this TFactor, where the subset ns is in state nsState
-        /** \pre \a ns sould be a subset of vars()
-         *  \pre \a nsState < ns.states()
+    /// \name Miscellaneous operations
+    //@{
+        /// Returns a slice of \c *this, where the subset \a vars is in state \a varsState
+        /** \pre \a vars sould be a subset of vars()
+         *  \pre \a varsState < vars.nrStates()
          *
-         *  The result is a TFactor that depends on the variables in this->vars() except those in \a ns,
-         *  obtained by setting the variables in \a ns to the joint state specified by the linear index
-         *  \a nsState. Formally, if *this corresponds with the factor \f$f : \prod_{l\in L} X_l \to [0,\infty)\f$,
-         *  \f$M \subset L\f$ corresponds with \a ns and \a nsState corresponds with a mapping \f$s\f$ that
+         *  The result is a factor that depends on the variables of *this except those in \a vars,
+         *  obtained by setting the variables in \a vars to the joint state specified by the linear index
+         *  \a varsState. Formally, if \c *this corresponds with the factor \f$f : \prod_{l\in L} X_l \to [0,\infty)\f$,
+         *  \f$M \subset L\f$ corresponds with \a vars and \a varsState corresponds with a mapping \f$s\f$ that
          *  maps a variable \f$x_m\f$ with \f$m\in M\f$ to its state \f$s(x_m) \in X_m\f$, then the slice
          *  returned corresponds with the factor \f$g : \prod_{l \in L \setminus M} X_l \to [0,\infty)\f$
          *  defined by \f$g(\{x_l\}_{l\in L \setminus M}) = f(\{x_l\}_{l\in L \setminus M}, \{s(x_m)\}_{m\in M})\f$.
          */
-        TFactor<T> slice( const VarSet& ns, size_t nsState ) const {
-            DAI_ASSERT( ns << _vs );
-            VarSet nsrem = _vs / ns;
-            TFactor<T> result( nsrem, T(0) );
-
-            // OPTIMIZE ME
-            IndexFor i_ns (ns, _vs);
-            IndexFor i_nsrem (nsrem, _vs);
-            for( size_t i = 0; i < states(); i++, ++i_ns, ++i_nsrem )
-                if( (size_t)i_ns == nsState )
-                    result._p[i_nsrem] = _p[i];
-
-            return result;
-        }
-
-        /// Returns marginal on ns, obtained by summing out all variables except those in ns, and normalizing the result if normed==true
-        TFactor<T> marginal(const VarSet & ns, bool normed=true) const;
-
-        /// Returns max-marginal on ns, obtained by maximizing all variables except those in ns, and normalizing the result if normed==true
-        TFactor<T> maxMarginal(const VarSet & ns, bool normed=true) const;
+        TFactor<T> slice( const VarSet& vars, size_t varsState ) const; 
 
         /// Embeds this factor in a larger VarSet
-        /** \pre vars() should be a subset of ns
+        /** \pre vars() should be a subset of \a vars 
          *
          *  If *this corresponds with \f$f : \prod_{l\in L} X_l \to [0,\infty)\f$ and \f$L \subset M\f$, then
          *  the embedded factor corresponds with \f$g : \prod_{m\in M} X_m \to [0,\infty) : x \mapsto f(x_L)\f$.
          */
-        TFactor<T> embed(const VarSet & ns) const {
-            DAI_ASSERT( ns >> _vs );
-            if( _vs == ns )
+        TFactor<T> embed(const VarSet & vars) const {
+            DAI_ASSERT( vars >> _vs );
+            if( _vs == vars )
                 return *this;
             else
-                return (*this) * TFactor<T>(ns / _vs, (T)1);
+                return (*this) * TFactor<T>(vars / _vs, (T)1);
         }
 
-        /// Returns true if *this has NaN values
-        bool hasNaNs() const { return _p.hasNaNs(); }
-
-        /// Returns true if *this has negative values
-        bool hasNegatives() const { return _p.hasNegatives(); }
-
-        /// Returns total sum of values
-        T sum() const { return _p.sum(); }
+        /// Returns marginal on \a vars, obtained by summing out all variables except those in \a vars, and normalizing the result if \a normed == \c true
+        TFactor<T> marginal(const VarSet &vars, bool normed=true) const;
 
-        /// Returns maximum absolute value
-        T maxAbs() const { return _p.maxAbs(); }
+        /// Returns max-marginal on \a vars, obtained by maximizing all variables except those in \a vars, and normalizing the result if \a normed == \c true
+        TFactor<T> maxMarginal(const VarSet &vars, bool normed=true) const;
+    //@}
+};
 
-        /// Returns maximum value
-        T max() const { return _p.max(); }
 
-        /// Returns minimum value
-        T min() const { return _p.min(); }
+template<typename T> TFactor<T> TFactor<T>::slice( const VarSet& vars, size_t varsState ) const {
+    DAI_ASSERT( vars << _vs );
+    VarSet varsrem = _vs / vars;
+    TFactor<T> result( varsrem, T(0) );
 
-        /// Returns entropy of *this TFactor
-        Real entropy() const { return _p.entropy(); }
+    // OPTIMIZE ME
+    IndexFor i_vars (vars, _vs);
+    IndexFor i_varsrem (varsrem, _vs);
+    for( size_t i = 0; i < nrStates(); i++, ++i_vars, ++i_varsrem )
+        if( (size_t)i_vars == varsState )
+            result.set( i_varsrem, _p[i] );
 
-        /// Returns strength of *this TFactor (between variables i and j), as defined in eq. (52) of [\ref MoK07b]
-        T strength( const Var &i, const Var &j ) const;
-};
+    return result;
+}
 
 
-template<typename T> TFactor<T> TFactor<T>::marginal(const VarSet & ns, bool normed) const {
-    VarSet res_ns = ns & _vs;
+template<typename T> TFactor<T> TFactor<T>::marginal(const VarSet &vars, bool normed) const {
+    VarSet res_vars = vars & _vs;
 
-    TFactor<T> res( res_ns, 0.0 );
+    TFactor<T> res( res_vars, 0.0 );
 
-    IndexFor i_res( res_ns, _vs );
+    IndexFor i_res( res_vars, _vs );
     for( size_t i = 0; i < _p.size(); i++, ++i_res )
-        res._p[i_res] += _p[i];
+        res.set( i_res, res[i_res] + _p[i] );
 
     if( normed )
-        res.normalize( Prob::NORMPROB );
+        res.normalize( NORMPROB );
 
     return res;
 }
 
 
-template<typename T> TFactor<T> TFactor<T>::maxMarginal(const VarSet & ns, bool normed) const {
-    VarSet res_ns = ns & _vs;
+template<typename T> TFactor<T> TFactor<T>::maxMarginal(const VarSet &vars, bool normed) const {
+    VarSet res_vars = vars & _vs;
 
-    TFactor<T> res( res_ns, 0.0 );
+    TFactor<T> res( res_vars, 0.0 );
 
-    IndexFor i_res( res_ns, _vs );
+    IndexFor i_res( res_vars, _vs );
     for( size_t i = 0; i < _p.size(); i++, ++i_res )
         if( _p[i] > res._p[i_res] )
-            res._p[i_res] = _p[i];
+            res.set( i_res, _p[i] );
 
     if( normed )
-        res.normalize( Prob::NORMPROB );
+        res.normalize( NORMPROB );
 
     return res;
 }
 
 
-/// Apply binary operator pointwise on two factors
-template<typename T, typename binaryOp> TFactor<T> pointwiseOp( const TFactor<T> &f, const TFactor<T> &g, binaryOp op ) {
-    if( f.vars() == g.vars() ) { // optimizate special case
-        TFactor<T> result(f);
-        for( size_t i = 0; i < result.states(); i++ )
-            result[i] = op( result[i], g[i] );
-        return result;
-    } else {
-        TFactor<T> result( f.vars() | g.vars(), 0.0 );
-
-        IndexFor i1(f.vars(), result.vars());
-        IndexFor i2(g.vars(), result.vars());
-
-        for( size_t i = 0; i < result.states(); i++, ++i1, ++i2 )
-            result[i] = op( f[i1], g[i2] );
-
-        return result;
-    }
-}
-
-
 template<typename T> T TFactor<T>::strength( const Var &i, const Var &j ) const {
     DAI_DEBASSERT( _vs.contains( i ) );
     DAI_DEBASSERT( _vs.contains( j ) );
@@ -504,23 +575,23 @@ template<typename T> T TFactor<T>::strength( const Var &i, const Var &j ) const
 }
 
 
-/// Writes a TFactor to an output stream
+/// Writes a factor to an output stream
 /** \relates TFactor
  */
-template<typename T> std::ostream& operator<< (std::ostream& os, const TFactor<T>& P) {
-    os << "(" << P.vars() << ", (";
-    for( size_t i = 0; i < P.states(); i++ )
-        os << (i == 0 ? "" : ", ") << P[i];
+template<typename T> std::ostream& operator<< (std::ostream& os, const TFactor<T>& f) {
+    os << "(" << f.vars() << ", (";
+    for( size_t i = 0; i < f.nrStates(); i++ )
+        os << (i == 0 ? "" : ", ") << f[i];
     os << "))";
     return os;
 }
 
 
-/// Returns distance between two TFactors f and g, according to the distance measure dt
+/// Returns distance between two factors \a f and \a g, according to the distance measure \a dt
 /** \relates TFactor
  *  \pre f.vars() == g.vars()
  */
-template<typename T> Real dist( const TFactor<T> &f, const TFactor<T> &g, Prob::DistType dt ) {
+template<typename T> T dist( const TFactor<T> &f, const TFactor<T> &g, ProbDistType dt ) {
     if( f.vars().empty() || g.vars().empty() )
         return -1;
     else {
@@ -530,43 +601,89 @@ template<typename T> Real dist( const TFactor<T> &f, const TFactor<T> &g, Prob::
 }
 
 
-/// Returns the pointwise maximum of two TFactors
+/// Returns the pointwise maximum of two factors
 /** \relates TFactor
  *  \pre f.vars() == g.vars()
  */
 template<typename T> TFactor<T> max( const TFactor<T> &f, const TFactor<T> &g ) {
-    DAI_ASSERT( f._vs == g._vs );
-    return TFactor<T>( f._vs, min( f.p(), g.p() ) );
+    DAI_ASSERT( f.vars() == g.vars() );
+    return TFactor<T>( f.vars(), max( f.p(), g.p() ) );
 }
 
 
-/// Returns the pointwise minimum of two TFactors
+/// Returns the pointwise minimum of two factors
 /** \relates TFactor
  *  \pre f.vars() == g.vars()
  */
 template<typename T> TFactor<T> min( const TFactor<T> &f, const TFactor<T> &g ) {
-    DAI_ASSERT( f._vs == g._vs );
-    return TFactor<T>( f._vs, max( f.p(), g.p() ) );
+    DAI_ASSERT( f.vars() == g.vars() );
+    return TFactor<T>( f.vars(), min( f.p(), g.p() ) );
 }
 
 
-/// Calculates the mutual information between the two variables that f depends on, under the distribution given by f
+/// Calculates the mutual information between the two variables that \a f depends on, under the distribution given by \a f
 /** \relates TFactor
  *  \pre f.vars().size() == 2
  */
-template<typename T> Real MutualInfo(const TFactor<T> &f) {
+template<typename T> T MutualInfo(const TFactor<T> &f) {
     DAI_ASSERT( f.vars().size() == 2 );
     VarSet::const_iterator it = f.vars().begin();
     Var i = *it; it++; Var j = *it;
     TFactor<T> projection = f.marginal(i) * f.marginal(j);
-    return dist( f.normalized(), projection, Prob::DISTKL );
+    return dist( f.normalized(), projection, DISTKL );
 }
 
 
-/// Represents a factor with values of type Real.
+/// Represents a factor with values of type dai::Real.
 typedef TFactor<Real> Factor;
 
 
+/// Returns a binary unnormalized single-variable factor \f$ \exp(hx) \f$ where \f$ x = \pm 1 \f$
+/** \param x Variable (should be binary)
+ *  \param h Field strength
+ */
+Factor createFactorIsing( const Var &x, Real h );
+
+
+/// Returns a binary unnormalized pairwise factor \f$ \exp(J x_1 x_2) \f$ where \f$ x_1, x_2 = \pm 1 \f$
+/** \param x1 First variable (should be binary)
+ *  \param x2 Second variable (should be binary)
+ *  \param J Coupling strength
+ */
+Factor createFactorIsing( const Var &x1, const Var &x2, Real J );
+
+
+/// Returns a random factor on the variables \a vs with strength \a beta
+/** Each entry are set by drawing a normally distributed random with mean
+ *  0 and standard-deviation \a beta, and taking its exponent.
+ *  \param vs Variables
+ *  \param beta Factor strength (inverse temperature)
+ */
+Factor createFactorExpGauss( const VarSet &vs, Real beta );
+
+
+/// Returns a pairwise Potts factor \f$ \exp( J \delta_{x_1, x_2} ) \f$
+/** \param x1 First variable
+ *  \param x2 Second variable (should have the same number of states as \a x1)
+ *  \param J  Factor strength
+ */
+Factor createFactorPotts( const Var &x1, const Var &x2, Real J );
+
+
+/// Returns a Kronecker delta point mass
+/** \param v Variable
+ *  \param state The state of \a v that should get value 1
+ */
+Factor createFactorDelta( const Var &v, size_t state );
+
+
+/// Returns a Kronecker delta point mass
+/** \param vs Set of variables
+ *  \param state The state of \a vs that should get value 1
+ */
+Factor createFactorDelta( const VarSet& vs, size_t state );
+
+
 } // end of namespace dai