Implemented various heuristics for choosing a variable elimination sequence in JTree
[libdai.git] / src / hak.cpp
index f7087a5..81698dc 100644 (file)
@@ -1,28 +1,18 @@
-/*  Copyright (C) 2006-2008  Joris Mooij  [j dot mooij at science dot ru dot nl]
-    Radboud University Nijmegen, The Netherlands
-    
-    This file is part of libDAI.
-
-    libDAI is free software; you can redistribute it and/or modify
-    it under the terms of the GNU General Public License as published by
-    the Free Software Foundation; either version 2 of the License, or
-    (at your option) any later version.
-
-    libDAI is distributed in the hope that it will be useful,
-    but WITHOUT ANY WARRANTY; without even the implied warranty of
-    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
-    GNU General Public License for more details.
-
-    You should have received a copy of the GNU General Public License
-    along with libDAI; if not, write to the Free Software
-    Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301  USA
-*/
+/*  This file is part of libDAI - http://www.libdai.org/
+ *
+ *  libDAI is licensed under the terms of the GNU General Public License version
+ *  2, or (at your option) any later version. libDAI is distributed without any
+ *  warranty. See the file COPYING for more details.
+ *
+ *  Copyright (C) 2006-2009  Joris Mooij  [joris dot mooij at libdai dot org]
+ *  Copyright (C) 2006-2007  Radboud University Nijmegen, The Netherlands
+ */
 
 
 #include <map>
 #include <dai/hak.h>
 #include <dai/util.h>
-#include <dai/diffs.h>
+#include <dai/exceptions.h>
 
 
 namespace dai {
@@ -34,46 +24,95 @@ using namespace std;
 const char *HAK::Name = "HAK";
 
 
-bool HAK::checkProperties() {
-    if( !HasProperty("tol") )
-        return false;
-    if (!HasProperty("maxiter") )
-        return false;
-    if (!HasProperty("verbose") )
-        return false;
-    if( !HasProperty("doubleloop") )
-        return false;
-    if( !HasProperty("clusters") )
-        return false;
-    
-    ConvertPropertyTo<double>("tol");
-    ConvertPropertyTo<size_t>("maxiter");
-    ConvertPropertyTo<size_t>("verbose");
-    ConvertPropertyTo<bool>("doubleloop");
-    ConvertPropertyTo<ClustersType>("clusters");
-
-    if( HasProperty("loopdepth") )
-        ConvertPropertyTo<size_t>("loopdepth");
-    else if( Clusters() == ClustersType::LOOP )
-        return false;
-
-    return true;
+/// Sets factor entries that lie between 0 and \a epsilon to \a epsilon
+template <class T>
+TFactor<T>& makePositive( TFactor<T> &f, T epsilon ) {
+    for( size_t t = 0; t < f.states(); t++ )
+        if( (0 < f[t]) && (f[t] < epsilon) )
+            f[t] = epsilon;
+    return f;
 }
 
+/// Sets factor entries that are smaller (in absolute value) than \a epsilon to 0
+template <class T>
+TFactor<T>& makeZero( TFactor<T> &f, T epsilon ) {
+    for( size_t t = 0; t < f.states(); t++ )
+        if( f[t] < epsilon && f[t] > -epsilon )
+            f[t] = 0;
+    return f;
+}
+
+
+void HAK::setProperties( const PropertySet &opts ) {
+    DAI_ASSERT( opts.hasKey("tol") );
+    DAI_ASSERT( opts.hasKey("maxiter") );
+    DAI_ASSERT( opts.hasKey("verbose") );
+    DAI_ASSERT( opts.hasKey("doubleloop") );
+    DAI_ASSERT( opts.hasKey("clusters") );
+
+    props.tol = opts.getStringAs<Real>("tol");
+    props.maxiter = opts.getStringAs<size_t>("maxiter");
+    props.verbose = opts.getStringAs<size_t>("verbose");
+    props.doubleloop = opts.getStringAs<bool>("doubleloop");
+    props.clusters = opts.getStringAs<Properties::ClustersType>("clusters");
+
+    if( opts.hasKey("loopdepth") )
+        props.loopdepth = opts.getStringAs<size_t>("loopdepth");
+    else
+        DAI_ASSERT( props.clusters != Properties::ClustersType::LOOP );
+    if( opts.hasKey("damping") )
+        props.damping = opts.getStringAs<Real>("damping");
+    else
+        props.damping = 0.0;
+    if( opts.hasKey("init") )
+        props.init = opts.getStringAs<Properties::InitType>("init");
+    else
+        props.init = Properties::InitType::UNIFORM;
+}
 
-void HAK::constructMessages() {
+
+PropertySet HAK::getProperties() const {
+    PropertySet opts;
+    opts.Set( "tol", props.tol );
+    opts.Set( "maxiter", props.maxiter );
+    opts.Set( "verbose", props.verbose );
+    opts.Set( "doubleloop", props.doubleloop );
+    opts.Set( "clusters", props.clusters );
+    opts.Set( "init", props.init );
+    opts.Set( "loopdepth", props.loopdepth );
+    opts.Set( "damping", props.damping );
+    return opts;
+}
+
+
+string HAK::printProperties() const {
+    stringstream s( stringstream::out );
+    s << "[";
+    s << "tol=" << props.tol << ",";
+    s << "maxiter=" << props.maxiter << ",";
+    s << "verbose=" << props.verbose << ",";
+    s << "doubleloop=" << props.doubleloop << ",";
+    s << "clusters=" << props.clusters << ",";
+    s << "init=" << props.init << ",";
+    s << "loopdepth=" << props.loopdepth << ",";
+    s << "damping=" << props.damping << "]";
+    return s.str();
+}
+
+
+void HAK::construct() {
     // Create outer beliefs
     _Qa.clear();
     _Qa.reserve(nrORs());
     for( size_t alpha = 0; alpha < nrORs(); alpha++ )
-        _Qa.push_back( Factor( OR(alpha).vars() ) );
+        _Qa.push_back( Factor( OR(alpha) ) );
 
     // Create inner beliefs
     _Qb.clear();
     _Qb.reserve(nrIRs());
     for( size_t beta = 0; beta < nrIRs(); beta++ )
         _Qb.push_back( Factor( IR(beta) ) );
-    
+
     // Create messages
     _muab.clear();
     _muab.reserve( nrORs() );
@@ -92,132 +131,195 @@ void HAK::constructMessages() {
 }
 
 
-HAK::HAK(const RegionGraph & rg, const Properties &opts) : DAIAlgRG(rg, opts) {
-    assert( checkProperties() );
+HAK::HAK( const RegionGraph &rg, const PropertySet &opts ) : DAIAlgRG(rg), _Qa(), _Qb(), _muab(), _muba(), _maxdiff(0.0), _iters(0U), props() {
+    setProperties( opts );
 
-    constructMessages();
+    construct();
 }
 
 
 void HAK::findLoopClusters( const FactorGraph & fg, std::set<VarSet> &allcl, VarSet newcl, const Var & root, size_t length, VarSet vars ) {
     for( VarSet::const_iterator in = vars.begin(); in != vars.end(); in++ ) {
         VarSet ind = fg.delta( fg.findVar( *in ) );
-        if( (newcl.size()) >= 2 && (ind >> root) ) {
+        if( (newcl.size()) >= 2 && ind.contains( root ) )
             allcl.insert( newcl | *in );
-        }
         else if( length > 1 )
             findLoopClusters( fg, allcl, newcl | *in, root, length - 1, ind / newcl );
     }
 }
 
 
-HAK::HAK(const FactorGraph & fg, const Properties &opts) : DAIAlgRG(opts) {
-    assert( checkProperties() );
+HAK::HAK(const FactorGraph & fg, const PropertySet &opts) : DAIAlgRG(), _Qa(), _Qb(), _muab(), _muba(), _maxdiff(0.0), _iters(0U), props() {
+    setProperties( opts );
 
     vector<VarSet> cl;
-    if( Clusters() == ClustersType::MIN ) {
+    if( props.clusters == Properties::ClustersType::MIN ) {
         cl = fg.Cliques();
-    } else if( Clusters() == ClustersType::DELTA ) {
+        constructCVM( fg, cl );
+    } else if( props.clusters == Properties::ClustersType::DELTA ) {
+        cl.reserve( fg.nrVars() );
         for( size_t i = 0; i < fg.nrVars(); i++ )
-            cl.push_back(fg.Delta(i)); 
-    } else if( Clusters() == ClustersType::LOOP ) {
+            cl.push_back( fg.Delta(i) );
+        constructCVM( fg, cl );
+    } else if( props.clusters == Properties::ClustersType::LOOP ) {
         cl = fg.Cliques();
         set<VarSet> scl;
         for( size_t i0 = 0; i0 < fg.nrVars(); i0++ ) {
             VarSet i0d = fg.delta(i0);
-            if( LoopDepth() > 1 )
-                findLoopClusters( fg, scl, fg.var(i0), fg.var(i0), LoopDepth() - 1, fg.delta(i0) );
+            if( props.loopdepth > 1 )
+                findLoopClusters( fg, scl, fg.var(i0), fg.var(i0), props.loopdepth - 1, fg.delta(i0) );
         }
         for( set<VarSet>::const_iterator c = scl.begin(); c != scl.end(); c++ )
             cl.push_back(*c);
-        if( Verbose() >= 3 ) {
-            cout << "HAK uses the following clusters: " << endl;
+        if( props.verbose >= 3 ) {
+            cerr << Name << " uses the following clusters: " << endl;
             for( vector<VarSet>::const_iterator cli = cl.begin(); cli != cl.end(); cli++ )
-                cout << *cli << endl;
+                cerr << *cli << endl;
         }
+        constructCVM( fg, cl );
+    } else if( props.clusters == Properties::ClustersType::BETHE ) {
+        // build outer regions (the cliques)
+        cl = fg.Cliques();
+        size_t nrEdges = 0;
+        for( size_t c = 0; c < cl.size(); c++ )
+            nrEdges += cl[c].size();
+
+        // build inner regions (single variables)
+        vector<Region> irs;
+        irs.reserve( fg.nrVars() );
+        for( size_t i = 0; i < fg.nrVars(); i++ )
+            irs.push_back( Region( fg.var(i), 1.0 ) );
+
+        // build edges (an outer and inner region are connected if the outer region contains the inner one)
+        // and calculate counting number for inner regions
+        vector<std::pair<size_t, size_t> > edges;
+        edges.reserve( nrEdges );
+        for( size_t c = 0; c < cl.size(); c++ )
+            for( size_t i = 0; i < irs.size(); i++ )
+                if( cl[c] >> irs[i] ) {
+                    edges.push_back( make_pair( c, i ) );
+                    irs[i].c() -= 1.0;
+                }
+
+        // build region graph
+        RegionGraph::construct( fg, cl, irs, edges );
     } else
-        throw "Invalid Clusters type";
+        DAI_THROW(UNKNOWN_ENUM_VALUE);
 
-    RegionGraph rg(fg,cl);
-    RegionGraph::operator=(rg);
-    constructMessages();
+    construct();
 
-    if( Verbose() >= 3 )
-        cout << "HAK regiongraph: " << *this << endl;
+    if( props.verbose >= 3 )
+        cerr << Name << " regiongraph: " << *this << endl;
 }
 
 
-string HAK::identify() const { 
-    stringstream result (stringstream::out);
-    result << Name << GetProperties();
-    return result.str();
+string HAK::identify() const {
+    return string(Name) + printProperties();
 }
 
 
 void HAK::init( const VarSet &ns ) {
-    for( vector<Factor>::iterator alpha = _Qa.begin(); alpha != _Qa.end(); alpha++ )
-        if( alpha->vars() && ns )
-            alpha->fill( 1.0 / alpha->states() );
+    for( size_t alpha = 0; alpha < nrORs(); alpha++ )
+        if( _Qa[alpha].vars().intersects( ns ) ) {
+            if( props.init == Properties::InitType::UNIFORM )
+                _Qa[alpha].setUniform();
+            else
+                _Qa[alpha].randomize();
+            _Qa[alpha] *= OR(alpha);
+            _Qa[alpha].normalize();
+        }
 
     for( size_t beta = 0; beta < nrIRs(); beta++ )
-        if( IR(beta) && ns ) {
-            _Qb[beta].fill( 1.0 );
+        if( IR(beta).intersects( ns ) ) {
+            if( props.init == Properties::InitType::UNIFORM )
+                _Qb[beta].fill( 1.0 );
+            else
+                _Qb[beta].randomize();
             foreach( const Neighbor &alpha, nbIR(beta) ) {
                 size_t _beta = alpha.dual;
-                muab( alpha, _beta ).fill( 1.0 / IR(beta).states() );
-                muba( alpha, _beta ).fill( 1.0 / IR(beta).states() );
+                if( props.init == Properties::InitType::UNIFORM ) {
+                    muab( alpha, _beta ).fill( 1.0 );
+                    muba( alpha, _beta ).fill( 1.0 );
+                } else {
+                    muab( alpha, _beta ).randomize();
+                    muba( alpha, _beta ).randomize();
+                }
             }
         }
 }
 
 
 void HAK::init() {
-    assert( checkProperties() );
-
-    for( vector<Factor>::iterator alpha = _Qa.begin(); alpha != _Qa.end(); alpha++ )
-        alpha->fill( 1.0 / alpha->states() );
+    for( size_t alpha = 0; alpha < nrORs(); alpha++ ) {
+        if( props.init == Properties::InitType::UNIFORM )
+            _Qa[alpha].setUniform();
+        else
+            _Qa[alpha].randomize();
+        _Qa[alpha] *= OR(alpha);
+        _Qa[alpha].normalize();
+    }
 
-    for( vector<Factor>::iterator beta = _Qb.begin(); beta != _Qb.end(); beta++ )
-        beta->fill( 1.0 / beta->states() );
+    for( size_t beta = 0; beta < nrIRs(); beta++ )
+        if( props.init == Properties::InitType::UNIFORM )
+            _Qb[beta].setUniform();
+        else
+            _Qb[beta].randomize();
 
     for( size_t alpha = 0; alpha < nrORs(); alpha++ )
         foreach( const Neighbor &beta, nbOR(alpha) ) {
             size_t _beta = beta.iter;
-            muab( alpha, _beta ).fill( 1.0 / muab( alpha, _beta ).states() );
-            muba( alpha, _beta ).fill( 1.0 / muab( alpha, _beta ).states() );
+            if( props.init == Properties::InitType::UNIFORM ) {
+                muab( alpha, _beta ).setUniform();
+                muba( alpha, _beta ).setUniform();
+            } else {
+                muab( alpha, _beta ).randomize();
+                muba( alpha, _beta ).randomize();
+            }
         }
 }
 
 
-double HAK::doGBP() {
-    if( Verbose() >= 1 )
-        cout << "Starting " << identify() << "...";
-    if( Verbose() >= 3)
-        cout << endl;
+Real HAK::doGBP() {
+    if( props.verbose >= 1 )
+        cerr << "Starting " << identify() << "...";
+    if( props.verbose >= 3)
+        cerr << endl;
 
     double tic = toc();
 
     // Check whether counting numbers won't lead to problems
     for( size_t beta = 0; beta < nrIRs(); beta++ )
-        assert( nbIR(beta).size() + IR(beta).c() != 0.0 );
+        DAI_ASSERT( nbIR(beta).size() + IR(beta).c() != 0.0 );
 
     // Keep old beliefs to check convergence
-    vector<Factor> old_beliefs;
-    old_beliefs.reserve( nrVars() );
+    vector<Factor> oldBeliefsV;
+    oldBeliefsV.reserve( nrVars() );
     for( size_t i = 0; i < nrVars(); i++ )
-        old_beliefs.push_back( belief( var(i) ) );
-
-    // Differences in single node beliefs
-    Diffs diffs(nrVars(), 1.0);
+        oldBeliefsV.push_back( beliefV(i) );
+    vector<Factor> oldBeliefsF;
+    oldBeliefsF.reserve( nrFactors() );
+    for( size_t I = 0; I < nrFactors(); I++ )
+        oldBeliefsF.push_back( beliefF(I) );
 
-    size_t iter = 0;
     // do several passes over the network until maximum number of iterations has
     // been reached or until the maximum belief difference is smaller than tolerance
-    for( iter = 0; iter < MaxIter() && diffs.maxDiff() > Tol(); iter++ ) {
+    Real maxDiff = INFINITY;
+    for( _iters = 0; _iters < props.maxiter && maxDiff > props.tol; _iters++ ) {
         for( size_t beta = 0; beta < nrIRs(); beta++ ) {
             foreach( const Neighbor &alpha, nbIR(beta) ) {
                 size_t _beta = alpha.dual;
-                muab( alpha, _beta ) = _Qa[alpha].marginal(IR(beta)).divided_by( muba(alpha,_beta) );
+                muab( alpha, _beta ) = _Qa[alpha].marginal(IR(beta)) / muba(alpha,_beta);
+                /* TODO: INVESTIGATE THIS PROBLEM
+                 *
+                 * In some cases, the muab's can have very large entries because the muba's have very
+                 * small entries. This may cause NANs later on (e.g., multiplying large quantities may
+                 * result in +inf; normalization then tries to calculate inf / inf which is NAN).
+                 * A fix of this problem would consist in normalizing the messages muab.
+                 * However, it is not obvious whether this is a real solution, because it has a
+                 * negative performance impact and the NAN's seem to be a symptom of a fundamental
+                 * numerical unstability.
+                 */
+                 muab(alpha,_beta).normalize();
             }
 
             Factor Qb_new;
@@ -226,67 +328,95 @@ double HAK::doGBP() {
                 Qb_new *= muab(alpha,_beta) ^ (1 / (nbIR(beta).size() + IR(beta).c()));
             }
 
-            Qb_new.normalize( _normtype );
+            Qb_new.normalize();
             if( Qb_new.hasNaNs() ) {
-                cout << "HAK::doGBP:  Qb_new has NaNs!" << endl;
-                return NAN;
+                // TODO: WHAT TO DO IN THIS CASE?
+                cerr << Name << "::doGBP:  Qb_new has NaNs!" << endl;
+                return 1.0;
             }
-//          _Qb[beta] = Qb_new.makeZero(1e-100);    // damping?
-            _Qb[beta] = Qb_new;
+            /* TODO: WHAT IS THE PURPOSE OF THE FOLLOWING CODE?
+             *
+             *   _Qb[beta] = Qb_new.makeZero(1e-100);
+             */
+
+            if( props.doubleloop || props.damping == 0.0 )
+                _Qb[beta] = Qb_new; // no damping for double loop
+            else
+                _Qb[beta] = (Qb_new^(1.0 - props.damping)) * (_Qb[beta]^props.damping);
 
             foreach( const Neighbor &alpha, nbIR(beta) ) {
                 size_t _beta = alpha.dual;
+                muba(alpha,_beta) = _Qb[beta] / muab(alpha,_beta);
 
-                muba(alpha,_beta) = _Qb[beta].divided_by( muab(alpha,_beta) );
+                /* TODO: INVESTIGATE WHETHER THIS HACK (INVENTED BY KEES) TO PREVENT NANS MAKES SENSE
+                 *
+                 *   muba(beta,*alpha).makePositive(1e-100);
+                 *
+                 */
 
                 Factor Qa_new = OR(alpha);
                 foreach( const Neighbor &gamma, nbOR(alpha) )
                     Qa_new *= muba(alpha,gamma.iter);
                 Qa_new ^= (1.0 / OR(alpha).c());
-                Qa_new.normalize( _normtype );
+                Qa_new.normalize();
                 if( Qa_new.hasNaNs() ) {
-                    cout << "HAK::doGBP:  Qa_new has NaNs!" << endl;
-                    return NAN;
+                    cerr << Name << "::doGBP:  Qa_new has NaNs!" << endl;
+                    return 1.0;
                 }
-//              _Qa[alpha] = Qa_new.makeZero(1e-100); // damping?
-                _Qa[alpha] = Qa_new;
+                /* TODO: WHAT IS THE PURPOSE OF THE FOLLOWING CODE?
+                 *
+                 *   _Qb[beta] = Qb_new.makeZero(1e-100);
+                 */
+
+                if( props.doubleloop || props.damping == 0.0 )
+                    _Qa[alpha] = Qa_new; // no damping for double loop
+                else
+                    // FIXME: GEOMETRIC DAMPING IS SLOW!
+                _Qa[alpha] = (Qa_new^(1.0 - props.damping)) * (_Qa[alpha]^props.damping);
             }
         }
 
         // Calculate new single variable beliefs and compare with old ones
-        for( size_t i = 0; i < nrVars(); i++ ) {
-            Factor new_belief = belief( var( i ) );
-            diffs.push( dist( new_belief, old_beliefs[i], Prob::DISTLINF ) );
-            old_beliefs[i] = new_belief;
+        maxDiff = -INFINITY;
+        for( size_t i = 0; i < nrVars(); ++i ) {
+            Factor b = beliefV(i);
+            maxDiff = std::max( maxDiff, dist( b, oldBeliefsV[i], Prob::DISTLINF ) );
+            oldBeliefsV[i] = b;
+        }
+        for( size_t I = 0; I < nrFactors(); ++I ) {
+            Factor b = beliefF(I);
+            maxDiff = std::max( maxDiff, dist( b, oldBeliefsF[I], Prob::DISTLINF ) );
+            oldBeliefsF[I] = b;
         }
 
-        if( Verbose() >= 3 )
-            cout << "HAK::doGBP:  maxdiff " << diffs.maxDiff() << " after " << iter+1 << " passes" << endl;
+        if( props.verbose >= 3 )
+            cerr << Name << "::doGBP:  maxdiff " << maxDiff << " after " << _iters+1 << " passes" << endl;
     }
 
-    updateMaxDiff( diffs.maxDiff() );
+    if( maxDiff > _maxdiff )
+        _maxdiff = maxDiff;
 
-    if( Verbose() >= 1 ) {
-        if( diffs.maxDiff() > Tol() ) {
-            if( Verbose() == 1 )
-                cout << endl;
-            cout << "HAK::doGBP:  WARNING: not converged within " << MaxIter() << " passes (" << toc() - tic << " clocks)...final maxdiff:" << diffs.maxDiff() << endl;
+    if( props.verbose >= 1 ) {
+        if( maxDiff > props.tol ) {
+            if( props.verbose == 1 )
+                cerr << endl;
+            cerr << Name << "::doGBP:  WARNING: not converged within " << props.maxiter << " passes (" << toc() - tic << " seconds)...final maxdiff:" << maxDiff << endl;
         } else {
-            if( Verbose() >= 2 )
-                cout << "HAK::doGBP:  ";
-            cout << "converged in " << iter << " passes (" << toc() - tic << " clocks)." << endl;
+            if( props.verbose >= 2 )
+                cerr << Name << "::doGBP:  ";
+            cerr << "converged in " << _iters << " passes (" << toc() - tic << " seconds)." << endl;
         }
     }
 
-    return diffs.maxDiff();
+    return maxDiff;
 }
 
 
-double HAK::doDoubleLoop() {
-    if( Verbose() >= 1 )
-        cout << "Starting " << identify() << "...";
-    if( Verbose() >= 3)
-        cout << endl;
+Real HAK::doDoubleLoop() {
+    if( props.verbose >= 1 )
+        cerr << "Starting " << identify() << "...";
+    if( props.verbose >= 3)
+        cerr << endl;
 
     double tic = toc();
 
@@ -294,7 +424,7 @@ double HAK::doDoubleLoop() {
     vector<FRegion> org_ORs = ORs;
 
     // Save original inner counting numbers and set negative counting numbers to zero
-    vector<double> org_IR_cs( nrIRs(), 0.0 );
+    vector<Real> org_IR_cs( nrIRs(), 0.0 );
     for( size_t beta = 0; beta < nrIRs(); beta++ ) {
         org_IR_cs[beta] = IR(beta).c();
         if( IR(beta).c() < 0.0 )
@@ -302,25 +432,28 @@ double HAK::doDoubleLoop() {
     }
 
     // Keep old beliefs to check convergence
-    vector<Factor> old_beliefs;
-    old_beliefs.reserve( nrVars() );
+    vector<Factor> oldBeliefsV;
+    oldBeliefsV.reserve( nrVars() );
     for( size_t i = 0; i < nrVars(); i++ )
-        old_beliefs.push_back( belief( var(i) ) );
-
-    // Differences in single node beliefs
-    Diffs diffs(nrVars(), 1.0);
+        oldBeliefsV.push_back( beliefV(i) );
+    vector<Factor> oldBeliefsF;
+    oldBeliefsF.reserve( nrFactors() );
+    for( size_t I = 0; I < nrFactors(); I++ )
+        oldBeliefsF.push_back( beliefF(I) );
 
-    size_t  outer_maxiter   = MaxIter();
-    double  outer_tol       = Tol();
-    size_t  outer_verbose   = Verbose();
-    double  org_maxdiff     = MaxDiff();
+    size_t outer_maxiter   = props.maxiter;
+    Real   outer_tol       = props.tol;
+    size_t outer_verbose   = props.verbose;
+    Real   org_maxdiff     = _maxdiff;
 
     // Set parameters for inner loop
-    MaxIter( 5 );
-    Verbose( outer_verbose ? outer_verbose - 1 : 0 );
+    props.maxiter = 5;
+    props.verbose = outer_verbose ? outer_verbose - 1 : 0;
 
     size_t outer_iter = 0;
-    for( outer_iter = 0; outer_iter < outer_maxiter && diffs.maxDiff() > outer_tol; outer_iter++ ) {
+    size_t total_iter = 0;
+    Real maxDiff = INFINITY;
+    for( outer_iter = 0; outer_iter < outer_maxiter && maxDiff > outer_tol; outer_iter++ ) {
         // Calculate new outer regions
         for( size_t alpha = 0; alpha < nrORs(); alpha++ ) {
             OR(alpha) = org_ORs[alpha];
@@ -330,25 +463,35 @@ double HAK::doDoubleLoop() {
 
         // Inner loop
         if( isnan( doGBP() ) )
-            return NAN;
+            return 1.0;
 
         // Calculate new single variable beliefs and compare with old ones
+        maxDiff = -INFINITY;
         for( size_t i = 0; i < nrVars(); ++i ) {
-            Factor new_belief = belief( var( i ) );
-            diffs.push( dist( new_belief, old_beliefs[i], Prob::DISTLINF ) );
-            old_beliefs[i] = new_belief;
+            Factor b = beliefV(i);
+            maxDiff = std::max( maxDiff, dist( b, oldBeliefsV[i], Prob::DISTLINF ) );
+            oldBeliefsV[i] = b;
         }
+        for( size_t I = 0; I < nrFactors(); ++I ) {
+            Factor b = beliefF(I);
+            maxDiff = std::max( maxDiff, dist( b, oldBeliefsF[I], Prob::DISTLINF ) );
+            oldBeliefsF[I] = b;
+        }
+
+        total_iter += Iterations();
 
-        if( Verbose() >= 3 )
-            cout << "HAK::doDoubleLoop:  maxdiff " << diffs.maxDiff() << " after " << outer_iter+1 << " passes" << endl;
+        if( props.verbose >= 3 )
+            cerr << Name << "::doDoubleLoop:  maxdiff " << maxDiff << " after " << total_iter << " passes" << endl;
     }
 
     // restore _maxiter, _verbose and _maxdiff
-    MaxIter( outer_maxiter );
-    Verbose( outer_verbose );
-    MaxDiff( org_maxdiff );
+    props.maxiter = outer_maxiter;
+    props.verbose = outer_verbose;
+    _maxdiff = org_maxdiff;
 
-    updateMaxDiff( diffs.maxDiff() );
+    _iters = total_iter;
+    if( maxDiff > _maxdiff )
+        _maxdiff = maxDiff;
 
     // Restore original outer regions
     ORs = org_ORs;
@@ -357,24 +500,24 @@ double HAK::doDoubleLoop() {
     for( size_t beta = 0; beta < nrIRs(); ++beta )
         IR(beta).c() = org_IR_cs[beta];
 
-    if( Verbose() >= 1 ) {
-        if( diffs.maxDiff() > Tol() ) {
-            if( Verbose() == 1 )
-                cout << endl;
-                cout << "HAK::doDoubleLoop:  WARNING: not converged within " << outer_maxiter << " passes (" << toc() - tic << " clocks)...final maxdiff:" << diffs.maxDiff() << endl;
+    if( props.verbose >= 1 ) {
+        if( maxDiff > props.tol ) {
+            if( props.verbose == 1 )
+                cerr << endl;
+                cerr << Name << "::doDoubleLoop:  WARNING: not converged within " << outer_maxiter << " passes (" << toc() - tic << " seconds)...final maxdiff:" << maxDiff << endl;
             } else {
-                if( Verbose() >= 3 )
-                    cout << "HAK::doDoubleLoop:  ";
-                cout << "converged in " << outer_iter << " passes (" << toc() - tic << " clocks)." << endl;
+                if( props.verbose >= 3 )
+                    cerr << Name << "::doDoubleLoop:  ";
+                cerr << "converged in " << total_iter << " passes (" << toc() - tic << " seconds)." << endl;
             }
         }
 
-    return diffs.maxDiff();
+    return maxDiff;
 }
 
 
-double HAK::run() {
-    if( DoubleLoop() )
+Real HAK::run() {
+    if( props.doubleloop )
         return doDoubleLoop();
     else
         return doGBP();
@@ -393,17 +536,13 @@ Factor HAK::belief( const VarSet &ns ) const {
         for( alpha = _Qa.begin(); alpha != _Qa.end(); alpha++ )
             if( alpha->vars() >> ns )
                 break;
-        assert( alpha != _Qa.end() );
+        if( alpha == _Qa.end() )
+            DAI_THROW(BELIEF_NOT_AVAILABLE);
         return( alpha->marginal(ns) );
     }
 }
 
 
-Factor HAK::belief( const Var &n ) const {
-    return belief( (VarSet)n );
-}
-
-
 vector<Factor> HAK::beliefs() const {
     vector<Factor> result;
     for( size_t beta = 0; beta < nrIRs(); beta++ )
@@ -414,15 +553,15 @@ vector<Factor> HAK::beliefs() const {
 }
 
 
-Complex HAK::logZ() const {
-    Complex sum = 0.0;
+Real HAK::logZ() const {
+    Real s = 0.0;
     for( size_t beta = 0; beta < nrIRs(); beta++ )
-        sum += Complex(IR(beta).c()) * Qb(beta).entropy();
+        s += IR(beta).c() * Qb(beta).entropy();
     for( size_t alpha = 0; alpha < nrORs(); alpha++ ) {
-        sum += Complex(OR(alpha).c()) * Qa(alpha).entropy();
-        sum += (OR(alpha).log0() * Qa(alpha)).totalSum();
+        s += OR(alpha).c() * Qa(alpha).entropy();
+        s += (OR(alpha).log(true) * Qa(alpha)).sum();
     }
-    return sum;
+    return s;
 }