README

   1 libDAI  -  A free/open source C++ library for Discrete Approximate Inference
   2
   3 -------------------------------------------------------------------------------
   4
   5 Version:  git HEAD
   6 Date:     July 17, 2015 - or later
   7 See also: http://www.libdai.org
   8
   9 -------------------------------------------------------------------------------
  10
  11 License
  12
  13 libDAI is free software; you can redistribute it and/or modify it under the
  14 terms of the BSD 2-clause license (also known as the FreeBSD license), which
  15 can be found in the accompanying LICENSE file.
  16
  17 [Note: up to and including version 0.2.7, libDAI was licensed under the GNU
  18 General Public License (GPL) version 2 or higher.]
  19
  20
  21 -------------------------------------------------------------------------------
  22
  23 Citing libDAI
  24
  25 If you write a scientific paper describing research that made substantive use
  26 of this library, please cite the following paper describing libDAI:
  27 Joris M. Mooij;
  28 libDAI: A free & open source C++ library for Discrete Approximate Inference in
  29 graphical models;
  30 Journal of Machine Learning Research, 11(Aug):2169-2173, 2010.
  31 In BiBTeX format (for your convenience):
  32
  33 @article{Mooij_libDAI_10,
  34   author    = {Joris M. Mooij},
  35   title     = {lib{DAI}: A Free and Open Source {C++} Library for Discrete Approximate Inference in Graphical Models},
  36   journal   = {Journal of Machine Learning Research},
  37   year      = 2010,
  38   month     = Aug,
  39   volume    = 11,
  40   pages     = {2169-2173},
  41   url       = "http://www.jmlr.org/papers/volume11/mooij10a/mooij10a.pdf"
  42 }
  43
  44 Moreover, as a personal note, I would appreciate it to be informed about any
  45 publications using libDAI at joris dot mooij at libdai dot org.
  46
  47 -------------------------------------------------------------------------------
  48
  49 About libDAI
  50
  51 libDAI is a free/open source C++ library that provides implementations of
  52 various (approximate) inference methods for discrete graphical models. libDAI
  53 supports arbitrary factor graphs with discrete variables; this includes
  54 discrete Markov Random Fields and Bayesian Networks.
  55
  56 The library is targeted at researchers. To be able to use the library, a good
  57 understanding of graphical models is needed.
  58
  59 The best way to use libDAI is by writing C++ code that invokes the library; in
  60 addition, part of the functionality is accessibly by using the
  61
  62   * command line interface
  63   * (limited) MatLab interface
  64   * (experimental) python interface
  65   * (experimental) octave interface.
  66
  67 libDAI can be used to implement novel (approximate) inference algorithms and to
  68 easily compare the accuracy and performance with existing algorithms that have
  69 been implemented already.
  70
  71 A solver using libDAI was amongst the three winners of the UAI 2010 Approximate
  72 Inference Challenge (see http://www.cs.huji.ac.il/project/UAI10/ for more
  73 information). The full source code is provided as part of the library.
  74
  75 Features
  76
  77 Currently, libDAI supports the following (approximate) inference methods:
  78
  79   * Exact inference by brute force enumeration;
  80   * Exact inference by junction-tree methods;
  81   * Mean Field;
  82   * Loopy Belief Propagation [KFL01];
  83   * Fractional Belief Propagation [WiH03];
  84   * Tree-Reweighted Belief Propagation [WJW03];
  85   * Tree Expectation Propagation [MiQ04];
  86   * Generalized Belief Propagation [YFW05];
  87   * Double-loop GBP [HAK03];
  88   * Various variants of Loop Corrected Belief Propagation [MoK07, MoR05];
  89   * Gibbs sampler;
  90   * Conditioned Belief Propagation [EaG09];
  91   * Decimation algorithm.
  92
  93 These inference methods can be used to calculate partition sums, marginals over
  94 subsets of variables, and MAP states (the joint state of variables that has
  95 maximum probability).
  96
  97 In addition, libDAI supports parameter learning of conditional probability
  98 tables by Expectation Maximization.
  99
 100 Limitations
 101
 102 libDAI is not intended to be a complete package for approximate inference.
 103 Instead, it should be considered as an "inference engine", providing various
 104 inference methods. In particular, it contains no GUI, currently only supports
 105 its own file format for input and output (although support for standard file
 106 formats may be added later), and provides very limited visualization
 107 functionalities. The only learning method supported currently is Expectation
 108 Maximization (or Maximum Likelihood if no data is missing) for learning factor
 109 parameters.
 110
 111 Rationale
 112
 113 In my opinion, the lack of open source "reference" implementations hampers
 114 progress in research on approximate inference. Methods differ widely in terms
 115 of quality and performance characteristics, which also depend in different ways
 116 on various properties of the graphical models. Finding the best approximate
 117 inference method for a particular application therefore often requires
 118 empirical comparisons. However, implementing and debugging these methods takes
 119 a lot of time which could otherwise be spent on research. I hope that this code
 120 will aid researchers to be able to easily compare various (existing as well as
 121 new) approximate inference methods, in this way accelerating research and
 122 stimulating real-world applications of approximate inference.
 123
 124 Language
 125
 126 Because libDAI is implemented in C++, it is very fast compared with
 127 implementations in MatLab (a factor 1000 faster is not uncommon). libDAI does
 128 provide a (limited) MatLab interface for easy integration with MatLab. It also
 129 provides a command line interface and experimental python and octave interfaces
 130 (thanks to Patrick Pletscher).
 131
 132 Compatibility
 133
 134 The code has been developed under Debian GNU/Linux with the GCC compiler suite.
 135 libDAI compiles successfully with g++ versions 3.4 up to 4.7 (both 32 and 64
 136 bits).
 137
 138 libDAI has also been successfully compiled with MS Visual Studio 2008 under
 139 Windows, MS Visual Studio 2010 under Windows 64, and with Cygwin under Windows.
 140
 141 Finally, libDAI has been compiled successfully on MacOS X (both 32 and 64
 142 bits).
 143
 144 Downloading libDAI
 145
 146 The libDAI sources and documentation can be downloaded from the libDAI website:
 147 http://www.libdai.org.
 148
 149 Mailing list
 150
 151 The Google group "libDAI" (http://groups.google.com/group/libdai) can be used
 152 for getting support and discussing development issues.
 153
 154 -------------------------------------------------------------------------------
 155
 156 Building libDAI under UNIX variants (Linux / Cygwin / Mac OS X)
 157
 158 Preparations
 159
 160 You need:
 161
 162   * a recent version of gcc (at least version 3.4)
 163   * GNU make
 164   * recent boost C++ libraries (at least version 1.37; however, version 1.37
 165     shipped with Ubuntu 9.04 is known not to work)
 166   * GMP library (or the Windows port called MPIR, for 64 bits builds MPIR 2.5.0
 167     or higher is needed)
 168   * doxygen (only for building the documentation)
 169   * graphviz (only for using some of the libDAI command line utilities)
 170   * CImg library (only for building the image segmentation example)
 171
 172 On Debian/Ubuntu, you can easily install the required packages with a single
 173 command:
 174
 175   apt-get install g++ make doxygen graphviz libboost-dev libboost-graph-dev libboost-program-options-dev libboost-test-dev libgmp-dev cimg-dev
 176
 177 (root permissions needed).
 178
 179 On Mac OS X (10.4 is known to work), these packages can be installed easily via
 180 MacPorts. If MacPorts is not already installed, install it according to the
 181 instructions at http://www.macports.org/. Then, a simple
 182
 183   sudo port install gmake boost gmp doxygen graphviz
 184
 185 should be enough to install everything that is needed.
 186
 187 On Cygwin, the prebuilt Cygwin package boost-1.33.1-x is known not to work. You
 188 can however obtain the latest boost version (you need at least 1.37.0) from
 189 http://www.boost.org/ and build it as described in the next subsection.
 190
 191 Building boost under Cygwin
 192
 193   * Download the latest boost libraries from http://www.boost.org
 194   * Build the required boost libraries using:
 195
 196       ./bootstrap.sh --with-libraries=program_options,math,graph,test --prefix=/boost_root/
 197       ./bjam
 198
 199   * In order to use dynamic linking, the boost .dll's should be somewhere in
 200     the path. This can be achieved by a command like:
 201
 202       export PATH=$PATH:/boost_root/stage/lib
 203
 204 Building libDAI
 205
 206 To build the libDAI source, first copy a template Makefile.* to Makefile.conf
 207 (for example, copy Makefile.LINUX to Makefile.conf if you use GNU/Linux). Then,
 208 edit the Makefile.conf template to adapt it to your local setup. In case you
 209 want to use Boost libraries which are installed in non-standard locations, you
 210 have to tell the compiler and linker about their locations (using the -I, -L
 211 flags for GCC; also you may need to set the LD_LIBRARY_PATH environment
 212 variable correctly before running libDAI binaries). Platform independent build
 213 options can be set in Makefile.ALL. Finally, run
 214
 215   make
 216
 217 The build includes a regression test, which may take a while to complete.
 218
 219 If the build is successful, you can test the example program:
 220
 221   examples/example tests/alarm.fg
 222
 223 or the more extensive test program:
 224
 225   tests/testdai --aliases tests/aliases.conf --filename tests/alarm.fg --methods JTREE_HUGIN BP_SEQMAX
 226
 227 -------------------------------------------------------------------------------
 228
 229 Building libDAI under Windows
 230
 231 Preparations
 232
 233 You need:
 234
 235   * A recent version of MicroSoft Visual Studio (2008 is known to work)
 236   * recent boost C++ libraries (version 1.37 or higher)
 237   * GMP or MPIR library (for 64-bits builds, MPIR 2.5.0 or higher is needed)
 238   * GNU make (can be obtained from http://gnuwin32.sourceforge.net)
 239   * CImg library (only for building the image segmentation example)
 240
 241 For the regression test, you need:
 242
 243   * GNU diff, GNU sed (can be obtained from http://gnuwin32.sourceforge.net)
 244
 245 Building boost under Windows
 246
 247 Because building boost under Windows is tricky, I provide some guidance here.
 248
 249   * Download the boost zip file from http://www.boost.org/users/download and
 250     unpack it somewhere.
 251   * Download the bjam executable from http://www.boost.org/users/download and
 252     unpack it somewhere else.
 253   * Download Boost.Build (v2) from http://www.boost.org/docs/tools/build/
 254     index.html and unpack it yet somewhere else.
 255   * Edit the file boost-build.jam in the main boost directory to change the
 256     BOOST_BUILD directory to the place where you put Boost.Build (use UNIX /
 257     instead of Windows \ in pathnames).
 258   * Copy the bjam.exe executable into the main boost directory. Now if you
 259     issue "bjam --version" you should get a version and no errors. Issueing
 260     "bjam --show-libraries" will show the libraries that will be built.
 261   * The following command builds the boost libraries that are relevant for
 262     libDAI:
 263
 264       bjam --with-graph --with-math --with-program_options --with-test link=static runtime-link=shared
 265
 266 Building GMP or MPIR under Windows
 267
 268 Information about how to build GPR or MPIR under Windows can be found on the
 269 internet. The user has to update Makefile.WINDOWS in order to link with the GPR
 270 /MPIR libraries. Note that for 64-bit builds, MPIR 2.5.0 or higher is needed.
 271
 272 Building libDAI
 273
 274 To build the source, copy Makefile.WINDOWS to Makefile.conf. Then, edit
 275 Makefile.conf to adapt it to your local setup. Platform independent build
 276 options can be set in Makefile.ALL. Finally, run (from the command line)
 277
 278   make
 279
 280 The build includes a regression test, which may take a while to complete.
 281
 282 If the build is successful, you can test the example program:
 283
 284   examples\example tests\alarm.fg
 285
 286 or the more extensive test program:
 287
 288   tests\testdai --aliases tests\aliases.conf --filename tests\alarm.fg --methods JTREE_HUGIN BP_SEQMAX
 289
 290 -------------------------------------------------------------------------------
 291
 292 Building the libDAI MatLab interface
 293
 294 You need:
 295
 296   * MatLab
 297   * The platform-dependent requirements described above
 298
 299 First, you need to build the libDAI source as described above for your
 300 platform. By default, the MatLab interface is disabled, so before compiling the
 301 source, you have to enable it in Makefile.ALL by setting
 302
 303   WITH_MATLAB=true
 304
 305 Also, you have to configure the MatLab-specific parts of Makefile.conf to match
 306 your system (in particular, the Makefile variables ME, MATLABDIR and MEX). The
 307 MEX file extension depends on your platform; for a 64-bit linux x86_64 system
 308 this would be "ME=.mexa64", for a 32-bit linux x86 system "ME=.mexglx". If you
 309 are unsure about your MEX file extension: it needs to be the same as what the
 310 MatLab command "mexext" returns. The required MEX files are built by issuing
 311
 312   make
 313
 314 from the command line. The MatLab interface is much less powerful than using
 315 libDAI from C++. There are two reasons for this: (i) it is boring to write MEX
 316 files; (ii) the large performance penalty paid when large data structures (like
 317 factor graphs) have to be converted between their native C++ data structure to
 318 something that MatLab understands.
 319
 320 A simple example of how to use the MatLab interface is the following (entered
 321 at the MatLab prompt), which performs exact inference by the junction tree
 322 algorithm and approximate inference by belief propagation on the ALARM network:
 323
 324   cd path_to_libdai/matlab
 325 [psi] = dai_readfg ('../tests/alarm.fg');
 326 [logZ,q,md,qv,qf] = dai (psi, 'JTREE', '[updates=HUGIN,verbose=0]')
 327 [logZ,q,md,qv,qf] = dai (psi, 'BP', '[updates=SEQMAX,tol=1e-9,maxiter=10000,logdomain=0]')
 328
 329 where "path_to_libdai" has to be replaced with the directory in which libDAI
 330 was installed. For other algorithms and some default parameters, see the file
 331 tests/aliases.conf.
 332
 333 -------------------------------------------------------------------------------
 334
 335 Building the documentation
 336
 337 Install doxygen, graphviz and a TeX distribution and use
 338
 339   make doc
 340
 341 to build the documentation. If the documentation is not clear enough, feel free
 342 to send me an email (or even better, to improve the documentation and send a
 343 patch!). The documentation can also be browsed online at http://www.libdai.org.
 344