r90: Convert MPI structure to C++ class
[ctsim.git] / src / phm2if.cpp
index 0d1a09f5fe37cb5ad81af4b74a9b22740275724d..66ceb470c4a3af84386d79e66f9069af0d51627a 100644 (file)
@@ -1,53 +1,15 @@
 /*****************************************************************************
-**  This is part of the CTSim program
-**  Copyright (C) 1983-2000 Kevin Rosenberg
-**
-**  $Id: phm2if.cpp,v 1.4 2000/06/07 10:12:05 kevin Exp $
-**  $Log: phm2if.cpp,v $
-**  Revision 1.4  2000/06/07 10:12:05  kevin
-**  Upgraded from MPI to MPI++
-**
-**  Revision 1.3  2000/06/07 07:43:19  kevin
-**  Converted to IF data files and C++
-**
-**  Revision 1.2  2000/06/07 03:50:27  kevin
-**  *** empty log message ***
-**
-**  Revision 1.1  2000/06/07 02:29:05  kevin
-**  Initial C++ versions
-**
-**  Revision 1.10  2000/05/24 22:50:04  kevin
-**  Added support for new SGP library
-**
-**  Revision 1.9  2000/05/16 04:33:59  kevin
-**  Improved option processing
-**
-**  Revision 1.8  2000/05/11 01:06:30  kevin
-**  Changed sprintf to snprintf
+** FILE IDENTIFICATION
 **
-**  Revision 1.7  2000/05/08 20:02:32  kevin
-**  ANSI C changes
-**
-**  Revision 1.6  2000/05/03 08:49:50  kevin
-**  Code cleanup
-**
-**  Revision 1.5  2000/04/30 19:17:54  kevin
-**  *** empty log message ***
-**
-**  Revision 1.4  2000/04/30 04:06:13  kevin
-**  Update Raysum i/o routines
-**  Fix MPI bug in ctrec (scatter_raysum) that referenced rs_global
-**
-**  Revision 1.3  2000/04/28 18:19:01  kevin
-**  removed unused files
-**
-**  Revision 1.2  2000/04/28 13:50:45  kevin
-**  Removed Makefile Makefile.in that are automatically generated by autoconf
-**
-**  Revision 1.1.1.1  2000/04/28 13:02:44  kevin
-**  Initial CVS import for first public release
+**   Name:          phm2if.cpp
+**   Purpose:       Convert an phantom object to an image file
+**   Programmer:    Kevin Rosenberg
+**   Date Started:  1984
 **
+**  This is part of the CTSim program
+**  Copyright (C) 1983-2000 Kevin Rosenberg
 **
+**  $Id: phm2if.cpp,v 1.6 2000/06/09 01:35:33 kevin Exp $
 **
 **  This program is free software; you can redistribute it and/or modify
 **  it under the terms of the GNU General Public License (version 2) as
@@ -141,11 +103,11 @@ phm2sdf_usage (const char *program)
 }
 
 #ifdef HAVE_MPI
-void mpi_gather_image (ImageFile& im_global, ImageFile& im_local, const int opt_debug);
+void mpi_gather_image (MPIWorld& mpiWorld, ImageFile* im_global, ImageFile* im_local, const int opt_debug);
 #endif
 
 int 
-phm2sdf_main (const int argc, char *const argv[])
+phm2sdf_main (int argc, char* argv[])
 {
   ImageFile* im_global = NULL;
   PHANTOM *phm = NULL;
@@ -165,20 +127,9 @@ phm2sdf_main (const int argc, char *const argv[])
   int opt_verbose = 0;
   double time_start=0, time_end=0;
 #ifdef HAVE_MPI
-  ImageFile* im_local = NULL;
-  int mpi_argc = argc;
-  char **mpi_argv = (char **) argv;
   double mpi_t1, mpi_t2, mpi_t, mpi_t_g;
-
-  MPI::Init (mpi_argc, mpi_argv);
-  mpi_ct.comm = MPI::COMM_WORLD.Dup ();
-  mpi_ct.nproc = mpi_ct.comm.Get_size();
-  mpi_ct.my_rank = mpi_ct.comm.Get_rank();
-
-  if (mpi_ct.nproc > CT_MPI_MAX_PROCESS) {
-    sys_error(ERR_FATAL, "Number of mpi processes (%d) exceeds max processes (%d)",
-             mpi_ct.nproc, CT_MPI_MAX_PROCESS);
-  }
+  ImageFile* im_local = NULL;
+  MPIWorld mpiWorld (argc, argv);
 #endif
 
 #ifdef HAVE_MPI
@@ -188,7 +139,7 @@ phm2sdf_main (const int argc, char *const argv[])
 #endif
   
 #ifdef HAVE_MPI
-  if (mpi_ct.my_rank == 0) {
+  if (mpiWorld.getRank() == 0) {
 #endif
 
     strcpy(opt_desc, "");
@@ -212,7 +163,7 @@ phm2sdf_main (const int argc, char *const argv[])
        strncpy(opt_phmfilename, optarg, sizeof(opt_phmfilename));
        phm = phm_create_from_file(opt_phmfilename);
 #ifdef HAVE_MPI
-       if (mpi_ct.my_rank == 0) 
+       if (mpiWorld.getRank() == 0) 
          fprintf(stderr, "Can't use phantom from file in MPI mode\n");
        return (1);
 #endif
@@ -342,33 +293,32 @@ phm2sdf_main (const int argc, char *const argv[])
 
 #ifdef HAVE_MPI
   mpi_t1 = MPI::Wtime();
-  mpi_ct.comm.Bcast (&opt_verbose, 1, MPI::INT, 0);
-  mpi_ct.comm.Bcast (&opt_debug, 1, MPI::INT, 0);
-  mpi_ct.comm.Bcast (&opt_trace, 1, MPI::INT, 0);
-  mpi_ct.comm.Bcast (&opt_nx, 1, MPI::INT, 0);
-  mpi_ct.comm.Bcast (&opt_ny, 1, MPI::INT, 0);
-  mpi_ct.comm.Bcast (&opt_nsample, 1, MPI::INT, 0);
-  mpi_ct.comm.Bcast (&opt_phmnum, 1, MPI::INT, 0);
-  mpi_ct.comm.Bcast (&opt_filter, 1, MPI::INT, 0);
-  mpi_ct.comm.Bcast (&opt_filter_domain, 1, MPI::INT, 0);
-  mpi_ct.comm.Bcast (&opt_filter_param, 1, MPI::DOUBLE, 0);
-  mpi_ct.comm.Bcast (&opt_filter_bw, 1, MPI::DOUBLE, 0);
+  mpiWorld.getComm().Bcast (&opt_verbose, 1, MPI::INT, 0);
+  mpiWorld.getComm().Bcast (&opt_debug, 1, MPI::INT, 0);
+  mpiWorld.getComm().Bcast (&opt_trace, 1, MPI::INT, 0);
+  mpiWorld.getComm().Bcast (&opt_nx, 1, MPI::INT, 0);
+  mpiWorld.getComm().Bcast (&opt_ny, 1, MPI::INT, 0);
+  mpiWorld.getComm().Bcast (&opt_nsample, 1, MPI::INT, 0);
+  mpiWorld.getComm().Bcast (&opt_phmnum, 1, MPI::INT, 0);
+  mpiWorld.getComm().Bcast (&opt_filter, 1, MPI::INT, 0);
+  mpiWorld.getComm().Bcast (&opt_filter_domain, 1, MPI::INT, 0);
+  mpiWorld.getComm().Bcast (&opt_filter_param, 1, MPI::DOUBLE, 0);
+  mpiWorld.getComm().Bcast (&opt_filter_bw, 1, MPI::DOUBLE, 0);
 
   if (opt_verbose) {
     mpi_t2 = MPI::Wtime();
     mpi_t = mpi_t2 - mpi_t1;
-    mpi_ct.comm.Reduce(&mpi_t, &mpi_t_g, 1, MPI::DOUBLE, MPI::MAX, 0);
-    if (mpi_ct.my_rank == 0)
+    mpiWorld.getComm().Reduce (&mpi_t, &mpi_t_g, 1, MPI::DOUBLE, MPI::MAX, 0);
+    if (mpiWorld.getRank() == 0)
       printf("Time to Bcast vars = %f secs, Max time = %f\n", mpi_t, mpi_t_g);
   }
 
-  mpi_ct_calc_work_units(opt_nx);
+  mpiWorld.setTotalWorkUnits (opt_nx);
 
-  if (mpi_ct.my_rank == 0) {
+  if (mpiWorld.getRank() == 0) {
     im_global = new ImageFile (opt_outfile, opt_nx, opt_ny);
     im_global->adf.fileCreate();
   }
-
   im_local = new ImageFile (opt_nx, opt_ny);
 #else
   im_global = new ImageFile (opt_outfile, opt_nx, opt_ny);
@@ -380,40 +330,46 @@ phm2sdf_main (const int argc, char *const argv[])
 
 #ifdef HAVE_MPI
   else {
-    if (mpi_ct.my_rank == 0)
+    if (mpiWorld.getRank() == 0)
       fprintf(stderr, "phmnum < 0\n");
     exit(1);
   }
 #endif
 
-  ImageFileArray v = im_global->getArray ();
   double calctime = 0;
+  ImageFileArray v;
 
 #ifdef HAVE_MPI
+  if (mpiWorld.getRank() == 0)
+    v = im_global->getArray ();
+
   if (phm->type == P_UNIT_PULSE) {
-    if (mpi_ct.my_rank == 0) {
+    if (mpiWorld.getRank() == 0) {
       v[opt_nx/2][opt_ny/2] = 1.;
       calctime = 0;
     }
   } else if (opt_filter != -1) {
-    if (mpi_ct.my_rank == 0) {
+    if (mpiWorld.getRank() == 0) {
       image_filter_response (*im_global, opt_filter_domain, opt_filter_bw, opt_filter, opt_filter_param, opt_trace);
       calctime = 0;
     }
   } else {
+    mpiWorld.getComm().Barrier();
+
     if (opt_verbose)
       mpi_t1 = MPI::Wtime();
-    phm_to_imagefile (phm, *im_local, mpi_ct.start_work_unit[mpi_ct.my_rank],  mpi_ct.local_work_units[mpi_ct.my_rank], opt_nsample, opt_trace);
+    phm_to_imagefile (phm, *im_local, mpiWorld.getMyStartWorkUnit(),  mpiWorld.getMyLocalWorkUnits(), opt_nsample, opt_trace);
     if (opt_verbose) {
       mpi_t2 = MPI::Wtime();
       mpi_t = mpi_t2 - mpi_t1;
-      mpi_ct.comm.Reduce(&mpi_t, &mpi_t_g, 1, MPI::DOUBLE, MPI::MAX, 0);
-      if (mpi_ct.my_rank == 0)
+      mpiWorld.getComm().Reduce(&mpi_t, &mpi_t_g, 1, MPI::DOUBLE, MPI::MAX, 0);
+      if (mpiWorld.getRank() == 0)
        printf("Time to compile phm = %f secs, Max time = %f\n", mpi_t, mpi_t_g);
     }
-    mpi_gather_image(*im_global, *im_local, opt_debug);
+    mpi_gather_image (mpiWorld, im_global, im_local, opt_debug);
   }
 #else
+  v = im_global->getArray ();
   if (phm->type == P_UNIT_PULSE) {
     v[opt_nx/2][opt_ny/2] = 1.;
     calctime = 0;
@@ -436,7 +392,7 @@ phm2sdf_main (const int argc, char *const argv[])
 #endif
 
 #ifdef HAVE_MPI
-  if (mpi_ct.my_rank == 0) 
+  if (mpiWorld.getRank() == 0) 
 #endif
   {
     im_global->adf.arrayDataWrite ();
@@ -445,17 +401,17 @@ phm2sdf_main (const int argc, char *const argv[])
     im_global->adf.fileClose ();
     if (opt_verbose)
       fprintf (stdout, "Time to compile image = %.2f sec\n\n", calctime);
-  }
 
-  if (opt_trace >= TRACE_PHM) {
-    double dmin, dmax;
-    int nscale;
-
-    printf ("Enter display size scale (nominal = 1): ");
-    scanf ("%d", &nscale);
-    printf ("Enter minimum and maximum densities (min, max): ");
-    scanf ("%lf %lf", &dmin, &dmax);
-    image_display_scale (*im_global, nscale, dmin, dmax);
+    if (opt_trace >= TRACE_PHM) {
+      double dmin, dmax;
+      int nscale;
+      
+      printf ("Enter display size scale (nominal = 1): ");
+      scanf ("%d", &nscale);
+      printf ("Enter minimum and maximum densities (min, max): ");
+      scanf ("%lf %lf", &dmin, &dmax);
+      image_display_scale (*im_global, nscale, dmin, dmax);
+    }
   }
 
   phm_free (phm);
@@ -466,30 +422,23 @@ phm2sdf_main (const int argc, char *const argv[])
 
 
 #ifdef HAVE_MPI
-void mpi_gather_image (ImageFile& im_global, ImageFile& im_local, const int opt_debug)
+void mpi_gather_image (MPIWorld& mpiWorld, ImageFile* im_global, ImageFile* im_local, const int opt_debug)
 {
-  ImageFileArray vLocal = im_local.getArray();
-  ImageFileArray vGlobal = im_global.getArray();
-  int nyLocal = im_local.ny();
-  int nyGlobal = im_global.ny();
-  
-  int end_work_unit = mpi_ct.local_work_units[mpi_ct.my_rank] - 1;
-  for (int iw = 0; iw <= end_work_unit; iw++) {
-    mpi_ct.comm.Send(vLocal[iw], nyLocal, im_local.getMPIDataType(), 0, 0);
-  }
-
-  if (mpi_ct.my_rank == 0) {
-    for (int iproc = 0; iproc < mpi_ct.nproc; iproc++) {
-      end_work_unit = mpi_ct.start_work_unit[iproc] + mpi_ct.local_work_units[iproc] - 1;
+  ImageFileArray vLocal = im_local->getArray();
+  ImageFileArray vGlobal = NULL;
+  int nyLocal = im_local->ny();
 
-      if (opt_debug) {
-       fprintf(stdout, "Recv rs data from process %d (%d-%d)\n", iproc, mpi_ct.start_work_unit[iproc], end_work_unit);
-       fflush(stdout);
-      }
+  if (mpiWorld.getRank() == 0)
+    vGlobal = im_global->getArray();
+  
+  for (int iw = 0; iw < mpiWorld.getMyLocalWorkUnits(); iw++)
+    mpiWorld.getComm().Send(vLocal[iw], nyLocal, im_local->getMPIDataType(), 0, 0);
 
-      for (int iw = mpi_ct.start_work_unit[iproc]; iw <= end_work_unit; iw++) {
+  if (mpiWorld.getRank() == 0) {
+    for (int iProc = 0; iProc < mpiWorld.getNumProcessors(); iProc++) {
+      for (int iw = mpiWorld.getStartWorkUnit(iProc); iw <= mpiWorld.getEndWorkUnit(iProc); iw++) {
        MPI::Status status;
-       mpi_ct.comm.Recv(vGlobal[iw], nyGlobal, MPI::FLOAT, iproc, 0, status);
+       mpiWorld.getComm().Recv(vGlobal[iw], nyLocal, im_local->getMPIDataType(), iProc, 0, status);
       }
     }
   }
@@ -499,7 +448,7 @@ void mpi_gather_image (ImageFile& im_global, ImageFile& im_local, const int opt_
 
 #ifndef NO_MAIN
 int 
-main (const int argc, char *const argv[])
+main (int argc, char* argv[])
 {
   return (phm2sdf_main(argc, argv));
 }