r87: Upgraded from MPI to MPI++
[ctsim.git] / src / phm2if.cpp
index cb5fca02e6e021fabd735cf59168e53c57f49e59..0d1a09f5fe37cb5ad81af4b74a9b22740275724d 100644 (file)
@@ -2,8 +2,14 @@
 **  This is part of the CTSim program
 **  Copyright (C) 1983-2000 Kevin Rosenberg
 **
-**  $Id: phm2if.cpp,v 1.2 2000/06/07 03:50:27 kevin Exp $
+**  $Id: phm2if.cpp,v 1.4 2000/06/07 10:12:05 kevin Exp $
 **  $Log: phm2if.cpp,v $
+**  Revision 1.4  2000/06/07 10:12:05  kevin
+**  Upgraded from MPI to MPI++
+**
+**  Revision 1.3  2000/06/07 07:43:19  kevin
+**  Converted to IF data files and C++
+**
 **  Revision 1.2  2000/06/07 03:50:27  kevin
 **  *** empty log message ***
 **
@@ -134,14 +140,14 @@ phm2sdf_usage (const char *program)
   fprintf(stdout,"     --help          Print this help message\n");
 }
 
-#ifdef MPI_CT
-void mpi_gather_image (ImageFile *im_global, ImageFile *im_local, const int opt_debug);
+#ifdef HAVE_MPI
+void mpi_gather_image (ImageFile& im_global, ImageFile& im_local, const int opt_debug);
 #endif
 
 int 
 phm2sdf_main (const int argc, char *const argv[])
 {
-  ImageFile *im_global = NULL;
+  ImageFileim_global = NULL;
   PHANTOM *phm = NULL;
   int opt_nx = 0, opt_ny = 0;
   int opt_nsample = 1;
@@ -158,30 +164,30 @@ phm2sdf_main (const int argc, char *const argv[])
   int opt_trace = TRACE_NONE;
   int opt_verbose = 0;
   double time_start=0, time_end=0;
-#ifdef MPI_CT
-  ImageFile *im_local = NULL;
+#ifdef HAVE_MPI
+  ImageFileim_local = NULL;
   int mpi_argc = argc;
   char **mpi_argv = (char **) argv;
   double mpi_t1, mpi_t2, mpi_t, mpi_t_g;
 
-  MPI_Init(&mpi_argc, &mpi_argv);
-  MPI_Comm_dup (MPI_COMM_WORLD, &mpi_ct.comm);
-  MPI_Comm_size(mpi_ct.comm, &mpi_ct.nproc);
-  MPI_Comm_rank(mpi_ct.comm, &mpi_ct.my_rank);
+  MPI::Init (mpi_argc, mpi_argv);
+  mpi_ct.comm = MPI::COMM_WORLD.Dup ();
+  mpi_ct.nproc = mpi_ct.comm.Get_size();
+  mpi_ct.my_rank = mpi_ct.comm.Get_rank();
 
-  if (mpi_ct.nproc > MPI_MAX_PROCESS) {
+  if (mpi_ct.nproc > CT_MPI_MAX_PROCESS) {
     sys_error(ERR_FATAL, "Number of mpi processes (%d) exceeds max processes (%d)",
-             mpi_ct.nproc, MPI_MAX_PROCESS);
+             mpi_ct.nproc, CT_MPI_MAX_PROCESS);
   }
 #endif
 
-#ifdef MPI_CT
-  time_start = MPI_Wtime();
+#ifdef HAVE_MPI
+  time_start = MPI::Wtime();
 #else
   time_start = td_current_sec();
 #endif
   
-#ifdef MPI_CT
+#ifdef HAVE_MPI
   if (mpi_ct.my_rank == 0) {
 #endif
 
@@ -205,7 +211,7 @@ phm2sdf_main (const int argc, char *const argv[])
       case O_PHMFILE:
        strncpy(opt_phmfilename, optarg, sizeof(opt_phmfilename));
        phm = phm_create_from_file(opt_phmfilename);
-#ifdef MPI_CT
+#ifdef HAVE_MPI
        if (mpi_ct.my_rank == 0) 
          fprintf(stderr, "Can't use phantom from file in MPI mode\n");
        return (1);
@@ -330,28 +336,28 @@ phm2sdf_main (const int argc, char *const argv[])
     
     if (opt_verbose)
       printf("Rasterize Phantom to Image\n\n");
-#ifdef MPI_CT
+#ifdef HAVE_MPI
   }
 #endif
 
-#ifdef MPI_CT
-  mpi_t1 = MPI_Wtime();
-  MPI_Bcast(&opt_verbose, 1, MPI_INT, 0, mpi_ct.comm);
-  MPI_Bcast(&opt_debug, 1, MPI_INT, 0, mpi_ct.comm);
-  MPI_Bcast(&opt_trace, 1, MPI_INT, 0, mpi_ct.comm);
-  MPI_Bcast(&opt_nx, 1, MPI_INT, 0, mpi_ct.comm);
-  MPI_Bcast(&opt_ny, 1, MPI_INT, 0, mpi_ct.comm);
-  MPI_Bcast(&opt_nsample, 1, MPI_INT, 0, mpi_ct.comm);
-  MPI_Bcast(&opt_phmnum, 1, MPI_INT, 0, mpi_ct.comm);
-  MPI_Bcast(&opt_filter, 1, MPI_INT, 0, mpi_ct.comm);
-  MPI_Bcast(&opt_filter_domain, 1, MPI_INT, 0, mpi_ct.comm);
-  MPI_Bcast(&opt_filter_param, 1, MPI_DOUBLE, 0, mpi_ct.comm);
-  MPI_Bcast(&opt_filter_bw, 1, MPI_DOUBLE, 0, mpi_ct.comm);
+#ifdef HAVE_MPI
+  mpi_t1 = MPI::Wtime();
+  mpi_ct.comm.Bcast (&opt_verbose, 1, MPI::INT, 0);
+  mpi_ct.comm.Bcast (&opt_debug, 1, MPI::INT, 0);
+  mpi_ct.comm.Bcast (&opt_trace, 1, MPI::INT, 0);
+  mpi_ct.comm.Bcast (&opt_nx, 1, MPI::INT, 0);
+  mpi_ct.comm.Bcast (&opt_ny, 1, MPI::INT, 0);
+  mpi_ct.comm.Bcast (&opt_nsample, 1, MPI::INT, 0);
+  mpi_ct.comm.Bcast (&opt_phmnum, 1, MPI::INT, 0);
+  mpi_ct.comm.Bcast (&opt_filter, 1, MPI::INT, 0);
+  mpi_ct.comm.Bcast (&opt_filter_domain, 1, MPI::INT, 0);
+  mpi_ct.comm.Bcast (&opt_filter_param, 1, MPI::DOUBLE, 0);
+  mpi_ct.comm.Bcast (&opt_filter_bw, 1, MPI::DOUBLE, 0);
 
   if (opt_verbose) {
-    mpi_t2 = MPI_Wtime();
+    mpi_t2 = MPI::Wtime();
     mpi_t = mpi_t2 - mpi_t1;
-    MPI_Reduce(&mpi_t, &mpi_t_g, 1, MPI_DOUBLE, MPI_MAX, 0, mpi_ct.comm);
+    mpi_ct.comm.Reduce(&mpi_t, &mpi_t_g, 1, MPI::DOUBLE, MPI::MAX, 0);
     if (mpi_ct.my_rank == 0)
       printf("Time to Bcast vars = %f secs, Max time = %f\n", mpi_t, mpi_t_g);
   }
@@ -372,7 +378,7 @@ phm2sdf_main (const int argc, char *const argv[])
   if (opt_phmnum >= 0)
       phm = phm_create (opt_phmnum);
 
-#ifdef MPI_CT
+#ifdef HAVE_MPI
   else {
     if (mpi_ct.my_rank == 0)
       fprintf(stderr, "phmnum < 0\n");
@@ -380,10 +386,10 @@ phm2sdf_main (const int argc, char *const argv[])
   }
 #endif
 
-  ImageFileArray v = im_global->adf.getArray ();
+  ImageFileArray v = im_global->getArray ();
   double calctime = 0;
 
-#ifdef MPI_CT
+#ifdef HAVE_MPI
   if (phm->type == P_UNIT_PULSE) {
     if (mpi_ct.my_rank == 0) {
       v[opt_nx/2][opt_ny/2] = 1.;
@@ -391,29 +397,28 @@ phm2sdf_main (const int argc, char *const argv[])
     }
   } else if (opt_filter != -1) {
     if (mpi_ct.my_rank == 0) {
-      image_filter_response (im_global, opt_filter_domain, opt_filter_bw, opt_filter, opt_filter_param, opt_trace);
+      image_filter_response (*im_global, opt_filter_domain, opt_filter_bw, opt_filter, opt_filter_param, opt_trace);
       calctime = 0;
     }
   } else {
     if (opt_verbose)
-      mpi_t1 = MPI_Wtime();
-    phm_to_imagefile (phm, *im_local, mpi_ct.start_work_unit[mpi_ct.my_rank],
-                 mpi_ct.local_work_units[mpi_ct.my_rank], opt_nsample, opt_trace);
+      mpi_t1 = MPI::Wtime();
+    phm_to_imagefile (phm, *im_local, mpi_ct.start_work_unit[mpi_ct.my_rank],  mpi_ct.local_work_units[mpi_ct.my_rank], opt_nsample, opt_trace);
     if (opt_verbose) {
-      mpi_t2 = MPI_Wtime();
+      mpi_t2 = MPI::Wtime();
       mpi_t = mpi_t2 - mpi_t1;
-      MPI_Reduce(&mpi_t, &mpi_t_g, 1, MPI_DOUBLE, MPI_MAX, 0, mpi_ct.comm);
+      mpi_ct.comm.Reduce(&mpi_t, &mpi_t_g, 1, MPI::DOUBLE, MPI::MAX, 0);
       if (mpi_ct.my_rank == 0)
        printf("Time to compile phm = %f secs, Max time = %f\n", mpi_t, mpi_t_g);
     }
-    mpi_gather_image(im_global, im_local, opt_debug);
+    mpi_gather_image(*im_global, *im_local, opt_debug);
   }
 #else
   if (phm->type == P_UNIT_PULSE) {
     v[opt_nx/2][opt_ny/2] = 1.;
     calctime = 0;
   } else if (opt_filter != -1) {
-    // image_filter_response (im_global, opt_filter_domain, opt_filter_bw, opt_filter, opt_filter_param, opt_trace);
+    image_filter_response (*im_global, opt_filter_domain, opt_filter_bw, opt_filter, opt_filter_param, opt_trace);
     calctime = 0;
   } else {
 #if HAVE_SGP
@@ -424,13 +429,13 @@ phm2sdf_main (const int argc, char *const argv[])
   }
 #endif
 
-#ifdef MPI_CT
-  time_end = MPI_Wtime();
+#ifdef HAVE_MPI
+  time_end = MPI::Wtime();
 #else
   time_end = td_current_sec();
 #endif
 
-#ifdef MPI_CT
+#ifdef HAVE_MPI
   if (mpi_ct.my_rank == 0) 
 #endif
   {
@@ -442,17 +447,16 @@ phm2sdf_main (const int argc, char *const argv[])
       fprintf (stdout, "Time to compile image = %.2f sec\n\n", calctime);
   }
 
-  if (opt_trace >= TRACE_PHM)
-    {
-      double dmin, dmax;
-      int nscale;
+  if (opt_trace >= TRACE_PHM) {
+    double dmin, dmax;
+    int nscale;
 
-      printf ("Enter display size scale (nominal = 1): ");
-      scanf ("%d", &nscale);
-      printf ("Enter minimum and maximum densities (min, max): ");
-      scanf ("%lf %lf", &dmin, &dmax);
-      // image_display_scale (im_global, nscale, dmin, dmax);
-    }
+    printf ("Enter display size scale (nominal = 1): ");
+    scanf ("%d", &nscale);
+    printf ("Enter minimum and maximum densities (min, max): ");
+    scanf ("%lf %lf", &dmin, &dmax);
+    image_display_scale (*im_global, nscale, dmin, dmax);
+  }
 
   phm_free (phm);
 
@@ -461,35 +465,31 @@ phm2sdf_main (const int argc, char *const argv[])
 
 
 
-#ifdef MPI_CT
-void mpi_gather_image (ImageFile *im_global, ImageFile *im_local, const int opt_debug)
+#ifdef HAVE_MPI
+void mpi_gather_image (ImageFile& im_global, ImageFile& im_local, const int opt_debug)
 {
-  int iproc;
-  int end_work_unit;
-  int iw;
-
-  end_work_unit = mpi_ct.local_work_units[mpi_ct.my_rank] - 1;
-  for (iw = 0; iw <= end_work_unit; iw++) {
-    MPI_Send(im_local->v[iw], im_local->ny, im_local->getMPIDataType(), 0, 0, mpi_ct.comm);
+  ImageFileArray vLocal = im_local.getArray();
+  ImageFileArray vGlobal = im_global.getArray();
+  int nyLocal = im_local.ny();
+  int nyGlobal = im_global.ny();
+  
+  int end_work_unit = mpi_ct.local_work_units[mpi_ct.my_rank] - 1;
+  for (int iw = 0; iw <= end_work_unit; iw++) {
+    mpi_ct.comm.Send(vLocal[iw], nyLocal, im_local.getMPIDataType(), 0, 0);
   }
 
   if (mpi_ct.my_rank == 0) {
-    for (iproc = 0; iproc < mpi_ct.nproc; iproc++) {
-      end_work_unit = mpi_ct.start_work_unit[iproc] 
-       + mpi_ct.local_work_units[iproc] 
-       - 1;
+    for (int iproc = 0; iproc < mpi_ct.nproc; iproc++) {
+      end_work_unit = mpi_ct.start_work_unit[iproc] + mpi_ct.local_work_units[iproc] - 1;
 
       if (opt_debug) {
-       fprintf(stdout, "Recv rs data from process %d (%d-%d)\n", iproc,
-               mpi_ct.start_work_unit[iproc], end_work_unit);
+       fprintf(stdout, "Recv rs data from process %d (%d-%d)\n", iproc, mpi_ct.start_work_unit[iproc], end_work_unit);
        fflush(stdout);
       }
 
-
-      for (iw = mpi_ct.start_work_unit[iproc]; iw <= end_work_unit; iw++) {
-       MPI_Status status;
-
-       MPI_Recv(im_global->v[iw], im_global->ny, MPI_FLOAT, iproc, 0, mpi_ct.comm, &status);
+      for (int iw = mpi_ct.start_work_unit[iproc]; iw <= end_work_unit; iw++) {
+       MPI::Status status;
+       mpi_ct.comm.Recv(vGlobal[iw], nyGlobal, MPI::FLOAT, iproc, 0, status);
       }
     }
   }