r9199: fold clsql-base and clsql-base-sys into clsql-base
[clsql.git] / sql / objects.lisp
index d703a0fe7262bda357bff1d28198dfaaf0b2d76d..ef9c0db369a469c6d2984ed01598761d38098e33 100644 (file)
   (declare (ignore new-value instance slot))
   (call-next-method))
 
-(defmethod initialize-instance :around ((class standard-db-object)
-                                        &rest all-keys &key &allow-other-keys)
+(defmethod initialize-instance :around ((object standard-db-object)
+                                       &rest all-keys &key &allow-other-keys)
   (declare (ignore all-keys))
-  (let ((*db-deserializing* t))
-    (call-next-method)))
-
-(defun sequence-from-class (view-class-name)
-  (sql-escape
-   (concatenate
-    'string
-    (symbol-name (view-table (find-class view-class-name)))
-    "-SEQ")))
-
-(defun create-sequence-from-class (view-class-name
-                                   &key (database *default-database*))
-  (create-sequence (sequence-from-class view-class-name) :database database))
-
-(defun drop-sequence-from-class (view-class-name
-                                 &key (if-does-not-exist :error)
-                                 (database *default-database*))
-  (drop-sequence (sequence-from-class view-class-name)
-                 :if-does-not-exist if-does-not-exist
-                 :database database))
+  (let ((*db-initializing* t))
+    (call-next-method)
+    (unless *db-deserializing*
+      #+nil (created-object object)
+      (update-records-from-instance object))))
 
 ;;
 ;; Build the database tables required to store the given view class
 ;;
 
-(defmethod database-pkey-constraint ((class standard-db-class) database)
-  (let ((keylist (mapcar #'view-class-slot-column (keyslots-for-class class))))
-    (when keylist 
-      (format nil "CONSTRAINT ~APK PRIMARY KEY~A"
-              (database-output-sql (view-table class) database)
-              (database-output-sql keylist database)))))
-
-
 (defun create-view-from-class (view-class-name
                                &key (database *default-database*))
   "Creates a view in DATABASE based on VIEW-CLASS-NAME which defines
@@ -106,12 +83,32 @@ the view. The argument DATABASE has a default value of
   (push self (database-view-classes database))
   t)
 
+(defmethod database-pkey-constraint ((class standard-db-class) database)
+  (let ((keylist (mapcar #'view-class-slot-column (keyslots-for-class class))))
+    (when keylist 
+      (convert-to-db-default-case
+       (format nil "CONSTRAINT ~APK PRIMARY KEY~A"
+              (database-output-sql (view-table class) database)
+              (database-output-sql keylist database))
+       database))))
+
+(defmethod database-generate-column-definition (class slotdef database)
+  (declare (ignore database class))
+  (when (member (view-class-slot-db-kind slotdef) '(:base :key))
+    (let ((cdef
+           (list (sql-expression :attribute (view-class-slot-column slotdef))
+                 (slot-type slotdef))))
+      (setf cdef (append cdef (list (view-class-slot-db-type slotdef))))
+      (let ((const (view-class-slot-db-constraints slotdef)))
+        (when const 
+          (setq cdef (append cdef (list const)))))
+      cdef)))
+
+
 ;;
 ;; Drop the tables which store the given view class
 ;;
 
-#.(locally-enable-sql-reader-syntax)
-
 (defun drop-view-from-class (view-class-name &key (database *default-database*))
   "Deletes a view or base table from DATABASE based on VIEW-CLASS-NAME
 which defines that view. The argument DATABASE has a default value of
@@ -123,8 +120,6 @@ which defines that view. The argument DATABASE has a default value of
         (error "Class ~s not found." view-class-name)))
   (values))
 
-#.(restore-sql-reader-syntax-state)
-
 (defun %uninstall-class (self &key (database *default-database*))
   (drop-table (sql-expression :table (view-table self))
               :if-does-not-exist :ignore
@@ -138,19 +133,27 @@ which defines that view. The argument DATABASE has a default value of
 ;;
 
 (defun list-classes (&key (test #'identity)
-                          (root-class 'standard-db-object)
-                          (database *default-database*))
-  "Returns a list of View Classes connected to a given DATABASE which
-defaults to *DEFAULT-DATABASE*."
-  (declare (ignore root-class))
-  (remove-if #'(lambda (c) (not (funcall test c)))
-             (database-view-classes database)))
+                    (root-class (find-class 'standard-db-object))
+                    (database *default-database*))
+  "The LIST-CLASSES function collects all the classes below
+ROOT-CLASS, which defaults to standard-db-object, that are connected
+to the supplied DATABASE and which satisfy the TEST function. The
+default for the TEST argument is identity. By default, LIST-CLASSES
+returns a list of all the classes connected to the default database,
+*DEFAULT-DATABASE*."
+  (flet ((find-superclass (class) 
+          (member root-class (class-precedence-list class))))
+    (let ((view-classes (and database (database-view-classes database))))
+      (when view-classes
+       (remove-if #'(lambda (c) (or (not (funcall test c))
+                                    (not (find-superclass c))))
+                  view-classes)))))
 
 ;;
 ;; Define a new view class
 ;;
 
-(defmacro def-view-class (class supers slots &rest options)
+(defmacro def-view-class (class supers slots &rest cl-options)
   "Extends the syntax of defclass to allow special slots to be mapped
 onto the attributes of database views. The macro DEF-VIEW-CLASS
 creates a class called CLASS which maps onto a database view. Such a
@@ -163,9 +166,11 @@ instances are filled with attribute values from the database. If
 SUPERS is nil then STANDARD-DB-OBJECT automatically becomes the
 superclass of the newly-defined View Class."
   `(progn
-     (defclass ,class ,supers ,slots ,@options
-              (:metaclass standard-db-class))
-     (finalize-inheritance (find-class ',class))))
+    (defclass ,class ,supers ,slots 
+      ,@(if (find :metaclass `,cl-options :key #'car)
+           `,cl-options
+           (cons '(:metaclass clsql-sys::standard-db-class) `,cl-options)))
+    (finalize-inheritance (find-class ',class))))
 
 (defun keyslots-for-class (class)
   (slot-value class 'key-slots))
@@ -216,21 +221,6 @@ superclass of the newly-defined View Class."
        sels
         (error "No slots of type :base in view-class ~A" (class-name vclass)))))
 
-;;
-;; Used by 'create-view-from-class'
-;;
-
-
-(defmethod database-generate-column-definition (class slotdef database)
-  (declare (ignore database class))
-  (when (member (view-class-slot-db-kind slotdef) '(:base :key))
-    (let ((cdef
-           (list (sql-expression :attribute (view-class-slot-column slotdef))
-                 (slot-type slotdef))))
-      (let ((const (view-class-slot-db-constraints slotdef)))
-        (when const 
-          (setq cdef (append cdef (list const)))))
-      cdef)))
 
 ;;
 ;; Called by 'get-slot-values-from-view'
@@ -316,50 +306,35 @@ superclass of the newly-defined View Class."
       (mapc #'update-slot slotdeflist values)
       obj))
 
-(defgeneric update-record-from-slot (object slot &key database)
-  (:documentation
-   "The generic function UPDATE-RECORD-FROM-SLOT updates an individual
-data item in the column represented by SLOT. The DATABASE is only used
-if OBJECT is not yet associated with any database, in which case a
-record is created in DATABASE. Only SLOT is initialized in this case;
-other columns in the underlying database receive default values. The
-argument SLOT is the CLOS slot name; the corresponding column names
-are derived from the View Class definition."))
-   
 (defmethod update-record-from-slot ((obj standard-db-object) slot &key
-                                       (database *default-database*))
-  (let* ((vct (view-table (class-of obj)))
+                                   (database *default-database*))
+  (let* ((database (or (view-database obj) database))
+        (vct (view-table (class-of obj)))
          (sd (slotdef-for-slot-with-class slot (class-of obj))))
     (check-slot-type sd (slot-value obj slot))
     (let* ((att (view-class-slot-column sd))
            (val (db-value-from-slot sd (slot-value obj slot) database)))
       (cond ((and vct sd (view-database obj))
              (update-records (sql-expression :table vct)
-                             :attributes (list (sql-expression
-                                                :attribute att))
+                             :attributes (list (sql-expression :attribute att))
                              :values (list val)
                              :where (key-qualifier-for-instance
                                      obj :database database)
-                             :database (view-database obj)))
+                             :database database))
             ((and vct sd (not (view-database obj)))
-             (install-instance obj :database database))
+            (insert-records :into (sql-expression :table vct)
+                             :attributes (list (sql-expression :attribute att))
+                             :values (list val)
+                            :database database)
+            (setf (slot-value obj 'view-database) database))
             (t
              (error "Unable to update record.")))))
   (values))
 
-(defgeneric update-record-from-slots (object slots &key database)
-  (:documentation 
-   "The generic function UPDATE-RECORD-FROM-SLOTS updates data in the
-columns represented by SLOTS. The DATABASE is only used if OBJECT is
-not yet associated with any database, in which case a record is
-created in DATABASE. Only slots are initialized in this case; other
-columns in the underlying database receive default values. The
-argument SLOTS contains the CLOS slot names; the corresponding column
-names are derived from the view class definition."))
-
 (defmethod update-record-from-slots ((obj standard-db-object) slots &key
                                      (database *default-database*))
-  (let* ((vct (view-table (class-of obj)))
+  (let* ((database (or (view-database obj) database))
+        (vct (view-table (class-of obj)))
          (sds (slotdefs-for-slots-with-class slots (class-of obj)))
          (avps (mapcar #'(lambda (s)
                            (let ((val (slot-value
@@ -374,7 +349,7 @@ names are derived from the view class definition."))
                            :av-pairs avps
                            :where (key-qualifier-for-instance
                                    obj :database database)
-                           :database (view-database obj)))
+                           :database database))
           ((and avps (not (view-database obj)))
            (insert-records :into (sql-expression :table vct)
                            :av-pairs avps
@@ -384,152 +359,45 @@ names are derived from the view class definition."))
            (error "Unable to update records"))))
   (values))
 
-(defgeneric update-records-from-instance (object &key database)
-  (:documentation
-   "Using an instance of a view class, update the database table that
-stores its instance data. If the instance is already associated with a
-database, that database is used, and database is ignored. If instance
-is not yet associated with a database, a record is created for
-instance in the appropriate table of database and the instance becomes
-associated with that database."))
-
 (defmethod update-records-from-instance ((obj standard-db-object)
                                          &key (database *default-database*))
-  (labels ((slot-storedp (slot)
-            (and (member (view-class-slot-db-kind slot) '(:base :key))
-                 (slot-boundp obj (slot-definition-name slot))))
-          (slot-value-list (slot)
-            (let ((value (slot-value obj (slot-definition-name slot))))
-              (check-slot-type slot value)
-              (list (sql-expression :attribute (view-class-slot-column slot))
-                    (db-value-from-slot slot value database)))))
-    (let* ((view-class (class-of obj))
-          (view-class-table (view-table view-class))
-          (slots (remove-if-not #'slot-storedp (ordered-class-slots view-class)))
-          (record-values (mapcar #'slot-value-list slots)))
-      (unless record-values
-        (error "No settable slots."))
-      (if (view-database obj)
-          (update-records (sql-expression :table view-class-table)
-                          :av-pairs record-values
-                          :where (key-qualifier-for-instance
-                                  obj :database database)
-                          :database (view-database obj))
-          (progn
-            (insert-records :into (sql-expression :table view-class-table)
-                            :av-pairs record-values
-                            :database database)
-            (setf (slot-value obj 'view-database) database)))
-      (values))))
-
-(defmethod install-instance ((obj standard-db-object)
-                             &key (database *default-database*))
-  (labels ((slot-storedp (slot)
-            (and (member (view-class-slot-db-kind slot) '(:base :key))
-                 (slot-boundp obj (slot-definition-name slot))))
-          (slot-value-list (slot)
-            (let ((value (slot-value obj (slot-definition-name slot))))
-              (check-slot-type slot value)
-              (list (sql-expression :attribute (view-class-slot-column slot))
-                    (db-value-from-slot slot value database)))))
-    (let* ((view-class (class-of obj))
-          (view-class-table (view-table view-class))
-          (slots (remove-if-not #'slot-storedp (ordered-class-slots view-class)))
-          (record-values (mapcar #'slot-value-list slots)))
-      (unless record-values
-        (error "No settable slots."))
-      (unless
-          (let ((obj-db (slot-value obj 'view-database)))
-            (when obj-db 
-              (equal obj-db database))))
-        (insert-records :into (sql-expression :table view-class-table)
-                        :av-pairs record-values
-                        :database database)
-        (setf (slot-value obj 'view-database) database))
-    (values)))
-
-(defmethod handle-cascade-delete-rule ((instance standard-db-object)
-                                      (slot
-                                        view-class-effective-slot-definition))
-  (let ((val (slot-value instance (slot-definition-name slot))))
-    (typecase val
-      (list
-       (if (gethash :target-slot (view-class-slot-db-info slot))
-           ;; For relations with target-slot, we delete just the join instance
-           (mapcar #'(lambda (obj)
-                       (delete-instance-records obj))
-                   (fault-join-slot-raw (class-of instance) instance slot))
-           (dolist (obj val)
-             (delete-instance-records obj))))
-      (standard-db-object
-       (delete-instance-records val)))))
-
-(defmethod nullify-join-foreign-keys ((instance standard-db-object) slot)
-    (let* ((dbi (view-class-slot-db-info slot))
-          (fkeys (gethash :foreign-keys dbi)))
-      (mapcar #'(lambda (fk)
-                 (if (view-class-slot-nulls-ok slot)
-                     (setf (slot-value instance fk) nil)
-                     (warn "Nullify delete rule cannot set slot not allowing nulls to nil")))
-             (if (listp fkeys) fkeys (list fkeys)))))
-
-(defmethod handle-nullify-delete-rule ((instance standard-db-object)
-                                      (slot
-                                        view-class-effective-slot-definition))
-    (let ((dbi (view-class-slot-db-info slot)))
-      (if (gethash :set dbi)
-         (if (gethash :target-slot (view-class-slot-db-info slot))
-             ;;For relations with target-slot, we delete just the join instance
-             (mapcar #'(lambda (obj)
-                         (nullify-join-foreign-keys obj slot))
-                     (fault-join-slot-raw (class-of instance) instance slot))
-             (dolist (obj (slot-value instance (slot-definition-name slot)))
-               (nullify-join-foreign-keys obj slot)))
-         (nullify-join-foreign-keys
-           (slot-value instance (slot-definition-name slot)) slot))))
-
-(defmethod propogate-deletes ((instance standard-db-object))
-  (let* ((view-class (class-of instance))
-        (joins (remove-if #'(lambda (sd)
-                              (not (equal (view-class-slot-db-kind sd) :join)))
-                          (ordered-class-slots view-class))))
-    (dolist (slot joins)
-      (let ((delete-rule (gethash :delete-rule (view-class-slot-db-info slot))))
-       (cond
-         ((eql delete-rule :cascade)
-          (handle-cascade-delete-rule instance slot))
-         ((eql delete-rule :deny)
-          (when (slot-value instance (slot-definition-name slot))
-             (error
-              "Unable to delete slot ~A, because it has a deny delete rule."
-              slot)))
-         ((eql delete-rule :nullify)
-          (handle-nullify-delete-rule instance slot))
-         (t t))))))
-
-(defgeneric delete-instance-records (instance)
-  (:documentation
-   "Deletes the records represented by INSTANCE from the database
-associated with it. If instance has no associated database, an error
-is signalled."))
+  (let ((database (or (view-database obj) database)))
+    (labels ((slot-storedp (slot)
+              (and (member (view-class-slot-db-kind slot) '(:base :key))
+                   (slot-boundp obj (slot-definition-name slot))))
+            (slot-value-list (slot)
+              (let ((value (slot-value obj (slot-definition-name slot))))
+                (check-slot-type slot value)
+                (list (sql-expression :attribute (view-class-slot-column slot))
+                      (db-value-from-slot slot value database)))))
+      (let* ((view-class (class-of obj))
+            (view-class-table (view-table view-class))
+            (slots (remove-if-not #'slot-storedp 
+                                  (ordered-class-slots view-class)))
+            (record-values (mapcar #'slot-value-list slots)))
+       (unless record-values
+         (error "No settable slots."))
+       (if (view-database obj)
+           (update-records (sql-expression :table view-class-table)
+                           :av-pairs record-values
+                           :where (key-qualifier-for-instance
+                                   obj :database database)
+                           :database database)
+           (progn
+             (insert-records :into (sql-expression :table view-class-table)
+                             :av-pairs record-values
+                             :database database)
+             (setf (slot-value obj 'view-database) database))))))
+  (values))
 
 (defmethod delete-instance-records ((instance standard-db-object))
   (let ((vt (sql-expression :table (view-table (class-of instance))))
-       (vd (or (view-database instance) *default-database*)))
-    (when vd
-      (let ((qualifier (key-qualifier-for-instance instance :database vd)))
-        (with-transaction (:database vd)
-          (propogate-deletes instance)
-          (delete-records :from vt :where qualifier :database vd)
-          (setf (slot-value instance 'view-database) nil)))))
-  (values))
-
-(defgeneric update-instance-from-records (instance &key database)
-  (:documentation
-   "Updates the values in the slots of the View Class instance
-INSTANCE using the data in the database DATABASE which defaults to the
-database that INSTANCE is associated with, or the value of
-*DEFAULT-DATABASE*."))
+       (vd (view-database instance)))
+    (if vd
+       (let ((qualifier (key-qualifier-for-instance instance :database vd)))
+         (delete-records :from vt :where qualifier :database vd)
+         (setf (slot-value instance 'view-database) nil))
+       (error 'clsql-no-database-error nil))))
 
 (defmethod update-instance-from-records ((instance standard-db-object)
                                          &key (database *default-database*))
@@ -544,13 +412,6 @@ database that INSTANCE is associated with, or the value of
     (when res
       (get-slot-values-from-view instance (mapcar #'car sels) (car res)))))
 
-(defgeneric update-slot-from-record (instance slot &key database)
-  (:documentation
-   "Updates the value in the slot SLOT of the View Class instance
-INSTANCE using the data in the database DATABASE which defaults to the
-database that INSTANCE is associated with, or the value of
-*DEFAULT-DATABASE*."))
-
 (defmethod update-slot-from-record ((instance standard-db-object)
                                     slot &key (database *default-database*))
   (let* ((view-class (find-class (class-name (class-of instance))))
@@ -560,41 +421,16 @@ database that INSTANCE is associated with, or the value of
          (slot-def (slotdef-for-slot-with-class slot view-class))
          (att-ref (generate-attribute-reference view-class slot-def))
          (res (select att-ref :from  view-table :where view-qual)))
-    (get-slot-values-from-view instance (list slot-def) (car res))))
-
-
-(defgeneric database-null-value (type)
-  (:documentation "Return an expression of type TYPE which SQL NULL values
-will be converted into."))
-
-(defmethod database-null-value ((type t))
-    (cond
-     ((subtypep type 'string) "")
-     ((subtypep type 'integer) 0)
-     ((subtypep type 'float) (float 0.0))
-     ((subtypep type 'list) nil)
-     ((subtypep type 'boolean) nil)
-     ((subtypep type 'symbol) nil)
-     ((subtypep type 'keyword) nil)
-     ((subtypep type 'wall-time) nil)
-     (t
-      (error "Unable to handle null for type ~A" type))))
-
-(defgeneric update-slot-with-null (instance slotname slotdef)
-  (:documentation "Called to update a slot when its column has a NULL
-value.  If nulls are allowed for the column, the slot's value will be
-nil, otherwise its value will be set to the result of calling
-DATABASE-NULL-VALUE on the type of the slot."))
+    (when res 
+      (get-slot-values-from-view instance (list slot-def) (car res)))))
+
 
 (defmethod update-slot-with-null ((object standard-db-object)
                                  slotname
                                  slotdef)
   (let ((st (slot-type slotdef))
-        (allowed (slot-value slotdef 'nulls-ok)))
-    (if allowed
-        (setf (slot-value object slotname) nil)
-        (setf (slot-value object slotname)
-              (database-null-value st)))))
+        (void-value (slot-value slotdef 'void-value)))
+    (setf (slot-value object slotname) void-value)))
 
 (defvar +no-slot-value+ '+no-slot-value+)
 
@@ -620,7 +456,8 @@ DATABASE-NULL-VALUE on the type of the slot."))
 
 (defmethod database-get-type-specifier (type args database)
   (declare (ignore type args))
-  (if (member (database-type database) '(:postgresql :postgresql-socket))
+  (if (clsql-base::in (database-underlying-type database)
+                         :postgresql :postgresql-socket)
           "VARCHAR"
           "VARCHAR(255)"))
 
@@ -630,42 +467,55 @@ DATABASE-NULL-VALUE on the type of the slot."))
   (if args
       (format nil "INT(~A)" (car args))
       "INT"))
+
+(defmethod database-get-type-specifier ((type (eql 'bigint)) args database)
+  (declare (ignore args database))
+  "BIGINT")
               
 (defmethod database-get-type-specifier ((type (eql 'simple-base-string)) args
                                         database)
   (if args
       (format nil "VARCHAR(~A)" (car args))
-      (if (member (database-type database) '(:postgresql :postgresql-socket))
-          "VARCHAR"
-          "VARCHAR(255)")))
+    (if (clsql-base::in (database-underlying-type database) 
+                           :postgresql :postgresql-socket)
+       "VARCHAR"
+      "VARCHAR(255)")))
 
 (defmethod database-get-type-specifier ((type (eql 'simple-string)) args
                                         database)
   (if args
       (format nil "VARCHAR(~A)" (car args))
-      (if (member (database-type database) '(:postgresql :postgresql-socket))
-          "VARCHAR"
-          "VARCHAR(255)")))
+    (if (clsql-base::in (database-underlying-type database) 
+                           :postgresql :postgresql-socket)
+       "VARCHAR"
+      "VARCHAR(255)")))
 
 (defmethod database-get-type-specifier ((type (eql 'string)) args database)
   (if args
       (format nil "VARCHAR(~A)" (car args))
-      (if (member (database-type database) '(:postgresql :postgresql-socket))
-          "VARCHAR"
-          "VARCHAR(255)")))
+    (if (clsql-base::in (database-underlying-type database) 
+                           :postgresql :postgresql-socket)
+       "VARCHAR"
+      "VARCHAR(255)")))
+
+(defmethod database-get-type-specifier ((type (eql 'universal-time)) args database)
+  (declare (ignore args database))
+  "BIGINT")
 
 (defmethod database-get-type-specifier ((type (eql 'wall-time)) args database)
   (declare (ignore args))
-  (case (database-type database)
-    (:postgresql
-     "TIMESTAMP WITHOUT TIME ZONE")
-    (:postgresql-socket
+  (case (database-underlying-type database)
+    ((:postgresql :postgresql-socket)
      "TIMESTAMP WITHOUT TIME ZONE")
     (:mysql
      "DATETIME")
     (t "TIMESTAMP")))
 
 (defmethod database-get-type-specifier ((type (eql 'duration)) args database)
+  (declare (ignore database args))
+  "VARCHAR")
+
+(defmethod database-get-type-specifier ((type (eql 'money)) args database)
   (declare (ignore database args))
   "INT8")
 
@@ -702,7 +552,9 @@ DATABASE-NULL-VALUE on the type of the slot."))
 (defmethod database-output-sql-as-type ((type (eql 'list)) val database)
   (declare (ignore database))
   (progv '(*print-circle* *print-array*) '(t t)
-    (prin1-to-string val)))
+    (let ((escaped (prin1-to-string val)))
+      (clsql-base::substitute-char-string
+       escaped #\Null " "))))
 
 (defmethod database-output-sql-as-type ((type (eql 'symbol)) val database)
   (declare (ignore database))
@@ -772,20 +624,30 @@ DATABASE-NULL-VALUE on the type of the slot."))
 (defmethod read-sql-value (val (type (eql 'keyword)) database)
   (declare (ignore database))
   (when (< 0 (length val))
-    (intern (string-upcase val) "KEYWORD")))
+    (intern (symbol-name-default-case val) 
+           (find-package '#:keyword))))
 
 (defmethod read-sql-value (val (type (eql 'symbol)) database)
   (declare (ignore database))
   (when (< 0 (length val))
-    (unless (string= val "NIL")
-      (intern (string-upcase val)
+    (unless (string= val (clsql-base:symbol-name-default-case "NIL"))
+      (intern (clsql-base:symbol-name-default-case val)
               (symbol-package *update-context*)))))
 
 (defmethod read-sql-value (val (type (eql 'integer)) database)
   (declare (ignore database))
   (etypecase val
     (string
-     (read-from-string val))
+     (unless (string-equal "NIL" val)
+       (parse-integer val)))
+    (number val)))
+
+(defmethod read-sql-value (val (type (eql 'bigint)) database)
+  (declare (ignore database))
+  (etypecase val
+    (string
+     (unless (string-equal "NIL" val)
+       (parse-integer val)))
     (number val)))
 
 (defmethod read-sql-value (val (type (eql 'float)) database)
@@ -797,11 +659,24 @@ DATABASE-NULL-VALUE on the type of the slot."))
   (declare (ignore database))
   (equal "t" val))
 
+(defmethod read-sql-value (val (type (eql 'univeral-time)) database)
+  (declare (ignore database))
+  (unless (eq 'NULL val)
+    (etypecase val
+      (string
+       (parse-integer val))
+      (number val))))
+
 (defmethod read-sql-value (val (type (eql 'wall-time)) database)
   (declare (ignore database))
   (unless (eq 'NULL val)
     (parse-timestring val)))
 
+(defmethod read-sql-value (val (type (eql 'duration)) database)
+  (declare (ignore database))
+  (unless (or (eq 'NULL val)
+              (equal "NIL" val))
+    (parse-timestring val)))
 
 ;; ------------------------------------------------------------
 ;; Logic for 'faulting in' :join slots
@@ -868,91 +743,78 @@ DATABASE-NULL-VALUE on the type of the slot."))
                 (apply #'sql-and jc)
                 jc))))))
 
-(defmethod postinitialize ((self t))
-  )
-
 (defun find-all (view-classes &rest args &key all set-operation distinct from
                  where group-by having order-by order-by-descending offset limit
-                 (database *default-database*))
+                refresh (database *default-database*))
   "tweeze me apart someone pleeze"
-  (declare (ignore all set-operation from group-by having offset limit)
+  (declare (ignore all set-operation group-by having offset limit)
            (optimize (debug 3) (speed 1)))
-  (let* ((*db-deserializing* t)
-         (*default-database* (or database (error 'clsql-nodb-error))))
-    (flet ((table-sql-expr (table)
-             (sql-expression :table (view-table table)))
-           (ref-equal (ref1 ref2)
-             (equal (sql ref1)
-                    (sql ref2)))
-           (tables-equal (table-a table-b)
-             (string= (string (slot-value table-a 'name))
-                      (string (slot-value table-b 'name)))))
-
-      (let* ((sclasses (mapcar #'find-class view-classes))
-             (sels (mapcar #'generate-selection-list sclasses))
-             (fullsels (apply #'append sels))
-             (sel-tables (collect-table-refs where))
-             (tables
-              (remove-duplicates
-               (append (mapcar #'table-sql-expr sclasses) sel-tables)
-               :test #'tables-equal))
-             (res nil))
+  (remf args :from)
+  (labels ((table-sql-expr (table)
+            (sql-expression :table (view-table table)))
+          (ref-equal (ref1 ref2)
+            (equal (sql ref1)
+                   (sql ref2)))
+          (tables-equal (table-a table-b)
+            (string= (string (slot-value table-a 'name))
+                     (string (slot-value table-b 'name))))
+          (build-object (vals vclass selects)
+            (let* ((class-name (class-name vclass))
+                   (db-vals (butlast vals (- (list-length vals)
+                                             (list-length selects))))
+                   (*db-initializing* t)
+                   (obj (make-instance class-name :view-database database)))
+              ;; use refresh keyword here 
+              (setf obj (get-slot-values-from-view obj (mapcar #'car selects) 
+                                                   db-vals))
+              (when refresh (instance-refreshed obj))
+              obj))
+          (build-objects (vals sclasses sels)
+            (let ((objects (mapcar #'(lambda (sclass sel) 
+                                       (build-object vals sclass sel))
+                                   sclasses sels)))
+              (if (= (length sclasses) 1)
+                  (car objects)
+                  objects))))
+    (let* ((*db-deserializing* t)
+          (*default-database* (or database
+                                  (error 'clsql-no-database-error nil)))
+          (sclasses (mapcar #'find-class view-classes))
+          (sels (mapcar #'generate-selection-list sclasses))
+          (fullsels (apply #'append sels))
+          (sel-tables (collect-table-refs where))
+          (tables (remove-duplicates (append (mapcar #'table-sql-expr sclasses)
+                                             sel-tables)
+                                     :test #'tables-equal))
+          (res nil))
         (dolist (ob (listify order-by))
           (when (and ob (not (member ob (mapcar #'cdr fullsels)
                                      :test #'ref-equal)))
-            (setq fullsels
-                  (append fullsels (mapcar #'(lambda (att) (cons nil att))
-                                           (listify ob))))))
+            (setq fullsels 
+                 (append fullsels (mapcar #'(lambda (att) (cons nil att))
+                                          (listify ob))))))
         (dolist (ob (listify order-by-descending))
           (when (and ob (not (member ob (mapcar #'cdr fullsels)
                                      :test #'ref-equal)))
-            (setq fullsels
-                  (append fullsels (mapcar #'(lambda (att) (cons nil att))
-                                           (listify ob))))))
+            (setq fullsels 
+                 (append fullsels (mapcar #'(lambda (att) (cons nil att))
+                                          (listify ob))))))
         (dolist (ob (listify distinct))
-          (when (and (typep ob 'sql-ident)
-                     (not (member ob (mapcar #'cdr fullsels)
-                                  :test #'ref-equal)))
-            (setq fullsels
-                  (append fullsels (mapcar #'(lambda (att) (cons nil att))
-                                           (listify ob))))))
-        ;;(format t "~%fullsels is : ~A" fullsels)
-        (setq res (apply #'select (append (mapcar #'cdr fullsels)
-                                          (cons :from (list tables)) args)))
-        (flet ((build-instance (vals)
-                 (flet ((%build-instance (vclass selects)
-                          (let ((class-name (class-name vclass))
-                                (db-vals (butlast vals
-                                                  (- (list-length vals)
-                                                     (list-length selects))))
-                                cache-key)
-                            (setf vals (nthcdr (list-length selects) vals))
-                            (loop for select in selects
-                                  for value in db-vals
-                                  do
-                                  (when (eql (slot-value (car select) 'db-kind)
-                                             :key)
-                                    (push
-                                     (key-value-from-db (car select) value
-                                                        *default-database*)
-                                     cache-key)))
-                            (push class-name cache-key)
-                            (%make-fresh-object class-name
-                                                (mapcar #'car selects)
-                                                db-vals))))
-                   (let ((instances (mapcar #'%build-instance sclasses sels)))
-                     (if (= (length sclasses) 1)
-                         (car instances)
-                         instances)))))
-          (remove-if #'null (mapcar #'build-instance res)))))))
-
-(defun %make-fresh-object (class-name slots values)
-  (let* ((*db-initializing* t)
-         (obj (make-instance class-name
-                             :view-database *default-database*)))
-    (setf obj (get-slot-values-from-view obj slots values))
-    (postinitialize obj)
-    obj))
+          (when (and (typep ob 'sql-ident) 
+                    (not (member ob (mapcar #'cdr fullsels) 
+                                 :test #'ref-equal)))
+            (setq fullsels 
+                 (append fullsels (mapcar #'(lambda (att) (cons nil att))
+                                          (listify ob))))))
+        (setq res 
+             (apply #'select 
+                    (append (mapcar #'cdr fullsels)
+                            (cons :from 
+                                  (list (append (when from (listify from)) 
+                                                (listify tables)))) args)))
+       (mapcar #'(lambda (r) (build-objects r sclasses sels)) res))))
+
+(defmethod instance-refreshed ((instance standard-db-object)))
 
 (defun select (&rest select-all-args)
   "Selects data from database given the constraints specified. Returns
@@ -970,7 +832,6 @@ tuples."
                        target-args))))
     (multiple-value-bind (target-args qualifier-args)
         (query-get-selections select-all-args)
-      ;; (cmsg "Qual args = ~s" qualifier-args)
       (if (select-objects target-args)
           (apply #'find-all target-args qualifier-args)
           (let ((expr (apply #'make-query select-all-args)))