r9482: * doc/TODO: Add AUTOCOMMIT. Remove need for large table and bigint
[clsql.git] / tests / test-init.lisp
1 ;;;; -*- Mode: LISP; Syntax: ANSI-Common-Lisp; Base: 10 -*-
2 ;;;; ======================================================================
3 ;;;; File:    test-init.lisp
4 ;;;; Authors: Marcus Pearce <m.t.pearce@city.ac.uk>, Kevin Rosenberg
5 ;;;; Created: 30/03/2004
6 ;;;; Updated: $Id$
7 ;;;;
8 ;;;; Initialisation utilities for running regression tests on CLSQL. 
9 ;;;;
10 ;;;; This file is part of CLSQL.
11 ;;;;
12 ;;;; CLSQL users are granted the rights to distribute and use this software
13 ;;;; as governed by the terms of the Lisp Lesser GNU Public License
14 ;;;; (http://opensource.franz.com/preamble.html), also known as the LLGPL.
15 ;;;; ======================================================================
16
17 (in-package #:clsql-tests)
18
19 (defvar *report-stream* *standard-output* "Stream to send text report.")
20 (defvar *sexp-report-stream* nil "Stream to send sexp report.")
21 (defvar *rt-connection*)
22 (defvar *rt-basic*)
23 (defvar *rt-fddl*)
24 (defvar *rt-fdml*)
25 (defvar *rt-ooddl*)
26 (defvar *rt-oodml*)
27 (defvar *rt-syntax*)
28 (defvar *rt-time*)
29
30 (defvar *test-database-type* nil)
31 (defvar *test-database-underlying-type* nil)
32 (defvar *test-database-user* nil)
33
34 (defclass thing ()
35   ((extraterrestrial :initform nil :initarg :extraterrestrial)))
36
37 (def-view-class person (thing)
38   ((height :db-kind :base :accessor height :type float
39            :initarg :height)
40    (married :db-kind :base :accessor married :type boolean
41             :initarg :married)
42    (birthday :type clsql:wall-time :initarg :birthday)
43    (hobby :db-kind :virtual :initarg :hobby :initform nil)))
44   
45 (def-view-class employee (person)
46   ((emplid
47     :db-kind :key
48     :db-constraints :not-null
49     :type integer
50     :initarg :emplid)
51    (groupid
52     :db-kind :key
53     :db-constraints :not-null
54     :type integer
55     :initarg :groupid)
56    (first-name
57     :accessor first-name
58     :type (varchar 30)
59     :initarg :first-name)
60    (last-name
61     :accessor last-name
62     :type (varchar 30)
63     :initarg :last-name)
64    (email
65     :accessor employee-email
66     :type (varchar 100)
67     :initarg :email)
68    (ecompanyid
69     :type integer
70     :initarg :companyid)
71    (company
72     :accessor employee-company
73     :db-kind :join
74     :db-info (:join-class company
75                           :home-key ecompanyid
76                           :foreign-key companyid
77                           :set nil))
78    (managerid
79     :type integer
80     :initarg :managerid)
81    (manager
82     :accessor employee-manager
83     :db-kind :join
84     :db-info (:join-class employee
85                           :home-key managerid
86                           :foreign-key emplid
87                           :set nil))
88    (addresses
89     :accessor employee-addresses
90     :db-kind :join
91     :db-info (:join-class employee-address
92                           :home-key emplid
93                           :foreign-key aemplid
94                           :target-slot address
95                           :set t)))
96   (:base-table employee))
97
98 (def-view-class company ()
99   ((companyid
100     :db-kind :key
101     :db-constraints :not-null
102     :type integer
103     :initarg :companyid)
104    (groupid
105     :db-kind :key
106     :db-constraints :not-null
107     :type integer
108     :initarg :groupid)
109    (name
110     :type (varchar 100)
111     :initarg :name)
112    (presidentid
113     :type integer
114     :initarg :presidentid)
115    (president
116     :reader president
117     :db-kind :join
118     :db-info (:join-class employee
119                           :home-key presidentid
120                           :foreign-key emplid
121                           :set nil))
122    (employees
123     :reader company-employees
124     :db-kind :join
125     :db-info (:join-class employee
126                           :home-key (companyid groupid)
127                           :foreign-key (ecompanyid groupid)
128                           :set t))))
129
130 (def-view-class address ()
131   ((addressid
132     :db-kind :key
133     :db-constraints :not-null
134     :type integer
135     :initarg :addressid)
136    (street-number
137     :type integer
138     :initarg :street-number)
139    (street-name
140     :type (varchar 30)
141     :void-value ""
142     :initarg :street-name)
143    (city
144     :column "city_field"
145     :void-value "no city"
146     :type (varchar 30)
147     :initarg :city)
148    (postal-code
149     :column zip
150     :type integer
151     :void-value 0
152     :initarg :postal-code))
153   (:base-table addr))
154
155 ;; many employees can reside at many addressess
156 (def-view-class employee-address ()
157   ((aemplid :type integer :initarg :emplid)
158    (aaddressid :type integer :initarg :addressid)
159    (verified :type boolean :initarg :verified)
160    (address :db-kind :join
161             :db-info (:join-class address
162                                   :home-key aaddressid
163                                   :foreign-key addressid
164                                   :retrieval :immediate)))
165   (:base-table "ea_join"))
166
167 (def-view-class deferred-employee-address ()
168   ((aemplid :type integer :initarg :emplid)
169    (aaddressid :type integer :initarg :addressid)
170    (verified :type boolean :initarg :verified)
171    (address :db-kind :join
172             :db-info (:join-class address
173                                   :home-key aaddressid
174                                   :foreign-key addressid
175                                   :retrieval :deferred
176                                   :set nil)))
177   (:base-table "ea_join"))
178
179 (def-view-class big ()
180   ((i :type integer :initarg :i)
181    (bi :type bigint :initarg :bi)))
182
183 (defun test-connect-to-database (db-type spec)
184   (when (clsql-sys:db-backend-has-create/destroy-db? db-type)
185     (ignore-errors (destroy-database spec :database-type db-type))
186     (ignore-errors (create-database spec :database-type db-type)))
187   
188   (setf *test-database-type* db-type)
189   (setf *test-database-user*
190     (cond
191      ((eq :oracle db-type) (second spec))
192      ((>= (length spec) 3) (third spec))))
193   
194   ;; Connect to the database
195   (clsql:connect spec
196                  :database-type db-type
197                  :make-default t
198                  :if-exists :old)
199   
200   ;; Ensure database is empty
201   (truncate-database :database *default-database*)
202   
203   (setf *test-database-underlying-type*
204         (clsql-sys:database-underlying-type *default-database*))
205   
206   *default-database*)
207
208 (defparameter company1 nil)
209 (defparameter employee1 nil)
210 (defparameter employee2 nil)
211 (defparameter employee3 nil)
212 (defparameter employee4 nil)
213 (defparameter employee5 nil)
214 (defparameter employee6 nil)
215 (defparameter employee7 nil)
216 (defparameter employee8 nil)
217 (defparameter employee9 nil)
218 (defparameter employee10 nil)
219 (defparameter address1 nil)
220 (defparameter address2 nil)
221 (defparameter employee-address1 nil)
222 (defparameter employee-address2 nil)
223 (defparameter employee-address3 nil)
224 (defparameter employee-address4 nil)
225 (defparameter employee-address5 nil)
226
227 (defun test-initialise-database ()
228   (test-basic-initialize)
229   (let ((*backend-warning-behavior*
230          (if (member *test-database-type* '(:postgresql :postgresql-socket))
231              :ignore
232            :warn)))
233     (clsql:create-view-from-class 'employee)
234     (clsql:create-view-from-class 'company)
235     (clsql:create-view-from-class 'address)
236     (clsql:create-view-from-class 'employee-address)
237     (clsql:create-view-from-class 'big))
238
239   (let ((*db-auto-sync* t))
240     (setf company1 (make-instance 'company
241                                   :presidentid 1
242                                   :companyid 1
243                                   :groupid 1
244                                   :name "Widgets Inc.")
245           employee1 (make-instance 'employee
246                                    :emplid 1
247                                    :groupid 1
248                                    :married t 
249                                    :height (1+ (random 1.00))
250                                    :birthday (clsql:get-time)
251                                    :first-name "Vladamir"
252                                    :last-name "Lenin"
253                                    :email "lenin@soviet.org"
254                                    :companyid 1)
255           employee2 (make-instance 'employee
256                                    :emplid 2
257                                    :groupid 1
258                                    :height (1+ (random 1.00))
259                                    :married t 
260                                    :birthday (clsql:get-time)
261                                    :first-name "Josef"
262                                    :last-name "Stalin"
263                                    :email "stalin@soviet.org"
264                                    :managerid 1
265                                    :companyid 1)
266           employee3 (make-instance 'employee
267                                    :emplid 3
268                                    :groupid 1
269                                    :height (1+ (random 1.00))
270                                    :married t 
271                                    :birthday (clsql:get-time)
272                                    :first-name "Leon"
273                                    :last-name "Trotsky"
274                                    :email "trotsky@soviet.org"
275                                    :managerid 1
276                                    :companyid 1)
277           employee4 (make-instance 'employee
278                                    :emplid 4
279                                    :groupid 1
280                                    :height (1+ (random 1.00))
281                                    :married nil
282                                    :birthday (clsql:get-time)
283                                    :first-name "Nikita"
284                                    :last-name "Kruschev"
285                                    :email "kruschev@soviet.org"
286                                    :managerid 1
287                                    :companyid 1)
288           employee5 (make-instance 'employee
289                                    :emplid 5
290                                    :groupid 1
291                                    :married nil
292                                    :height (1+ (random 1.00))
293                                    :birthday (clsql:get-time)
294                                    :first-name "Leonid"
295                                    :last-name "Brezhnev"
296                                    :email "brezhnev@soviet.org"
297                                    :managerid 1
298                                    :companyid 1)
299           employee6 (make-instance 'employee
300                                    :emplid 6
301                                    :groupid 1
302                                    :married nil
303                                    :height (1+ (random 1.00))
304                                    :birthday (clsql:get-time)
305                                    :first-name "Yuri"
306                                    :last-name "Andropov"
307                                    :email "andropov@soviet.org"
308                                    :managerid 1
309                                    :companyid 1)
310           employee7 (make-instance 'employee
311                                    :emplid 7
312                                    :groupid 1
313                                    :height (1+ (random 1.00))
314                                    :married nil
315                                    :birthday (clsql:get-time)
316                                    :first-name "Konstantin"
317                                    :last-name "Chernenko"
318                                    :email "chernenko@soviet.org"
319                                    :managerid 1
320                                    :companyid 1)
321           employee8 (make-instance 'employee
322                                    :emplid 8
323                                    :groupid 1
324                                    :height (1+ (random 1.00))
325                                    :married nil
326                                    :birthday (clsql:get-time)
327                                    :first-name "Mikhail"
328                                    :last-name "Gorbachev"
329                                    :email "gorbachev@soviet.org"
330                                    :managerid 1
331                                    :companyid 1)
332           employee9 (make-instance 'employee
333                                    :emplid 9
334                                    :groupid 1 
335                                    :married nil
336                                    :height (1+ (random 1.00))
337                                    :birthday (clsql:get-time)
338                                    :first-name "Boris"
339                                    :last-name "Yeltsin"
340                                    :email "yeltsin@soviet.org"
341                                    :managerid 1
342                                    :companyid 1)
343           employee10 (make-instance 'employee
344                                     :emplid 10
345                                     :groupid 1
346                                     :married nil
347                                     :height (1+ (random 1.00))
348                                     :birthday (clsql:get-time)
349                                     :first-name "Vladamir"
350                                     :last-name "Putin"
351                                     :email "putin@soviet.org"
352                                     :managerid 1
353                                     :companyid 1)
354           address1 (make-instance 'address
355                                   :addressid 1
356                                   :street-number 10
357                                   :street-name "Park Place"
358                                   :city "Leningrad"
359                                   :postal-code 123)
360           address2 (make-instance 'address
361                                   :addressid 2)
362           employee-address1 (make-instance 'employee-address
363                                            :emplid 1
364                                            :addressid 1
365                                            :verified t)
366           employee-address2 (make-instance 'employee-address
367                                            :emplid 2
368                                            :addressid 2
369                                            :verified t)
370           employee-address3 (make-instance 'employee-address
371                                            :emplid 3
372                                            :addressid 1
373                                            :verified nil)
374           employee-address4 (make-instance 'employee-address
375                                            :emplid 1
376                                            :addressid 2
377                                            :verified nil)
378           employee-address5 (make-instance 'employee-address
379                                            :emplid 3
380                                            :addressid 2))
381
382     (let ((max (expt 2 60)))
383       (dotimes (i 555)
384         (make-instance 'big :i (1+ i) :bi (truncate max (1+ i))))))
385     
386   ;; sleep to ensure birthdays are no longer at current time
387   (sleep 1) 
388   
389   #||
390   ;; Lenin manages everyone
391   (clsql:add-to-relation employee2 'manager employee1)
392   (clsql:add-to-relation employee3 'manager employee1)
393   (clsql:add-to-relation employee4 'manager employee1)
394   (clsql:add-to-relation employee5 'manager employee1)
395   (clsql:add-to-relation employee6 'manager employee1)
396   (clsql:add-to-relation employee7 'manager employee1)
397   (clsql:add-to-relation employee8 'manager employee1)
398   (clsql:add-to-relation employee9 'manager employee1)
399   (clsql:add-to-relation employee10 'manager employee1)
400   ;; Everyone works for Widgets Inc.
401   (clsql:add-to-relation company1 'employees employee1)
402   (clsql:add-to-relation company1 'employees employee2)
403   (clsql:add-to-relation company1 'employees employee3)
404   (clsql:add-to-relation company1 'employees employee4)
405   (clsql:add-to-relation company1 'employees employee5)
406   (clsql:add-to-relation company1 'employees employee6)
407   (clsql:add-to-relation company1 'employees employee7)
408   (clsql:add-to-relation company1 'employees employee8)
409   (clsql:add-to-relation company1 'employees employee9)
410   (clsql:add-to-relation company1 'employees employee10)
411   ;; Lenin is president of Widgets Inc.
412   (clsql:add-to-relation company1 'president employee1)
413   ||#
414   
415   ;; store these instances
416   #||
417   (clsql:update-records-from-instance employee1)
418   (clsql:update-records-from-instance employee2)
419   (clsql:update-records-from-instance employee3)
420   (clsql:update-records-from-instance employee4)
421   (clsql:update-records-from-instance employee5)
422   (clsql:update-records-from-instance employee6)
423   (clsql:update-records-from-instance employee7)
424   (clsql:update-records-from-instance employee8)
425   (clsql:update-records-from-instance employee9)
426   (clsql:update-records-from-instance employee10)
427   (clsql:update-records-from-instance company1)
428   (clsql:update-records-from-instance address1)
429   (clsql:update-records-from-instance address2)
430   ||#
431   )
432
433 (defvar *error-count* 0)
434 (defvar *error-list* nil)
435
436 (defun run-function-append-report-file (function report-file)
437     (let* ((report-path (etypecase report-file
438                         (pathname report-file)
439                         (string (parse-namestring report-file))))
440          (sexp-report-path (make-pathname :defaults report-path
441                                           :type "sexp")))
442       (with-open-file (rs report-path :direction :output
443                           :if-exists :append
444                       :if-does-not-exist :create)
445         (with-open-file (srs sexp-report-path :direction :output
446                              :if-exists :append
447                              :if-does-not-exist :create)
448           (funcall function :report-stream rs :sexp-report-stream srs)))))
449
450 (defun run-tests-append-report-file (report-file)
451   (run-function-append-report-file 'run-tests report-file))
452
453
454 (defun run-tests (&key (report-stream *standard-output*) (sexp-report-stream nil))
455   (let ((specs (read-specs))
456         (*report-stream* report-stream)
457         (*sexp-report-stream* sexp-report-stream)
458         (*error-count* 0)
459         (*error-list* nil))
460     (unless specs
461       (warn "Not running tests because test configuration file is missing")
462       (return-from run-tests :skipped))
463     (load-necessary-systems specs)
464     (dolist (db-type +all-db-types+)
465       (dolist (spec (db-type-spec db-type specs))
466         (do-tests-for-backend db-type spec))))
467   (zerop *error-count*))
468
469 (defun load-necessary-systems (specs)
470   (dolist (db-type +all-db-types+)
471     (when (db-type-spec db-type specs)
472       (clsql-sys:initialize-database-type :database-type db-type))))
473
474 (defun write-report-banner (report-type db-type stream)
475   (format stream
476           "~&
477 ******************************************************************************
478 ***     CLSQL ~A begun at ~A
479 ***     ~A
480 ***     ~A on ~A
481 ***     Database ~:@(~A~) backend~A.
482 ******************************************************************************
483 "
484           report-type
485           (clsql:format-time 
486            nil 
487            (clsql:utime->time (get-universal-time)))
488           (lisp-implementation-type)
489           (lisp-implementation-version)
490           (machine-type)
491           db-type
492           (if (not (eq db-type *test-database-underlying-type*))
493               (format nil " with underlying type ~:@(~A~)" 
494                       *test-database-underlying-type*)
495               "")
496           ))
497
498 (defun do-tests-for-backend (db-type spec)
499   (test-connect-to-database db-type spec)
500   
501   (unwind-protect
502        (multiple-value-bind (test-forms skip-tests)
503           (compute-tests-for-backend db-type *test-database-underlying-type*)
504          
505          (write-report-banner "Test Suite" db-type *report-stream*)
506          
507         (test-initialise-database)
508         
509         (regression-test:rem-all-tests)
510         (dolist (test-form test-forms)
511           (eval test-form))
512         
513         (let ((remaining (regression-test:do-tests *report-stream*)))
514           (when (regression-test:pending-tests)
515             (incf *error-count* (length remaining))))
516         
517         (let ((sexp-error (list db-type 
518                                 *test-database-underlying-type* 
519                                 (get-universal-time)
520                                 (length test-forms)
521                                 (regression-test:pending-tests)
522                                 (lisp-implementation-type) 
523                                 (lisp-implementation-version)
524                                 (machine-type))))
525           (when *sexp-report-stream*
526             (write sexp-error :stream *sexp-report-stream* :readably t)) 
527           (push sexp-error *error-list*))
528         
529         (format *report-stream* "~&Tests skipped:")
530         (if skip-tests
531             (dolist (skipped skip-tests)
532               (format *report-stream*
533                       "~&   ~20A ~A~%" (car skipped) (cdr skipped)))
534           (format *report-stream* " None~%")))
535     (disconnect)))
536
537
538 (defun compute-tests-for-backend (db-type db-underlying-type)
539   (let ((test-forms '())
540         (skip-tests '()))
541     (dolist (test-form (append *rt-connection* *rt-basic* *rt-fddl* *rt-fdml*
542                                *rt-ooddl* *rt-oodml* *rt-syntax*))
543       (let ((test (second test-form)))
544         (cond
545           ((and (null (clsql-sys:db-type-has-views? db-underlying-type))
546                 (clsql-sys:in test :fddl/view/1 :fddl/view/2 :fddl/view/3 :fddl/view/4))
547            (push (cons test "views not supported") skip-tests))
548           ((and (null (clsql-sys:db-type-has-boolean-where? db-underlying-type))
549                 (clsql-sys:in test :fdml/select/11 :oodml/select/5))
550            (push (cons test "boolean where not supported") skip-tests))
551           ((and (null (clsql-sys:db-type-has-subqueries? db-underlying-type))
552                 (clsql-sys:in test :fdml/select/5 :fdml/select/10
553                               :fdml/select/32 :fdml/select/33))
554            (push (cons test "subqueries not supported") skip-tests))
555           ((and (null (clsql-sys:db-type-transaction-capable? db-underlying-type
556                                                     *default-database*))
557                 (clsql-sys:in test :fdml/transaction/1 :fdml/transaction/2 :fdml/transaction/3 :fdml/transaction/4))
558            (push (cons test "transactions not supported") skip-tests))
559           ((and (null (clsql-sys:db-type-has-fancy-math? db-underlying-type))
560                 (clsql-sys:in test :fdml/select/1))
561            (push (cons test "fancy math not supported") skip-tests))
562           ((and (eql *test-database-type* :sqlite)
563                 (clsql-sys:in test :fddl/view/4 :fdml/select/10
564                                 :fdml/select/21 :fdml/select/32 
565                                 :fdml/select/33))
566            (push (cons test "not supported by sqlite") skip-tests))
567           ((and (not (clsql-sys:db-type-has-bigint? db-type))
568                 (clsql-sys:in test :basic/bigint/1))
569            (push (cons test "bigint not supported") skip-tests))
570           ((and (eql *test-database-underlying-type* :mysql)
571                 (clsql-sys:in test :fdml/select/26))
572            (push (cons test "string table aliases not supported on all mysql versions") skip-tests))
573           ((and (eql *test-database-underlying-type* :mysql)
574                 (clsql-sys:in test :fdml/select/22 :fdml/query/5 
575                                 :fdml/query/7 :fdml/query/8))
576            (push (cons test "not supported by mysql") skip-tests))
577           ((and (null (clsql-sys:db-type-has-union? db-underlying-type))
578                 (clsql-sys:in test :fdml/query/6 :fdml/select/31))
579            (push (cons test "union not supported") skip-tests))
580           ((and (eq *test-database-type* :oracle)
581                 (clsql-sys:in test :fdml/query/8 :fdml/select/21))
582            (push (cons test "syntax not supported") skip-tests))
583           (t
584            (push test-form test-forms)))))
585       (values (nreverse test-forms) (nreverse skip-tests))))
586
587
588 (defun rapid-load (type &optional (position 0))
589   "Rapid load for interactive testing."
590   (when *default-database*
591       (disconnect :database *default-database*))
592   (test-connect-to-database type (nth position (db-type-spec type (read-specs))))
593   (test-initialise-database)
594   *default-database*)
595
596 (defun rl ()
597   (rapid-load :postgresql))
598
599 (defun rlm ()
600   (rapid-load :mysql))
601
602 (defun rlo ()
603   (rapid-load :oracle))