db-sqlite/sqlite-sql.lisp

   1 ;;;; -*- Mode: LISP; Syntax: ANSI-Common-Lisp; Base: 10 -*-
   2 ;;;; *************************************************************************
   3 ;;;; FILE IDENTIFICATION
   4 ;;;;
   5 ;;;; Name:     sqlite-sql.lisp
   6 ;;;; Purpose:  High-level SQLite interface
   7 ;;;; Authors:  Aurelio Bignoli and Marcus Pearce
   8 ;;;; Created:  Aug 2003
   9 ;;;;
  10 ;;;; $Id$
  11 ;;;;
  12 ;;;; This file, part of CLSQL, is Copyright (c) 2003 by Aurelio Bignoli and
  13 ;;;; Marcus Pearce
  14 ;;;;
  15 ;;;; CLSQL users are granted the rights to distribute and use this software
  16 ;;;; as governed by the terms of the Lisp Lesser GNU Public License
  17 ;;;; (http://opensource.franz.com/preamble.html), also known as the LLGPL.
  18 ;;;; *************************************************************************
  19
  20 (in-package #:clsql-sqlite)
  21
  22 (defclass sqlite-database (database)
  23   ((sqlite-db :initarg :sqlite-db :accessor sqlite-db)))
  24
  25 (defmethod database-type ((database sqlite-database))
  26   :sqlite)
  27
  28 (defmethod database-initialize-database-type ((database-type (eql :sqlite)))
  29   t)
  30
  31 (defun check-sqlite-connection-spec (connection-spec)
  32   (check-connection-spec connection-spec :sqlite (name)))
  33
  34 (defmethod database-name-from-spec (connection-spec
  35                                     (database-type (eql :sqlite)))
  36   (check-sqlite-connection-spec connection-spec)
  37   (first connection-spec))
  38
  39 (defmethod database-connect (connection-spec (database-type (eql :sqlite)))
  40   (check-sqlite-connection-spec connection-spec)
  41   (handler-case
  42       (make-instance 'sqlite-database
  43                      :name (database-name-from-spec connection-spec :sqlite)
  44                      :database-type :sqlite
  45                      :connection-spec connection-spec
  46                      :sqlite-db (sqlite:sqlite-open (first connection-spec)))
  47     (sqlite:sqlite-error (err)
  48       (error 'clsql-connect-error
  49              :database-type database-type
  50              :connection-spec connection-spec
  51              :errno (sqlite:sqlite-error-code err)
  52              :error (sqlite:sqlite-error-message err)))))
  53
  54 (defmethod database-disconnect ((database sqlite-database))
  55   (sqlite:sqlite-close (sqlite-db database))
  56   (setf (sqlite-db database) nil)
  57   t)
  58
  59 (defmethod database-execute-command (sql-expression (database sqlite-database))
  60   (handler-case
  61       (multiple-value-bind (data row-n col-n)
  62           (sqlite:sqlite-get-table (sqlite-db database) sql-expression)
  63         #+clisp (declare (ignore data))
  64         #-clisp (sqlite:sqlite-free-table data)
  65         (unless (= row-n 0)
  66           (error 'clsql-simple-warning
  67                  :format-control
  68                  "Result set not empty: ~@(~A~) row~:P, ~@(~A~) column~:P "
  69                  :format-arguments (list row-n col-n))))
  70     (sqlite:sqlite-error (err)
  71       (error 'clsql-sql-error
  72              :database database
  73              :expression sql-expression
  74              :errno (sqlite:sqlite-error-code err)
  75              :error (sqlite:sqlite-error-message err))))
  76   t)
  77
  78 (defmethod database-query (query-expression (database sqlite-database) result-types field-names)
  79   (declare (ignore result-types))               ; SQLite is typeless!
  80   (handler-case
  81       (multiple-value-bind (data row-n col-n)
  82           (sqlite:sqlite-get-table (sqlite-db database) query-expression)
  83         #-clisp (declare (type sqlite:sqlite-row-pointer-type data))
  84         (let ((rows
  85                (when (plusp row-n)
  86                  (loop for i from col-n below (* (1+ row-n) col-n) by col-n
  87                      collect (loop for j from 0 below col-n
  88                                  collect
  89                                    (#+clisp aref
  90                                             #-clisp sqlite:sqlite-aref
  91                                             data (+ i j))))))
  92               (names
  93                (when field-names
  94                  (loop for j from 0 below col-n
  95                      collect (#+clisp aref
  96                                       #-clisp sqlite:sqlite-aref
  97                                       data j)))))
  98           #-clisp (sqlite:sqlite-free-table data)
  99           (values rows names)))
 100     (sqlite:sqlite-error (err)
 101                          (error 'clsql-sql-error
 102                                 :database database
 103                                 :expression query-expression
 104                                 :errno (sqlite:sqlite-error-code err)
 105                                 :error (sqlite:sqlite-error-message err)))))
 106
 107 #-clisp
 108 (defstruct sqlite-result-set
 109   (vm (sqlite:make-null-vm)
 110       :type sqlite:sqlite-vm-pointer)
 111   (first-row (sqlite:make-null-row)
 112              :type sqlite:sqlite-row-pointer-type)
 113   (n-col 0 :type fixnum))
 114 #+clisp
 115 (defstruct sqlite-result-set
 116   (vm nil)
 117   (first-row nil)
 118   (n-col 0 :type fixnum))
 119
 120 (defmethod database-query-result-set
 121     ((query-expression string) (database sqlite-database) &key full-set result-types)
 122   (declare (ignore full-set result-types))
 123   (handler-case
 124       (let* ((vm (sqlite:sqlite-compile (sqlite-db database)
 125                                         query-expression))
 126              (result-set (make-sqlite-result-set :vm vm)))
 127         #-clisp (declare (type sqlite:sqlite-vm-pointer vm))
 128
 129         ;;; To obtain column number we have to read the first row.
 130         (multiple-value-bind (n-col cols col-names)
 131             (sqlite:sqlite-step vm)
 132           (declare (ignore col-names)
 133                    #-clisp (type sqlite:sqlite-row-pointer-type cols)
 134                    )
 135           (setf (sqlite-result-set-first-row result-set) cols
 136                 (sqlite-result-set-n-col result-set) n-col)
 137           (values result-set n-col nil)))
 138     (sqlite:sqlite-error (err)
 139       (error 'clsql-sql-error
 140              :database database
 141              :expression query-expression
 142              :errno (sqlite:sqlite-error-code err)
 143              :error (sqlite:sqlite-error-message err)))))
 144
 145 (defmethod database-dump-result-set (result-set (database sqlite-database))
 146   (handler-case
 147       (sqlite:sqlite-finalize (sqlite-result-set-vm result-set))
 148     (sqlite:sqlite-error (err)
 149       (error 'clsql-simple-error
 150              :format-control "Error finalizing SQLite VM: ~A"
 151              :format-arguments (list (sqlite:sqlite-error-message err))))))
 152
 153 (defmethod database-store-next-row (result-set (database sqlite-database) list)
 154   (let ((n-col (sqlite-result-set-n-col result-set)))
 155     (if (= n-col 0)
 156         ;; empty result set
 157         nil
 158         (let ((row (sqlite-result-set-first-row result-set)))
 159           (if (sqlite:null-row-p row)
 160               ;; First row already used. fetch another row from DB.
 161               (handler-case
 162                   (multiple-value-bind (n new-row col-names)
 163                       (sqlite:sqlite-step (sqlite-result-set-vm result-set))
 164                     (declare (ignore n col-names)
 165                              #-clisp (type sqlite:sqlite-row-pointer-type new-row)
 166                              )
 167                     (if (sqlite:null-row-p new-row)
 168                         (return-from database-store-next-row nil)
 169                         (setf row new-row)))
 170                 (sqlite:sqlite-error (err)
 171                   (error 'clsql-simple-error
 172                          :format-control "Error in sqlite-step: ~A"
 173                          :format-arguments
 174                          (list (sqlite:sqlite-error-message err)))))
 175
 176               ;; Use the row previously read by database-query-result-set.
 177               (setf (sqlite-result-set-first-row result-set)
 178                     (sqlite:make-null-row)))
 179           (loop for i = 0 then (1+ i)
 180                 for rest on list
 181                 do (setf (car rest)
 182                          (#+clisp aref
 183                           #-clisp sqlite:sqlite-aref
 184                           row i)))
 185           #-clisp (sqlite:sqlite-free-row row)
 186           t))))
 187
 188 ;;; Object listing
 189
 190 (defmethod database-list-tables ((database sqlite-database) &key owner)
 191   (declare (ignore owner))
 192   ;; Query is copied from .table command of sqlite comamnd line utility.
 193   (remove-if #'(lambda (s)
 194                  (and (>= (length s) 11)
 195                       (string-equal (subseq s 0 11) "_CLSQL_SEQ_")))
 196              (mapcar #'car (database-query
 197                             "SELECT name FROM sqlite_master WHERE type='table' UNION ALL SELECT name FROM sqlite_temp_master WHERE type='table' ORDER BY name"
 198                             database nil nil))))
 199
 200 (defmethod database-list-views ((database sqlite-database)
 201                                 &key (owner nil))
 202   (declare (ignore owner))
 203   (mapcar #'car (database-query
 204                  "SELECT name FROM sqlite_master WHERE type='view' UNION ALL SELECT name FROM sqlite_temp_master WHERE type='view' ORDER BY name"
 205                  database nil nil)))
 206
 207 (defmethod database-list-indexes ((database sqlite-database)
 208                                   &key (owner nil))
 209   (declare (ignore owner))
 210   (mapcar #'car (database-query
 211                  "SELECT name FROM sqlite_master WHERE type='index' UNION ALL SELECT name FROM sqlite_temp_master WHERE type='index' ORDER BY name"
 212                  database nil nil)))
 213
 214 (defmethod database-list-table-indexes (table (database sqlite-database)
 215                                         &key (owner nil))
 216   (declare (ignore owner))
 217   (let ((*print-circle* nil))
 218     (mapcar #'car
 219             (database-query
 220              (format
 221               nil
 222               "SELECT name FROM sqlite_master WHERE type='index' AND tbl_name='~A' UNION ALL SELECT name FROM sqlite_temp_master WHERE type='index' AND tbl_name='~A' ORDER BY name"
 223               table table)
 224              database nil nil))))
 225
 226 (declaim (inline sqlite-table-info))
 227 (defun sqlite-table-info (table database)
 228   (database-query (format nil "PRAGMA table_info('~A')" table)
 229                   database nil nil))
 230
 231 (defmethod database-list-attributes (table (database sqlite-database)
 232                                            &key (owner nil))
 233   (declare (ignore owner))
 234   (mapcar #'(lambda (table-info) (second table-info))
 235           (sqlite-table-info table database)))
 236
 237 (defmethod database-attribute-type (attribute table
 238                                     (database sqlite-database)
 239                                     &key (owner nil))
 240   (declare (ignore owner))
 241   (loop for field-info in (sqlite-table-info table database)
 242       when (string= attribute (second field-info))
 243       return
 244         (let* ((raw-type (third field-info))
 245                (start-length (position #\( raw-type))
 246                (type (if start-length
 247                          (subseq raw-type 0 start-length)
 248                        raw-type))
 249                (length (if start-length
 250                            (parse-integer (subseq raw-type (1+ start-length))
 251                                           :junk-allowed t)
 252                          nil)))
 253           (values (when type (ensure-keyword type))
 254                   length
 255                   nil
 256                   (if (string-equal (fourth field-info) "0")
 257                       1 0)))))
 258
 259 (defun %sequence-name-to-table-name (sequence-name)
 260   (concatenate 'string "_CLSQL_SEQ_" (sql-escape sequence-name)))
 261
 262 (defun %table-name-to-sequence-name (table-name)
 263   (and (>= (length table-name) 11)
 264        (string= (subseq table-name 0 11) "_CLSQL_SEQ_")
 265        (subseq table-name 11)))
 266
 267
 268 (defmethod database-create-sequence (sequence-name
 269                                      (database sqlite-database))
 270   (let ((table-name (%sequence-name-to-table-name sequence-name)))
 271     (database-execute-command
 272      (concatenate 'string "CREATE TABLE " table-name
 273                   " (last_value integer PRIMARY KEY, increment_by integer, min_value integer, is_called char(1))")
 274      database)
 275     (database-execute-command
 276      (concatenate 'string "INSERT INTO " table-name
 277                   " VALUES (1,1,1,'f')")
 278      database)))
 279
 280 (defmethod database-drop-sequence (sequence-name
 281                                    (database sqlite-database))
 282   (database-execute-command
 283    (concatenate 'string "DROP TABLE " (%sequence-name-to-table-name sequence-name))
 284    database))
 285
 286 (defmethod database-list-sequences ((database sqlite-database)
 287                                     &key (owner nil))
 288   (declare (ignore owner))
 289   (mapcan #'(lambda (s)
 290               (let ((sn (%table-name-to-sequence-name (car s))))
 291                 (and sn (list sn))))
 292           (database-query
 293            "SELECT name FROM sqlite_master WHERE type='table' UNION ALL SELECT name FROM sqlite_temp_master WHERE type='table' ORDER BY name"
 294            database nil nil)))
 295
 296 (defmethod database-sequence-next (sequence-name (database sqlite-database))
 297   (without-interrupts
 298    (let* ((table-name (%sequence-name-to-table-name sequence-name))
 299           (tuple
 300            (car (database-query
 301                  (concatenate 'string "SELECT last_value,is_called FROM "
 302                               table-name)
 303                  database :auto nil))))
 304      (cond
 305        ((char-equal (schar (second tuple) 0) #\f)
 306         (database-execute-command
 307          (format nil "UPDATE ~A SET is_called='t'" table-name)
 308          database)
 309         (parse-integer (car tuple)))
 310        (t
 311         (let ((new-pos (1+ (parse-integer (car tuple)))))
 312          (database-execute-command
 313           (format nil "UPDATE ~A SET last_value=~D" table-name new-pos)
 314           database)
 315          new-pos))))))
 316
 317 (defmethod database-sequence-last (sequence-name (database sqlite-database))
 318   (without-interrupts
 319     (parse-integer
 320      (caar (database-query
 321             (concatenate 'string "SELECT last_value FROM "
 322                          (%sequence-name-to-table-name sequence-name))
 323             database :auto nil)))))
 324
 325 (defmethod database-set-sequence-position (sequence-name
 326                                            (position integer)
 327                                            (database sqlite-database))
 328   (database-execute-command
 329    (format nil "UPDATE ~A SET last_value=~A,is_called='t'"
 330            (%sequence-name-to-table-name sequence-name)
 331            position)
 332    database)
 333   position)
 334
 335 (defmethod database-create (connection-spec (type (eql :sqlite)))
 336   (declare (ignore connection-spec))
 337   ;; databases are created automatically by SQLite
 338   t)
 339
 340 (defmethod database-destroy (connection-spec (type (eql :sqlite)))
 341   (destructuring-bind (name) connection-spec
 342     (if (probe-file name)
 343         (delete-file name)
 344         nil)))
 345
 346 (defmethod database-probe (connection-spec (type (eql :sqlite)))
 347   (destructuring-bind (name) connection-spec
 348     ;; TODO: Add a test that this file is a real sqlite database
 349     (or (string-equal ":memory:" name)
 350         (and (probe-file name) t))))
 351
 352 ;;; Database capabilities
 353
 354 (defmethod db-type-has-boolean-where? ((db-type (eql :sqlite)))
 355   nil)
 356
 357
 358