Merge branch 'master' of ssh://git.b9.com/home/gitpub/clsql

Version 6.2 release

Updating version number in asd to reflect recent development.

added (*in-subselect* t) bindings around rendering out update/insert values

Adding some (incomplete) information about the current state of thread-safety.

Mysql > CREATE TABLE: use 'engine' keyword instead of 'type'.

Revert "If running on a threaded lisp try loading libmysqlclient_r"

This reverts commit 7127589ca079f4f4279be601ebd272b7488906b4.

While I think this might be right, I've not gotten a chance to test
this at all. Aside from that, on my system (ubuntu 12.04 x86_64) both
versions symlink to the same shared object.

Bug in sequence names was reported by Jan Tolenaar.

We changed the naming scheme inadvertently.  Added a flag
*old-sequence-names* to force use of the old naming scheme.  Hopefully
this will not break for anyone relying on the new naming scheme

merging changelog

updated changelog

convered orphan sql-ident-table test function to use RT and run with
the rest of the syntax tests (and fail)

Had to fix some package references, and uses backquote to splice
together the a decent deftest form without being overly verbose. Also
used clsql:sql instead of calling output-sql directly.

Currently fails by not preserving case when using a symbol like '|foo|
as the table name, we're getting "FOO" not "foo".

add 3 new syntax tests for subqueries in SELECT, UPDATE,
and DELETE statements.

Had to use clsql-sys unexported symbols for sql-delete
and sql-update because clsql:sql-operation does not support
either.

added change log entry for the last two patches

use output-sql-where-clause when rendering update statements

fix SQL syntax errors when using subqueries in WHERE clauses of DELETE or UPDATE statements.

A similar issue was fixed for SELECTs in b06efa82, this patch pulls WHERE clause printing
into a seperate function called by the different output-sql methods.

update clsql-odbc docs to explain the :connection-string connection argument.

fix typos in the ChangeLog

If running on a threaded lisp try loading libmysqlclient_r

http://dev.mysql.com/doc/refman/5.1/en/threaded-clients.html

Removing odbc::%cstring-into-vector -- unused and unreliable.

The idea of the function was to copy out of c string memory into a
lisp string a byte at a time, converting to lisp characters as we go.

However:
 * this doesn't work with multibyte charsets
 * the underlying deref-array funcall would sometimes pull the entire
   array into lisp to then get at the single element-- for each element.
 * set elements in the lisp array using schar but there's no guarantee
   that the lisp array is a simple-string. Newer SBCL's err on this.

Rewrote ODBC's read-data-in-chunks to handle multibyte characters.

This function is called on large (greater than +max-precision+) fields
and was previously converting to lisp characters one at time with no
regard for encoding.  The new method uses 2x more memory as it uses an
extra copy of the string (in pieces) but at least it returns correct
data.

Added a test case that shows the problem (now fixed).

Handle sql decimal type identically to sql numeric type--read into a double.

Fixed bug reported by JTK related to the not-null sql-expression
especially as used in conjunction with the is operator

Made null called with more than one argument throw an exception
instead of silently discarding all arguments past the first

Fixup ODBC :connection-string codepath.

In the call to odbc's SQLDriverConnect default the WindowHandle
argument to a null ptr so that connecting with :connection-string will
work in the default case of SQL_DRIVER_NOPROMPT.

I.e. you can now do things like: (clsql:connect '("DsnName" "UserName"
"" :connection-string
"DRIVER={FreeTDS};SERVER=...;DATABASE=...;UID=...;PWD=...;PORT=1433;TDS_Version=8.0;APP=clsql"
:database-type :odbc))

I believe the DsnName and Username at that point are only used when
printing the connection information.

When connecting with ODBC :connection-string argument default the
window-handle (for popping up a prompt) to the null ptr in the case
that one hasn't been passed in.

The default is to tell the driver library not to prompt so it doesn't
really need a window handle, it just needs it to be a null ptr rather
than nil.

Fix typo in recent 6.1.0

Oracle foreign encoding fix
2011-12-20  Kevin Rosenberg <kevin@rosenberg.net>
* db-oracle/oracle.lisp: Change length function to
uffi:foreign-string-length to handle foreign encodings.

Export the new symbol: *time-format*.

In ODBC backend, avoid going through the common lisp universal time
type (because it lacks support for historic dates) when doing date
conversions.  Instead use CLSQL date/time types.

*time-conversion-function* renamed to *time-format*

Patch from: Francisco Vides Fernandez

Merge branch 'master' of http://git.b9.com/clsql

added some more documentation on command-object

added nvarchar to the possible sql-to-c-types for ODBC backend

Automated commit for upstream build of version 6.0.1

added changelog entry describing previous bug fix

fixed a bugs in list-attribute(s|-types) in fddl that I introduced
with %database-identifier stuff (essentially I need unquoted column
names but was passing around quoted ones).  Pass around
%database-identifiers instead and only get the un/escaped version as
you are about to stick it in a query.

Automated commit for upstream build of version 6.0.0

CLSQL 6.0.0 release

use file-enable in tests to make it harder to get the syntax enable/disabling wrong

added changelog entry for the merged patch stack

Merge branch 'accel-2'

write out postgresql-socket-3 parameter values to the recording stream (when we write out command object expressions)

Version 5.4.0 release

fixed type-dec on substitute-string-for-char so that nil arg value returns nil as previously

Adding to utils make-weak-hash-table for use in caches.

Currently used for
 * *output-hash*: caching generated SQL strings
 * oodml records cache

requiring ownership isn't integral and causes it to fail

Another test that depends on auto-increment

refactor the way oodml find-all and select deal with their keyword args.

 * introduce filter-plist for filtering key-value pairs out of a plist.
 * switch some (apply #'some-fun (append args (list :key val)))
            to (apply #'some-fun :key val args)
       where we know the key isn't in the args list

A few type declarations

added output-caching tests to ensure that the output cache works correctly and can be disabled

ignore emacs #foo.lisp# autosave files

Adding todo

Making :basic/bigtext/2 a stronger test

whitespace for readability

A pass over the connection pool trying to make sure the locked scopes are as narrow as possible.

Suite of new tests for connection pool operations.

Also introduced dummy backend to aide running tests not about database backends.

adds another testing path that is run without any open database connection, meant to test internals.

Internal-only test suites need to be added to INTERNAL-SUITES (a peer to DEFAULT-SUITES).  Internal-suites are not run against db backends.

Fixup read-data-in-chunks a bit to use helper functions and whitespace

BUG FIX update-records-from-instance threw errors if pkey-slot was unbound

BUGFIX: when read-data-in-chunks had an off-by-1 error when dealing with strings of length (1+ +max-precision+).

Optimize odbc::%cstring-to-vector on sbcl if cffi isn't loaded.

It now uses sb-sys:sap-ref-8 instead of sb-alien:deref (via
uffi:deref-array) based on what we found CFFI using.

This makes the ODBC backend a couple orders of magnitude faster when
talking strings to MSSQL.

TODO: figure out how to make this change in UFFI or sb-alien so that
more places can benefit from this speed improvement

add %get-int to handle type-coersion to int and use it in generic-postgres
and throughout tests to simplify integer coersion, and allow
postgresql-socket3 to pass tests. (postgresql-socket3 always returns the
correct type, rather than sometimes returning strings)

stopped lisp symbols as values from being able to inject sql (SECURITY BUG)

Fixed some more places where we should have been using escaped-database-identifier

changed generate-sql-reference to read [foo bar] and [foo.bar] as the same attribute expression

fixed some bugs with sql-expression caching and made it possible to
disable this system

Major rewrite of table/column name output escaping system wide.

Centralized logic in database-identifier that returns
database-identifier objects.  These allow us to coerce to a canonical
output name and have both its escaped and unescaped version available.
Previously the logic for converting from various sql-expressions,
symbols and strings into names that will be sent to the database, was
done all over the place and with different logic in each location

  prev:5282676789105fe52990b29ec991209dcfa84aa6
       6d643c3749b77b6e6207871f0cf40f135094f457
       6bf69ed2c616ea75e5402bd95853adee5551743b

made odbc read (from c) decimals and numerics as doubles instead of
strings

TODO: Read these numbers in as rationals instead of floats

allow update-record-from-slots to accept slot names or slot
definitions (by improving slotdef-for-slot-with-class)

fixed :from clauses to not throw errors when presented with a string or string expression

changed how where clauses are output to ensure that we do not output a
"where" sql keyword when we will not output a clause. (Some
expressions might produce an empty string in some cases (an and
without any children comes to mind)).

  prev: 814ef0649edf23f0136d5cad2d7738ae72e79871

made select accept a parameters argument.

If parameters are supplied, it builds a command object and executes
that instead of the flat query.  This allows you to return objects and
use parameters

  prev: 8b4602546d876db6e9853635d694de1993214127

improved and moved command object up to clsql (out of cl-postgres-socket3)

 * added command-object fn
 * added reset-command-object
 * command-objects: made nil be treated as "null" in the database by default instead of "false". To pass false use :false or :f

 prev: d704ea35ebc38b6b9efd5cbb0417d0340bee3c5c
       1e8d22b3fdace44a45b6b0702da5587e136e2398
       f6651e31a95d4df2481ebaca270d35fa16b6be13
       051f4d2f472406fa381e20d2da0cf25f091f262a
       f3430ff34ef6631daf20cb9c69ecbc7ad84d14df

cl-postgres-socket3 backend using cl-postgres (backing of postmodern)

 Major goals
  * Use newer version (3) of the postgres socket api
  * Allows use of command objects and prepared statements against
    postgres.

Pulled a flet out into a method (select-table-sql-expr) which can be
overridden to supply a different implementation. The impetus for this
is that I wanted to select from a function's results aliased as the
table instead of the table directly.

  prev: 53bf64089da7f091d748f46eb95ebeb39d990dd9

Refactorng choose-database-for-instance method out.

This function encapsulates the logic about which database connection
to use and is called by most of the update-*-from-* in the oodml
functions.  Also allows overriding to control object connection
management (which is nice in heavily multithreaded (web) environs)

 * f10fc333da09ea7e24477e6199ffbc541adff2f1
 * 348cafca35b850b66b1181ba0661211e64f0d4f1

fixed bad SQL_C_SBIGINT call that must have been a bad merge

TOP X mssql limit clause must appear after DISTINCT if they are both present

ODBC Memory management improvements

 * More stuff goes through db-close-query; try to make that function
more complete
 * Adding SqlFreeHandle call after disconnect: free resources associated
with that connection
 * Adding with-allocate-foreign-string to wrap allocate-foreign-string
ensuring we free correspondingly.
 * fix bugs in dispose-column-ptrs (set fill pointers to 0)

Adding todo comments on apparently dead functions

Adding docstring warning on clear-con-pool

Adding ChangeLog entry for changes in development since 5.3.4

Postgres odbc returns bigint's correctly now

At least with postgesql 8.4, and ubuntu odbc-postgresql 1:08.03.0200-1

Implementing bigint support for odbc + mssql

 prev: 2135bfa98887e609e060f30c0b04130075089788

specify data type translation for mssql ODBC database Date->"smalldatetime"

Make it possible to pass functional expression to :order-by in select.
Also prevent errors when setting table qualifiers

  prev: Ryszard Szopa <ryszard.szopa@gmail.com>
        0c4d66aaaf81025974508a4e7b5d10205e4db7f7
        9aafcb72bd7ca1d7e908938b6a5319753b3371d9

fixed broken oodml/select where clauses

fixed broken listify (it used to make (nil) when passed nil)

special cased MSSQL/ODBC limit handling in output-sql of sql-query

fixed canonicalize-type-list so that it behaved even remotely sanely

  prev: 8ef3f8059e39bf66e8afddc2cbcd97c7c0710c7c

Update-slots-from-instance now throws an exception if it generates an update without a where clause
 prev: 106b55bc15b5118cd328e3ebb6f5f67db3b26206

Dont declare the the column precisions to be a fixnum since odbc
implementations like to set it to 2147483647, we arent going to
allocate anything of this size.

Teach expressions how to deal with identity columns

  prev: 667c9db132c12759b33419fd408c0718d4694cb3

In ODBC when reading data in chunks with a specified out-length, use
that as an indicator since freetds doenst set the info status
appropriately.

  prev: 9eeb8ab3eb68bf37b93a557ed72ba46d0734efc4

made parse-time/datestring handle already parsed time/datestrings

Automated commit for upstream build of version 5.3.4

Adding version to clsql asd system.

Adding versions to the Changelog

Changelog entry for 400240537204e1e14212b64d746ef609d010262f

dont write an extra 0 byte to the postgres-socket-api before every
string write (in SBCL)
(fixes bug in 104ea5dc162028f1433940e19af03b6919a6082c)

Automated commit for debian release 5.3.3-1

Add unicode for CCL for pgsql-socket

Add defgeneric for database-last-auto-increment-id

Fix reader conditional

Recognize v6 of MySQL client library