r9039: 2003AC updates
[umlisp.git] / sql-classes.lisp
1 ;;;; -*- Mode: Lisp; Syntax: ANSI-Common-Lisp; Base: 10; Package: umlisp -*-
2 ;;;; *************************************************************************
3 ;;;; FILE IDENTIFICATION
4 ;;;;
5 ;;;; Name:          sql-classes.lisp
6 ;;;; Purpose:       Routines for reading UMLS objects from SQL database
7 ;;;; Author:        Kevin M. Rosenberg
8 ;;;; Date Started:  Apr 2000
9 ;;;;
10 ;;;; $Id$
11 ;;;;
12 ;;;; This file, part of UMLisp, is
13 ;;;;    Copyright (c) 2000-2003 by Kevin M. Rosenberg, M.D.
14 ;;;;
15 ;;;; UMLisp users are granted the rights to distribute and use this software
16 ;;;; as governed by the terms of the GNU General Public License.
17 ;;;; *************************************************************************
18
19 (in-package #:umlisp)
20
21
22 (defvar *current-srl* nil)
23 (defun current-srl ()
24   *current-srl*)
25 (defun current-srl! (srl)
26   (setq *current-srl* srl))
27
28 (defmacro query-string (table fields &optional srl where-name where-value
29                         &key (lrl "KCUILRL") single distinct order like)
30   (let* ((%%fields (format nil "select ~A~{~:@(~A~)~^,~} from ~:@(~A~)"
31                            (if distinct "distinct " "") fields table))
32          (%%order (if order (format nil " order by ~{~:@(~A~) ~(~A~)~^,~}"
33                                     order)
34                       ""))
35          (%%lrl (format nil " and ~:@(~A~)<=" lrl))
36          (%%where (when where-name
37                     (format nil " where ~:@(~A~)~A" where-name
38                           (if like " like " "")))))
39     `(concatenate
40       'string
41       ,%%fields
42       ,@(when %%where (list %%where))
43       ,@(when %%where
44               `((typecase ,where-value
45                   (fixnum
46                    (prefixed-fixnum-string ,where-value #\= 10))
47                   (number
48                    (concatenate 'string "=" (write-to-string ,where-value)))
49                   (null
50                    " is null")
51                   (t
52                    (format nil ,(if like "'%~A%'" "='~A'") ,where-value)))))
53       (if ,srl (concatenate 'string ,%%lrl (write-to-string ,srl)) "")
54       ,@(when %%order (list %%order))
55       ,@(when single (list " limit 1")))))
56
57 (defun query-string-eval (table fields &optional srl where-name where-value
58                           &key (lrl "KCUILRL") single distinct order like)
59   (concatenate
60    'string
61    (format nil "select ~A~{~:@(~A~)~^,~} from ~:@(~A~)" 
62            (if distinct "distinct " "") fields table)
63    (if where-name (format nil " where ~:@(~A~)" where-name) "")
64    (if where-name
65        (format nil
66                (typecase where-value
67                  (number "=~D")
68                  (null " is null")
69                  (t
70                   (if like " like '%~A%""='~A'")))
71                where-value)
72        "")
73    (if srl (format nil " and ~:@(~A~)<=~D" lrl srl) "")
74    (if order (format nil " order by ~{~:@(~A~) ~(~A~)~^,~}" order) "")
75    (if single " limit 1" "")))
76
77
78 (defmacro umlisp-query (table fields srl where-name where-value
79                      &key (lrl "KCUILRL") single distinct order like
80                         (query-cmd 'mutex-sql-query))
81   "Query the UMLisp database. Return a list of umlisp objects whose name
82 is OBJNAME from TABLE where WHERE-NAME field = WHERE-VALUE with FIELDS"
83   `(,query-cmd
84     (query-string ,table ,fields ,srl ,where-name ,where-value 
85      :lrl ,lrl :single ,single :distinct ,distinct :order ,order :like ,like)))
86
87 (defmacro umlisp-query-eval (table fields srl where-name where-value
88                      &key (lrl "KCUILRL") single distinct order like)
89   "Query the UMLisp database. Return a list of umlisp objects whose name
90 is OBJNAME from TABLE where WHERE-NAME field = WHERE-VALUE with FIELDS"
91   `(mutex-sql-query
92     (query-string-eval ,table ,fields ,srl ,where-name ,where-value 
93      :lrl ,lrl :single ,single :distinct ,distinct :order ,order :like ,like)))
94
95 ;; only WHERE-VALUE and SRL are evaluated
96 (defmacro collect-umlisp-query ((table fields srl where-name where-value
97                                     &key (lrl "KCUILRL") distinct single
98                                     order like (query-cmd 'mutex-sql-query))
99                                 &body body)
100   (let ((value (gensym))
101         (r (gensym))) 
102     (if single
103         `(let* ((,value ,where-value)
104                 (tuple (car (umlisp-query ,table ,fields ,srl ,where-name ,value
105                                           :lrl ,lrl :single ,single
106                                           :distinct ,distinct :order ,order
107                                           :like ,like
108                                           :query-cmd ,query-cmd))))
109           ,@(unless where-name `((declare (ignore ,value))))
110           (when tuple
111                 (destructuring-bind ,fields tuple
112                   ,@body)))
113         `(let ((,value ,where-value))
114            ,@(unless where-name `((declare (ignore ,value))))
115            (let ((,r '()))
116              (dolist (tuple (umlisp-query ,table ,fields ,srl ,where-name ,value
117                                           :lrl ,lrl :single ,single :distinct ,distinct
118                                           :order ,order :like ,like))
119                (push (destructuring-bind ,fields tuple ,@body) ,r))
120              (nreverse ,r))
121            #+ignore
122            (loop for tuple in
123                  (umlisp-query ,table ,fields ,srl ,where-name ,value
124                                :lrl ,lrl :single ,single :distinct ,distinct
125                                :order ,order :like ,like)
126                collect (destructuring-bind ,fields tuple ,@body))))))
127
128 (defmacro collect-umlisp-query-eval ((table fields srl where-name where-value
129                                          &key (lrl "KCUILRL") distinct single
130                                          order like)
131                                   &body body)
132   (let ((value (gensym))
133         (r (gensym))
134         (eval-fields (cadr fields)))
135     (if single
136         `(let* ((,value ,where-value)
137                 (tuple (car (umlisp-query-eval ,table ,fields ,srl ,where-name ,value
138                                                :lrl ,lrl :single ,single
139                                                :distinct ,distinct :order ,order
140                                                :like ,like))))
141           (when tuple
142             (destructuring-bind ,eval-fields tuple
143               ,@body)))
144         `(let ((,value ,where-value)
145                (,r '()))
146            (dolist (tuple (umlisp-query-eval ,table ,fields ,srl ,where-name ,value
147                                              :lrl ,lrl :single ,single :distinct ,distinct
148                                              :order ,order :like ,like))
149              (push (destructuring-bind ,eval-fields tuple ,@body) ,r))
150            (nreverse ,r)
151            #+ignore
152            (loop for tuple in
153                  (umlisp-query-eval ,table ,fields ,srl ,where-name ,value
154                                     :lrl ,lrl :single ,single :distinct ,distinct
155                                     :order ,order :like ,like)
156                collect (destructuring-bind ,eval-fields tuple ,@body))))))
157
158 ;;;
159 ;;; Read from SQL database
160
161 (defmacro ensure-cui-integer (cui)
162   `(if (stringp ,cui)
163     (setq ,cui (parse-cui ,cui))
164     ,cui))
165
166 (defmacro ensure-lui-integer (lui)
167   `(if (stringp ,lui)
168     (setq ,lui (parse-lui ,lui))
169     ,lui))
170
171 (defmacro ensure-sui-integer (sui)
172   `(if (stringp ,sui)
173     (setq ,sui (parse-sui ,sui))
174     ,sui))
175
176 (defmacro ensure-tui-integer (tui)
177   `(if (stringp ,tui)
178     (setq ,tui (parse-tui ,tui))
179     ,tui))
180
181 (defmacro ensure-eui-integer (eui)
182   `(if (stringp ,eui)
183     (setq ,eui (parse-eui ,eui))
184     ,eui))
185
186 (defun find-ucon-cui (cui &key (srl *current-srl*))
187   "Find ucon for a cui"
188   (ensure-cui-integer cui)
189   (collect-umlisp-query (mrcon (kpfstr kcuilrl) srl cui cui :single t)
190     (make-instance 'ucon :cui cui :pfstr kpfstr
191                    :lrl (ensure-integer kcuilrl))))
192
193 (defun find-ucon-cui-sans-pfstr (cui &key (srl *current-srl*))
194   "Find ucon for a cui"
195   (ensure-cui-integer cui)
196   (collect-umlisp-query (mrcon (kcuilrl) srl cui cui :single t)
197     (make-instance 'ucon :cui cui :lrl (ensure-integer kcuilrl)
198                    :pfstr nil)))
199
200 (defun find-pfstr-cui (cui &key (srl *current-srl*))
201   "Find preferred string for a cui"
202   (ensure-cui-integer cui)
203   (collect-umlisp-query (mrcon (kpfstr) srl cui cui :single t)
204     kpfstr))
205
206 (defun find-ucon-lui (lui &key (srl *current-srl*))
207   "Find list of ucon for lui"
208   (ensure-lui-integer lui)
209   (collect-umlisp-query (mrcon (cui kpfstr kcuilrl) srl lui lui
210                             :distinct t)
211     (make-instance 'ucon :cui (ensure-integer cui) :pfstr kpfstr
212                    :lrl (ensure-integer kcuilrl))))
213
214 (defun find-ucon-sui (sui &key (srl *current-srl*))
215   "Find list of ucon for sui"
216   (ensure-sui-integer sui)
217   (collect-umlisp-query (mrcon (cui kpfstr kcuilrl) srl sui sui :distinct t)
218     (make-instance 'ucon :cui (ensure-integer cui) :pfstr kpfstr
219                    :lrl (ensure-integer kcuilrl))))
220
221 (defun find-ucon-cuisui (cui sui &key (srl *current-srl*))
222   "Find ucon for cui/sui"
223   (ensure-cui-integer cui)
224   (ensure-sui-integer sui)
225   (when (and cui sui)
226     (collect-umlisp-query (mrcon (kpfstr kcuilrl) srl kcuisui
227                               (make-cuisui cui sui))
228       (make-instance 'ucon :cui cui
229                      :pfstr kpfstr
230                      :lrl (ensure-integer kcuilrl)))))
231
232 (defun find-ucon-str (str &key (srl *current-srl*))
233   "Find ucon that are exact match for str"
234   (collect-umlisp-query (mrcon (cui kpfstr kcuilrl) srl str str :distinct t)
235     (make-instance 'ucon :cui (ensure-integer cui) :pfstr kpfstr
236                    :lrl (ensure-integer kcuilrl))))
237
238 (defun find-ucon-all (&key (srl *current-srl*))
239   "Return list of all ucon's"
240   (with-sql-connection (db)
241     (clsql:map-query 
242      'list
243      #'(lambda (cui pfstr cuilrl)
244          (make-instance 'ucon :cui (ensure-integer cui)
245                         :pfstr pfstr
246                         :lrl (ensure-integer cuilrl)))
247      (query-string mrcon (cui kpfstr kcuilrl) srl nil nil
248                    :order (cui asc) :distinct t)
249      :database db)))
250
251 (defun find-ucon-all2 (&key (srl *current-srl*))
252   "Return list of all ucon's"
253   (collect-umlisp-query (mrcon (cui kpfstr kcuilrl) srl nil nil :order (cui asc)
254                             :distinct t)
255     (make-instance 'ucon :cui (ensure-integer cui)
256                    :pfstr kpfstr
257                    :lrl (ensure-integer kcuilrl))))
258
259 (defun find-cui-ucon-all (&key (srl *current-srl*))
260   "Return list of CUIs for all ucons"
261   (collect-umlisp-query (mrcon (cui) srl nil nil :order (cui asc)
262                                :distinct t)
263                         cui))
264
265 (defun map-ucon-all (fn &key (srl *current-srl*))
266   "Map a function over all ucon's"
267   (with-sql-connection (db)
268     (clsql:map-query 
269      nil
270      #'(lambda (cui pfstr cuilrl)
271          (funcall fn
272                   (make-instance 'ucon :cui (ensure-integer cui)
273                                  :pfstr pfstr
274                                  :lrl (ensure-integer cuilrl))))
275      (query-string mrcon (cui kpfstr kcuilrl) srl nil nil :order (cui asc)
276                    :distinct t)
277      :database db)))
278
279
280 (defun find-udef-cui (cui &key (srl *current-srl*))
281   "Return a list of udefs for cui"
282   (ensure-cui-integer cui)
283   (collect-umlisp-query (mrdef (sab def) srl cui cui :lrl "KSRL")
284     (make-instance 'udef :sab sab :def def)))
285
286 (defun find-usty-cui (cui &key (srl *current-srl*))
287   "Return a list of usty for cui"
288   (ensure-cui-integer cui)
289   (collect-umlisp-query (mrsty (tui sty) srl cui cui :lrl "KLRL")
290     (make-instance 'usty :tui (ensure-integer tui) :sty sty)))
291
292 (defun find-usty-word (word &key (srl *current-srl*))
293   "Return a list of usty that match word"
294   (collect-umlisp-query (mrsty (tui sty) srl sty word :lrl klrl :like t
295                             :distinct t)
296     (make-instance 'usty :tui (ensure-integer tui) :sty sty)))
297
298 (defun find-urel-cui (cui &key (srl *current-srl*))
299   "Return a list of urel for cui"
300   (ensure-cui-integer cui)
301   (collect-umlisp-query (mrrel (rel cui2 rela sab sl mg kpfstr2) srl cui1
302                             cui :lrl "KSRL")
303     (make-instance 'urel :cui1 cui :rel rel
304                    :cui2 (ensure-integer cui2) :rela rela :sab sab :sl sl
305                    :mg mg :pfstr2 kpfstr2)))
306
307 (defun find-cui2-urel-cui (cui &key (srl *current-srl*))
308   "Return a list of urel for cui"
309   (ensure-cui-integer cui)
310   (collect-umlisp-query (mrrel (cui2) srl cui1
311                                cui :lrl "KSRL")
312                         cui2))
313
314 (defun find-urel-cui2 (cui2 &key (srl *current-srl*))
315   "Return a list of urel for cui2"
316   (ensure-cui-integer cui2)
317   (collect-umlisp-query (mrrel (rel cui1 rela sab sl mg kpfstr2) srl cui2
318                             cui2 :lrl "KSRL")
319     (make-instance 'urel :cui2 cui2 :rel rel
320                    :cui1 (ensure-integer cui1) :rela rela :sab sab :sl sl
321                    :mg mg :pfstr2 kpfstr2)))
322
323 (defun find-ucon-rel-cui2 (cui2 &key (srl *current-srl*))
324   (ensure-cui-integer cui2)
325   (loop for cui in (remove-duplicates
326                     (mapcar #'cui1 (find-urel-cui2 cui2 :srl srl)))
327         collect (find-ucon-cui cui :srl srl)))
328
329 (defun find-ucoc-cui (cui &key (srl *current-srl*))
330   "Return a list of ucoc for cui"
331   (ensure-cui-integer cui)
332   (collect-umlisp-query (mrcoc (cui2 soc cot cof coa kpfstr2) srl cui1
333                             cui :lrl klrl :order (cof asc))
334     (setq cui2 (ensure-integer cui2))
335     (when (zerop cui2) (setq cui2 nil))
336     (make-instance 'ucoc :cui1 cui :cui2 (ensure-integer cui2)
337                    :soc soc :cot cot :cof (ensure-integer cof) :coa coa
338                    :pfstr2 kpfstr2)))
339
340 (defun find-ucoc-cui2 (cui2 &key (srl *current-srl*))
341   "Return a list of ucoc for cui2"
342   (ensure-cui-integer cui2)
343   (collect-umlisp-query (mrcoc (cui1 soc cot cof coa kpfstr2) srl cui2
344                             cui2 :lrl klrl :order (cof asc))
345     (when (zerop cui2) (setq cui2 nil))
346     (make-instance 'ucoc :cui1 (ensure-integer cui1) :cui2 cui2
347                    :soc soc :cot cot :cof (ensure-integer cof) :coa coa
348                    :pfstr2 kpfstr2)))
349
350 (defun find-ucon-coc-cui2 (cui2 &key (srl *current-srl*))
351   "List of ucon with co-occurance cui2"
352   (ensure-cui-integer cui2)
353   (mapcar 
354    #'(lambda (cui) (find-ucon-cui cui :srl srl))
355    (remove-duplicates (mapcar #'cui1 (find-ucoc-cui2 cui2 :srl srl)))))
356
357 (defun find-ulo-cui (cui &key (srl *current-srl*))
358   "Return a list of ulo for cui"
359   (ensure-cui-integer cui)
360   (collect-umlisp-query (mrlo (isn fr un sui sna soui) srl cui cui
361                            :lrl "KLRL")
362     (make-instance 'ulo :isn isn :fr (ensure-integer fr) :un un
363                    :sui (ensure-integer sui) :sna sna :soui soui)))
364
365 (defun find-uatx-cui (cui &key (srl *current-srl*))
366   "Return a list of uatx for cui"
367   (ensure-cui-integer cui)
368   (collect-umlisp-query (mratx (sab rel atx) srl cui cui :lrl ksrl)
369     (make-instance 'uatx :sab sab :rel rel :atx atx)))
370
371
372 (defun find-uterm-cui (cui &key (srl *current-srl*))
373   "Return a list of uterm for cui"
374   (ensure-cui-integer cui)
375   (collect-umlisp-query (mrcon (lui lat ts kluilrl) srl cui cui
376                             :lrl kluilrl :distinct t)
377     (make-instance 'uterm :lui (ensure-integer lui) :cui cui
378                    :lat lat :ts ts :lrl (ensure-integer kluilrl))))
379
380 (defun find-uterm-lui (lui &key (srl *current-srl*))
381   "Return a list of uterm for lui"
382   (ensure-lui-integer lui)
383   (collect-umlisp-query (mrcon (cui lat ts kluilrl) srl lui lui 
384                              :lrl kluilrl :distinct t)
385     (make-instance 'uterm :cui (ensure-integer cui) :lui lui
386                    :lat lat :ts ts :lrl (ensure-integer kluilrl))))
387
388 (defun find-uterm-cuilui (cui lui &key (srl *current-srl*))
389   "Return single uterm for cui/lui"
390   (ensure-cui-integer cui)
391   (ensure-lui-integer lui)
392   (collect-umlisp-query (mrcon (lat ts kluilrl) srl kcuilui
393                              (make-cuilui cui lui)
394                              :lrl kluilrl :single t)
395     (make-instance 'uterm :cui cui :lui lui :lat lat :ts ts
396                    :lrl (ensure-integer kluilrl))))
397
398 (defun find-ustr-cuilui (cui lui &key (srl *current-srl*))
399   "Return a list of ustr for cui/lui"
400   (ensure-cui-integer cui)
401   (ensure-lui-integer lui)
402   (collect-umlisp-query (mrcon (sui stt str lrl) srl kcuilui
403                             (make-cuilui cui lui) :lrl lrl)
404     (make-instance 'ustr :sui (ensure-integer sui) :cui cui :lui lui
405                    :cuisui (make-cuisui cui sui) :stt stt :str str
406                    :lrl (ensure-integer lrl))))
407
408 (defun find-ustr-cuisui (cui sui &key (srl *current-srl*))
409   "Return the single ustr for cuisui"
410   (ensure-cui-integer cui)
411   (ensure-sui-integer sui)
412   (collect-umlisp-query (mrcon (lui stt str lrl) srl kcuisui
413                             (make-cuisui cui sui) :lrl lrl :single t)
414     (make-instance 'ustr :sui sui :cui cui :cuisui (make-cuisui cui sui)
415                    :lui (ensure-integer lui) :stt stt :str str
416                    :lrl (ensure-integer lrl))))
417
418 (defun find-ustr-sui (sui &key (srl *current-srl*))
419   "Return the list of ustr for sui"
420   (ensure-sui-integer sui)
421   (collect-umlisp-query (mrcon (cui lui stt str lrl) srl sui sui
422                             :lrl lrl)
423     (make-instance 'ustr :sui sui :cui cui :stt stt :str str
424                    :cuisui (make-cuisui (ensure-integer cui) sui)
425                    :lui (ensure-integer lui) :lrl (ensure-integer lrl))))
426       
427 (defun find-ustr-sab (sab &key (srl *current-srl*))
428   "Return the list of ustr for sab"
429   (collect-umlisp-query (mrso (kcuisui) srl sab sab :lrl srl)
430     (let ((cuisui (ensure-integer kcuisui)))
431       (apply #'find-ustr-cuisui 
432              (append
433               (multiple-value-list (decompose-cuisui cuisui))
434               (list :srl srl))))))
435
436 (defun find-ustr-all (&key (srl *current-srl*))
437   "Return list of all ustr's"
438     (with-sql-connection (db)
439       (clsql:map-query 
440        'list
441        #'(lambda (cui lui sui stt lrl pfstr)
442            (make-instance 'ustr :cui (ensure-integer cui)
443                           :lui (ensure-integer lui) :sui (ensure-integer sui)
444                           :stt stt :str pfstr
445                           :cuisui (make-cuisui (ensure-integer cui)
446                                                (ensure-integer sui))
447                           :lrl (ensure-integer lrl)))
448        (query-string mrcon (cui lui sui stt lrl kpfstr) srl nil nil :lrl lrl
449                      :distinct t
450                      :order (sui asc))
451        :database db)))
452
453 (defun find-string-sui (sui &key (srl *current-srl*))
454   "Return the string associated with sui"
455   (ensure-sui-integer sui)
456   (collect-umlisp-query (mrcon (str) srl sui sui :lrl lrl :single t)
457     str))
458
459 (defun find-uso-cuisui (cui sui &key (srl *current-srl*))
460   (ensure-sui-integer sui)
461   (ensure-cui-integer cui)
462   (collect-umlisp-query (mrso (sab code srl tty) srl kcuisui
463                            (make-cuisui cui sui) :lrl srl)
464       (make-instance 'uso :sab sab :code code :srl srl :tty tty)))
465
466 (defun find-ucxt-cuisui (cui sui &key (srl *current-srl*))
467   (ensure-cui-integer cui)
468   (ensure-sui-integer sui)
469   (collect-umlisp-query (mrcxt (sab code cxn cxl rnk cxs cui2 hcd rela xc)
470                             srl kcuisui (make-cuisui cui sui) :lrl ksrl)
471     (make-instance 'ucxt :sab sab :code code
472                    :cxn (ensure-integer cxn) :cxl cxl :cxs cxs :hcd hcd
473                    :rela rela :xc xc :rnk (ensure-integer rnk)
474                    :cui2 (ensure-integer cui2))))
475
476 (defun find-usat-ui (cui &optional (lui nil) (sui nil) &key (srl *current-srl*))
477   (ensure-cui-integer cui)
478   (ensure-lui-integer lui)
479   (ensure-sui-integer sui)
480   (let ((ls "select CODE,ATN,SAB,ATV from MRSAT where "))
481     (cond
482       (sui (string-append ls "KCUISUI="
483                           (integer-string (make-cuisui cui sui) 14)))
484       (lui (string-append ls "KCUILUI="
485                           (integer-string (make-cuilui cui lui) 14)
486                           " and sui=0"))
487       (t (string-append ls "cui=" (prefixed-fixnum-string cui nil 7)
488                         " and lui=0 and sui=0")))
489     (when srl
490       (string-append ls " and KSRL<=" (prefixed-fixnum-string srl nil 3)))
491     (loop for tuple in (mutex-sql-query ls) collect 
492           (destructuring-bind (code atn sab atv) tuple
493             (make-instance 'usat :code code :atn atn :sab sab :atv atv)))))
494
495 (defun find-usty-tui (tui)
496   "Find usty for tui"
497   (ensure-tui-integer tui)
498   (collect-umlisp-query (mrsty (sty) nil tui tui :single t)
499     (make-instance 'usty :tui tui :sty sty)))
500
501 (defun find-usty-sty (sty)
502   "Find usty for a sty"
503   (collect-umlisp-query (mrsty (tui) nil sty sty :single t)
504     (make-instance 'usty :tui (ensure-integer tui) :sty sty)))
505
506 (defun find-usty-all ()
507   "Return list of usty's for all semantic types"
508   (collect-umlisp-query (mrsty (tui) nil nil nil :distinct t)
509     (find-usty-tui tui)))
510
511 (defun find-usab-all ()
512   "Find usab for a key"
513   (collect-umlisp-query (mrsab (vcui rcui vsab rsab son sf sver vstart vend imeta
514                                   rmeta slc scc srl tfr cfr cxty ttyl atnl lat
515                                   cenc curver sabin) nil nil nil)
516     (make-instance 'usab :vcui (ensure-integer vcui) 
517                    :rcui (ensure-integer rcui) :vsab vsab :rsab rsab :son son
518                    :sf sf :sver sver :vstart vstart :vend vend :imeta imeta
519                    :rmeta rmeta :slc slc :scc scc  :srl (ensure-integer srl)
520                    :tfr (ensure-integer tfr) :cfr (ensure-integer cfr)
521                    :cxty cxty :ttyl ttyl :atnl atnl :lat lat :cenc cenc
522                    :curver curver :sabin sabin)))
523
524 (defun find-usab-by-key (key-name key)
525   "Find usab for a key"
526   (collect-umlisp-query-eval ('mrsab '(vcui rcui vsab rsab son sf sver vstart
527                                     vend imeta rmeta slc scc srl tfr cfr cxty
528                                     ttyl atnl lat cenc curver sabin)
529                                   nil key-name key :single t)
530     (make-instance 'usab :vcui (ensure-integer vcui) 
531                    :rcui (ensure-integer rcui) :vsab vsab :rsab rsab :son son
532                    :sf sf :sver sver :vstart vstart :vend vend :imeta imeta
533                    :rmeta rmeta :slc slc :scc scc :srl (ensure-integer srl)
534                    :tfr (ensure-integer tfr) :cfr (ensure-integer cfr)
535                    :cxty cxty :ttyl ttyl :atnl atnl :lat lat :cenc cenc
536                    :curver curver :sabin sabin)))
537
538 (defun find-usab-rsab (rsab)
539   "Find usab for rsab"
540   (find-usab-by-key 'rsab rsab))
541
542 (defun find-usab-vsab (vsab)
543   "Find usab for vsab"
544   (find-usab-by-key 'vsab vsab))
545
546 (defun find-cui-max ()
547   (ensure-integer (caar (mutex-sql-query "select max(CUI) from MRCON"))))
548
549 ;;;; Cross table find functions
550
551 (defun find-ucon-tui (tui &key (srl *current-srl*))
552   "Find list of ucon for tui"
553   (ensure-tui-integer tui)
554   (collect-umlisp-query (mrsty (cui) srl tui tui :lrl klrl :order (cui asc))
555     (find-ucon-cui (ensure-integer cui) :srl srl)))
556   
557 (defun find-ucon-word (word &key (srl *current-srl*) (like nil))
558   "Return list of ucons that match word. Optionally, use SQL's LIKE syntax"
559   (collect-umlisp-query-eval ('mrxw_eng '(cui) srl 'wd word :like like :distinct t
560                                      :lrl 'klrl :order '(cui asc))
561     (find-ucon-cui cui :srl srl)))
562
563 (defun find-ucon-normalized-word (word &key (srl *current-srl*) (like nil))
564   "Return list of ucons that match word, optionally use SQL's LIKE syntax"
565   (collect-umlisp-query-eval ('mrxnw_eng '(cui) srl 'nwd word :like like :distinct t
566                                       :lrl 'klrl :order '(cui asc))
567     (find-ucon-cui cui :srl srl)))
568
569 (defun find-cui-normalized-word (word &key (srl *current-srl*) (like nil))
570   "Return list of cui that match word, optionally use SQL's LIKE syntax"
571   (collect-umlisp-query-eval ('mrxnw_eng '(cui) srl 'nwd word :like like :distinct t
572                                          :lrl 'klrl :order '(cui asc))
573                              cui))
574
575 (defun find-lui-normalized-word (word &key (srl *current-srl*) (like nil))
576   "Return list of cui that match word, optionally use SQL's LIKE syntax"
577   (collect-umlisp-query-eval ('mrxnw_eng '(lui) srl 'nwd word :like like :distinct t
578                                          :lrl 'klrl :order '(cui asc))
579                              lui))
580
581 (defun find-sui-normalized-word (word &key (srl *current-srl*) (like nil))
582   "Return list of cui that match word, optionally use SQL's LIKE syntax"
583   (collect-umlisp-query-eval ('mrxnw_eng '(sui) srl 'nwd word :like like :distinct t
584                                          :lrl 'klrl :order '(cui asc))
585                              sui))
586
587 (defun find-ustr-word (word &key (srl *current-srl*))
588   "Return list of ustrs that match word"
589   (collect-umlisp-query (mrxw_eng (cui sui) srl wd word :lrl klrl
590                                :order (cui asc sui asc))
591     (find-ustr-cuisui (ensure-integer cui) (ensure-integer sui) :srl srl)))
592
593 (defun find-ustr-normalized-word (word &key (srl *current-srl*))
594   "Return list of ustrs that match word"
595   (collect-umlisp-query (mrxnw_eng (cui sui) srl nwd word :lrl klrl
596                                  :order (cui asc sui asc))
597     (find-ustr-cuisui (ensure-integer cui) (ensure-integer sui) :srl srl)))
598
599 (defun find-uterm-word (word &key (srl *current-srl*))
600   "Return list of uterms that match word"
601   (collect-umlisp-query (mrxw_eng (cui lui) srl wd word :lrl klrl
602                                :order (cui asc lui asc))
603     (find-uterm-cuilui (ensure-integer cui) (ensure-integer lui) :srl srl)))
604
605 (defun find-uterm-normalized-word (word &key (srl *current-srl*))
606   "Return list of uterms that match word"
607   (collect-umlisp-query (mrxnw_eng (cui lui) srl nwd word :lrl klrl
608                                  :order (cui asc lui asc))
609     (find-uterm-cuilui (ensure-integer cui) (ensure-integer lui) :srl srl)))
610
611 (defun find-ucon-noneng-word (word &key (srl *current-srl*) (like nil))
612   "Return list of ucons that match non-english word"
613   (collect-umlisp-query-eval ('mrxw_noneng '(cui) srl 'wd word :like like
614                                         :distinct t :lrl 'klrl :order '(cui asc))
615     (find-ucon-cui cui :srl srl)))
616
617 (defun find-ustr-noneng-word (word &key (srl *current-srl*))
618   "Return list of ustrs that match non-english word"
619   (collect-umlisp-query (mrxw_noneng (cui sui) srl wd word :lrl klrl
620                                   :order (cui asc sui asc))
621     (find-ustr-cuisui (ensure-integer cui) (ensure-integer sui) :srl srl)))
622
623 ;; Special tables
624
625 (defun find-usrl-all ()
626   (collect-umlisp-query (usrl (sab srl) nil nil nil :order (sab asc))
627     (make-instance 'usrl :sab sab :srl (ensure-integer srl))))
628
629 ;;; Multiword lookup and score functions
630
631 (defun find-uobj-multiword (str obj-lookup-fun sort-fun key srl
632                             only-exact-if-match)
633   (let ((uobjs '()))
634     (dolist (word (delimited-string-to-list str #\space))
635       (setq uobjs (append uobjs (funcall obj-lookup-fun word :srl srl))))
636     (let ((sorted 
637            (funcall sort-fun str
638                     (delete-duplicates uobjs :test #'= :key key))))
639       (if (and (plusp (length sorted))
640                only-exact-if-match
641                (multiword-match str (pfstr (first sorted))))
642           (first sorted)
643         sorted))))
644     
645 (defun find-ucon-multiword (str &key (srl *current-srl*)
646                                      (only-exact-if-match t))
647   (find-uobj-multiword str #'find-ucon-word #'sort-score-pfstr-str
648                        #'cui srl only-exact-if-match))
649
650 (defun find-uterm-multiword (str &key (srl *current-srl*)
651                                       (only-exact-if-match t))
652   (find-uobj-multiword str #'find-uterm-word #'sort-score-pfstr-str
653                        #'lui srl only-exact-if-match))
654
655 (defun find-ustr-multiword (str &key (srl *current-srl*)
656                                      (only-exact-if-match t))
657   (find-uobj-multiword str #'find-ustr-word #'sort-score-ustr-str
658                        #'sui srl only-exact-if-match))
659         
660 (defun sort-score-pfstr-str (str uobjs)
661   "Return list of sorted and scored ucons. Score by match of str to ucon-pfstr"
662   (sort-score-umlsclass-str uobjs str #'pfstr))
663
664 (defun sort-score-ustr-str (str ustrs)
665   "Return list of sorted and scored ucons. Score by match of str to ucon-pfstr"
666   (sort-score-umlsclass-str ustrs str #'str))
667
668 (defun sort-score-umlsclass-str (objs str lookup-func)
669   "Sort a list of objects based on scoring to a string"
670   (let ((scored '()))
671     (dolist (obj objs)
672       (push (list obj (score-multiword-match str (funcall lookup-func obj))) 
673        scored))
674     (mapcar #'car (sort scored #'> :key #'cadr))))
675
676
677 ;;; LEX SQL functions
678
679 (defun find-lexterm-eui (eui)
680   (ensure-eui-integer eui)
681   (collect-umlisp-query (lrwd (wrd) nil eui eui :single t)
682     (make-instance 'lexterm :eui eui :wrd wrd)))
683
684 (defun find-lexterm-word (wrd)
685   (collect-umlisp-query (lrwd (eui) nil wrd wrd)
686     (make-instance 'lexterm :eui (ensure-integer eui)
687                    :wrd (copy-seq wrd))))
688
689 ;; LEX SQL Read functions
690
691 (defun find-labr-eui (eui)
692   (ensure-eui-integer eui)
693   (collect-umlisp-query (lrabr (bas abr eui2 bas2) nil eui eui) 
694     (make-instance 'labr :eui eui :bas bas :abr abr :bas2 bas2
695                    :eui2 (ensure-integer eui2))))
696
697 (defun find-labr-bas (bas)
698   (collect-umlisp-query (labr (eui abr eui2 bas2) nil bas bas)
699     (make-instance 'labr :eui (ensure-integer eui) :abr abr :bas2 bas2
700                    :bas (copy-seq bas) :eui2 (ensure-integer eui2))))
701
702 (defun find-lagr-eui (eui)
703   (ensure-eui-integer eui)
704   (collect-umlisp-query (lragr (str sca agr cit bas) nil eui eui)
705     (make-instance 'lagr :eui eui :str str :sca sca :agr agr
706                    :cit cit :bas bas)))
707
708 (defun find-lcmp-eui (eui)
709   (ensure-eui-integer eui)
710   (collect-umlisp-query (lrcmp (bas sca com) nil eui eui)
711     (make-instance 'lcmp :eui eui :bas bas :sca sca :com com)))
712
713 (defun find-lmod-eui (eui)
714   (ensure-eui-integer eui)
715   (collect-umlisp-query (lrmod (bas sca psn_mod fea) nil eui eui)
716     (make-instance 'lmod :eui eui :bas bas :sca sca :psnmod psn_mod :fea fea)))
717
718 (defun find-lnom-eui (eui)
719   (ensure-eui-integer eui)
720   (collect-umlisp-query (lrnom (bas sca eui2 bas2 sca2) nil eui eui)
721     (make-instance 'lnom :eui eui :bas bas :sca sca :bas2 bas2 :sca2 sca2
722                    :eui2 (ensure-integer eui2))))
723
724 (defun find-lprn-eui (eui)
725   (ensure-eui-integer eui)
726   (collect-umlisp-query (lrprn (bas num gnd cas pos qnt fea) nil eui eui)
727     (make-instance 'lprn :eui eui :bas bas :num num :gnd gnd
728                    :cas cas :pos pos :qnt qnt :fea fea)))
729
730 (defun find-lprp-eui (eui)
731   (ensure-eui-integer eui)
732   (collect-umlisp-query (lrprp (bas str sca fea) nil eui eui)
733     (make-instance 'lprp :eui eui :bas bas :str str :sca sca :fea fea)))
734
735 (defun find-lspl-eui (eui)
736   (ensure-eui-integer eui)
737   (collect-umlisp-query (lrspl (spv bas) nil eui eui)
738     (make-instance 'lspl :eui eui :spv spv :bas bas)))
739
740 (defun find-ltrm-eui (eui)
741   (ensure-eui-integer eui)
742   (collect-umlisp-query (lrtrm (bas gen) nil eui eui) 
743     (make-instance 'ltrm :eui eui :bas bas :gen gen)))
744
745 (defun find-ltyp-eui (eui)
746   (ensure-eui-integer eui)
747   (collect-umlisp-query (lrtyp (bas sca typ) nil eui eui)
748     (make-instance 'ltyp :eui eui :bas bas :sca sca :typ typ)))
749
750 (defun find-lwd-wrd (wrd)
751   (make-instance 'lwd :wrd wrd
752                  :euilist (collect-umlisp-query (lrwd (eui) nil wrd wrd)
753                                                 (ensure-integer eui))))
754
755 ;;; Semantic Network SQL access functions
756
757 (defun find-sdef-ui (ui)
758   (collect-umlisp-query (srdef (rt sty_rl stn_rtn def ex un rh abr rin)
759                             nil ui ui :single t)
760     (make-instance 'sdef :rt rt :ui ui :styrl sty_rl :stnrtn stn_rtn
761                    :def def :ex ex :un un :rh rh :abr abr :rin rin)))
762
763 (defun find-sstre1-ui (ui)
764   (collect-umlisp-query (srstre1 (ui2 ui3) nil ui ui)
765     (make-instance 'sstre1 :ui ui :ui2 (ensure-integer ui2)
766                    :ui3 (ensure-integer ui3))))
767
768 (defun find-sstre1-ui2 (ui2)
769   (collect-umlisp-query (srstre1 (ui ui3) nil ui2 ui2)
770     (make-instance 'sstre1 :ui (ensure-integer ui) :ui2 ui2
771                    :ui3 (ensure-integer ui3))))
772
773 (defun find-sstr-rl (rl)
774   (collect-umlisp-query (srstre (sty_rl sty_rl2 ls) nil rl rl)
775     (make-instance 'sstr :rl rl :styrl sty_rl :styrl2 sty_rl2 :ls ls)))
776
777 (defun find-sstre2-sty (sty)
778   (collect-umlisp-query (srstre2 (rl sty2) nil sty sty)
779     (make-instance 'sstre2 :sty (copy-seq sty) :rl rl :sty2 sty2)))
780
781 (defun find-sstr-styrl (styrl)
782   (collect-umlisp-query (srstr (rl sty_rl2 ls) nil styrl styrl)
783     (make-instance 'sstr :styrl styrl :rl rl :styrl2 sty_rl2 :ls ls)))
784
785
786 ;;; **************************
787 ;;; Local Classes
788 ;;; **************************
789
790
791 (defun make-ustats ()
792   (with-sql-connection (conn)
793     (sql-execute "drop table if exists USTATS" conn)
794     (sql-execute "create table USTATS (NAME varchar(160), COUNT bigint, SRL integer)" conn)
795     
796     (dotimes (srl 4)
797       (insert-ustats-count conn "Concept Count" "MRCON" "distinct CUI" "KCUILRL" srl)
798       (insert-ustats-count conn "Term Count" "MRCON" "distinct KCUILUI" "KCUILRL" srl)
799       (insert-ustats-count conn "Distinct Term Count" "MRCON" "distinct LUI" "KLUILRL" srl)
800       (insert-ustats-count conn "String Count" "MRCON" "*" "LRL" srl)
801       (insert-ustats-count conn "Distinct String Count" "MRCON" "distinct SUI" "LRL" srl)
802       (insert-ustats-count conn "Associated Expression Count" "MRATX" "*" "KSRL" srl)
803       (insert-ustats-count conn "Context Count" "MRCXT" "*" "KSRL" srl)
804       (insert-ustats-count conn "Co-occuring Concept Count" "MRCOC" "*" "KLRL" srl)
805       (insert-ustats-count conn "Definition Count" "MRDEF" "*" "KSRL" srl)
806       (insert-ustats-count conn "Locator Count" "MRLO" "*" "KLRL" srl)
807       (insert-ustats-count conn "Rank Count" "MRRANK" "*" "KSRL" srl)
808       (insert-ustats-count conn "Relationship Count" "MRREL" "*" "KSRL" srl)
809       (insert-ustats-count conn "Semantic Type Count" "MRSTY" "*" "KLRL" srl)
810       (insert-ustats-count conn "Simple Attribute Count" "MRSAT" "*" "KSRL" srl)
811       (insert-ustats-count conn "Source Count" "MRSO" "*" "SRL" srl)
812       (insert-ustats-count conn "Word Index Count" "MRXW_ENG" "*" "KLRL" srl)
813       (insert-ustats-count conn "Normalized Word Index Count" "MRXNW_ENG" "*" "KLRL" srl)
814       (insert-ustats-count conn "Normalized String Index Count" "MRXNS_ENG" "*" "KLRL" srl)
815       (insert-ustats-count conn "Bonus Attribute Name Count" "BONUS_ATN" "*" nil srl)
816       (insert-ustats-count conn "Bonus Relationship Count" "BONUS_REL" "*" nil srl)
817       (insert-ustats-count conn "Bonus Source Abbreviation Count" "BONUS_SAB" "*" nil srl)
818       (insert-ustats-count conn "Bonus Term Type Count" "BONUS_TTY" "*" nil srl))
819     (sql-execute "create index USTATS_SRL on USTATS (SRL)" conn))
820   (find-ustats-all))
821
822 (defun insert-ustats-count (conn name table count-variable srl-control srl)
823   (insert-ustats conn name (find-count-table conn table srl count-variable srl-control) srl))
824
825 (defun find-count-table (conn table srl count-variable srl-control)
826   (cond
827    ((stringp srl-control)
828     (ensure-integer 
829      (caar (sql-query (format nil "select count(~a) from ~a where ~a <= ~d" 
830                               count-variable table srl-control srl)
831                       conn))))
832    ((null srl-control)
833     (ensure-integer
834      (caar (sql-query (format nil "select count(~a) from ~a" 
835                               count-variable table )
836                       conn))))
837    (t
838     (error "Unknown srl-control")
839     0)))
840
841 (defun insert-ustats (conn name count srl)
842   (sql-execute (format nil "insert into USTATS (name,count,srl) values ('~a',~d,~d)" 
843                        name count (if srl srl 3)) 
844                conn))
845
846 (defun find-ustats-all (&key (srl *current-srl*))
847   (collect-umlisp-query (ustats (name count srl) nil srl srl
848                                    :order (name asc))
849    (make-instance 'ustats :name name :hits (ensure-integer count)
850                   :srl (ensure-integer srl))))
851
852 (defun find-ustats-srl (srl)
853   (collect-umlisp-query (ustats (name count) nil srl srl :order (name asc))
854                            (make-instance 'ustats :name name :hits (ensure-integer count))))
855
856
857
858 (defun find-bsab-sab (sab)
859  (collect-umlisp-query (bonus_sab (name count) nil sab sab :single t)
860      (make-instance 'bsab :sab sab :name name :hits (ensure-integer count))))
861
862 (defun find-bsab-all ()
863  (collect-umlisp-query (bonus_sab (sab name count) nil nil nil :order (sab asc))
864      (make-instance 'bsab :sab sab :name name :hits (ensure-integer count))))
865
866 (defun find-btty-tty (tty)
867  (collect-umlisp-query (bonus_tty (name count) nil tty tty :single t)
868      (make-instance 'btty :tty tty :name name :hits (ensure-integer count))))
869
870 (defun find-btty-all ()
871  (collect-umlisp-query (bonus_tty (tty name count) nil nil nil :order (tty asc))
872   (make-instance 'btty :tty tty :name name :hits (ensure-integer count))))
873
874 (defun find-brel-rel (rel)
875   (collect-umlisp-query (bonus_rel (sab sl rel rela count) nil rel rel)
876     (make-instance 'brel :sab sab :sl sl :rel rel :rela rela
877                     :hits (ensure-integer count))))