r11103: 2006 umls updates
[umlisp.git] / sql-classes.lisp
1 ;;;; -*- Mode: Lisp; Syntax: ANSI-Common-Lisp; Base: 10; Package: umlisp -*-
2 ;;;; *************************************************************************
3 ;;;; FILE IDENTIFICATION
4 ;;;;
5 ;;;; Name:     sql-classes.lisp
6 ;;;; Purpose:  Routines for reading UMLS objects from SQL database
7 ;;;; Author:   Kevin M. Rosenberg
8 ;;;; Created:  Apr 2000
9 ;;;;
10 ;;;; $Id$
11 ;;;;
12 ;;;; This file, part of UMLisp, is
13 ;;;;    Copyright (c) 2000-2006 by Kevin M. Rosenberg, M.D.
14 ;;;;
15 ;;;; UMLisp users are granted the rights to distribute and use this software
16 ;;;; as governed by the terms of the GNU General Public License.
17 ;;;; *************************************************************************
18
19 (in-package #:umlisp)
20
21
22 (defvar *current-srl* nil)
23 (defun current-srl ()
24   *current-srl*)
25 (defun current-srl! (srl)
26   (setq *current-srl* srl))
27
28 (defmacro query-string (table fields &optional srl where-name where-value
29                         &key (lrl "KCUILRL") single distinct order like)
30   (let* ((%%fields (format nil "select ~A~{~:@(~A~)~^,~} from ~:@(~A~)"
31                            (if distinct "distinct " "") fields table))
32          (%%order (if order (format nil " order by ~{~:@(~A~) ~(~A~)~^,~}"
33                                     order)
34                       ""))
35          (%%lrl (format nil " and ~:@(~A~)<=" lrl))
36          (%%where (when where-name
37                     (format nil " where ~:@(~A~)~A" where-name
38                           (if like " like " "")))))
39     `(concatenate
40       'string
41       ,%%fields
42       ,@(when %%where (list %%where))
43       ,@(when %%where
44           `((typecase ,where-value
45               #+ignore
46               (fixnum
47                (concatenate 'string "='" (prefixed-fixnum-string ,where-value #\0 10) "'"))
48               (number
49                (concatenate 'string "='" (write-to-string ,where-value) "'"))
50               (null
51                " is null")
52               (t
53                (format nil ,(if like "'%~A%'" "='~A'") ,where-value)))))
54       (if ,srl (concatenate 'string ,%%lrl (write-to-string ,srl)) "")
55       ,@(when %%order (list %%order))
56       ,@(when single (list " limit 1")))))
57
58 (defun query-string-eval (table fields &optional srl where-name where-value
59                           &key (lrl "KCUILRL") single distinct order like)
60   (concatenate
61    'string
62    (format nil "select ~A~{~:@(~A~)~^,~} from ~:@(~A~)"
63            (if distinct "distinct " "") fields table)
64    (if where-name (format nil " where ~:@(~A~)" where-name) "")
65    (if where-name
66        (format nil
67                (typecase where-value
68                  (number "='~D'")
69                  (null " is null")
70                  (t
71                   (if like " like '%~A%""='~A'")))
72                where-value)
73        "")
74    (if srl (format nil " and ~:@(~A~)<=~D" lrl srl) "")
75    (if order (format nil " order by ~{~:@(~A~) ~(~A~)~^,~}" order) "")
76    (if single " limit 1" "")))
77
78
79 (defmacro umlisp-query (table fields srl where-name where-value
80                      &key (lrl "KCUILRL") single distinct order like
81                         (query-cmd 'mutex-sql-query))
82   "Query the UMLisp database. Return a list of umlisp objects whose name
83 is OBJNAME from TABLE where WHERE-NAME field = WHERE-VALUE with FIELDS"
84   `(,query-cmd
85     (query-string ,table ,fields ,srl ,where-name ,where-value
86      :lrl ,lrl :single ,single :distinct ,distinct :order ,order :like ,like)))
87
88 (defmacro umlisp-query-eval (table fields srl where-name where-value
89                      &key (lrl "KCUILRL") single distinct order like)
90   "Query the UMLisp database. Return a list of umlisp objects whose name
91 is OBJNAME from TABLE where WHERE-NAME field = WHERE-VALUE with FIELDS"
92   `(mutex-sql-query
93     (query-string-eval ,table ,fields ,srl ,where-name ,where-value
94      :lrl ,lrl :single ,single :distinct ,distinct :order ,order :like ,like)))
95
96 ;; only WHERE-VALUE and SRL are evaluated
97 (defmacro collect-umlisp-query ((table fields srl where-name where-value
98                                     &key (lrl "KCUILRL") distinct single
99                                     order like (query-cmd 'mutex-sql-query))
100                                 &body body)
101   (let ((value (gensym))
102         (r (gensym)))
103     (if single
104         `(let* ((,value ,where-value)
105                 (tuple (car (umlisp-query ,table ,fields ,srl ,where-name ,value
106                                           :lrl ,lrl :single ,single
107                                           :distinct ,distinct :order ,order
108                                           :like ,like
109                                           :query-cmd ,query-cmd))))
110           ,@(unless where-name `((declare (ignore ,value))))
111           (when tuple
112                 (destructuring-bind ,fields tuple
113                   ,@body)))
114         `(let ((,value ,where-value))
115            ,@(unless where-name `((declare (ignore ,value))))
116            (let ((,r '()))
117              (dolist (tuple (umlisp-query ,table ,fields ,srl ,where-name ,value
118                                           :lrl ,lrl :single ,single :distinct ,distinct
119                                           :order ,order :like ,like))
120                (push (destructuring-bind ,fields tuple ,@body) ,r))
121              (nreverse ,r))
122            #+ignore
123            (loop for tuple in
124                  (umlisp-query ,table ,fields ,srl ,where-name ,value
125                                :lrl ,lrl :single ,single :distinct ,distinct
126                                :order ,order :like ,like)
127                collect (destructuring-bind ,fields tuple ,@body))))))
128
129 (defmacro collect-umlisp-query-eval ((table fields srl where-name where-value
130                                          &key (lrl "KCUILRL") distinct single
131                                          order like)
132                                   &body body)
133   (let ((value (gensym))
134         (r (gensym))
135         (eval-fields (cadr fields)))
136     (if single
137         `(let* ((,value ,where-value)
138                 (tuple (car (umlisp-query-eval ,table ,fields ,srl ,where-name ,value
139                                                :lrl ,lrl :single ,single
140                                                :distinct ,distinct :order ,order
141                                                :like ,like))))
142           (when tuple
143             (destructuring-bind ,eval-fields tuple
144               ,@body)))
145         `(let ((,value ,where-value)
146                (,r '()))
147            (dolist (tuple (umlisp-query-eval ,table ,fields ,srl ,where-name ,value
148                                              :lrl ,lrl :single ,single :distinct ,distinct
149                                              :order ,order :like ,like))
150              (push (destructuring-bind ,eval-fields tuple ,@body) ,r))
151            (nreverse ,r)
152            #+ignore
153            (loop for tuple in
154                  (umlisp-query-eval ,table ,fields ,srl ,where-name ,value
155                                     :lrl ,lrl :single ,single :distinct ,distinct
156                                     :order ,order :like ,like)
157                collect (destructuring-bind ,eval-fields tuple ,@body))))))
158
159 ;;;
160 ;;; Read from SQL database
161
162 (defmacro ensure-cui-integer (cui)
163   `(if (stringp ,cui)
164     (setq ,cui (parse-cui ,cui))
165     ,cui))
166
167 (defmacro ensure-lui-integer (lui)
168   `(if (stringp ,lui)
169     (setq ,lui (parse-lui ,lui))
170     ,lui))
171
172 (defmacro ensure-sui-integer (sui)
173   `(if (stringp ,sui)
174     (setq ,sui (parse-sui ,sui))
175     ,sui))
176
177 (defmacro ensure-tui-integer (tui)
178   `(if (stringp ,tui)
179     (setq ,tui (parse-tui ,tui))
180     ,tui))
181
182 (defmacro ensure-eui-integer (eui)
183   `(if (stringp ,eui)
184     (setq ,eui (parse-eui ,eui))
185     ,eui))
186
187 (defun find-ucon-cui (cui &key (srl *current-srl*))
188   "Find ucon for a cui"
189   (ensure-cui-integer cui)
190   (collect-umlisp-query (mrconso (kpfstr kcuilrl) srl cui cui :single t)
191     (make-instance 'ucon :cui cui :pfstr kpfstr
192                    :lrl (ensure-integer kcuilrl))))
193
194 (defun find-ucon-cui-sans-pfstr (cui &key (srl *current-srl*))
195   "Find ucon for a cui"
196   (ensure-cui-integer cui)
197   (collect-umlisp-query (mrconso (kcuilrl) srl cui cui :single t)
198     (make-instance 'ucon :cui cui :lrl (ensure-integer kcuilrl)
199                    :pfstr nil)))
200
201 (defun find-pfstr-cui (cui &key (srl *current-srl*))
202   "Find preferred string for a cui"
203   (ensure-cui-integer cui)
204   (collect-umlisp-query (mrconso (kpfstr) srl cui cui :single t)
205     kpfstr))
206
207
208 (defun find-ucon-lui (lui &key (srl *current-srl*))
209   "Find list of ucon for lui"
210   (ensure-lui-integer lui)
211   (collect-umlisp-query (mrconso (cui kpfstr kcuilrl) srl lui lui
212                             :distinct t)
213     (make-instance 'ucon :cui (ensure-integer cui) :pfstr kpfstr
214                    :lrl (ensure-integer kcuilrl))))
215
216 (defun find-ucon-sui (sui &key (srl *current-srl*))
217   "Find list of ucon for sui"
218   (ensure-sui-integer sui)
219   (collect-umlisp-query (mrconso (cui kpfstr kcuilrl) srl sui sui :distinct t)
220     (make-instance 'ucon :cui (ensure-integer cui) :pfstr kpfstr
221                    :lrl (ensure-integer kcuilrl))))
222
223 (defun find-ucon-aui (aui &key (srl *current-srl*))
224   "Find list of ucon for aui"
225   (ensure-sui-integer aui)
226   (collect-umlisp-query (mrconso (cui kpfstr kcuilrl) srl aui aui :distinct t)
227     (make-instance 'ucon :cui (ensure-integer cui) :pfstr kpfstr
228                    :lrl (ensure-integer kcuilrl))))
229
230 (defun find-ucon-cuisui (cui sui &key (srl *current-srl*))
231   "Find ucon for cui/sui"
232   (ensure-cui-integer cui)
233   (ensure-sui-integer sui)
234   (when (and cui sui)
235     (collect-umlisp-query (mrconso (kpfstr kcuilrl) srl kcuisui
236                               (make-cuisui cui sui))
237       (make-instance 'ucon :cui cui
238                      :pfstr kpfstr
239                      :lrl (ensure-integer kcuilrl)))))
240
241 (defun find-ucon-str (str &key (srl *current-srl*))
242   "Find ucon that are exact match for str"
243   (collect-umlisp-query (mrconso (cui kpfstr kcuilrl) srl str str :distinct t)
244     (make-instance 'ucon :cui (ensure-integer cui) :pfstr kpfstr
245                    :lrl (ensure-integer kcuilrl))))
246
247 (defun find-ucon-all (&key (srl *current-srl*))
248   "Return list of all ucon's"
249   (with-sql-connection (db)
250     (clsql:map-query
251      'list
252      #'(lambda (tuple)
253          (destructuring-bind (cui pfstr cuilrl) tuple
254              (make-instance 'ucon :cui (ensure-integer cui)
255                             :pfstr pfstr
256                         :lrl (ensure-integer cuilrl))))
257      (query-string mrconso (cui kpfstr kcuilrl) srl nil nil
258                    :order (cui asc) :distinct t)
259      :database db)))
260
261 (defun find-ucon-all2 (&key (srl *current-srl*))
262   "Return list of all ucon's"
263   (collect-umlisp-query (mrconso (cui kpfstr kcuilrl) srl nil nil :order (cui asc)
264                             :distinct t)
265     (make-instance 'ucon :cui (ensure-integer cui)
266                    :pfstr kpfstr
267                    :lrl (ensure-integer kcuilrl))))
268
269 (defun find-cui-ucon-all (&key (srl *current-srl*))
270   "Return list of CUIs for all ucons"
271   (collect-umlisp-query (mrconso (cui) srl nil nil :order (cui asc)
272                                :distinct t)
273                         cui))
274
275 (defun map-ucon-all (fn &key (srl *current-srl*))
276   "Map a function over all ucon's"
277   (with-sql-connection (db)
278     (clsql:map-query
279      nil
280      #'(lambda (tuple)
281          (destructuring-bind (cui pfstr cuilrl) tuple
282            (funcall fn (make-instance 'ucon :cui (ensure-integer cui)
283                                       :pfstr pfstr
284                                       :lrl (ensure-integer cuilrl)))))
285      (query-string mrconso (cui kpfstr kcuilrl) srl nil nil :order (cui asc)
286                    :distinct t)
287      :database db)))
288
289
290 (defun find-udef-cui (cui &key (srl *current-srl*))
291   "Return a list of udefs for cui"
292   (ensure-cui-integer cui)
293   (collect-umlisp-query (mrdef (sab def suppress) srl cui cui :lrl "KSRL")
294     (make-instance 'udef :sab sab :def def :suppress suppress)))
295
296 (defun find-udoc-key (key)
297   "Return list of abbreviation documentation for a key"
298   (collect-umlisp-query (mrdoc (value type expl) nil dockey key)
299     (make-instance 'udoc :key key :value value :type type :expl expl)))
300
301 (defun find-udoc-value (value)
302   "Return abbreviation documentation"
303   (collect-umlisp-query (mrdoc (dockey type expl) nil value value)
304     (make-instance 'udoc :key dockey :value value :type type :expl expl)))
305
306 (defun find-udoc-key-value (key value)
307   (let ((tuple (car (mutex-sql-query
308                      (format nil "SELECT TYPE,EXPL FROM MRDOC WHERE DOCKEY='~A' AND VALUE='~A'"
309                              key value)))))
310     (when tuple
311       (make-instance 'udoc :key key :value value :type (first tuple) :expl (second tuple)))))
312
313 (defun find-udoc-all ()
314   "Return all abbreviation documentation"
315   (collect-umlisp-query (mrdoc (dockey value type expl) nil nil nil)
316     (make-instance 'udoc :key dockey :value value :type type :expl expl)))
317
318 (defun find-usty-cui (cui &key (srl *current-srl*))
319   "Return a list of usty for cui"
320   (ensure-cui-integer cui)
321   (collect-umlisp-query (mrsty (tui sty) srl cui cui :lrl "KLRL")
322     (make-instance 'usty :tui (ensure-integer tui) :sty sty)))
323
324 (defun find-usty-word (word &key (srl *current-srl*))
325   "Return a list of usty that match word"
326   (collect-umlisp-query (mrsty (tui sty) srl sty word :lrl klrl :like t
327                             :distinct t)
328     (make-instance 'usty :tui (ensure-integer tui) :sty sty)))
329
330 (defun find-urel-cui (cui &key (srl *current-srl*))
331   "Return a list of urel for cui"
332   (ensure-cui-integer cui)
333   (collect-umlisp-query (mrrel (aui1 rel stype1 cui2 aui2 stype2 rela rui srui sab sl rg dir suppress cvf kpfstr2)
334                                srl cui1 cui :lrl "KSRL")
335     (make-instance 'urel :cui1 cui :aui1 (ensure-integer aui1) :stype1 stype1 :rel rel
336                    :cui2 (ensure-integer cui2) :aui2 (ensure-integer aui2) :stype2 stype2
337                    :rui rui :srui srui :rela rela :sab sab :sl sl :rg rg :dir dir
338                    :suppress suppress :cvf cvf :pfstr2 kpfstr2)))
339
340 (defun find-cui2-urel-cui (cui &key (srl *current-srl*))
341   "Return a list of urel for cui"
342   (ensure-cui-integer cui)
343   (collect-umlisp-query (mrrel (cui2) srl cui1
344                                cui :lrl "KSRL")
345                         cui2))
346
347 (defun find-urel-cui2 (cui2 &key (srl *current-srl*))
348   "Return a list of urel for cui2"
349   (ensure-cui-integer cui2)
350   (collect-umlisp-query (mrrel (rel cui1 aui1 stype1 aui2 stype2 rela rui srui sab sl rg dir suppress cvf kpfstr2)
351                                srl cui2 cui2 :lrl "KSRL")
352     (make-instance 'urel :cui2 cui2 :rel rel :aui2 (ensure-integer aui2) :stype2 stype2 :rui rui :srui srui
353                    :stype1 stype1 :cui1 (ensure-integer cui1) :aui1 (ensure-integer aui1)
354                    :rela rela :sab sab :sl sl :rg rg :dir dir :suppress suppress :cvf cvf
355                    :pfstr2 kpfstr2)))
356
357 (defun find-ucon-rel-cui2 (cui2 &key (srl *current-srl*))
358   (ensure-cui-integer cui2)
359   (loop for cui in (remove-duplicates
360                     (mapcar #'cui1 (find-urel-cui2 cui2 :srl srl)))
361         collect (find-ucon-cui cui :srl srl)))
362
363 (defun find-ucoc-cui (cui &key (srl *current-srl*))
364   "Return a list of ucoc for cui"
365   (ensure-cui-integer cui)
366   (collect-umlisp-query (mrcoc (aui1 cui2 aui2 sab cot cof coa kpfstr2) srl cui1
367                             cui :lrl klrl :order (cof asc))
368     (setq cui2 (ensure-integer cui2))
369     (when (eql 0 cui2) (setq cui2 nil))
370     (make-instance 'ucoc :cui1 cui :aui1 (ensure-integer aui1)
371                    :cui2 (ensure-integer cui2) :aui2 (ensure-integer aui2)
372                    :cot cot :cof (ensure-integer cof) :coa coa :sab sab
373                    :pfstr2 kpfstr2)))
374
375 (defun find-ucoc-cui2 (cui2 &key (srl *current-srl*))
376   "Return a list of ucoc for cui2"
377   (ensure-cui-integer cui2)
378   (collect-umlisp-query (mrcoc (cui1 aui1 aui2 sab cot cof coa kpfstr2) srl cui2
379                             cui2 :lrl klrl :order (cof asc))
380     (when (zerop cui2) (setq cui2 nil))
381     (make-instance 'ucoc :cui1 (ensure-integer cui1) :cui2 cui2
382                    :aui1 (ensure-integer aui1) :aui2 (ensure-integer aui2)
383                    :sab sab :cot cot :cof (ensure-integer cof) :coa coa
384                    :pfstr2 kpfstr2)))
385
386 (defun find-ucon-coc-cui2 (cui2 &key (srl *current-srl*))
387   "List of ucon with co-occurance cui2"
388   (ensure-cui-integer cui2)
389   (mapcar
390    #'(lambda (cui) (find-ucon-cui cui :srl srl))
391    (remove-duplicates (mapcar #'cui1 (find-ucoc-cui2 cui2 :srl srl)))))
392
393
394 (defun find-uterm-cui (cui &key (srl *current-srl*))
395   "Return a list of uterm for cui"
396   (ensure-cui-integer cui)
397   (collect-umlisp-query (mrconso (lui lat ts kluilrl) srl cui cui
398                             :lrl kluilrl :distinct t)
399     (make-instance 'uterm :lui (ensure-integer lui) :cui cui
400                    :lat lat :ts ts :lrl (ensure-integer kluilrl))))
401
402 (defun find-uterm-lui (lui &key (srl *current-srl*))
403   "Return a list of uterm for lui"
404   (ensure-lui-integer lui)
405   (collect-umlisp-query (mrconso (cui lat ts kluilrl) srl lui lui
406                              :lrl kluilrl :distinct t)
407     (make-instance 'uterm :cui (ensure-integer cui) :lui lui
408                    :lat lat :ts ts :lrl (ensure-integer kluilrl))))
409
410 (defun find-uterm-cuilui (cui lui &key (srl *current-srl*))
411   "Return single uterm for cui/lui"
412   (ensure-cui-integer cui)
413   (ensure-lui-integer lui)
414   (collect-umlisp-query (mrconso (lat ts kluilrl) srl kcuilui
415                              (make-cuilui cui lui)
416                              :lrl kluilrl :single t)
417     (make-instance 'uterm :cui cui :lui lui :lat lat :ts ts
418                    :lrl (ensure-integer kluilrl))))
419
420 (defun find-ustr-cuilui (cui lui &key (srl *current-srl*))
421   "Return a list of ustr for cui/lui"
422   (ensure-cui-integer cui)
423   (ensure-lui-integer lui)
424   (collect-umlisp-query (mrconso (sui stt str suppress ksuilrl) srl kcuilui
425                                  (make-cuilui cui lui) :lrl ksuilrl)
426                 (make-instance 'ustr :sui (ensure-integer sui) :cui cui :lui lui
427                    :cuisui (make-cuisui cui sui) :stt stt :str str :suppress suppress
428                    :lrl (ensure-integer ksuilrl))))
429
430 (defun find-ustr-cuisui (cui sui &key (srl *current-srl*))
431   "Return the single ustr for cuisui"
432   (ensure-cui-integer cui)
433   (ensure-sui-integer sui)
434   (collect-umlisp-query (mrconso (lui stt str suppress ksuilrl) srl kcuisui
435                             (make-cuisui cui sui) :lrl lsuilrl :single t)
436     (make-instance 'ustr :sui sui :cui cui :cuisui (make-cuisui cui sui)
437                    :lui (ensure-integer lui) :stt stt :str str :suppress suppress
438                    :lrl (ensure-integer ksuilrl))))
439
440 (defun find-ustr-sui (sui &key (srl *current-srl*))
441   "Return the list of ustr for sui"
442   (ensure-sui-integer sui)
443   (collect-umlisp-query (mrconso (cui lui stt str suppress ksuilrl) srl sui sui
444                             :lrl ksuilrl)
445     (make-instance 'ustr :sui sui :cui cui :stt stt :str str
446                    :cuisui (make-cuisui (ensure-integer cui) sui)
447                    :suppress suppress
448                    :lui (ensure-integer lui) :lrl (ensure-integer ksuilrl))))
449
450 (defun find-ustr-sab (sab &key (srl *current-srl*))
451   "Return the list of ustr for sab"
452   (collect-umlisp-query (mrconso (kcuisui) srl sab sab :lrl srl)
453     (let ((cuisui (ensure-integer kcuisui)))
454       (apply #'find-ustr-cuisui
455              (append
456               (multiple-value-list (decompose-cuisui cuisui))
457               (list :srl srl))))))
458
459 (defun find-ustr-all (&key (srl *current-srl*))
460   "Return list of all ustr's"
461     (with-sql-connection (db)
462       (clsql:map-query
463        'list
464        #'(lambda (tuple)
465            (destructuring-bind (cui lui sui stt ksuilrl suppress pfstr) tuple
466              (make-instance 'ustr :cui (ensure-integer cui)
467                             :lui (ensure-integer lui) :sui (ensure-integer sui)
468                             :stt stt :str pfstr
469                             :cuisui (make-cuisui (ensure-integer cui)
470                                                  (ensure-integer sui))
471                             :suppress suppress
472                             :lrl (ensure-integer ksuilrl))))
473        (query-string mrconso (cui lui sui stt ksuilrl kpfstr) srl nil nil :lrl ksuilrl
474                      :distinct t
475                      :order (sui asc))
476        :database db)))
477
478 (defun find-string-sui (sui &key (srl *current-srl*))
479   "Return the string associated with sui"
480   (ensure-sui-integer sui)
481   (collect-umlisp-query (mrconso (str) srl sui sui :lrl ksuilrl :single t)
482     str))
483
484 (defun find-uso-cuisui (cui sui &key (srl *current-srl*))
485   (ensure-sui-integer sui)
486   (ensure-cui-integer cui)
487   (collect-umlisp-query (mrconso (aui sab code srl tty saui sdui scui) srl kcuisui
488                            (make-cuisui cui sui) :lrl srl)
489     (make-instance 'uso :aui aui :sab sab :code code :srl srl :tty tty
490                    :cui cui :sui sui :saui saui :sdui sdui :scui scui)))
491
492 (defun find-uso-aui (aui &key (srl *current-srl*))
493   (ensure-sui-integer aui)
494   (collect-umlisp-query (mrconso (sab cui sui code srl tty saui sdui scui) srl aui
495                                  aui :lrl srl :single t)
496     (make-instance 'uso :aui aui :cui cui :sab sab :code code :srl srl :tty tty
497                    :sui sui :saui saui :sdui sdui :scui scui)))
498
499 (defun find-ucxt-cuisui (cui sui &key (srl *current-srl*))
500   (ensure-cui-integer cui)
501   (ensure-sui-integer sui)
502   (collect-umlisp-query (mrcxt (sab rank code cxn cxl cxs cui2 hcd rela xc)
503                             srl kcuisui (make-cuisui cui sui) :lrl ksrl)
504                         (make-instance 'ucxt :sab sab :code code
505                 :rank rank
506                    :cxn (ensure-integer cxn) :cxl cxl :cxs cxs :hcd hcd
507                    :rela rela :xc xc
508                    :cui2 (ensure-integer cui2))))
509
510 (defun find-uhier-cui (cui &key (srl *current-srl*))
511   (ensure-cui-integer cui)
512   (collect-umlisp-query (mrhier (aui cxn paui sab rela ptr hcd cvf)
513                             srl cui cui :lrl ksrl)
514     (make-instance 'uhier :cui cui :aui (ensure-integer aui)
515                    :cxn (ensure-integer cxn)
516                    :paui (ensure-integer paui)
517                    :sab sab :rela rela :ptr ptr :hcd hcd :cvf cvf)))
518
519 (defun find-uhier-all (&key (srl *current-srl*))
520   (collect-umlisp-query (mrhier (cui aui cxn paui sab rela ptr hcd cvf)
521                             srl nil nil :lrl ksrl)
522     (make-instance 'uhier :cui cui :aui (ensure-integer aui)
523                    :cxn (ensure-integer cxn)
524                    :paui (ensure-integer paui)
525                    :sab sab :rela rela :ptr ptr :hcd hcd :cvf cvf)))
526
527 (defun find-usat-ui (cui &optional (lui nil) (sui nil) &key (srl *current-srl*))
528   (ensure-cui-integer cui)
529   (ensure-lui-integer lui)
530   (ensure-sui-integer sui)
531   (let ((ls "select CODE,ATN,SAB,ATV from MRSAT where "))
532     (cond
533       (sui (string-append ls "KCUISUI='"
534                           (integer-string (make-cuisui cui sui) 14)
535                           "'"))
536       (lui (string-append ls "KCUILUI='"
537                           (integer-string (make-cuilui cui lui) 14)
538                           "' and sui='0'"))
539       (t (string-append ls "cui='" (prefixed-fixnum-string cui nil 7)
540                         "' and lui='0' and sui='0'")))
541     (when srl
542       (string-append ls " and KSRL<=" (prefixed-fixnum-string srl nil 3)))
543     (loop for tuple in (mutex-sql-query ls) collect
544           (destructuring-bind (code atn sab atv) tuple
545             (make-instance 'usat :code code :atn atn :sab sab :atv atv)))))
546
547 (defun find-usty-tui (tui)
548   "Find usty for tui"
549   (ensure-tui-integer tui)
550   (collect-umlisp-query (mrsty (sty) nil tui tui :single t)
551     (make-instance 'usty :tui tui :sty sty)))
552
553 (defun find-usty-sty (sty)
554   "Find usty for a sty"
555   (collect-umlisp-query (mrsty (tui) nil sty sty :single t)
556     (make-instance 'usty :tui (ensure-integer tui) :sty sty)))
557
558 (defun find-usty-all ()
559   "Return list of usty's for all semantic types"
560   (collect-umlisp-query (mrsty (tui) nil nil nil :distinct t)
561     (find-usty-tui tui)))
562
563 (defun find-usab-all ()
564   "Find usab for a key"
565   (collect-umlisp-query (mrsab (vcui rcui vsab rsab son sf sver vstart vend imeta
566                                   rmeta slc scc srl tfr cfr cxty ttyl atnl lat
567                                   cenc curver sabin ssn scit) nil nil nil)
568     (make-instance 'usab :vcui (ensure-integer vcui)
569                    :rcui (ensure-integer rcui) :vsab vsab :rsab rsab :son son
570                    :sf sf :sver sver :vstart vstart :vend vend :imeta imeta
571                    :rmeta rmeta :slc slc :scc scc  :srl (ensure-integer srl)
572                    :tfr (ensure-integer tfr) :cfr (ensure-integer cfr)
573                    :cxty cxty :ttyl ttyl :atnl atnl :lat lat :cenc cenc
574                    :curver curver :sabin sabin :ssn ssn :scit scit)))
575
576 (defun find-usab-by-key (key-name key)
577   "Find usab for a key"
578   (collect-umlisp-query-eval ('mrsab '(vcui rcui vsab rsab son sf sver vstart
579                                        vend imeta rmeta slc scc srl tfr cfr cxty
580                                        ttyl atnl lat cenc curver sabin
581                                        ssn scit)
582                                      nil key-name key :single t)
583      (make-instance 'usab :vcui (ensure-integer vcui)
584                     :rcui (ensure-integer rcui) :vsab vsab :rsab rsab :son son
585                     :sf sf :sver sver :vstart vstart :vend vend :imeta imeta
586                     :rmeta rmeta :slc slc :scc scc :srl (ensure-integer srl)
587                     :tfr (ensure-integer tfr) :cfr (ensure-integer cfr)
588                     :cxty cxty :ttyl ttyl :atnl atnl :lat lat :cenc cenc
589                     :curver curver :sabin sabin
590                     :ssn ssn :scit scit)))
591
592 (defun find-usab-rsab (rsab)
593   "Find usab for rsab"
594   (find-usab-by-key 'rsab rsab))
595
596 (defun find-usab-vsab (vsab)
597   "Find usab for vsab"
598   (find-usab-by-key 'vsab vsab))
599
600 (defun find-cui-max ()
601   (ensure-integer (caar (mutex-sql-query "select max(CUI) from MRCON"))))
602
603 (defun find-umap-cui (cui)
604   (ensure-cui-integer cui)
605   (collect-umlisp-query (mrmap (mapsetsab mapsubsetid maprank fromid fromsid fromexpr
606                                           fromtype fromrule fromres rel rela toid tosid
607                                           toexpr totype torule tores maprule maptype
608                                           mapatn mapatv cvf)
609                                nil mapsetcui cui)
610     (make-instance 'umap :mapsetcui cui :mapsetsab mapsetsab :mapsubsetid mapsubsetid
611                    :maprank (ensure-integer maprank) :fromid fromid :fromsid fromsid
612                    :fromexpr fromexpr :fromtype fromtype :fromrule fromrule :fromres fromres
613                    :rel rel :rela rela :toid toid :tosid tosid :toexpr toexpr :totype totype
614                    :torule torule :tores tores :maprule maprule :maptype maptype :mapatn mapatn
615                    :mapatv mapatv :cvf cvf)))
616
617 ;;;; Cross table find functions
618
619 (defun find-ucon-tui (tui &key (srl *current-srl*))
620   "Find list of ucon for tui"
621   (ensure-tui-integer tui)
622   (collect-umlisp-query (mrsty (cui) srl tui tui :lrl klrl :order (cui asc))
623     (find-ucon-cui (ensure-integer cui) :srl srl)))
624
625 (defun find-ucon-word (word &key (srl *current-srl*) (like nil))
626   "Return list of ucons that match word. Optionally, use SQL's LIKE syntax"
627   (collect-umlisp-query-eval ('mrxw_eng '(cui) srl 'wd word :like like :distinct t
628                                      :lrl 'klrl :order '(cui asc))
629     (find-ucon-cui cui :srl srl)))
630
631 (defun find-ucon-normalized-word (word &key (srl *current-srl*) (like nil))
632   "Return list of ucons that match word, optionally use SQL's LIKE syntax"
633   (collect-umlisp-query-eval ('mrxnw_eng '(cui) srl 'nwd word :like like :distinct t
634                                       :lrl 'klrl :order '(cui asc))
635     (find-ucon-cui cui :srl srl)))
636
637 (defun find-cui-normalized-word (word &key (srl *current-srl*) (like nil))
638   "Return list of cui that match word, optionally use SQL's LIKE syntax"
639   (collect-umlisp-query-eval ('mrxnw_eng '(cui) srl 'nwd word :like like :distinct t
640                                          :lrl 'klrl :order '(cui asc))
641                              cui))
642
643 (defun find-lui-normalized-word (word &key (srl *current-srl*) (like nil))
644   "Return list of cui that match word, optionally use SQL's LIKE syntax"
645   (collect-umlisp-query-eval ('mrxnw_eng '(lui) srl 'nwd word :like like :distinct t
646                                          :lrl 'klrl :order '(cui asc))
647                              lui))
648
649 (defun find-sui-normalized-word (word &key (srl *current-srl*) (like nil))
650   "Return list of cui that match word, optionally use SQL's LIKE syntax"
651   (collect-umlisp-query-eval ('mrxnw_eng '(sui) srl 'nwd word :like like :distinct t
652                                          :lrl 'klrl :order '(cui asc))
653                              sui))
654
655 (defun find-ustr-word (word &key (srl *current-srl*))
656   "Return list of ustrs that match word"
657   (collect-umlisp-query (mrxw_eng (cui sui) srl wd word :lrl klrl
658                                :order (cui asc sui asc))
659     (find-ustr-cuisui (ensure-integer cui) (ensure-integer sui) :srl srl)))
660
661 (defun find-ustr-normalized-word (word &key (srl *current-srl*))
662   "Return list of ustrs that match word"
663   (collect-umlisp-query (mrxnw_eng (cui sui) srl nwd word :lrl klrl
664                                  :order (cui asc sui asc))
665     (find-ustr-cuisui (ensure-integer cui) (ensure-integer sui) :srl srl)))
666
667 (defun find-uterm-word (word &key (srl *current-srl*))
668   "Return list of uterms that match word"
669   (collect-umlisp-query (mrxw_eng (cui lui) srl wd word :lrl klrl
670                                :order (cui asc lui asc))
671     (find-uterm-cuilui (ensure-integer cui) (ensure-integer lui) :srl srl)))
672
673 (defun find-uterm-normalized-word (word &key (srl *current-srl*))
674   "Return list of uterms that match word"
675   (collect-umlisp-query (mrxnw_eng (cui lui) srl nwd word :lrl klrl
676                                  :order (cui asc lui asc))
677     (find-uterm-cuilui (ensure-integer cui) (ensure-integer lui) :srl srl)))
678
679 (defun find-ucon-noneng-word (word &key (srl *current-srl*) (like nil))
680   "Return list of ucons that match non-english word"
681   (collect-umlisp-query-eval ('mrxw_noneng '(cui) srl 'wd word :like like
682                                         :distinct t :lrl 'klrl :order '(cui asc))
683     (find-ucon-cui cui :srl srl)))
684
685 (defun find-ustr-noneng-word (word &key (srl *current-srl*))
686   "Return list of ustrs that match non-english word"
687   (collect-umlisp-query (mrxw_noneng (cui sui) srl wd word :lrl klrl
688                                   :order (cui asc sui asc))
689     (find-ustr-cuisui (ensure-integer cui) (ensure-integer sui) :srl srl)))
690
691 ;; Special tables
692
693 (defun find-usrl-all ()
694   (collect-umlisp-query (usrl (sab srl) nil nil nil :order (sab asc))
695     (make-instance 'usrl :sab sab :srl (ensure-integer srl))))
696
697 ;;; Multiword lookup and score functions
698
699 (defun find-uobj-multiword (str obj-lookup-fun sort-fun key srl
700                             only-exact-if-match)
701   (let ((uobjs '()))
702     (dolist (word (delimited-string-to-list str #\space))
703       (setq uobjs (append uobjs (funcall obj-lookup-fun word :srl srl))))
704     (let ((sorted
705            (funcall sort-fun str
706                     (delete-duplicates uobjs :test #'= :key key))))
707       (if (and (plusp (length sorted))
708                only-exact-if-match
709                (multiword-match str (pfstr (first sorted))))
710           (first sorted)
711         sorted))))
712
713 (defun find-ucon-multiword (str &key (srl *current-srl*)
714                                      (only-exact-if-match t))
715   (find-uobj-multiword str #'find-ucon-word #'sort-score-pfstr-str
716                        #'cui srl only-exact-if-match))
717
718 (defun find-uterm-multiword (str &key (srl *current-srl*)
719                                       (only-exact-if-match t))
720   (find-uobj-multiword str #'find-uterm-word #'sort-score-pfstr-str
721                        #'lui srl only-exact-if-match))
722
723 (defun find-ustr-multiword (str &key (srl *current-srl*)
724                                      (only-exact-if-match t))
725   (find-uobj-multiword str #'find-ustr-word #'sort-score-ustr-str
726                        #'sui srl only-exact-if-match))
727
728 (defun sort-score-pfstr-str (str uobjs)
729   "Return list of sorted and scored ucons. Score by match of str to ucon-pfstr"
730   (sort-score-umlsclass-str uobjs str #'pfstr))
731
732 (defun sort-score-ustr-str (str ustrs)
733   "Return list of sorted and scored ucons. Score by match of str to ucon-pfstr"
734   (sort-score-umlsclass-str ustrs str #'str))
735
736 (defun sort-score-umlsclass-str (objs str lookup-func)
737   "Sort a list of objects based on scoring to a string"
738   (let ((scored '()))
739     (dolist (obj objs)
740       (push (list obj (score-multiword-match str (funcall lookup-func obj)))
741        scored))
742     (mapcar #'car (sort scored #'> :key #'cadr))))
743
744
745 ;;; LEX SQL functions
746
747 (defun find-lexterm-eui (eui)
748   (ensure-eui-integer eui)
749   (collect-umlisp-query (lrwd (wrd) nil eui eui :single t)
750     (make-instance 'lexterm :eui eui :wrd wrd)))
751
752 (defun find-lexterm-word (wrd)
753   (collect-umlisp-query (lrwd (eui) nil wrd wrd)
754     (make-instance 'lexterm :eui (ensure-integer eui)
755                    :wrd (copy-seq wrd))))
756
757 ;; LEX SQL Read functions
758
759 (defun find-labr-eui (eui)
760   (ensure-eui-integer eui)
761   (collect-umlisp-query (lrabr (bas abr eui2 bas2) nil eui eui)
762     (make-instance 'labr :eui eui :bas bas :abr abr :bas2 bas2
763                    :eui2 (ensure-integer eui2))))
764
765 (defun find-labr-bas (bas)
766   (collect-umlisp-query (labr (eui abr eui2 bas2) nil bas bas)
767     (make-instance 'labr :eui (ensure-integer eui) :abr abr :bas2 bas2
768                    :bas (copy-seq bas) :eui2 (ensure-integer eui2))))
769
770 (defun find-lagr-eui (eui)
771   (ensure-eui-integer eui)
772   (collect-umlisp-query (lragr (str sca agr cit bas) nil eui eui)
773     (make-instance 'lagr :eui eui :str str :sca sca :agr agr
774                    :cit cit :bas bas)))
775
776 (defun find-lcmp-eui (eui)
777   (ensure-eui-integer eui)
778   (collect-umlisp-query (lrcmp (bas sca com) nil eui eui)
779     (make-instance 'lcmp :eui eui :bas bas :sca sca :com com)))
780
781 (defun find-lmod-eui (eui)
782   (ensure-eui-integer eui)
783   (collect-umlisp-query (lrmod (bas sca psn_mod fea) nil eui eui)
784     (make-instance 'lmod :eui eui :bas bas :sca sca :psnmod psn_mod :fea fea)))
785
786 (defun find-lnom-eui (eui)
787   (ensure-eui-integer eui)
788   (collect-umlisp-query (lrnom (bas sca eui2 bas2 sca2) nil eui eui)
789     (make-instance 'lnom :eui eui :bas bas :sca sca :bas2 bas2 :sca2 sca2
790                    :eui2 (ensure-integer eui2))))
791
792 (defun find-lprn-eui (eui)
793   (ensure-eui-integer eui)
794   (collect-umlisp-query (lrprn (bas num gnd cas pos qnt fea) nil eui eui)
795     (make-instance 'lprn :eui eui :bas bas :num num :gnd gnd
796                    :cas cas :pos pos :qnt qnt :fea fea)))
797
798 (defun find-lprp-eui (eui)
799   (ensure-eui-integer eui)
800   (collect-umlisp-query (lrprp (bas str sca fea) nil eui eui)
801     (make-instance 'lprp :eui eui :bas bas :str str :sca sca :fea fea)))
802
803 (defun find-lspl-eui (eui)
804   (ensure-eui-integer eui)
805   (collect-umlisp-query (lrspl (spv bas) nil eui eui)
806     (make-instance 'lspl :eui eui :spv spv :bas bas)))
807
808 (defun find-ltrm-eui (eui)
809   (ensure-eui-integer eui)
810   (collect-umlisp-query (lrtrm (bas gen) nil eui eui)
811     (make-instance 'ltrm :eui eui :bas bas :gen gen)))
812
813 (defun find-ltyp-eui (eui)
814   (ensure-eui-integer eui)
815   (collect-umlisp-query (lrtyp (bas sca typ) nil eui eui)
816     (make-instance 'ltyp :eui eui :bas bas :sca sca :typ typ)))
817
818 (defun find-lwd-wrd (wrd)
819   (make-instance 'lwd :wrd wrd
820                  :euilist (collect-umlisp-query (lrwd (eui) nil wrd wrd)
821                                                 (ensure-integer eui))))
822
823 ;;; Semantic Network SQL access functions
824
825 (defun find-sdef-ui (ui)
826   (collect-umlisp-query (srdef (rt sty_rl stn_rtn def ex un rh abr rin)
827                             nil ui ui :single t)
828     (make-instance 'sdef :rt rt :ui ui :styrl sty_rl :stnrtn stn_rtn
829                    :def def :ex ex :un un :rh rh :abr abr :rin rin)))
830
831 (defun find-sstre1-ui (ui)
832   (collect-umlisp-query (srstre1 (ui2 ui3) nil ui ui)
833     (make-instance 'sstre1 :ui ui :ui2 (ensure-integer ui2)
834                    :ui3 (ensure-integer ui3))))
835
836 (defun find-sstre1-ui2 (ui2)
837   (collect-umlisp-query (srstre1 (ui ui3) nil ui2 ui2)
838     (make-instance 'sstre1 :ui (ensure-integer ui) :ui2 ui2
839                    :ui3 (ensure-integer ui3))))
840
841 (defun find-sstr-rl (rl)
842   (collect-umlisp-query (srstre (sty_rl sty_rl2 ls) nil rl rl)
843     (make-instance 'sstr :rl rl :styrl sty_rl :styrl2 sty_rl2 :ls ls)))
844
845 (defun find-sstre2-sty (sty)
846   (collect-umlisp-query (srstre2 (rl sty2) nil sty sty)
847     (make-instance 'sstre2 :sty (copy-seq sty) :rl rl :sty2 sty2)))
848
849 (defun find-sstr-styrl (styrl)
850   (collect-umlisp-query (srstr (rl sty_rl2 ls) nil styrl styrl)
851     (make-instance 'sstr :styrl styrl :rl rl :styrl2 sty_rl2 :ls ls)))
852
853
854 ;;; **************************
855 ;;; Local Classes
856 ;;; **************************
857
858
859 (defun make-ustats ()
860   (with-sql-connection (conn)
861     (ignore-errors (sql-execute "drop table USTATS" conn))
862     (sql-execute "create table USTATS (NAME varchar(160), COUNT bigint, SRL integer)" conn)
863
864     (dotimes (srl 5)
865       (insert-ustats-count conn "Concept Count" "MRCONSO" "distinct CUI" "KCUILRL" srl)
866       (insert-ustats-count conn "Term Count" "MRCONSO" "distinct KCUILUI" "KCUILRL" srl)
867       (insert-ustats-count conn "Distinct Term Count" "MRCONSO" "distinct LUI" "KLUILRL" srl)
868       (insert-ustats-count conn "String Count" "MRCONSO" "*" "KSUILRL" srl)
869       (insert-ustats-count conn "Distinct String Count" "MRCONSO" "distinct SUI" "KSUILRL" srl)
870       (insert-ustats-count conn "Context Count" "MRCXT" "*" "KSRL" srl)
871       (insert-ustats-count conn "Co-occuring Concept Count" "MRCOC" "*" "KLRL" srl)
872       (insert-ustats-count conn "Definition Count" "MRDEF" "*" "KSRL" srl)
873       #+ignore
874       (insert-ustats-count conn "Locator Count" "MRLO" "*" "KLRL" srl)
875       (insert-ustats-count conn "Rank Count" "MRRANK" "*" "KSRL" srl)
876       (insert-ustats-count conn "Relationship Count" "MRREL" "*" "KSRL" srl)
877       (insert-ustats-count conn "Semantic Type Count" "MRSTY" "*" "KLRL" srl)
878       (insert-ustats-count conn "Simple Attribute Count" "MRSAT" "*" "KSRL" srl)
879       (insert-ustats-count conn "Source Abbreviation Count" "MRSAB" "*" "SRL" srl)
880       (insert-ustats-count conn "Word Index Count" "MRXW_ENG" "*" "KLRL" srl)
881       (insert-ustats-count conn "Normalized Word Index Count" "MRXNW_ENG" "*" "KLRL" srl)
882       (insert-ustats-count conn "Normalized String Index Count" "MRXNS_ENG" "*" "KLRL" srl))
883     (sql-execute "create index USTATS_SRL on USTATS (SRL)" conn))
884   (find-ustats-all))
885
886 (defun insert-ustats-count (conn name table count-variable srl-control srl)
887   (insert-ustats conn name (find-count-table conn table srl count-variable srl-control) srl))
888
889 (defun find-count-table (conn table srl count-variable srl-control)
890   (cond
891    ((stringp srl-control)
892     (ensure-integer
893      (caar (sql-query (format nil "select count(~a) from ~a where ~a <= ~d"
894                               count-variable table srl-control srl)
895                       conn))))
896    ((null srl-control)
897     (ensure-integer
898      (caar (sql-query (format nil "select count(~a) from ~a"
899                               count-variable table )
900                       conn))))
901    (t
902     (error "Unknown srl-control")
903     0)))
904
905 (defun insert-ustats (conn name count srl)
906   (sql-execute (format nil "insert into USTATS (name,count,srl) values ('~a',~d,~d)"
907                        name count (if srl srl 3))
908                conn))
909
910 (defun find-ustats-all (&key (srl *current-srl*))
911   (if srl
912       (collect-umlisp-query (ustats (name count srl) nil srl srl
913                                     :order (name asc))
914                             (make-instance 'ustats :name name
915                                            :hits (ensure-integer count)
916                                            :srl (ensure-integer srl)))
917     (collect-umlisp-query (ustats (name count srl) nil nil nil
918                                   :order (name asc))
919                           (make-instance 'ustats :name name
920                                          :hits (ensure-integer count)
921                                          :srl (ensure-integer srl)))))
922
923 (defun find-ustats-srl (srl)
924   (collect-umlisp-query (ustats (name count) nil srl srl :order (name asc))
925                            (make-instance 'ustats :name name :hits (ensure-integer count))))
926
927
928
929 (defun find-bsab-sab (sab)
930  (collect-umlisp-query (bonus_sab (name count) nil sab sab :single t)
931      (make-instance 'bsab :sab sab :name name :hits (ensure-integer count))))
932
933 (defun find-bsab-all ()
934  (collect-umlisp-query (bonus_sab (sab name count) nil nil nil :order (sab asc))
935      (make-instance 'bsab :sab sab :name name :hits (ensure-integer count))))
936
937 (defun find-btty-tty (tty)
938  (collect-umlisp-query (bonus_tty (name count) nil tty tty :single t)
939      (make-instance 'btty :tty tty :name name :hits (ensure-integer count))))
940
941 (defun find-btty-all ()
942  (collect-umlisp-query (bonus_tty (tty name count) nil nil nil :order (tty asc))
943   (make-instance 'btty :tty tty :name name :hits (ensure-integer count))))
944
945 (defun find-brel-rel (rel)
946   (collect-umlisp-query (bonus_rel (sab sl rel rela count) nil rel rel)
947     (make-instance 'brel :sab sab :sl sl :rel rel :rela rela
948                     :hits (ensure-integer count))))