scripts/ml-search.py

   1 #! /usr/bin/env python
   2
   3 import argparse
   4 import sys
   5 from sqlobject.sqlbuilder import CONCAT
   6
   7 from m_lib.defenc import default_encoding
   8 from m_librarian.config import get_config
   9 from m_librarian.db import Author, Book, Extension, Genre, Language, open_db
  10 from m_librarian.download import download
  11 from m_librarian.search import mk_search_conditions, \
  12     search_authors, search_books, \
  13     search_extensions, search_genres, search_languages
  14
  15 from m_librarian.translations import translations
  16 _ = translations.ugettext
  17
  18
  19 def _get_values(args, *columns):
  20     values = {}
  21     for column in columns:
  22         value = getattr(args, column)
  23         if value:
  24             if isinstance(value, basestring):
  25                 value = unicode(value, default_encoding)
  26             values[column] = value
  27     return values
  28
  29
  30 def _guess_case_sensitivity(values):
  31     for value in values.values():
  32         if isinstance(value, basestring) and not value.islower():
  33             return True
  34     return False
  35
  36
  37 def print_count(count):
  38     print _("Found").encode(default_encoding), ":", count
  39
  40
  41 def _search_authors(case_sensitive, search_type, args):
  42     if (args.surname or args.name or args.misc_name) and args.fullname:
  43         sys.stderr.write(
  44             "Cannot search by names and full name at the same time\n")
  45         main_parser.print_help()
  46         sys.exit(1)
  47     expressions = []
  48     values = _get_values(args, 'surname', 'name', 'misc_name', 'id')
  49     if not values:
  50         value = args.fullname
  51         if value:
  52             expressions.append((
  53                 CONCAT(Author.q.surname, ' ', Author.q.name, ' ',
  54                        Author.q.misc_name),
  55                 unicode(value, default_encoding)
  56             ))
  57     if case_sensitive is None:
  58         case_sensitive = _guess_case_sensitivity(values)
  59     authors = search_authors(search_type, case_sensitive, values, expressions,
  60                              orderBy=('surname', 'name', 'misc_name'))
  61     if args.count:
  62         print_count(authors.count())
  63         return
  64     count = 0
  65     for author in authors:
  66         print author.fullname.encode(default_encoding), \
  67             (u"(%s: %d)" % (_('books'), author.count))\
  68             .encode(default_encoding),
  69         if args.verbose >= 1:
  70             print "(id=%d)" % author.id,
  71         print
  72         count += 1
  73     print_count(count)
  74
  75
  76 def _search_books(case_sensitive, search_type, args):
  77     if args.get and args.get_many:
  78         sys.stderr.write(
  79             "Cannot get one book and many books at the same time\n")
  80         main_parser.print_help()
  81         sys.exit(1)
  82     join_expressions = []
  83     values = _get_values(args, 'title', 'series', 'archive', 'file', 'id')
  84     if case_sensitive is None:
  85         test_values = values.copy()
  86         test_values.update(_get_values(args, 'surname', 'name', 'misc_name',
  87                                        'fullname', 'ext', 'gname', 'gtitle',
  88                                        'lang'))
  89         case_sensitive = _guess_case_sensitivity(test_values)
  90     avalues = _get_values(args, 'surname', 'name', 'misc_name', 'fullname')
  91     if args.aid:
  92         avalues['id'] = args.aid
  93     if avalues:
  94         if (args.surname or args.name or args.misc_name) and args.fullname:
  95             sys.stderr.write(
  96                 "Cannot search by names and full name at the same time\n")
  97             main_parser.print_help()
  98             sys.exit(1)
  99         expressions = []
 100         join_expressions.append(Book.j.authors)
 101         value = args.fullname
 102         if value:
 103             expressions.append((
 104                 CONCAT(Author.q.surname, ' ', Author.q.name, ' ',
 105                        Author.q.misc_name),
 106                 unicode(value, default_encoding)
 107             ))
 108         conditions = mk_search_conditions(
 109             Author, search_type, case_sensitive, avalues, expressions)
 110         join_expressions.extend(conditions)
 111     evalues = {}
 112     if args.ext:
 113         evalues['name'] = args.ext
 114     if args.eid:
 115         evalues['id'] = args.eid
 116     if evalues:
 117         join_expressions.append(Book.j.extension)
 118         conditions = mk_search_conditions(
 119             Extension, search_type, case_sensitive, evalues)
 120         join_expressions.extend(conditions)
 121     gvalues = {}
 122     for column in 'name', 'title':
 123         value = getattr(args, 'g' + column)
 124         if value:
 125             gvalues[column] = unicode(value, default_encoding)
 126     if args.gid:
 127         gvalues['id'] = args.gid
 128     if gvalues:
 129         join_expressions.append(Book.j.genres)
 130         conditions = mk_search_conditions(
 131             Genre, search_type, case_sensitive, gvalues)
 132         join_expressions.extend(conditions)
 133     lvalues = {}
 134     if args.lang:
 135         lvalues['name'] = args.lang
 136     if args.lid:
 137         lvalues['id'] = args.lid
 138     if lvalues:
 139         join_expressions.append(Book.j.language)
 140         conditions = mk_search_conditions(
 141             Language, search_type, case_sensitive, lvalues)
 142         join_expressions.extend(conditions)
 143     books = search_books(search_type, case_sensitive, values, join_expressions,
 144                          orderBy=('series', 'ser_no', 'title'))
 145     if args.count:
 146         print_count(books.count())
 147         return
 148     if args.get_many:
 149         books = books[:args.get_many]
 150     elif args.get:
 151         count = books.count()
 152         if count != 1:
 153             sys.stderr.write("There must be exactly 1 book for --get; "
 154                              "(found %d).\n" % count)
 155             sys.stderr.write("Use --get-many N to download more than one "
 156                              "book.\n")
 157             sys.exit(1)
 158     count = 0
 159     for book in books:
 160         print book.title.encode(default_encoding),
 161         if args.verbose >= 1:
 162             print "(id=%d)" % book.id,
 163         print
 164         if args.verbose >= 1:
 165             print " ", _("Author(s)").encode(default_encoding), ":",
 166             for author in book.authors:
 167                 print author.fullname.encode(default_encoding),
 168             print
 169             print " ", _("Genre(s)").encode(default_encoding), ":",
 170             for genre in book.genres:
 171                 print (genre.title or genre.name).encode(default_encoding),
 172             print
 173             if book.series:
 174                 print " ", _("Series").encode(default_encoding), ":",
 175                 print book.series.encode(default_encoding), \
 176                     "(%d)" % book.ser_no
 177
 178         if args.verbose >= 2:
 179             print " ", _("Date").encode(default_encoding), ":", book.date
 180             print " ", _("Language").encode(default_encoding), ":", \
 181                 book.language.name.encode(default_encoding)
 182
 183         if args.verbose >= 3:
 184             print " ", _("Archive").encode(default_encoding), ":", book.archive
 185             print " ", _("File").encode(default_encoding), ":", book.file
 186             print " ", _("Extension").encode(default_encoding), ":", \
 187                 book.extension.name.encode(default_encoding)
 188             print " ", _("Size").encode(default_encoding), ":", \
 189                 book.size, _("bytes").encode(default_encoding)
 190             print " ", _("Deleted").encode(default_encoding), ":", \
 191                 _(str(book.deleted)).encode(default_encoding)
 192         if args.get or args.get_many:
 193             download(book, args.path, args.format)
 194         count += 1
 195     print_count(count)
 196
 197
 198 def _search_extensions(case_sensitive, search_type, args):
 199     values = _get_values(args, 'name', 'id')
 200     if case_sensitive is None:
 201         case_sensitive = _guess_case_sensitivity(values)
 202     else:
 203         values = {}
 204     extensions = search_extensions(search_type, case_sensitive, values,
 205                                    orderBy='name')
 206     if args.count:
 207         print_count(extensions.count())
 208         return
 209     count = 0
 210     for ext in extensions:
 211         print ext.name.encode(default_encoding), \
 212             (u"(%s: %d)" % (_('books'), ext.count)).encode(default_encoding),
 213         if args.verbose >= 1:
 214             print "(id=%d)" % ext.id,
 215         print
 216         count += 1
 217     print_count(count)
 218
 219
 220 def _search_genres(case_sensitive, search_type, args):
 221     values = _get_values(args, 'name', 'title', 'id')
 222     if case_sensitive is None:
 223         case_sensitive = _guess_case_sensitivity(values)
 224     genres = search_genres(search_type, case_sensitive, values, orderBy='name')
 225     if args.count:
 226         print_count(genres.count())
 227         return
 228     count = 0
 229     for genre in genres:
 230         names = filter(None, (genre.name, genre.title))
 231         fullname = u' '.join(names)
 232         print fullname.encode(default_encoding), \
 233             (u"(%s: %d)" % (_('books'), genre.count)).encode(default_encoding),
 234         if args.verbose >= 1:
 235             print "(id=%d)" % genre.id,
 236         print
 237         count += 1
 238     print_count(count)
 239
 240
 241 def _search_languages(case_sensitive, search_type, args):
 242     values = _get_values(args, 'name', 'id')
 243     if case_sensitive is None:
 244         case_sensitive = _guess_case_sensitivity(values)
 245     else:
 246         values = {}
 247     languages = search_languages(search_type, case_sensitive, values,
 248                                  orderBy='name')
 249     if args.count:
 250         print_count(languages.count())
 251         return
 252     count = 0
 253     for lang in languages:
 254         print lang.name.encode(default_encoding), \
 255             (u"(%s: %d)" % (_('books'), lang.count)).encode(default_encoding),
 256         if args.verbose >= 1:
 257             print "(id=%d)" % lang.id,
 258         print
 259         count += 1
 260     print_count(count)
 261
 262
 263 if __name__ == '__main__':
 264     main_parser = argparse.ArgumentParser(description='Search')
 265     main_parser.add_argument('-C', '--config', help='configuration file')
 266     main_parser.add_argument('-D', '--database', help='database URI')
 267     main_parser.add_argument('-i', '--ignore-case', action='store_true',
 268                              help='ignore case '
 269                              '(default is to guess)')
 270     main_parser.add_argument('-I', '--case-sensitive', action='store_true',
 271                              help='don\'t ignore case')
 272     main_parser.add_argument('-t', '--start', action='store_true',
 273                              help='search substring at the start '
 274                              '(this is the default)')
 275     main_parser.add_argument('-s', '--substring', action='store_true',
 276                              help='search substring anywhere')
 277     main_parser.add_argument('-f', '--full', action='store_true',
 278                              help='match the entire string')
 279     main_parser.add_argument('-c', '--count', action='store_true',
 280                              help='count instead of output')
 281     main_parser.add_argument('-v', '--verbose', action='count',
 282                              help='output more details about books; '
 283                              'repeat for even more details')
 284     subparsers = main_parser.add_subparsers(help='Commands')
 285
 286     parser = subparsers.add_parser('authors', help='Search authors')
 287     parser.add_argument('-s', '--surname', help='search by surname')
 288     parser.add_argument('-n', '--name', help='search by name')
 289     parser.add_argument('-m', '--misc-name', help='search by misc. name')
 290     parser.add_argument('--id', type=int, help='search by database id')
 291     parser.add_argument('fullname', nargs='?', help='search by full name')
 292     parser.set_defaults(func=_search_authors)
 293
 294     parser = subparsers.add_parser('books', help='Search books')
 295     parser.add_argument('-t', '--title', help='search by title')
 296     parser.add_argument('-s', '--series', help='search by series')
 297     parser.add_argument('-a', '--archive', help='search by archive (zip file)')
 298     parser.add_argument('-f', '--file', help='search by file name')
 299     parser.add_argument('--id', type=int, help='search by database id')
 300     parser.add_argument('--surname', help='search by author\'s surname')
 301     parser.add_argument('--name', help='search by author\'s name')
 302     parser.add_argument('--misc-name', help='search by author\'s misc. name')
 303     parser.add_argument('--fullname', help='search by author\'s full name')
 304     parser.add_argument('--aid', type=int, help='search by author\'s id')
 305     parser.add_argument('-e', '--ext', help='search by file extension')
 306     parser.add_argument('--eid', type=int, help='search by extension\'s id')
 307     parser.add_argument('--gname', help='search by genre\'s name')
 308     parser.add_argument('--gtitle', help='search by genre\'s title')
 309     parser.add_argument('--gid', type=int, help='search by genre\'s id')
 310     parser.add_argument('-l', '--lang', help='search by language')
 311     parser.add_argument('--lid', type=int, help='search by language\'s id')
 312     parser.add_argument('-P', '--path', help='path to the library archives')
 313     parser.add_argument('-F', '--format',
 314                         help='download format, default is %f')
 315     parser.add_argument('--get', action='store_true',
 316                         help='download exactly one book')
 317     parser.add_argument('--get-many', type=int,
 318                         help='download at most this many books')
 319     parser.set_defaults(func=_search_books)
 320
 321     parser = subparsers.add_parser('ext', help='Search extensions')
 322     parser.add_argument('name', nargs='?', help='search by name')
 323     parser.add_argument('--id', type=int, help='search by database id')
 324     parser.set_defaults(func=_search_extensions)
 325
 326     parser = subparsers.add_parser('genres', help='Search genres')
 327     parser.add_argument('-n', '--name', help='search by name')
 328     parser.add_argument('-t', '--title', help='search by title')
 329     parser.add_argument('--id', type=int, help='search by database id')
 330     parser.set_defaults(func=_search_genres)
 331
 332     parser = subparsers.add_parser('lang', help='Search languages')
 333     parser.add_argument('name', nargs='?', help='search by name')
 334     parser.add_argument('--id', type=int, help='search by database id')
 335     parser.set_defaults(func=_search_languages)
 336
 337     args = main_parser.parse_args()
 338
 339     if args.config:
 340         get_config(args.config)  # Get and cache config file
 341
 342     if args.case_sensitive:
 343         if args.ignore_case:
 344             sys.stderr.write(
 345                 "Cannot search case sensitive and case insensitive "
 346                 "at the same time\n")
 347             main_parser.print_help()
 348             sys.exit(1)
 349         else:
 350             case_sensitive = True
 351     elif args.ignore_case:
 352         case_sensitive = False
 353     else:
 354         case_sensitive = None  # guess case sensitivity
 355
 356     if int(args.start) + int(args.substring) + int(args.full) > 1:
 357         sys.stderr.write(
 358             "Cannot search case sensitive and case insensitive "
 359             "at the same time\n")
 360         main_parser.print_help()
 361         sys.exit(1)
 362     if args.start:
 363         search_type = 'start'
 364     elif args.substring:
 365         search_type = 'substring'
 366     elif args.full:
 367         search_type = 'full'
 368     else:
 369         search_type = 'start'
 370
 371     open_db(args.database)
 372     args.func(case_sensitive, search_type, args)