scripts/ml-search.py

   1 #! /usr/bin/env python
   2
   3 from __future__ import print_function
   4 import argparse
   5 import sys
   6 from sqlobject.sqlbuilder import CONCAT
   7
   8 from m_lib.defenc import default_encoding
   9 from m_librarian.config import get_config
  10 from m_librarian.db import Author, Book, Extension, Genre, Language, open_db
  11 from m_librarian.download import download
  12 from m_librarian.search import mk_search_conditions, \
  13     search_authors, search_books, \
  14     search_extensions, search_genres, search_languages
  15
  16 from m_librarian.translations import translations
  17 _ = translations.ugettext
  18
  19
  20 def _get_values(args, *columns):
  21     values = {}
  22     for column in columns:
  23         value = getattr(args, column)
  24         if value:
  25             if isinstance(value, basestring):
  26                 value = unicode(value, default_encoding)
  27             values[column] = value
  28     return values
  29
  30
  31 def _guess_case_sensitivity(values):
  32     for value in values.values():
  33         if isinstance(value, basestring) and not value.islower():
  34             return True
  35     return False
  36
  37
  38 def print_count(count):
  39     print(_("Found").encode(default_encoding), ":", count)
  40
  41
  42 def _search_authors(case_sensitive, search_type, args):
  43     if (args.surname or args.name or args.misc_name) and args.fullname:
  44         sys.stderr.write(
  45             "Cannot search by names and full name at the same time\n")
  46         main_parser.print_help()
  47         sys.exit(1)
  48     expressions = []
  49     values = _get_values(args, 'surname', 'name', 'misc_name', 'id')
  50     if not values:
  51         value = args.fullname
  52         if value:
  53             expressions.append((
  54                 CONCAT(Author.q.surname, ' ', Author.q.name, ' ',
  55                        Author.q.misc_name),
  56                 unicode(value, default_encoding)
  57             ))
  58     if case_sensitive is None:
  59         case_sensitive = _guess_case_sensitivity(values)
  60     authors = search_authors(search_type, case_sensitive, values, expressions,
  61                              orderBy=('surname', 'name', 'misc_name'))
  62     if args.count:
  63         print_count(authors.count())
  64         return
  65     count = 0
  66     for author in authors:
  67         print(author.fullname.encode(default_encoding),
  68             (u"(%s: %d)" % (_('books'), author.count))
  69             .encode(default_encoding), end='')
  70         if args.verbose >= 1:
  71             print("(id=%d)" % author.id, end='')
  72         print
  73         count += 1
  74     print_count(count)
  75
  76
  77 def _search_books(case_sensitive, search_type, args):
  78     if args.get and args.get_many:
  79         sys.stderr.write(
  80             "Cannot get one book and many books at the same time\n")
  81         main_parser.print_help()
  82         sys.exit(1)
  83     join_expressions = []
  84     values = _get_values(args, 'title', 'series', 'archive', 'file', 'id')
  85     if case_sensitive is None:
  86         test_values = values.copy()
  87         test_values.update(_get_values(args, 'surname', 'name', 'misc_name',
  88                                        'fullname', 'ext', 'gname', 'gtitle',
  89                                        'lang'))
  90         case_sensitive = _guess_case_sensitivity(test_values)
  91     avalues = _get_values(args, 'surname', 'name', 'misc_name', 'fullname')
  92     if args.aid:
  93         avalues['id'] = args.aid
  94     if avalues:
  95         if (args.surname or args.name or args.misc_name) and args.fullname:
  96             sys.stderr.write(
  97                 "Cannot search by names and full name at the same time\n")
  98             main_parser.print_help()
  99             sys.exit(1)
 100         expressions = []
 101         join_expressions.append(Book.j.authors)
 102         value = args.fullname
 103         if value:
 104             expressions.append((
 105                 CONCAT(Author.q.surname, ' ', Author.q.name, ' ',
 106                        Author.q.misc_name),
 107                 unicode(value, default_encoding)
 108             ))
 109         conditions = mk_search_conditions(
 110             Author, search_type, case_sensitive, avalues, expressions)
 111         join_expressions.extend(conditions)
 112     evalues = {}
 113     if args.ext:
 114         evalues['name'] = args.ext
 115     if args.eid:
 116         evalues['id'] = args.eid
 117     if evalues:
 118         join_expressions.append(Book.j.extension)
 119         conditions = mk_search_conditions(
 120             Extension, search_type, case_sensitive, evalues)
 121         join_expressions.extend(conditions)
 122     gvalues = {}
 123     for column in 'name', 'title':
 124         value = getattr(args, 'g' + column)
 125         if value:
 126             gvalues[column] = unicode(value, default_encoding)
 127     if args.gid:
 128         gvalues['id'] = args.gid
 129     if gvalues:
 130         join_expressions.append(Book.j.genres)
 131         conditions = mk_search_conditions(
 132             Genre, search_type, case_sensitive, gvalues)
 133         join_expressions.extend(conditions)
 134     lvalues = {}
 135     if args.lang:
 136         lvalues['name'] = args.lang
 137     if args.lid:
 138         lvalues['id'] = args.lid
 139     if lvalues:
 140         join_expressions.append(Book.j.language)
 141         conditions = mk_search_conditions(
 142             Language, search_type, case_sensitive, lvalues)
 143         join_expressions.extend(conditions)
 144     books = search_books(search_type, case_sensitive, values, join_expressions,
 145                          orderBy=('series', 'ser_no', 'title'))
 146     if args.count:
 147         print_count(books.count())
 148         return
 149     if args.get_many:
 150         books = books[:args.get_many]
 151     elif args.get:
 152         count = books.count()
 153         if count != 1:
 154             sys.stderr.write("There must be exactly 1 book for --get; "
 155                              "(found %d).\n" % count)
 156             sys.stderr.write("Use --get-many N to download more than one "
 157                              "book.\n")
 158             sys.exit(1)
 159     count = 0
 160     for book in books:
 161         print(book.title.encode(default_encoding), end='')
 162         if args.verbose >= 1:
 163             print("(id=%d)" % book.id, end='')
 164         print
 165         if args.verbose >= 1:
 166             print(" ", _("Author(s)").encode(default_encoding), ":", end='')
 167             for author in book.authors:
 168                 print(author.fullname.encode(default_encoding), end='')
 169             print
 170             print(" ", _("Genre(s)").encode(default_encoding), ":", end='')
 171             for genre in book.genres:
 172                 print((genre.title or genre.name).encode(default_encoding), end='')
 173             print
 174             if book.series:
 175                 print(" ", _("Series").encode(default_encoding), ":", end='')
 176                 print(book.series.encode(default_encoding),
 177                     "(%d)" % book.ser_no)
 178
 179         if args.verbose >= 2:
 180             print(" ", _("Date").encode(default_encoding), ":", book.date)
 181             print(" ", _("Language").encode(default_encoding), ":",
 182                 book.language.name.encode(default_encoding))
 183
 184         if args.verbose >= 3:
 185             print(" ", _("Archive").encode(default_encoding), ":", book.archive)
 186             print(" ", _("File").encode(default_encoding), ":", book.file)
 187             print(" ", _("Extension").encode(default_encoding), ":",
 188                 book.extension.name.encode(default_encoding))
 189             print(" ", _("Size").encode(default_encoding), ":",
 190                 book.size, _("bytes").encode(default_encoding))
 191             print(" ", _("Deleted").encode(default_encoding), ":",
 192                 _(str(book.deleted)).encode(default_encoding))
 193         if args.get or args.get_many:
 194             download(book, args.path, args.format)
 195         count += 1
 196     print_count(count)
 197
 198
 199 def _search_extensions(case_sensitive, search_type, args):
 200     values = _get_values(args, 'name', 'id')
 201     if case_sensitive is None:
 202         case_sensitive = _guess_case_sensitivity(values)
 203     else:
 204         values = {}
 205     extensions = search_extensions(search_type, case_sensitive, values,
 206                                    orderBy='name')
 207     if args.count:
 208         print_count(extensions.count())
 209         return
 210     count = 0
 211     for ext in extensions:
 212         print(ext.name.encode(default_encoding),
 213             (u"(%s: %d)" % (_('books'), ext.count)).encode(default_encoding),
 214             end='')
 215         if args.verbose >= 1:
 216             print("(id=%d)" % ext.id, end='')
 217         print
 218         count += 1
 219     print_count(count)
 220
 221
 222 def _search_genres(case_sensitive, search_type, args):
 223     values = _get_values(args, 'name', 'title', 'id')
 224     if case_sensitive is None:
 225         case_sensitive = _guess_case_sensitivity(values)
 226     genres = search_genres(search_type, case_sensitive, values, orderBy='name')
 227     if args.count:
 228         print_count(genres.count())
 229         return
 230     count = 0
 231     for genre in genres:
 232         names = filter(None, (genre.name, genre.title))
 233         fullname = u' '.join(names)
 234         print(fullname.encode(default_encoding),
 235             (u"(%s: %d)" % (_('books'), genre.count)).encode(default_encoding),
 236             end='')
 237         if args.verbose >= 1:
 238             print("(id=%d)" % genre.id, end='')
 239         print
 240         count += 1
 241     print_count(count)
 242
 243
 244 def _search_languages(case_sensitive, search_type, args):
 245     values = _get_values(args, 'name', 'id')
 246     if case_sensitive is None:
 247         case_sensitive = _guess_case_sensitivity(values)
 248     else:
 249         values = {}
 250     languages = search_languages(search_type, case_sensitive, values,
 251                                  orderBy='name')
 252     if args.count:
 253         print_count(languages.count())
 254         return
 255     count = 0
 256     for lang in languages:
 257         print(lang.name.encode(default_encoding),
 258             (u"(%s: %d)" % (_('books'), lang.count)).encode(default_encoding),
 259             end='')
 260         if args.verbose >= 1:
 261             print("(id=%d)" % lang.id, end='')
 262         print
 263         count += 1
 264     print_count(count)
 265
 266
 267 if __name__ == '__main__':
 268     main_parser = argparse.ArgumentParser(description='Search')
 269     main_parser.add_argument('-C', '--config', help='configuration file')
 270     main_parser.add_argument('-D', '--database', help='database URI')
 271     main_parser.add_argument('-i', '--ignore-case', action='store_true',
 272                              help='ignore case '
 273                              '(default is to guess)')
 274     main_parser.add_argument('-I', '--case-sensitive', action='store_true',
 275                              help='don\'t ignore case')
 276     main_parser.add_argument('-t', '--start', action='store_true',
 277                              help='search substring at the start '
 278                              '(this is the default)')
 279     main_parser.add_argument('-s', '--substring', action='store_true',
 280                              help='search substring anywhere')
 281     main_parser.add_argument('-f', '--full', action='store_true',
 282                              help='match the entire string')
 283     main_parser.add_argument('-c', '--count', action='store_true',
 284                              help='count instead of output')
 285     main_parser.add_argument('-v', '--verbose', action='count',
 286                              help='output more details about books; '
 287                              'repeat for even more details')
 288     subparsers = main_parser.add_subparsers(help='Commands')
 289
 290     parser = subparsers.add_parser('authors', help='Search authors')
 291     parser.add_argument('-s', '--surname', help='search by surname')
 292     parser.add_argument('-n', '--name', help='search by name')
 293     parser.add_argument('-m', '--misc-name', help='search by misc. name')
 294     parser.add_argument('--id', type=int, help='search by database id')
 295     parser.add_argument('fullname', nargs='?', help='search by full name')
 296     parser.set_defaults(func=_search_authors)
 297
 298     parser = subparsers.add_parser('books', help='Search books')
 299     parser.add_argument('-t', '--title', help='search by title')
 300     parser.add_argument('-s', '--series', help='search by series')
 301     parser.add_argument('-a', '--archive', help='search by archive (zip file)')
 302     parser.add_argument('-f', '--file', help='search by file name')
 303     parser.add_argument('--id', type=int, help='search by database id')
 304     parser.add_argument('--surname', help='search by author\'s surname')
 305     parser.add_argument('--name', help='search by author\'s name')
 306     parser.add_argument('--misc-name', help='search by author\'s misc. name')
 307     parser.add_argument('--fullname', help='search by author\'s full name')
 308     parser.add_argument('--aid', type=int, help='search by author\'s id')
 309     parser.add_argument('-e', '--ext', help='search by file extension')
 310     parser.add_argument('--eid', type=int, help='search by extension\'s id')
 311     parser.add_argument('--gname', help='search by genre\'s name')
 312     parser.add_argument('--gtitle', help='search by genre\'s title')
 313     parser.add_argument('--gid', type=int, help='search by genre\'s id')
 314     parser.add_argument('-l', '--lang', help='search by language')
 315     parser.add_argument('--lid', type=int, help='search by language\'s id')
 316     parser.add_argument('-P', '--path', help='path to the library archives')
 317     parser.add_argument('-F', '--format',
 318                         help='download format, default is %%f')
 319     parser.add_argument('--get', action='store_true',
 320                         help='download exactly one book')
 321     parser.add_argument('--get-many', type=int,
 322                         help='download at most this many books')
 323     parser.set_defaults(func=_search_books)
 324
 325     parser = subparsers.add_parser('ext', help='Search extensions')
 326     parser.add_argument('name', nargs='?', help='search by name')
 327     parser.add_argument('--id', type=int, help='search by database id')
 328     parser.set_defaults(func=_search_extensions)
 329
 330     parser = subparsers.add_parser('genres', help='Search genres')
 331     parser.add_argument('-n', '--name', help='search by name')
 332     parser.add_argument('-t', '--title', help='search by title')
 333     parser.add_argument('--id', type=int, help='search by database id')
 334     parser.set_defaults(func=_search_genres)
 335
 336     parser = subparsers.add_parser('lang', help='Search languages')
 337     parser.add_argument('name', nargs='?', help='search by name')
 338     parser.add_argument('--id', type=int, help='search by database id')
 339     parser.set_defaults(func=_search_languages)
 340
 341     args = main_parser.parse_args()
 342
 343     if args.config:
 344         get_config(args.config)  # Get and cache config file
 345
 346     if args.case_sensitive:
 347         if args.ignore_case:
 348             sys.stderr.write(
 349                 "Cannot search case sensitive and case insensitive "
 350                 "at the same time\n")
 351             main_parser.print_help()
 352             sys.exit(1)
 353         else:
 354             case_sensitive = True
 355     elif args.ignore_case:
 356         case_sensitive = False
 357     else:
 358         case_sensitive = None  # guess case sensitivity
 359
 360     if int(args.start) + int(args.substring) + int(args.full) > 1:
 361         sys.stderr.write(
 362             "Cannot search case sensitive and case insensitive "
 363             "at the same time\n")
 364         main_parser.print_help()
 365         sys.exit(1)
 366     if args.start:
 367         search_type = 'start'
 368     elif args.substring:
 369         search_type = 'substring'
 370     elif args.full:
 371         search_type = 'full'
 372     else:
 373         search_type = 'start'
 374
 375     open_db(args.database)
 376     args.func(case_sensitive, search_type, args)