scripts/ml-search.py

   1 #! /usr/bin/env python
   2
   3 from __future__ import print_function
   4 import argparse
   5 import os
   6 import sys
   7
   8 from sqlobject.sqlbuilder import CONCAT
   9
  10 from m_lib.defenc import default_encoding
  11 from m_librarian.config import get_config
  12 from m_librarian.db import Author, Book, Extension, Genre, Language, open_db
  13 from m_librarian.download import download
  14 from m_librarian.search import mk_search_conditions, \
  15     search_authors, search_books, \
  16     search_extensions, search_genres, search_languages
  17
  18 from m_librarian.translations import translations
  19 _ = getattr(translations, 'ugettext', None) or translations.gettext
  20
  21
  22 def decode(value):
  23     if isinstance(value, bytes):
  24         return value.decode(default_encoding)
  25     return value
  26
  27
  28 def encode(value):
  29     if bytes is str and not isinstance(value, bytes):
  30         return value.encode(default_encoding, errors='replace')
  31     return value
  32
  33
  34 def _get_values(args, *columns):
  35     values = {}
  36     for column in columns:
  37         value = getattr(args, column)
  38         if value:
  39             value = decode(value)
  40             values[column] = value
  41     return values
  42
  43
  44 def _guess_case_sensitivity(values):
  45     for value in values.values():
  46         if not value.islower():
  47             return True
  48     return False
  49
  50
  51 def print_count(count):
  52     print(encode(_("Found")), ":", count)
  53
  54
  55 def _search_authors(case_sensitive, search_type, args):
  56     if (args.surname or args.name or args.misc_name) and args.fullname:
  57         sys.stderr.write(
  58             "Cannot search by names and full name at the same time\n")
  59         main_parser.print_help()
  60         sys.exit(1)
  61     expressions = []
  62     values = _get_values(args, 'surname', 'name', 'misc_name', 'id')
  63     if not values:
  64         value = args.fullname
  65         if value:
  66             expressions.append((
  67                 CONCAT(Author.q.surname, ' ', Author.q.name, ' ',
  68                        Author.q.misc_name),
  69                 decode(value)
  70             ))
  71     if case_sensitive is None:
  72         case_sensitive = _guess_case_sensitivity(values)
  73     authors = search_authors(search_type, case_sensitive, values, expressions,
  74                              orderBy=('surname', 'name', 'misc_name'))
  75     if args.count:
  76         print_count(authors.count())
  77         return
  78     count = 0
  79     for author in authors:
  80         print(encode(author.fullname),
  81               encode((u"(%s: %d)" % (_('books'), author.count))), end=' ')
  82         if args.verbose >= 1:
  83             print("(id=%d)" % author.id, end=' ')
  84         print()
  85         count += 1
  86     print_count(count)
  87
  88
  89 def _search_books(case_sensitive, search_type, args):
  90     if args.get and args.get_many:
  91         sys.stderr.write(
  92             "Cannot get one book and many books at the same time\n")
  93         main_parser.print_help()
  94         sys.exit(1)
  95     join_expressions = []
  96     values = _get_values(args, 'title', 'series', 'archive', 'file', 'id')
  97     if case_sensitive is None:
  98         test_values = values.copy()
  99         test_values.update(_get_values(args, 'surname', 'name', 'misc_name',
 100                                        'fullname', 'ext', 'gname', 'gtitle',
 101                                        'lang'))
 102         case_sensitive = _guess_case_sensitivity(test_values)
 103     avalues = _get_values(args, 'surname', 'name', 'misc_name', 'fullname')
 104     if args.aid:
 105         avalues['id'] = args.aid
 106     if avalues:
 107         if (args.surname or args.name or args.misc_name) and args.fullname:
 108             sys.stderr.write(
 109                 "Cannot search by names and full name at the same time\n")
 110             main_parser.print_help()
 111             sys.exit(1)
 112         expressions = []
 113         join_expressions.append(Book.j.authors)
 114         value = args.fullname
 115         if value:
 116             expressions.append((
 117                 CONCAT(Author.q.surname, ' ', Author.q.name, ' ',
 118                        Author.q.misc_name),
 119                 decode(value)
 120             ))
 121         conditions = mk_search_conditions(
 122             Author, search_type, case_sensitive, avalues, expressions)
 123         join_expressions.extend(conditions)
 124     evalues = {}
 125     if args.ext:
 126         evalues['name'] = args.ext
 127     if args.eid:
 128         evalues['id'] = args.eid
 129     if evalues:
 130         join_expressions.append(Book.j.extension)
 131         conditions = mk_search_conditions(
 132             Extension, search_type, case_sensitive, evalues)
 133         join_expressions.extend(conditions)
 134     gvalues = {}
 135     for column in 'name', 'title':
 136         value = getattr(args, 'g' + column)
 137         if value:
 138             gvalues[column] = decode(value)
 139     if args.gid:
 140         gvalues['id'] = args.gid
 141     if gvalues:
 142         join_expressions.append(Book.j.genres)
 143         conditions = mk_search_conditions(
 144             Genre, search_type, case_sensitive, gvalues)
 145         join_expressions.extend(conditions)
 146     lvalues = {}
 147     if args.lang:
 148         lvalues['name'] = args.lang
 149     if args.lid:
 150         lvalues['id'] = args.lid
 151     if lvalues:
 152         join_expressions.append(Book.j.language)
 153         conditions = mk_search_conditions(
 154             Language, search_type, case_sensitive, lvalues)
 155         join_expressions.extend(conditions)
 156     books = search_books(search_type, case_sensitive, values, join_expressions,
 157                          orderBy=('series', 'ser_no', 'title', '-date'),
 158                          use_filters=args.filters)
 159     if args.count:
 160         print_count(books.count())
 161         return
 162     if args.get_many:
 163         books = books[:args.get_many]
 164     elif args.get:
 165         count = books.count()
 166         if count != 1:
 167             sys.stderr.write("There must be exactly 1 book for --get; "
 168                              "(found %d).\n" % count)
 169             sys.stderr.write("Use --get-many N to download more than one "
 170                              "book.\n")
 171             sys.exit(1)
 172     count = 0
 173     for book in books:
 174         print(encode(book.title), end=' ')
 175         if args.verbose >= 1:
 176             print("(id=%d)" % book.id, end=' ')
 177         print()
 178         if args.verbose >= 1:
 179             print(" ", encode(_("Author(s)")), ":", end=' ')
 180             for author in book.authors:
 181                 print(encode(author.fullname), end=' ')
 182             print()
 183             print(" ", encode(_("Genre(s)")), ":", end=' ')
 184             for genre in book.genres:
 185                 print((encode(genre.title or genre.name)), end=' ')
 186             print()
 187             if book.series:
 188                 print(" ", encode(_("Series")), ":", end=' ')
 189                 print(encode(book.series), "(%d)" % book.ser_no)
 190
 191         if args.verbose >= 2:
 192             print(" ", encode(_("Date")), ":", book.date)
 193             print(" ", encode(_("Language")), ":", encode(book.language.name))
 194
 195         if args.verbose >= 3:
 196             print(" ", encode(_("Archive")), ":", book.archive)
 197             print(" ", encode(_("File")), ":", book.file)
 198             print(" ", encode(_("Extension")), ":",
 199                   encode(book.extension.name))
 200             print(" ", encode(_("Size")), ":",
 201                   book.size, encode(_("bytes")))
 202             print(" ", encode(_("Deleted")), ":",
 203                   encode(_(str(book.deleted))))
 204         if args.get or args.get_many:
 205             download_to = args.download_to
 206             if download_to is None:
 207                 download_to = get_config().getpath('download', 'path')
 208             download(book, download_to, args.path, args.format)
 209         count += 1
 210     print_count(count)
 211
 212
 213 def _search_extensions(case_sensitive, search_type, args):
 214     values = _get_values(args, 'name', 'id')
 215     if case_sensitive is None:
 216         case_sensitive = _guess_case_sensitivity(values)
 217     else:
 218         values = {}
 219     extensions = search_extensions(search_type, case_sensitive, values,
 220                                    orderBy='name')
 221     if args.count:
 222         print_count(extensions.count())
 223         return
 224     count = 0
 225     for ext in extensions:
 226         print(encode(ext.name),
 227               encode((u"(%s: %d)" % (_('books'), ext.count))),
 228               end=' ')
 229         if args.verbose >= 1:
 230             print("(id=%d)" % ext.id, end=' ')
 231         print()
 232         count += 1
 233     print_count(count)
 234
 235
 236 def _search_genres(case_sensitive, search_type, args):
 237     values = _get_values(args, 'name', 'title', 'id')
 238     if case_sensitive is None:
 239         case_sensitive = _guess_case_sensitivity(values)
 240     genres = search_genres(search_type, case_sensitive, values, orderBy='name')
 241     if args.count:
 242         print_count(genres.count())
 243         return
 244     count = 0
 245     for genre in genres:
 246         names = filter(None, (genre.name, genre.title))
 247         fullname = u' '.join(names)
 248         print(encode(fullname),
 249               encode((u"(%s: %d)" % (_('books'), genre.count))),
 250               end=' ')
 251         if args.verbose >= 1:
 252             print("(id=%d)" % genre.id, end=' ')
 253         print()
 254         count += 1
 255     print_count(count)
 256
 257
 258 def _search_languages(case_sensitive, search_type, args):
 259     values = _get_values(args, 'name', 'id')
 260     if case_sensitive is None:
 261         case_sensitive = _guess_case_sensitivity(values)
 262     else:
 263         values = {}
 264     languages = search_languages(search_type, case_sensitive, values,
 265                                  orderBy='name')
 266     if args.count:
 267         print_count(languages.count())
 268         return
 269     count = 0
 270     for lang in languages:
 271         print(encode(lang.name),
 272               encode((u"(%s: %d)" % (_('books'), lang.count))),
 273               end=' ')
 274         if args.verbose >= 1:
 275             print("(id=%d)" % lang.id, end=' ')
 276         print()
 277         count += 1
 278     print_count(count)
 279
 280
 281 if __name__ == '__main__':
 282     main_parser = argparse.ArgumentParser(description='Search')
 283     main_parser.add_argument('-C', '--config', help='configuration file')
 284     main_parser.add_argument('-D', '--database', help='database URI')
 285     main_parser.add_argument('-i', '--ignore-case', action='store_true',
 286                              help='ignore case '
 287                              '(default is to guess)')
 288     main_parser.add_argument('-I', '--case-sensitive', action='store_true',
 289                              help='don\'t ignore case')
 290     main_parser.add_argument('-t', '--start', action='store_true',
 291                              help='search substring at the start '
 292                              '(this is the default)')
 293     main_parser.add_argument('-s', '--substring', action='store_true',
 294                              help='search substring anywhere')
 295     main_parser.add_argument('-f', '--full', action='store_true',
 296                              help='match the entire string')
 297     main_parser.add_argument('-c', '--count', action='store_true',
 298                              help='count instead of output')
 299     main_parser.add_argument('-v', '--verbose', action='count', default=0,
 300                              help='output more details about books; '
 301                              'repeat for even more details')
 302     subparsers = main_parser.add_subparsers(help='Commands')
 303
 304     parser = subparsers.add_parser('authors', help='Search authors')
 305     parser.add_argument('-s', '--surname', help='search by surname')
 306     parser.add_argument('-n', '--name', help='search by name')
 307     parser.add_argument('-m', '--misc-name', help='search by misc. name')
 308     parser.add_argument('--id', type=int, help='search by database id')
 309     parser.add_argument('fullname', nargs='?', help='search by full name')
 310     parser.set_defaults(func=_search_authors)
 311
 312     parser = subparsers.add_parser('books', help='Search books')
 313     parser.add_argument('-t', '--title', help='search by title')
 314     parser.add_argument('-s', '--series', help='search by series')
 315     parser.add_argument('-a', '--archive', help='search by archive (zip file)')
 316     parser.add_argument('-f', '--file', help='search by file name')
 317     parser.add_argument('--id', type=int, help='search by database id')
 318     parser.add_argument('--surname', help='search by author\'s surname')
 319     parser.add_argument('--name', help='search by author\'s name')
 320     parser.add_argument('--misc-name', help='search by author\'s misc. name')
 321     parser.add_argument('--fullname', help='search by author\'s full name')
 322     parser.add_argument('--aid', type=int, help='search by author\'s id')
 323     parser.add_argument('-e', '--ext', help='search by file extension')
 324     parser.add_argument('--eid', type=int, help='search by extension\'s id')
 325     parser.add_argument('--gname', help='search by genre\'s name')
 326     parser.add_argument('--gtitle', help='search by genre\'s title')
 327     parser.add_argument('--gid', type=int, help='search by genre\'s id')
 328     parser.add_argument('-l', '--lang', help='search by language')
 329     parser.add_argument('--lid', type=int, help='search by language\'s id')
 330     parser.add_argument('--filters', action='store_true',
 331                         help='use filters from config')
 332     parser.add_argument('-P', '--path', help='path to the library archives')
 333     parser.add_argument('--download-to', nargs='?',
 334                         const=None, default=os.path.curdir,
 335                         help='download directory')
 336     parser.add_argument('-F', '--format',
 337                         help='download format, default is %%f')
 338     parser.add_argument('--get', action='store_true',
 339                         help='download exactly one book')
 340     parser.add_argument('--get-many', type=int,
 341                         help='download at most this many books')
 342     parser.set_defaults(func=_search_books)
 343
 344     parser = subparsers.add_parser('ext', help='Search extensions')
 345     parser.add_argument('name', nargs='?', help='search by name')
 346     parser.add_argument('--id', type=int, help='search by database id')
 347     parser.set_defaults(func=_search_extensions)
 348
 349     parser = subparsers.add_parser('genres', help='Search genres')
 350     parser.add_argument('-n', '--name', help='search by name')
 351     parser.add_argument('-t', '--title', help='search by title')
 352     parser.add_argument('--id', type=int, help='search by database id')
 353     parser.set_defaults(func=_search_genres)
 354
 355     parser = subparsers.add_parser('lang', help='Search languages')
 356     parser.add_argument('name', nargs='?', help='search by name')
 357     parser.add_argument('--id', type=int, help='search by database id')
 358     parser.set_defaults(func=_search_languages)
 359
 360     args = main_parser.parse_args()
 361
 362     if args.config:
 363         get_config(args.config)  # Get and cache config file
 364
 365     if args.case_sensitive:
 366         if args.ignore_case:
 367             sys.stderr.write(
 368                 "Cannot search case sensitive and case insensitive "
 369                 "at the same time\n")
 370             main_parser.print_help()
 371             sys.exit(1)
 372         else:
 373             case_sensitive = True
 374     elif args.ignore_case:
 375         case_sensitive = False
 376     else:
 377         case_sensitive = None  # guess case sensitivity
 378
 379     if int(args.start) + int(args.substring) + int(args.full) > 1:
 380         sys.stderr.write(
 381             "Cannot search from start, substring and full "
 382             "at the same time\n")
 383         main_parser.print_help()
 384         sys.exit(1)
 385     if args.start:
 386         search_type = 'start'
 387     elif args.substring:
 388         search_type = 'substring'
 389     elif args.full:
 390         search_type = 'full'
 391     else:
 392         search_type = 'start'
 393
 394     open_db(args.database)
 395     args.func(case_sensitive, search_type, args)