scripts/ml-search.py

   1 #! /usr/bin/env python
   2
   3 from __future__ import print_function
   4 import argparse
   5 try:
   6     from configparser import NoSectionError, NoOptionError
   7 except ImportError:  # Python 2
   8     from ConfigParser import NoSectionError, NoOptionError
   9 import os
  10 import sys
  11 from sqlobject.sqlbuilder import CONCAT
  12
  13 from m_lib.defenc import default_encoding
  14 from m_librarian.config import get_config
  15 from m_librarian.db import Author, Book, Extension, Genre, Language, open_db
  16 from m_librarian.download import download
  17 from m_librarian.search import mk_search_conditions, \
  18     search_authors, search_books, \
  19     search_extensions, search_genres, search_languages
  20
  21 from m_librarian.translations import translations
  22 _ = getattr(translations, 'ugettext', None) or translations.gettext
  23
  24
  25 def decode(value):
  26     if isinstance(value, bytes):
  27         return value.decode(default_encoding)
  28     return value
  29
  30
  31 def encode(value):
  32     if bytes is str and not isinstance(value, bytes):
  33         return value.encode(default_encoding, errors='replace')
  34     return value
  35
  36
  37 def _get_values(args, *columns):
  38     values = {}
  39     for column in columns:
  40         value = getattr(args, column)
  41         if value:
  42             value = decode(value)
  43             values[column] = value
  44     return values
  45
  46
  47 def _guess_case_sensitivity(values):
  48     for value in values.values():
  49         if not value.islower():
  50             return True
  51     return False
  52
  53
  54 def print_count(count):
  55     print(encode(_("Found")), ":", count)
  56
  57
  58 def _search_authors(case_sensitive, search_type, args):
  59     if (args.surname or args.name or args.misc_name) and args.fullname:
  60         sys.stderr.write(
  61             "Cannot search by names and full name at the same time\n")
  62         main_parser.print_help()
  63         sys.exit(1)
  64     expressions = []
  65     values = _get_values(args, 'surname', 'name', 'misc_name', 'id')
  66     if not values:
  67         value = args.fullname
  68         if value:
  69             expressions.append((
  70                 CONCAT(Author.q.surname, ' ', Author.q.name, ' ',
  71                        Author.q.misc_name),
  72                 decode(value)
  73             ))
  74     if case_sensitive is None:
  75         case_sensitive = _guess_case_sensitivity(values)
  76     authors = search_authors(search_type, case_sensitive, values, expressions,
  77                              orderBy=('surname', 'name', 'misc_name'))
  78     if args.count:
  79         print_count(authors.count())
  80         return
  81     count = 0
  82     for author in authors:
  83         print(encode(author.fullname),
  84               encode((u"(%s: %d)" % (_('books'), author.count))), end=' ')
  85         if args.verbose >= 1:
  86             print("(id=%d)" % author.id, end=' ')
  87         print()
  88         count += 1
  89     print_count(count)
  90
  91
  92 def _search_books(case_sensitive, search_type, args):
  93     if args.get and args.get_many:
  94         sys.stderr.write(
  95             "Cannot get one book and many books at the same time\n")
  96         main_parser.print_help()
  97         sys.exit(1)
  98     join_expressions = []
  99     values = _get_values(args, 'title', 'series', 'archive', 'file', 'id')
 100     if case_sensitive is None:
 101         test_values = values.copy()
 102         test_values.update(_get_values(args, 'surname', 'name', 'misc_name',
 103                                        'fullname', 'ext', 'gname', 'gtitle',
 104                                        'lang'))
 105         case_sensitive = _guess_case_sensitivity(test_values)
 106     avalues = _get_values(args, 'surname', 'name', 'misc_name', 'fullname')
 107     if args.aid:
 108         avalues['id'] = args.aid
 109     if avalues:
 110         if (args.surname or args.name or args.misc_name) and args.fullname:
 111             sys.stderr.write(
 112                 "Cannot search by names and full name at the same time\n")
 113             main_parser.print_help()
 114             sys.exit(1)
 115         expressions = []
 116         join_expressions.append(Book.j.authors)
 117         value = args.fullname
 118         if value:
 119             expressions.append((
 120                 CONCAT(Author.q.surname, ' ', Author.q.name, ' ',
 121                        Author.q.misc_name),
 122                 decode(value)
 123             ))
 124         conditions = mk_search_conditions(
 125             Author, search_type, case_sensitive, avalues, expressions)
 126         join_expressions.extend(conditions)
 127     evalues = {}
 128     if args.ext:
 129         evalues['name'] = args.ext
 130     if args.eid:
 131         evalues['id'] = args.eid
 132     if evalues:
 133         join_expressions.append(Book.j.extension)
 134         conditions = mk_search_conditions(
 135             Extension, search_type, case_sensitive, evalues)
 136         join_expressions.extend(conditions)
 137     gvalues = {}
 138     for column in 'name', 'title':
 139         value = getattr(args, 'g' + column)
 140         if value:
 141             gvalues[column] = decode(value)
 142     if args.gid:
 143         gvalues['id'] = args.gid
 144     if gvalues:
 145         join_expressions.append(Book.j.genres)
 146         conditions = mk_search_conditions(
 147             Genre, search_type, case_sensitive, gvalues)
 148         join_expressions.extend(conditions)
 149     lvalues = {}
 150     if args.lang:
 151         lvalues['name'] = args.lang
 152     if args.lid:
 153         lvalues['id'] = args.lid
 154     if lvalues:
 155         join_expressions.append(Book.j.language)
 156         conditions = mk_search_conditions(
 157             Language, search_type, case_sensitive, lvalues)
 158         join_expressions.extend(conditions)
 159     books = search_books(search_type, case_sensitive, values, join_expressions,
 160                          orderBy=('series', 'ser_no', 'title'),
 161                          use_filters=args.filters)
 162     if args.count:
 163         print_count(books.count())
 164         return
 165     if args.get_many:
 166         books = books[:args.get_many]
 167     elif args.get:
 168         count = books.count()
 169         if count != 1:
 170             sys.stderr.write("There must be exactly 1 book for --get; "
 171                              "(found %d).\n" % count)
 172             sys.stderr.write("Use --get-many N to download more than one "
 173                              "book.\n")
 174             sys.exit(1)
 175     count = 0
 176     for book in books:
 177         print(encode(book.title), end=' ')
 178         if args.verbose >= 1:
 179             print("(id=%d)" % book.id, end=' ')
 180         print()
 181         if args.verbose >= 1:
 182             print(" ", encode(_("Author(s)")), ":", end=' ')
 183             for author in book.authors:
 184                 print(encode(author.fullname), end=' ')
 185             print()
 186             print(" ", encode(_("Genre(s)")), ":", end=' ')
 187             for genre in book.genres:
 188                 print((encode(genre.title or genre.name)), end=' ')
 189             print()
 190             if book.series:
 191                 print(" ", encode(_("Series")), ":", end=' ')
 192                 print(encode(book.series), "(%d)" % book.ser_no)
 193
 194         if args.verbose >= 2:
 195             print(" ", encode(_("Date")), ":", book.date)
 196             print(" ", encode(_("Language")), ":", encode(book.language.name))
 197
 198         if args.verbose >= 3:
 199             print(" ", encode(_("Archive")), ":", book.archive)
 200             print(" ", encode(_("File")), ":", book.file)
 201             print(" ", encode(_("Extension")), ":",
 202                   encode(book.extension.name))
 203             print(" ", encode(_("Size")), ":",
 204                   book.size, encode(_("bytes")))
 205             print(" ", encode(_("Deleted")), ":",
 206                   encode(_(str(book.deleted))))
 207         if args.get or args.get_many:
 208             download_to = args.download_to
 209             if download_to is None:
 210                 try:
 211                     download_to = get_config().get('download', 'path')
 212                 except (NoSectionError, NoOptionError):
 213                     download_to = os.path.curdir
 214             download(book, download_to, args.path, args.format)
 215         count += 1
 216     print_count(count)
 217
 218
 219 def _search_extensions(case_sensitive, search_type, args):
 220     values = _get_values(args, 'name', 'id')
 221     if case_sensitive is None:
 222         case_sensitive = _guess_case_sensitivity(values)
 223     else:
 224         values = {}
 225     extensions = search_extensions(search_type, case_sensitive, values,
 226                                    orderBy='name')
 227     if args.count:
 228         print_count(extensions.count())
 229         return
 230     count = 0
 231     for ext in extensions:
 232         print(encode(ext.name),
 233               encode((u"(%s: %d)" % (_('books'), ext.count))),
 234               end=' ')
 235         if args.verbose >= 1:
 236             print("(id=%d)" % ext.id, end=' ')
 237         print()
 238         count += 1
 239     print_count(count)
 240
 241
 242 def _search_genres(case_sensitive, search_type, args):
 243     values = _get_values(args, 'name', 'title', 'id')
 244     if case_sensitive is None:
 245         case_sensitive = _guess_case_sensitivity(values)
 246     genres = search_genres(search_type, case_sensitive, values, orderBy='name')
 247     if args.count:
 248         print_count(genres.count())
 249         return
 250     count = 0
 251     for genre in genres:
 252         names = filter(None, (genre.name, genre.title))
 253         fullname = u' '.join(names)
 254         print(encode(fullname),
 255               encode((u"(%s: %d)" % (_('books'), genre.count))),
 256               end=' ')
 257         if args.verbose >= 1:
 258             print("(id=%d)" % genre.id, end=' ')
 259         print()
 260         count += 1
 261     print_count(count)
 262
 263
 264 def _search_languages(case_sensitive, search_type, args):
 265     values = _get_values(args, 'name', 'id')
 266     if case_sensitive is None:
 267         case_sensitive = _guess_case_sensitivity(values)
 268     else:
 269         values = {}
 270     languages = search_languages(search_type, case_sensitive, values,
 271                                  orderBy='name')
 272     if args.count:
 273         print_count(languages.count())
 274         return
 275     count = 0
 276     for lang in languages:
 277         print(encode(lang.name),
 278               encode((u"(%s: %d)" % (_('books'), lang.count))),
 279               end=' ')
 280         if args.verbose >= 1:
 281             print("(id=%d)" % lang.id, end=' ')
 282         print()
 283         count += 1
 284     print_count(count)
 285
 286
 287 if __name__ == '__main__':
 288     main_parser = argparse.ArgumentParser(description='Search')
 289     main_parser.add_argument('-C', '--config', help='configuration file')
 290     main_parser.add_argument('-D', '--database', help='database URI')
 291     main_parser.add_argument('-i', '--ignore-case', action='store_true',
 292                              help='ignore case '
 293                              '(default is to guess)')
 294     main_parser.add_argument('-I', '--case-sensitive', action='store_true',
 295                              help='don\'t ignore case')
 296     main_parser.add_argument('-t', '--start', action='store_true',
 297                              help='search substring at the start '
 298                              '(this is the default)')
 299     main_parser.add_argument('-s', '--substring', action='store_true',
 300                              help='search substring anywhere')
 301     main_parser.add_argument('-f', '--full', action='store_true',
 302                              help='match the entire string')
 303     main_parser.add_argument('-c', '--count', action='store_true',
 304                              help='count instead of output')
 305     main_parser.add_argument('-v', '--verbose', action='count', default=0,
 306                              help='output more details about books; '
 307                              'repeat for even more details')
 308     subparsers = main_parser.add_subparsers(help='Commands')
 309
 310     parser = subparsers.add_parser('authors', help='Search authors')
 311     parser.add_argument('-s', '--surname', help='search by surname')
 312     parser.add_argument('-n', '--name', help='search by name')
 313     parser.add_argument('-m', '--misc-name', help='search by misc. name')
 314     parser.add_argument('--id', type=int, help='search by database id')
 315     parser.add_argument('fullname', nargs='?', help='search by full name')
 316     parser.set_defaults(func=_search_authors)
 317
 318     parser = subparsers.add_parser('books', help='Search books')
 319     parser.add_argument('-t', '--title', help='search by title')
 320     parser.add_argument('-s', '--series', help='search by series')
 321     parser.add_argument('-a', '--archive', help='search by archive (zip file)')
 322     parser.add_argument('-f', '--file', help='search by file name')
 323     parser.add_argument('--id', type=int, help='search by database id')
 324     parser.add_argument('--surname', help='search by author\'s surname')
 325     parser.add_argument('--name', help='search by author\'s name')
 326     parser.add_argument('--misc-name', help='search by author\'s misc. name')
 327     parser.add_argument('--fullname', help='search by author\'s full name')
 328     parser.add_argument('--aid', type=int, help='search by author\'s id')
 329     parser.add_argument('-e', '--ext', help='search by file extension')
 330     parser.add_argument('--eid', type=int, help='search by extension\'s id')
 331     parser.add_argument('--gname', help='search by genre\'s name')
 332     parser.add_argument('--gtitle', help='search by genre\'s title')
 333     parser.add_argument('--gid', type=int, help='search by genre\'s id')
 334     parser.add_argument('-l', '--lang', help='search by language')
 335     parser.add_argument('--lid', type=int, help='search by language\'s id')
 336     parser.add_argument('--filters', action='store_true',
 337                         help='use filters from config')
 338     parser.add_argument('-P', '--path', help='path to the library archives')
 339     parser.add_argument('--download-to', nargs='?',
 340                         const=None, default=os.path.curdir,
 341                         help='download directory')
 342     parser.add_argument('-F', '--format',
 343                         help='download format, default is %%f')
 344     parser.add_argument('--get', action='store_true',
 345                         help='download exactly one book')
 346     parser.add_argument('--get-many', type=int,
 347                         help='download at most this many books')
 348     parser.set_defaults(func=_search_books)
 349
 350     parser = subparsers.add_parser('ext', help='Search extensions')
 351     parser.add_argument('name', nargs='?', help='search by name')
 352     parser.add_argument('--id', type=int, help='search by database id')
 353     parser.set_defaults(func=_search_extensions)
 354
 355     parser = subparsers.add_parser('genres', help='Search genres')
 356     parser.add_argument('-n', '--name', help='search by name')
 357     parser.add_argument('-t', '--title', help='search by title')
 358     parser.add_argument('--id', type=int, help='search by database id')
 359     parser.set_defaults(func=_search_genres)
 360
 361     parser = subparsers.add_parser('lang', help='Search languages')
 362     parser.add_argument('name', nargs='?', help='search by name')
 363     parser.add_argument('--id', type=int, help='search by database id')
 364     parser.set_defaults(func=_search_languages)
 365
 366     args = main_parser.parse_args()
 367
 368     if args.config:
 369         get_config(args.config)  # Get and cache config file
 370
 371     if args.case_sensitive:
 372         if args.ignore_case:
 373             sys.stderr.write(
 374                 "Cannot search case sensitive and case insensitive "
 375                 "at the same time\n")
 376             main_parser.print_help()
 377             sys.exit(1)
 378         else:
 379             case_sensitive = True
 380     elif args.ignore_case:
 381         case_sensitive = False
 382     else:
 383         case_sensitive = None  # guess case sensitivity
 384
 385     if int(args.start) + int(args.substring) + int(args.full) > 1:
 386         sys.stderr.write(
 387             "Cannot search case sensitive and case insensitive "
 388             "at the same time\n")
 389         main_parser.print_help()
 390         sys.exit(1)
 391     if args.start:
 392         search_type = 'start'
 393     elif args.substring:
 394         search_type = 'substring'
 395     elif args.full:
 396         search_type = 'full'
 397     else:
 398         search_type = 'start'
 399
 400     open_db(args.database)
 401     args.func(case_sensitive, search_type, args)