scripts/ml-search.py

   1 #! /usr/bin/env python
   2
   3 from __future__ import print_function
   4 import argparse
   5 import os
   6 import sys
   7 from sqlobject.sqlbuilder import CONCAT
   8
   9 from m_lib.defenc import default_encoding
  10 from m_librarian.config import get_config
  11 from m_librarian.db import Author, Book, Extension, Genre, Language, open_db
  12 from m_librarian.download import download
  13 from m_librarian.search import mk_search_conditions, \
  14     search_authors, search_books, \
  15     search_extensions, search_genres, search_languages
  16
  17 from m_librarian.translations import translations
  18 _ = getattr(translations, 'ugettext', None) or translations.gettext
  19
  20
  21 def decode(value):
  22     if isinstance(value, bytes):
  23         return value.decode(default_encoding)
  24     return value
  25
  26
  27 def encode(value):
  28     if bytes is str and not isinstance(value, bytes):
  29         return value.encode(default_encoding, errors='replace')
  30     return value
  31
  32
  33 def _get_values(args, *columns):
  34     values = {}
  35     for column in columns:
  36         value = getattr(args, column)
  37         if value:
  38             value = decode(value)
  39             values[column] = value
  40     return values
  41
  42
  43 def _guess_case_sensitivity(values):
  44     for value in values.values():
  45         if not value.islower():
  46             return True
  47     return False
  48
  49
  50 def print_count(count):
  51     print(encode(_("Found")), ":", count)
  52
  53
  54 def _search_authors(case_sensitive, search_type, args):
  55     if (args.surname or args.name or args.misc_name) and args.fullname:
  56         sys.stderr.write(
  57             "Cannot search by names and full name at the same time\n")
  58         main_parser.print_help()
  59         sys.exit(1)
  60     expressions = []
  61     values = _get_values(args, 'surname', 'name', 'misc_name', 'id')
  62     if not values:
  63         value = args.fullname
  64         if value:
  65             expressions.append((
  66                 CONCAT(Author.q.surname, ' ', Author.q.name, ' ',
  67                        Author.q.misc_name),
  68                 decode(value)
  69             ))
  70     if case_sensitive is None:
  71         case_sensitive = _guess_case_sensitivity(values)
  72     authors = search_authors(search_type, case_sensitive, values, expressions,
  73                              orderBy=('surname', 'name', 'misc_name'))
  74     if args.count:
  75         print_count(authors.count())
  76         return
  77     count = 0
  78     for author in authors:
  79         print(encode(author.fullname),
  80               encode((u"(%s: %d)" % (_('books'), author.count))), end=' ')
  81         if args.verbose >= 1:
  82             print("(id=%d)" % author.id, end=' ')
  83         print()
  84         count += 1
  85     print_count(count)
  86
  87
  88 def _search_books(case_sensitive, search_type, args):
  89     if args.get and args.get_many:
  90         sys.stderr.write(
  91             "Cannot get one book and many books at the same time\n")
  92         main_parser.print_help()
  93         sys.exit(1)
  94     join_expressions = []
  95     values = _get_values(args, 'title', 'series', 'archive', 'file', 'id')
  96     if case_sensitive is None:
  97         test_values = values.copy()
  98         test_values.update(_get_values(args, 'surname', 'name', 'misc_name',
  99                                        'fullname', 'ext', 'gname', 'gtitle',
 100                                        'lang'))
 101         case_sensitive = _guess_case_sensitivity(test_values)
 102     avalues = _get_values(args, 'surname', 'name', 'misc_name', 'fullname')
 103     if args.aid:
 104         avalues['id'] = args.aid
 105     if avalues:
 106         if (args.surname or args.name or args.misc_name) and args.fullname:
 107             sys.stderr.write(
 108                 "Cannot search by names and full name at the same time\n")
 109             main_parser.print_help()
 110             sys.exit(1)
 111         expressions = []
 112         join_expressions.append(Book.j.authors)
 113         value = args.fullname
 114         if value:
 115             expressions.append((
 116                 CONCAT(Author.q.surname, ' ', Author.q.name, ' ',
 117                        Author.q.misc_name),
 118                 decode(value)
 119             ))
 120         conditions = mk_search_conditions(
 121             Author, search_type, case_sensitive, avalues, expressions)
 122         join_expressions.extend(conditions)
 123     evalues = {}
 124     if args.ext:
 125         evalues['name'] = args.ext
 126     if args.eid:
 127         evalues['id'] = args.eid
 128     if evalues:
 129         join_expressions.append(Book.j.extension)
 130         conditions = mk_search_conditions(
 131             Extension, search_type, case_sensitive, evalues)
 132         join_expressions.extend(conditions)
 133     gvalues = {}
 134     for column in 'name', 'title':
 135         value = getattr(args, 'g' + column)
 136         if value:
 137             gvalues[column] = decode(value)
 138     if args.gid:
 139         gvalues['id'] = args.gid
 140     if gvalues:
 141         join_expressions.append(Book.j.genres)
 142         conditions = mk_search_conditions(
 143             Genre, search_type, case_sensitive, gvalues)
 144         join_expressions.extend(conditions)
 145     lvalues = {}
 146     if args.lang:
 147         lvalues['name'] = args.lang
 148     if args.lid:
 149         lvalues['id'] = args.lid
 150     if lvalues:
 151         join_expressions.append(Book.j.language)
 152         conditions = mk_search_conditions(
 153             Language, search_type, case_sensitive, lvalues)
 154         join_expressions.extend(conditions)
 155     books = search_books(search_type, case_sensitive, values, join_expressions,
 156                          orderBy=('series', 'ser_no', 'title'))
 157     if args.count:
 158         print_count(books.count())
 159         return
 160     if args.get_many:
 161         books = books[:args.get_many]
 162     elif args.get:
 163         count = books.count()
 164         if count != 1:
 165             sys.stderr.write("There must be exactly 1 book for --get; "
 166                              "(found %d).\n" % count)
 167             sys.stderr.write("Use --get-many N to download more than one "
 168                              "book.\n")
 169             sys.exit(1)
 170     count = 0
 171     for book in books:
 172         print(encode(book.title), end=' ')
 173         if args.verbose >= 1:
 174             print("(id=%d)" % book.id, end=' ')
 175         print()
 176         if args.verbose >= 1:
 177             print(" ", encode(_("Author(s)")), ":", end=' ')
 178             for author in book.authors:
 179                 print(encode(author.fullname), end=' ')
 180             print()
 181             print(" ", encode(_("Genre(s)")), ":", end=' ')
 182             for genre in book.genres:
 183                 print((encode(genre.title or genre.name)), end=' ')
 184             print()
 185             if book.series:
 186                 print(" ", encode(_("Series")), ":", end=' ')
 187                 print(encode(book.series), "(%d)" % book.ser_no)
 188
 189         if args.verbose >= 2:
 190             print(" ", encode(_("Date")), ":", book.date)
 191             print(" ", encode(_("Language")), ":", encode(book.language.name))
 192
 193         if args.verbose >= 3:
 194             print(" ", encode(_("Archive")), ":", book.archive)
 195             print(" ", encode(_("File")), ":", book.file)
 196             print(" ", encode(_("Extension")), ":",
 197                   encode(book.extension.name))
 198             print(" ", encode(_("Size")), ":",
 199                   book.size, encode(_("bytes")))
 200             print(" ", encode(_("Deleted")), ":",
 201                   encode(_(str(book.deleted))))
 202         if args.get or args.get_many:
 203             download(book, os.path.curdir, args.path, args.format)
 204         count += 1
 205     print_count(count)
 206
 207
 208 def _search_extensions(case_sensitive, search_type, args):
 209     values = _get_values(args, 'name', 'id')
 210     if case_sensitive is None:
 211         case_sensitive = _guess_case_sensitivity(values)
 212     else:
 213         values = {}
 214     extensions = search_extensions(search_type, case_sensitive, values,
 215                                    orderBy='name')
 216     if args.count:
 217         print_count(extensions.count())
 218         return
 219     count = 0
 220     for ext in extensions:
 221         print(encode(ext.name),
 222               encode((u"(%s: %d)" % (_('books'), ext.count))),
 223               end=' ')
 224         if args.verbose >= 1:
 225             print("(id=%d)" % ext.id, end=' ')
 226         print()
 227         count += 1
 228     print_count(count)
 229
 230
 231 def _search_genres(case_sensitive, search_type, args):
 232     values = _get_values(args, 'name', 'title', 'id')
 233     if case_sensitive is None:
 234         case_sensitive = _guess_case_sensitivity(values)
 235     genres = search_genres(search_type, case_sensitive, values, orderBy='name')
 236     if args.count:
 237         print_count(genres.count())
 238         return
 239     count = 0
 240     for genre in genres:
 241         names = filter(None, (genre.name, genre.title))
 242         fullname = u' '.join(names)
 243         print(encode(fullname),
 244               encode((u"(%s: %d)" % (_('books'), genre.count))),
 245               end=' ')
 246         if args.verbose >= 1:
 247             print("(id=%d)" % genre.id, end=' ')
 248         print()
 249         count += 1
 250     print_count(count)
 251
 252
 253 def _search_languages(case_sensitive, search_type, args):
 254     values = _get_values(args, 'name', 'id')
 255     if case_sensitive is None:
 256         case_sensitive = _guess_case_sensitivity(values)
 257     else:
 258         values = {}
 259     languages = search_languages(search_type, case_sensitive, values,
 260                                  orderBy='name')
 261     if args.count:
 262         print_count(languages.count())
 263         return
 264     count = 0
 265     for lang in languages:
 266         print(encode(lang.name),
 267               encode((u"(%s: %d)" % (_('books'), lang.count))),
 268               end=' ')
 269         if args.verbose >= 1:
 270             print("(id=%d)" % lang.id, end=' ')
 271         print()
 272         count += 1
 273     print_count(count)
 274
 275
 276 if __name__ == '__main__':
 277     main_parser = argparse.ArgumentParser(description='Search')
 278     main_parser.add_argument('-C', '--config', help='configuration file')
 279     main_parser.add_argument('-D', '--database', help='database URI')
 280     main_parser.add_argument('-i', '--ignore-case', action='store_true',
 281                              help='ignore case '
 282                              '(default is to guess)')
 283     main_parser.add_argument('-I', '--case-sensitive', action='store_true',
 284                              help='don\'t ignore case')
 285     main_parser.add_argument('-t', '--start', action='store_true',
 286                              help='search substring at the start '
 287                              '(this is the default)')
 288     main_parser.add_argument('-s', '--substring', action='store_true',
 289                              help='search substring anywhere')
 290     main_parser.add_argument('-f', '--full', action='store_true',
 291                              help='match the entire string')
 292     main_parser.add_argument('-c', '--count', action='store_true',
 293                              help='count instead of output')
 294     main_parser.add_argument('-v', '--verbose', action='count', default=0,
 295                              help='output more details about books; '
 296                              'repeat for even more details')
 297     subparsers = main_parser.add_subparsers(help='Commands')
 298
 299     parser = subparsers.add_parser('authors', help='Search authors')
 300     parser.add_argument('-s', '--surname', help='search by surname')
 301     parser.add_argument('-n', '--name', help='search by name')
 302     parser.add_argument('-m', '--misc-name', help='search by misc. name')
 303     parser.add_argument('--id', type=int, help='search by database id')
 304     parser.add_argument('fullname', nargs='?', help='search by full name')
 305     parser.set_defaults(func=_search_authors)
 306
 307     parser = subparsers.add_parser('books', help='Search books')
 308     parser.add_argument('-t', '--title', help='search by title')
 309     parser.add_argument('-s', '--series', help='search by series')
 310     parser.add_argument('-a', '--archive', help='search by archive (zip file)')
 311     parser.add_argument('-f', '--file', help='search by file name')
 312     parser.add_argument('--id', type=int, help='search by database id')
 313     parser.add_argument('--surname', help='search by author\'s surname')
 314     parser.add_argument('--name', help='search by author\'s name')
 315     parser.add_argument('--misc-name', help='search by author\'s misc. name')
 316     parser.add_argument('--fullname', help='search by author\'s full name')
 317     parser.add_argument('--aid', type=int, help='search by author\'s id')
 318     parser.add_argument('-e', '--ext', help='search by file extension')
 319     parser.add_argument('--eid', type=int, help='search by extension\'s id')
 320     parser.add_argument('--gname', help='search by genre\'s name')
 321     parser.add_argument('--gtitle', help='search by genre\'s title')
 322     parser.add_argument('--gid', type=int, help='search by genre\'s id')
 323     parser.add_argument('-l', '--lang', help='search by language')
 324     parser.add_argument('--lid', type=int, help='search by language\'s id')
 325     parser.add_argument('-P', '--path', help='path to the library archives')
 326     parser.add_argument('-F', '--format',
 327                         help='download format, default is %%f')
 328     parser.add_argument('--get', action='store_true',
 329                         help='download exactly one book')
 330     parser.add_argument('--get-many', type=int,
 331                         help='download at most this many books')
 332     parser.set_defaults(func=_search_books)
 333
 334     parser = subparsers.add_parser('ext', help='Search extensions')
 335     parser.add_argument('name', nargs='?', help='search by name')
 336     parser.add_argument('--id', type=int, help='search by database id')
 337     parser.set_defaults(func=_search_extensions)
 338
 339     parser = subparsers.add_parser('genres', help='Search genres')
 340     parser.add_argument('-n', '--name', help='search by name')
 341     parser.add_argument('-t', '--title', help='search by title')
 342     parser.add_argument('--id', type=int, help='search by database id')
 343     parser.set_defaults(func=_search_genres)
 344
 345     parser = subparsers.add_parser('lang', help='Search languages')
 346     parser.add_argument('name', nargs='?', help='search by name')
 347     parser.add_argument('--id', type=int, help='search by database id')
 348     parser.set_defaults(func=_search_languages)
 349
 350     args = main_parser.parse_args()
 351
 352     if args.config:
 353         get_config(args.config)  # Get and cache config file
 354
 355     if args.case_sensitive:
 356         if args.ignore_case:
 357             sys.stderr.write(
 358                 "Cannot search case sensitive and case insensitive "
 359                 "at the same time\n")
 360             main_parser.print_help()
 361             sys.exit(1)
 362         else:
 363             case_sensitive = True
 364     elif args.ignore_case:
 365         case_sensitive = False
 366     else:
 367         case_sensitive = None  # guess case sensitivity
 368
 369     if int(args.start) + int(args.substring) + int(args.full) > 1:
 370         sys.stderr.write(
 371             "Cannot search case sensitive and case insensitive "
 372             "at the same time\n")
 373         main_parser.print_help()
 374         sys.exit(1)
 375     if args.start:
 376         search_type = 'start'
 377     elif args.substring:
 378         search_type = 'substring'
 379     elif args.full:
 380         search_type = 'full'
 381     else:
 382         search_type = 'start'
 383
 384     open_db(args.database)
 385     args.func(case_sensitive, search_type, args)