scripts/ml-search.py

   1 #! /usr/bin/env python
   2
   3 from __future__ import print_function
   4 import argparse
   5 try:
   6     from configparser import NoSectionError, NoOptionError
   7 except ImportError:  # Python 2
   8     from ConfigParser import NoSectionError, NoOptionError
   9 import os
  10 import sys
  11 from sqlobject.sqlbuilder import CONCAT
  12
  13 from m_lib.defenc import default_encoding
  14 from m_librarian.config import get_config
  15 from m_librarian.db import Author, Book, Extension, Genre, Language, open_db
  16 from m_librarian.download import download
  17 from m_librarian.search import mk_search_conditions, \
  18     search_authors, search_books, \
  19     search_extensions, search_genres, search_languages
  20
  21 from m_librarian.translations import translations
  22 _ = getattr(translations, 'ugettext', None) or translations.gettext
  23
  24
  25 def decode(value):
  26     if isinstance(value, bytes):
  27         return value.decode(default_encoding)
  28     return value
  29
  30
  31 def encode(value):
  32     if bytes is str and not isinstance(value, bytes):
  33         return value.encode(default_encoding, errors='replace')
  34     return value
  35
  36
  37 def _get_values(args, *columns):
  38     values = {}
  39     for column in columns:
  40         value = getattr(args, column)
  41         if value:
  42             value = decode(value)
  43             values[column] = value
  44     return values
  45
  46
  47 def _guess_case_sensitivity(values):
  48     for value in values.values():
  49         if not value.islower():
  50             return True
  51     return False
  52
  53
  54 def print_count(count):
  55     print(encode(_("Found")), ":", count)
  56
  57
  58 def _search_authors(case_sensitive, search_type, args):
  59     if (args.surname or args.name or args.misc_name) and args.fullname:
  60         sys.stderr.write(
  61             "Cannot search by names and full name at the same time\n")
  62         main_parser.print_help()
  63         sys.exit(1)
  64     expressions = []
  65     values = _get_values(args, 'surname', 'name', 'misc_name', 'id')
  66     if not values:
  67         value = args.fullname
  68         if value:
  69             expressions.append((
  70                 CONCAT(Author.q.surname, ' ', Author.q.name, ' ',
  71                        Author.q.misc_name),
  72                 decode(value)
  73             ))
  74     if case_sensitive is None:
  75         case_sensitive = _guess_case_sensitivity(values)
  76     authors = search_authors(search_type, case_sensitive, values, expressions,
  77                              orderBy=('surname', 'name', 'misc_name'))
  78     if args.count:
  79         print_count(authors.count())
  80         return
  81     count = 0
  82     for author in authors:
  83         print(encode(author.fullname),
  84               encode((u"(%s: %d)" % (_('books'), author.count))), end=' ')
  85         if args.verbose >= 1:
  86             print("(id=%d)" % author.id, end=' ')
  87         print()
  88         count += 1
  89     print_count(count)
  90
  91
  92 def _search_books(case_sensitive, search_type, args):
  93     if args.get and args.get_many:
  94         sys.stderr.write(
  95             "Cannot get one book and many books at the same time\n")
  96         main_parser.print_help()
  97         sys.exit(1)
  98     join_expressions = []
  99     values = _get_values(args, 'title', 'series', 'archive', 'file', 'id')
 100     if case_sensitive is None:
 101         test_values = values.copy()
 102         test_values.update(_get_values(args, 'surname', 'name', 'misc_name',
 103                                        'fullname', 'ext', 'gname', 'gtitle',
 104                                        'lang'))
 105         case_sensitive = _guess_case_sensitivity(test_values)
 106     avalues = _get_values(args, 'surname', 'name', 'misc_name', 'fullname')
 107     if args.aid:
 108         avalues['id'] = args.aid
 109     if avalues:
 110         if (args.surname or args.name or args.misc_name) and args.fullname:
 111             sys.stderr.write(
 112                 "Cannot search by names and full name at the same time\n")
 113             main_parser.print_help()
 114             sys.exit(1)
 115         expressions = []
 116         join_expressions.append(Book.j.authors)
 117         value = args.fullname
 118         if value:
 119             expressions.append((
 120                 CONCAT(Author.q.surname, ' ', Author.q.name, ' ',
 121                        Author.q.misc_name),
 122                 decode(value)
 123             ))
 124         conditions = mk_search_conditions(
 125             Author, search_type, case_sensitive, avalues, expressions)
 126         join_expressions.extend(conditions)
 127     evalues = {}
 128     if args.ext:
 129         evalues['name'] = args.ext
 130     if args.eid:
 131         evalues['id'] = args.eid
 132     if evalues:
 133         join_expressions.append(Book.j.extension)
 134         conditions = mk_search_conditions(
 135             Extension, search_type, case_sensitive, evalues)
 136         join_expressions.extend(conditions)
 137     gvalues = {}
 138     for column in 'name', 'title':
 139         value = getattr(args, 'g' + column)
 140         if value:
 141             gvalues[column] = decode(value)
 142     if args.gid:
 143         gvalues['id'] = args.gid
 144     if gvalues:
 145         join_expressions.append(Book.j.genres)
 146         conditions = mk_search_conditions(
 147             Genre, search_type, case_sensitive, gvalues)
 148         join_expressions.extend(conditions)
 149     lvalues = {}
 150     if args.lang:
 151         lvalues['name'] = args.lang
 152     if args.lid:
 153         lvalues['id'] = args.lid
 154     if lvalues:
 155         join_expressions.append(Book.j.language)
 156         conditions = mk_search_conditions(
 157             Language, search_type, case_sensitive, lvalues)
 158         join_expressions.extend(conditions)
 159     books = search_books(search_type, case_sensitive, values, join_expressions,
 160                          orderBy=('series', 'ser_no', 'title'))
 161     if args.count:
 162         print_count(books.count())
 163         return
 164     if args.get_many:
 165         books = books[:args.get_many]
 166     elif args.get:
 167         count = books.count()
 168         if count != 1:
 169             sys.stderr.write("There must be exactly 1 book for --get; "
 170                              "(found %d).\n" % count)
 171             sys.stderr.write("Use --get-many N to download more than one "
 172                              "book.\n")
 173             sys.exit(1)
 174     count = 0
 175     for book in books:
 176         print(encode(book.title), end=' ')
 177         if args.verbose >= 1:
 178             print("(id=%d)" % book.id, end=' ')
 179         print()
 180         if args.verbose >= 1:
 181             print(" ", encode(_("Author(s)")), ":", end=' ')
 182             for author in book.authors:
 183                 print(encode(author.fullname), end=' ')
 184             print()
 185             print(" ", encode(_("Genre(s)")), ":", end=' ')
 186             for genre in book.genres:
 187                 print((encode(genre.title or genre.name)), end=' ')
 188             print()
 189             if book.series:
 190                 print(" ", encode(_("Series")), ":", end=' ')
 191                 print(encode(book.series), "(%d)" % book.ser_no)
 192
 193         if args.verbose >= 2:
 194             print(" ", encode(_("Date")), ":", book.date)
 195             print(" ", encode(_("Language")), ":", encode(book.language.name))
 196
 197         if args.verbose >= 3:
 198             print(" ", encode(_("Archive")), ":", book.archive)
 199             print(" ", encode(_("File")), ":", book.file)
 200             print(" ", encode(_("Extension")), ":",
 201                   encode(book.extension.name))
 202             print(" ", encode(_("Size")), ":",
 203                   book.size, encode(_("bytes")))
 204             print(" ", encode(_("Deleted")), ":",
 205                   encode(_(str(book.deleted))))
 206         if args.get or args.get_many:
 207             download_to = args.download_to
 208             if download_to is None:
 209                 try:
 210                     download_to = get_config().get('download', 'path')
 211                 except (NoSectionError, NoOptionError):
 212                     download_to = os.path.curdir
 213             download(book, download_to, args.path, args.format)
 214         count += 1
 215     print_count(count)
 216
 217
 218 def _search_extensions(case_sensitive, search_type, args):
 219     values = _get_values(args, 'name', 'id')
 220     if case_sensitive is None:
 221         case_sensitive = _guess_case_sensitivity(values)
 222     else:
 223         values = {}
 224     extensions = search_extensions(search_type, case_sensitive, values,
 225                                    orderBy='name')
 226     if args.count:
 227         print_count(extensions.count())
 228         return
 229     count = 0
 230     for ext in extensions:
 231         print(encode(ext.name),
 232               encode((u"(%s: %d)" % (_('books'), ext.count))),
 233               end=' ')
 234         if args.verbose >= 1:
 235             print("(id=%d)" % ext.id, end=' ')
 236         print()
 237         count += 1
 238     print_count(count)
 239
 240
 241 def _search_genres(case_sensitive, search_type, args):
 242     values = _get_values(args, 'name', 'title', 'id')
 243     if case_sensitive is None:
 244         case_sensitive = _guess_case_sensitivity(values)
 245     genres = search_genres(search_type, case_sensitive, values, orderBy='name')
 246     if args.count:
 247         print_count(genres.count())
 248         return
 249     count = 0
 250     for genre in genres:
 251         names = filter(None, (genre.name, genre.title))
 252         fullname = u' '.join(names)
 253         print(encode(fullname),
 254               encode((u"(%s: %d)" % (_('books'), genre.count))),
 255               end=' ')
 256         if args.verbose >= 1:
 257             print("(id=%d)" % genre.id, end=' ')
 258         print()
 259         count += 1
 260     print_count(count)
 261
 262
 263 def _search_languages(case_sensitive, search_type, args):
 264     values = _get_values(args, 'name', 'id')
 265     if case_sensitive is None:
 266         case_sensitive = _guess_case_sensitivity(values)
 267     else:
 268         values = {}
 269     languages = search_languages(search_type, case_sensitive, values,
 270                                  orderBy='name')
 271     if args.count:
 272         print_count(languages.count())
 273         return
 274     count = 0
 275     for lang in languages:
 276         print(encode(lang.name),
 277               encode((u"(%s: %d)" % (_('books'), lang.count))),
 278               end=' ')
 279         if args.verbose >= 1:
 280             print("(id=%d)" % lang.id, end=' ')
 281         print()
 282         count += 1
 283     print_count(count)
 284
 285
 286 if __name__ == '__main__':
 287     main_parser = argparse.ArgumentParser(description='Search')
 288     main_parser.add_argument('-C', '--config', help='configuration file')
 289     main_parser.add_argument('-D', '--database', help='database URI')
 290     main_parser.add_argument('-i', '--ignore-case', action='store_true',
 291                              help='ignore case '
 292                              '(default is to guess)')
 293     main_parser.add_argument('-I', '--case-sensitive', action='store_true',
 294                              help='don\'t ignore case')
 295     main_parser.add_argument('-t', '--start', action='store_true',
 296                              help='search substring at the start '
 297                              '(this is the default)')
 298     main_parser.add_argument('-s', '--substring', action='store_true',
 299                              help='search substring anywhere')
 300     main_parser.add_argument('-f', '--full', action='store_true',
 301                              help='match the entire string')
 302     main_parser.add_argument('-c', '--count', action='store_true',
 303                              help='count instead of output')
 304     main_parser.add_argument('-v', '--verbose', action='count', default=0,
 305                              help='output more details about books; '
 306                              'repeat for even more details')
 307     subparsers = main_parser.add_subparsers(help='Commands')
 308
 309     parser = subparsers.add_parser('authors', help='Search authors')
 310     parser.add_argument('-s', '--surname', help='search by surname')
 311     parser.add_argument('-n', '--name', help='search by name')
 312     parser.add_argument('-m', '--misc-name', help='search by misc. name')
 313     parser.add_argument('--id', type=int, help='search by database id')
 314     parser.add_argument('fullname', nargs='?', help='search by full name')
 315     parser.set_defaults(func=_search_authors)
 316
 317     parser = subparsers.add_parser('books', help='Search books')
 318     parser.add_argument('-t', '--title', help='search by title')
 319     parser.add_argument('-s', '--series', help='search by series')
 320     parser.add_argument('-a', '--archive', help='search by archive (zip file)')
 321     parser.add_argument('-f', '--file', help='search by file name')
 322     parser.add_argument('--id', type=int, help='search by database id')
 323     parser.add_argument('--surname', help='search by author\'s surname')
 324     parser.add_argument('--name', help='search by author\'s name')
 325     parser.add_argument('--misc-name', help='search by author\'s misc. name')
 326     parser.add_argument('--fullname', help='search by author\'s full name')
 327     parser.add_argument('--aid', type=int, help='search by author\'s id')
 328     parser.add_argument('-e', '--ext', help='search by file extension')
 329     parser.add_argument('--eid', type=int, help='search by extension\'s id')
 330     parser.add_argument('--gname', help='search by genre\'s name')
 331     parser.add_argument('--gtitle', help='search by genre\'s title')
 332     parser.add_argument('--gid', type=int, help='search by genre\'s id')
 333     parser.add_argument('-l', '--lang', help='search by language')
 334     parser.add_argument('--lid', type=int, help='search by language\'s id')
 335     parser.add_argument('-P', '--path', help='path to the library archives')
 336     parser.add_argument('--download-to', nargs='?',
 337                         const=None, default=os.path.curdir,
 338                         help='download directory')
 339     parser.add_argument('-F', '--format',
 340                         help='download format, default is %%f')
 341     parser.add_argument('--get', action='store_true',
 342                         help='download exactly one book')
 343     parser.add_argument('--get-many', type=int,
 344                         help='download at most this many books')
 345     parser.set_defaults(func=_search_books)
 346
 347     parser = subparsers.add_parser('ext', help='Search extensions')
 348     parser.add_argument('name', nargs='?', help='search by name')
 349     parser.add_argument('--id', type=int, help='search by database id')
 350     parser.set_defaults(func=_search_extensions)
 351
 352     parser = subparsers.add_parser('genres', help='Search genres')
 353     parser.add_argument('-n', '--name', help='search by name')
 354     parser.add_argument('-t', '--title', help='search by title')
 355     parser.add_argument('--id', type=int, help='search by database id')
 356     parser.set_defaults(func=_search_genres)
 357
 358     parser = subparsers.add_parser('lang', help='Search languages')
 359     parser.add_argument('name', nargs='?', help='search by name')
 360     parser.add_argument('--id', type=int, help='search by database id')
 361     parser.set_defaults(func=_search_languages)
 362
 363     args = main_parser.parse_args()
 364
 365     if args.config:
 366         get_config(args.config)  # Get and cache config file
 367
 368     if args.case_sensitive:
 369         if args.ignore_case:
 370             sys.stderr.write(
 371                 "Cannot search case sensitive and case insensitive "
 372                 "at the same time\n")
 373             main_parser.print_help()
 374             sys.exit(1)
 375         else:
 376             case_sensitive = True
 377     elif args.ignore_case:
 378         case_sensitive = False
 379     else:
 380         case_sensitive = None  # guess case sensitivity
 381
 382     if int(args.start) + int(args.substring) + int(args.full) > 1:
 383         sys.stderr.write(
 384             "Cannot search case sensitive and case insensitive "
 385             "at the same time\n")
 386         main_parser.print_help()
 387         sys.exit(1)
 388     if args.start:
 389         search_type = 'start'
 390     elif args.substring:
 391         search_type = 'substring'
 392     elif args.full:
 393         search_type = 'full'
 394     else:
 395         search_type = 'start'
 396
 397     open_db(args.database)
 398     args.func(case_sensitive, search_type, args)