doc/TODO

   1 Get and store icon.
   2
   3 Cleanup HTML before parsing using BeautifulSoap or Tidy.
   4 Parse downloaded file and get javascript redirects.
   5
   6 More and better documentation.
   7
   8 Merge "writers" to storage managers.
   9 New storage managers: shelve, SQL, ZODB, MetaKit.
  10 More robots (URL checkers): threading, asyncore-based.
  11
  12 Configuration file to configure defaults - global defaults for the system
  13 and local defaults for subsystems.
  14
  15 Ruleset-based mechanisms to filter out what types of URLs to check: checking
  16 based on URL schema, host, port, path, filename, extension, etc.
  17
  18 Detailed reports on robot run - what's old, what's new, what has been moved,
  19 errors, etc.
  20 WWW-interface to the report.
  21
  22 Bigger database. Multiuser database. Robot should operates on a part of
  23 the DB.
  24 WWW-interface to the database. User should import/export/edit bookmarks,
  25 schedule robot run, etc.