doc/TODO

   1    Cleanup HTML before parsing  using BeautifulSoap or Tidy.
   2    Parse downloaded file and get javascript redirects.
   3
   4    More and better documentation.
   5
   6    Merge "writers" to storage managers.
   7    New storage managers: shelve, SQL, ZODB, MetaKit.
   8    More robots (URL checkers): threading, asyncore-based.
   9
  10    Configuration file to configure defaults - global defaults for the system
  11    and local defaults for subsystems.
  12
  13    Ruleset-based mechanisms to filter out what types of URLs to check: checking
  14    based on URL schema, host, port, path, filename, extension, etc.
  15
  16    Detailed reports on robot run - what's old, what's new, what has been moved,
  17    errors, etc.
  18    WWW-interface to the report.
  19
  20    Bigger database. Multiuser database. Robot should operates on a part of
  21    the DB.
  22    WWW-interface to the database. User should import/export/edit bookmarks,
  23    schedule robot run, etc.