Feat(Robots): Robot based on requests and concurrent.futures

Processes multiple URLs in parallel.

Feat: Dropped support for Python 2

Feat(Robots): Remove urllib-based robots

Style(Writers/bkmk_wflad): Rename loop variables

Refactor: Extract the common list of attributes; `copy_bkmk()`

Feat(check_urls): Separately report redirects

Feat(Robots): Stop the robot ASAP

Process bookmarks after the robot stopped. In the future
there will be robots that check multiple URLs in parallel
so bookmarks cannot be processed inside check loop
but can be queried after.

Style(Robots): Rename `check_url` to `check_bookmark`

Also rename `smart_get` to `get_url`.

Fix(bkmk-add): Stop the robot

Style(bkmk-add): Rename `_robot` -> `robot`

Feat(Robots): Do not return error from `check_url()`

Break the entire program with `Ctrl-C`.

Feat(bkmk_rrequests): Install socks dependency

Feat(bkmk_raiohttp): Use aioftp

Fix(Robots): Do not route ftp requests via http(s) proxy

socks5 proxies are ok.

Feat(Robots): Robot based on aiohttp

Feat(Writers/bkmk_whtml): Mark special folders

Feat: Delete `root_folder.linear` before storing

Fix(bkmk_robot_base): Convert environment parameters to integer

Feat(bkmk_robot_base) Cut long `data:` icon URLs for logs

Fix(bkmk_rcurl): IDNA-encode URLs

PycURL doesn't encode URLs itself
and requires URLs to be in ASCII encoding.

Refactor(Robots): Connect timeout

Version 5.4.0: Robot based on PycURL

Build: Add `devscripts`

Fix(bkmk_robot_base): Fix reporting proxy error

Feat(Robots): Update X-User-Agent header

Feat(Robots): Upgrade headers

Docs(bkmk_robot_base): List robots

Fix(bkmk_rrequests): Check `r is not None`

It seems `if r` is not enough --
`bool(r)` returns `False` in case there was an HTTP error.

Style(setup.py): Remove unused import

Feat(get_url): Parse args, save/print headers/body

Feat(robots): Report robot being used

Feat(bkmk_robot_base): Report error on getting icon

Feat(get_url): Print headers

Update docs

Fear(robots): Try robots from a list

Default list is curl,requests,forking.

Feat(Robots): Robot based on PycURL

Fix(bkmk_robot_base): Do not pass `localhost` via proxy

Feat(bkmk_rurllib): Use proxy

Style(bkmk_rurllib2): Remove unused import

Found by `flake8`.

Refactor(Robots): Move proxy handling to base class

This greatly simplifies robots.

Feat(Robots): Return HTTP status code

Docs(TODO): Robot(s) that test many URLs in parallel

Increase task priority.

Docs(TODO): Robot based on aiohttp

Add `setup.cfg` and `setup.py`

Mostly to list required and optional dependencies.

Fix(bkmk_db-venv): Do not exit

This is not a shell script, this is a sourced file.

Chore: Rename `bkmk-venv` to `bkmk_db-venv`

Chore(bkmk-venv): Rename `.venv` to `bkmk_db-venv`

Feat: Cleanup redirects

Remove verbiage.

Feat: Skip URLs that have '%s'

Fix: These are not errors, just duplicates

Build(Robots/bkmk_rrequests): Use HTTP(S) proxy instead of SOCKS5

Fix(Robot): Stop splitting and un-splitting URLs

Pass `bookmark.href` as is.

Fix(get_url): Remove excessive printing

`robot.get()` doesn't really fill the bookmarks,
`robot.check_url()` does but we don't call it here.

Rename `check_url.py` to `check_urls.py`

Rename `check_urls.py` to `check_urls_db.py`

Version 5.3.0

   Added get_url.py: a script to get one file from an URL.
   Renamed set-URLs -> set-urls.

Add `get_url.py`: a script to get one file from an URL

Rename set-URLs -> set-urls

Version 5.2.5

   Feat(Robots/bkmk_rrequests): Ignore all problems with certificates.
   Fix(Robots/bkmk_robot_base): Pass query part.

Fix(Robots/bkmk_robot_base): Pass query part

Feat(Robots/bkmk_rrequests): Ignore all problems with certificates

Drop SSL/TLS security to the lowest level.
I want to get the pages at all cost.
Unmatched names, expired certificates,
small DH values are less of a concern for me
comparing with DNS errors and connection timeouts.

Version 5.2.4: No need to re-check error 404 via proxy

Fix(Robots/bkmk_rrequests): Add forgotten spaces in log

Fix(Robots/bkmk_rrequests): No need to re-check error 404 via proxy

Version 5.2.3

Feat(Robots/bkmk_rrequests): Report 40x and 50x errors.
Fix HTML pasrer based on Bs4: Find "shortcut icon".

Feat(Robots/bkmk_rrequests): Report 40x and 50x errors

Feat(Robots/bkmk_rrequests): Change error message

Fix(parse_html/bkmk_ph_beautifulsoup4): Find "shortcut icon"

Bs4 splits attribute values. To fix it the value must be re-combined back.

Fix(Robots/bkmk_robot_base): Add forgotten spaces in log

Version 5.2.2

   Robots/bkmk_rrequests: Add request headers.
   Robots/bkmk_robot_base: Process "data:image/" icons.

Feat(Robots/bkmk_robot_base): Process "data:image/" icons

Feat(Robots/bkmk_rrequests): Add request headers

Refactor(Robots): Refactor request headers

Style(Robots/bkmk_rurllib_py3): Remove unused variable

Fix(Robots/bkmk_robot_base): Ignore unknown charset

There are sites that provide incorrect
(most probably misspelled) charset.

Fix(Robots/bkmk_robot_base): Add forgotten space in log

Perf(Rebobt/requests): Speedup second access

Use proxy immediately for hosts
for which we already know they require proxy.

Don't use proxy for hosts that aren't accessible even through proxy,
immediately return an error.

Refactor(Rebobt/requests)

Feat: For the robot based on requests allow to use a proxy

Feat: Robot based on requests

Feat(venv): Use `venv` if `virtualenv` is not available

Fix(Py3): Use `urllib.parse.urlsplit()`

Release 5.0.0

Docs: Update

Fix(Py3): Open list of titles in UTF-8

Fix(Py3): Always open text storage files in UTF-8

Fix(Py3): Always log in UTF-8

Fix(Py3): `html.parser` cannot parse bytes

Decode to unicode from a known encoding.

Fix(Py3): Decode content using HTTP chrset

Fix(Py3): `urllib` writes its files as bytes

Fix(parse_html CLI): Report encodings and the title

Fix(parse_html/bkmk_parse_html.py): Open the file with known encoding

Fix(parse_html/bkmk_ph_beautifulsoup4): Fix title recombination

Fix(Py3): Remove forgotten `.decode()`/`.encode()`

Feat: Remove some HTML parsers

EtreeTidy is outdated and buggy.
html5 is outdated.

Style: Fix `flake8` E501 line too long

Style: Fix `flake8` E402 module level import not at top of file

Chore(venv): Only run `pip install` on fresh virtual env

Feat(check_url.py): Print "Moved", "Size", "Md5"

Fix(robots): Fix "Content-Length" header returning `None`