Version 5.4.0: Robot based on PycURL

Build: Add `devscripts`

Fix(bkmk_robot_base): Fix reporting proxy error

Feat(Robots): Update X-User-Agent header

Feat(Robots): Upgrade headers

Docs(bkmk_robot_base): List robots

Fix(bkmk_rrequests): Check `r is not None`

It seems `if r` is not enough --
`bool(r)` returns `False` in case there was an HTTP error.

Style(setup.py): Remove unused import

Feat(get_url): Parse args, save/print headers/body

Feat(robots): Report robot being used

Feat(bkmk_robot_base): Report error on getting icon

Feat(get_url): Print headers

Update docs

Fear(robots): Try robots from a list

Default list is curl,requests,forking.

Feat(Robots): Robot based on PycURL

Fix(bkmk_robot_base): Do not pass `localhost` via proxy

Feat(bkmk_rurllib): Use proxy

Style(bkmk_rurllib2): Remove unused import

Found by `flake8`.

Refactor(Robots): Move proxy handling to base class

This greatly simplifies robots.

Feat(Robots): Return HTTP status code

Docs(TODO): Robot(s) that test many URLs in parallel

Increase task priority.

Docs(TODO): Robot based on aiohttp

Add `setup.cfg` and `setup.py`

Mostly to list required and optional dependencies.

Fix(bkmk_db-venv): Do not exit

This is not a shell script, this is a sourced file.

Chore: Rename `bkmk-venv` to `bkmk_db-venv`

Chore(bkmk-venv): Rename `.venv` to `bkmk_db-venv`

Feat: Cleanup redirects

Remove verbiage.

Feat: Skip URLs that have '%s'

Fix: These are not errors, just duplicates

Build(Robots/bkmk_rrequests): Use HTTP(S) proxy instead of SOCKS5

Fix(Robot): Stop splitting and un-splitting URLs

Pass `bookmark.href` as is.

Fix(get_url): Remove excessive printing

`robot.get()` doesn't really fill the bookmarks,
`robot.check_url()` does but we don't call it here.

Rename `check_url.py` to `check_urls.py`

Rename `check_urls.py` to `check_urls_db.py`

Version 5.3.0

   Added get_url.py: a script to get one file from an URL.
   Renamed set-URLs -> set-urls.

Add `get_url.py`: a script to get one file from an URL

Rename set-URLs -> set-urls

Version 5.2.5

   Feat(Robots/bkmk_rrequests): Ignore all problems with certificates.
   Fix(Robots/bkmk_robot_base): Pass query part.

Fix(Robots/bkmk_robot_base): Pass query part

Feat(Robots/bkmk_rrequests): Ignore all problems with certificates

Drop SSL/TLS security to the lowest level.
I want to get the pages at all cost.
Unmatched names, expired certificates,
small DH values are less of a concern for me
comparing with DNS errors and connection timeouts.

Version 5.2.4: No need to re-check error 404 via proxy

Fix(Robots/bkmk_rrequests): Add forgotten spaces in log

Fix(Robots/bkmk_rrequests): No need to re-check error 404 via proxy

Version 5.2.3

Feat(Robots/bkmk_rrequests): Report 40x and 50x errors.
Fix HTML pasrer based on Bs4: Find "shortcut icon".

Feat(Robots/bkmk_rrequests): Report 40x and 50x errors

Feat(Robots/bkmk_rrequests): Change error message

Fix(parse_html/bkmk_ph_beautifulsoup4): Find "shortcut icon"

Bs4 splits attribute values. To fix it the value must be re-combined back.

Fix(Robots/bkmk_robot_base): Add forgotten spaces in log

Version 5.2.2

   Robots/bkmk_rrequests: Add request headers.
   Robots/bkmk_robot_base: Process "data:image/" icons.

Feat(Robots/bkmk_robot_base): Process "data:image/" icons

Feat(Robots/bkmk_rrequests): Add request headers

Refactor(Robots): Refactor request headers

Style(Robots/bkmk_rurllib_py3): Remove unused variable

Fix(Robots/bkmk_robot_base): Ignore unknown charset

There are sites that provide incorrect
(most probably misspelled) charset.

Fix(Robots/bkmk_robot_base): Add forgotten space in log

Perf(Rebobt/requests): Speedup second access

Use proxy immediately for hosts
for which we already know they require proxy.

Don't use proxy for hosts that aren't accessible even through proxy,
immediately return an error.

Refactor(Rebobt/requests)

Feat: For the robot based on requests allow to use a proxy

Feat: Robot based on requests

Feat(venv): Use `venv` if `virtualenv` is not available

Fix(Py3): Use `urllib.parse.urlsplit()`

Release 5.0.0

Docs: Update

Fix(Py3): Open list of titles in UTF-8

Fix(Py3): Always open text storage files in UTF-8

Fix(Py3): Always log in UTF-8

Fix(Py3): `html.parser` cannot parse bytes

Decode to unicode from a known encoding.

Fix(Py3): Decode content using HTTP chrset

Fix(Py3): `urllib` writes its files as bytes

Fix(parse_html CLI): Report encodings and the title

Fix(parse_html/bkmk_parse_html.py): Open the file with known encoding

Fix(parse_html/bkmk_ph_beautifulsoup4): Fix title recombination

Fix(Py3): Remove forgotten `.decode()`/`.encode()`

Feat: Remove some HTML parsers

EtreeTidy is outdated and buggy.
html5 is outdated.

Style: Fix `flake8` E501 line too long

Style: Fix `flake8` E402 module level import not at top of file

Chore(venv): Only run `pip install` on fresh virtual env

Feat(check_url.py): Print "Moved", "Size", "Md5"

Fix(robots): Fix "Content-Length" header returning `None`

Fix(robots): Store charset

Fix(robots): Do not parse empty strings

Some sites return empty "html" that consist only of white spaces.
Strip them to get really empty string.

Fix(parse_html): Do not parse empty strings

Fix(Py3): Reconfigure logs to write in UTF-8

Build(Makefile): Update the list of example shell scripts

Feat: Delete bookmarks

Feat(robots): Align "Content-Type"

Fix(parse_html): Do not parse empty strings

Fix(Py3): Fix `unescape`

Fix(Py3): Fix `check_url.py`

Build: Make Python virtual environment

Install libraries.

Fix(Py3): Fix HTML parsers

Feat(robots): Handle HTTP redirect 308

Feat: Improve stats

Feat: Open log files in UTF-8 encoding

Feat: Log reports to files

Docs(TODO): Increase priority for robots

Feat: Report redirects and set URLs

Run through the bookmarks database and set URLs from redirects
from an external file.

Fix(Py3): Catch `http.client.IncompleteRead`

Fix(Py3): Guess input file encoding

Chore: Explicitly open text files in text mode