Wget y httrack para descargar recursivamente


Tools 

wget --recursive --no-parent http://example.com/configs/.vim/

wget -e robots=off --user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.37" --mirror --convert-links --adjust-extension --page-requisites --no-parent --recursive --level=5 --span-hosts --domains=harmful.cat-v.org http://harmful.cat-v.org/

Para evitar que se descargue el index.html:

wget -r -np -R "index.html*" http://example.com/configs/.vim/

Descargar todos los archivos de un index of /:

wget -e robots=off -r -np -R "index.html*" "http://ricardonarvaja.info/WEB/EXPLOITING%20Y%20REVERSING%20USANDO%20HERRAMIENTAS%20FREE/ESPANIOL/"

wget -r -l1 -np -nH --cut-dirs=2 -A mp3 -R "index.html*" -e robots=off -c URL

Descargar sin imágenes

wget --reject jpg,jpeg,png,gif,svg,webp,ico -r
Para descargar sitios con protocolo gopher tenes que usar httrack porque wget no soporta gopher.
httrack gophers://bitreich.org/ -O ./bitreich.org -r 5 -A -K