11.24.2009

Массовый граббинг url'ов с помошью wget


#!/usr/bin/env bash
rm page*
for i in {1..20}
do
wget --limit-rate=25k --wait=5 --random-wait http://domain/page$i.html
done