Shell: Montando um Facemash com Wget

Todos conhecem o poder do Wget não ? Bom para aqueles que não conhecem foi través dele que Mark Zuckerberg baixou as primeiras fotos do Facemash site de comparação de garotas no qual deu origem depois ao Facebook.

Bom voltando ao assunto, há uma flag do Wget que é a -r ( recursive ) no qual possibilita que o wget siga os links de forma recursiva baixando os conteúdos para você. Digamos que você queira todos os arquivos .jpg de um determinado site então você pode usar o seguinte comando shell abaixo:

wget `cat *.html |grep “img src=” |grep “.jpg” |awk -F”src=” ‘{ print $2}’ |awk -F”http://” ‘{ print $2}’ |awk -F’”‘ ‘{ print $1}’`

Neste caso estou falando para o Wget ler a saída do comando cat no qual pegará todos os arquivos de extensão .jpg e direcionar a saida para o Wget, e ele depois fará todo o trabalho do download.