Crawler com Ruby – Rubybot

Ultimamente tenho me interessado muito pelo o assunto de Mineração de dados, aprendizagem de máquina e demais assuntos relacionados. Uma das vertentes deste assunto é “Web mining” que consiste na mineração de informações de páginas web. Este assunto é interessante, pois é uma maneira de conseguir informação para análise de forma fácil, afinal, a informação está lá disponível e sem custo (hehe).

Aqui vai um exemplo de um Crawler feito em ruby:

Dividi ele em três partes.

-Crawler.rb
Que fara o acesso a página e coletará os dados.
-Sanitize.rb
Conjunto de funções para limpar os dados. Ex: retirar tags html e caracteres especiais.
-Database.rb
Criei este somente para gravar os dados organizados em um banco de dados Sqlite, mas você pode alterá-lo para salvar da forma que você preferir.
-main.rb
Código para execução do Crawler.

Baixe diretamente do Github:
https://github.com/CristianOliveiraDaRosa/rubybot

Comments are closed.