quinta-feira, outubro 02, 2008

Mais uma peça entregue

Hoje montei mais um banco de dados. Não foi um dos maiores (só 2 milhões e seiscentas mil linhas e 800 variáveis), mas com ele usei técnicas diferentes. As ferramentas foram as mesmas - Perl e MySQL, mas variei um pouco. Os dados estavam em arquivos diferentes, e o passo iniciar foi carregar tudo pro MySQL. Como os dados estavam formatados, desta usei o próprio MySQL para carregar os dados - LOAD DATA INFILE. Fiquei impressionado - carreguei as mais de 2 milhões de linhas em menos de um minuto. Normalmente eu lia usando Perl+DBI, mas dessa forma é bem mais rápido.
Depois tive que unir todos os arquivos, e aí foi uma mistura de Perl e select, insert e update. Essa parte foi mais lenta, mas bem aceitável.
Mais um produto entregue no prazo.