Download de imagens de familysearch.org

This topic is classified in the following rooms Informática

Download de imagens de familysearch.org

#329572 | carlosmsl | 22 May 2013 18:53

Muito boa tarde a todos.

Estive a fazer um programa para obter os links de imagens do site familysearch.org, queria partilhar, pode ser que seja util a alguém.
É um programa simples para windows em .Net que utiliza a plaraforma WebKit.NET-0.5 para navegar pelas imagens e obter os respectivos links e guarda-los num ficheiro de texto.
A vantagem em relação à utilização de macros é que o programa refresca a página automaticamente se der um erro evitando estarmos sempre atentos ao processo de obtenção dos links.

Aqui vão os passos a seguir para utilizar o programa:

1) Instalar a plataforma .Net caso não esteja

2) Fazer download do programa que está em: http://sdrv.ms/13IIOxy

3) Após extrair o arquivo executar a aplicação FamilySearchLinks.exe

4) Colocar o url da página inicial que se pretende obter os links e carregar em navegar

5) Ao clicar em navegar surge um pop-up para seleccionar qual o ficheiro a gravar.

6) No fim de carregada a página carregar em Go! e esperar...
Pode parar e recomeçar o processo a qualquer altura, os links vão sendo gravados no ficheiro seleccionado, não são perdidos mesmo que feche a janela.
Pode seleccionar um ficheiro existente para adicionar mais links, o programa pergunta se pretende adicionar mais links ou limpar o ficheiro.


7) Para fazer download das imagens pode-se usar a ferramenta HTTrack como descrito em
http://www.geneall.net/P/forum_msg.php?id=282882
Eu pessoalmente uso as extensões para Mozilla Firefox DownloadThemAll e FlashGot por não ser necessária tanta configuração (na minha opinião)

Experimentem e tragam as vossas dúvidas/sugestões

Carlos Leite

Reply

Direct link:

RE: Download de imagens de familysearch.org

#329575 | carlosmsl | 22 May 2013 19:28 | In reply to: #329572

Esqueci-me de dizer que devem instalar a plataforma .net 2 e .net 4 caso não estejam instaladas no vosso pc.

.NET 4
http://www.microsoft.com/pt-pt/download/details.aspx?id=17851

.NET 2

http://www.microsoft.com/pt-pt/download/details.aspx?id=1639

Reply

Direct link:

RE: Download de imagens de familysearch.org

#329584 | PauloMota | 22 May 2013 22:47 | In reply to: #329572

Ola, boa noite,

Também desenvolvi um pequeno software em Delphi, para fazer download de imagens do site "http://digitarq.adavr.dgarq.gov.pt", mas não sei se o deva partilhar.

Gostava também de desenvolver um site, de todos os livros existentes de Baptismos, Casamentos e Óbitos, transformados em formato digital (texto), com acesso gratuito.
Sei que o GeneAll fornece informação mas apenas através de um pagamento. O mesmo acontece com o "http://www.genregis.com".
Acesso a este tipo de informação, que está disponível livremente, por enquanto, deveria também ela ser gratuita. Não pago, mas também não tenho acesso a informação no GeneAll ou noutros sites. Mas era uma mais valia.
O próprio Registo Civil de Portugal, só insere na base de dados, só pessoas que estejam vivas, ou que tenham estado vivas até à pouco tempo; Caso contrário não introduzem. O que é pena, porque um dia eu poderia chegar a uma conservatória qualquer no país e pedir a minha árvore genealógica mais simples. Pagar 50€, e ter tudo esquematizado, tudo comprovado através de digitalização de documentos antigos, tanto de Baptismo, como de Casamento e de Óbito.


Eu executo a aplicação, fica alguns segundos no "Gestor de tarefas do Windows" e desaparece.
Tentei com permissões de administrador e deu o mesmo resultado.

Reply

Direct link:

RE: Download de imagens de familysearch.org

#329592 | carlosmsl | 22 May 2013 23:53 | In reply to: #329584

Muito boa noite caro Paulo Mota e obrigado pela sua resposta.

Em relação ao software que desenvolveu não acho mal o partilhar, pode ajudar alguém que estava mesmo à procura de uma ferramenta como essa.
No caso do site que pretende desenvolver, acho que o site familysearch.org e toda a sua comunidade está a fazer esforços para conseguir exactamente isso, reunir todos os assentos numa única base de dados, pesquisável por qualquer um de forma gratuita. Ainda têm um longo caminho a percorrer mas já é um começo.
No que toca às organizações do estado não conte com isso, já era uma bênção que colocassem os livros paroquiais todos online.

Quanto à minha aplicação, muito provavelmente não tem uma das duas versões do microsoft .net instaladas a 2 ou a 4
Pode ver quais as versões que tem na pasta %windir%\Microsoft.NET\Framework
Entretanto testei numa máquina limpa, instalando as duas versões que falo no comentário acima funciona, caso contrário dá um erro.

Também tenho uma aplicação para recolher os links do site pesquisa.auc.uc.pt, bem mais simples que esta, mas gostava de que testassem esta primeiro para ver a reacção.


Carlos Leite

Reply

Direct link:

RE: Download de imagens de familysearch.org

#329594 | carlosmsl | 23 May 2013 00:13 | In reply to: #329592

Reparei agora que tem que instalar também o Microsoft Visual C++ 2008 Service Pack 1 Redistributable Package ATL Security Update:
http://www.microsoft.com/en-us/download/details.aspx?id=11895
Afinal não testei bem a coisa como eu pensava...

Reply

Direct link:

RE: Download de imagens de familysearch.org

#329595 | PauloMota | 23 May 2013 00:13 | In reply to: #329592

Do "familysearch.org", já tenho também uma aplicação criada por mim, mas é desenvolvida em PHP.
Amanhã então disponibilizo o programa que tenho, juntamente com um manual de utilização.

Reply

Direct link:

RE: Download de imagens de familysearch.org

#329597 | carlosmsl | 23 May 2013 00:23 | In reply to: #329595

Então ok. Tenho de fazer um manual também para precaver estes erros evitáveis.
Uma boa noite para si.

Carlos Leite

Reply

Direct link:

RE: Download de imagens de familysearch.org

#329606 | jmacdonald | 23 May 2013 12:08 | In reply to: #329597

Caros confrades,


Saúdo as vossas inciativas. Não obstante, pergunto: terão conhecimento de idênticos programas para utilizadores Apple?

Com os melhores cumprimentos,

João Macdonald

Reply

Direct link:

RE: Download de imagens de familysearch.org

#329608 | PauloMota | 23 May 2013 12:49 | In reply to: #329606

Sei que para Windows já ouve uma aplicação, desenvolvida por uma universidade nos EUA, mas foi tirada da internet.
Pelo que qualquer versão Apple será ainda mais difícil de existir. Se já há poucas ou nenhumas disponíveis na internet, imagine-se para Mac.

Não sei até que ponto é viável disponibilizar estes programas, pois pode-se dar o caso de os sites começarem a funcionar de maneira diferente e o próprio programa deixar de funcionar.
Ou também podem começar a exigir um login ou um pagamento mensal para ver e descarregar as imagens, como começa a acontecer em alguns sites.
É por essa razão que fico com um pé atrás quando é para disponibilizar uma ferramenta que vai sobrecarregar o servidor deles, e muito possivelmente, obrigá-los a fazer modificações.

Reply

Direct link:

RE: Download de imagens de familysearch.org

#329609 | jmacdonald | 23 May 2013 12:56 | In reply to: #329608

Faz todo o sentido o que diz, confrade.

Muito obrigado.

Cumprimentos,
JM

Reply

Direct link:

RE: Download de imagens de familysearch.org

#329613 | carlosmsl | 23 May 2013 14:06 | In reply to: #329609

De facto já houve uma ferramenta para download escrita em Java chamada FastFilm, mas que foi descontinuada.
Por alguma razão o foi, provavelmente por pressão do site deles, consequência do que disse o confrade Paulo Mota.
Entretanto retirei a aplicação do link, mas quem fizer questão em testar, pode contactar-me por
carlos _dalagoa @ hotmail. com


Carlos Leite

Reply

Direct link:

RE: Download de imagens de familysearch.org

#329617 | PauloMota | 23 May 2013 15:27 | In reply to: #329613

Infelizmente, estas coisas acontecem.

Aproveito também, para dizer que posso disponibilizar a minha aplicação, que faz download de imagens do "digitarq.gov.pt".
Neste caso, como eles permitem o download de imagens, e é um site português, penso que não haverá grandes problemas em usar um software, visto que o site é totalmente gratuito, mas pelo sim pelo não. Não irei colocar aqui o link.

Se alguém estiver interessado, contacte-me:
paulomota2 @ gmail.com

Reply

Direct link:

RE: Download de imagens de familysearch.org

#329632 | jcnventura | 23 May 2013 20:24 | In reply to: #329572

Eu entretanto tinha desenvolvido a seguinte macro para o iMacros para fazer download do FamilySearch:

VERSION BUILD=8300326 RECORDER=FX
SET !TIMEOUT_PAGE 600
SET !EXTRACT_TEST_POPUP NO
TAB T=1
TAG POS=1 TYPE=INPUT:TEXT ATTR=id:imgno EXTRACT=TXT
ONDOWNLOAD FOLDER=* FILE=livro_{{!EXTRACT}}.jpg WAIT=YES
TAG POS=1 TYPE=SPAN ATTR=TXT:Save
TAG POS=1 TYPE=A ATTR=ID:next

Esta macro apenas precisa de um browser suportado pelo iMacros (IE, Firefox ou Chrome - os últimos dois em Windows, Mac ou Linux).

Reply

Direct link:

Forum messages ordered by date.
Time in GMT. It is now: 27 Dec 2024, 15:37

Post New Message

Please login or register to access this functionality

Settings / Definiciones / Definições / Définitions / Definizioni / Definitionen