O sistema Archivarix foi projetado para baixar e restaurar sites que não são mais acessíveis no Web Archive e aqueles que estão atualmente online. Essa é a principal diferença do restante dos "downloaders" e "site parsers". O objetivo do Archivarix não é apenas fazer o download, mas também restaurar o site de uma forma que seja acessível no seu servidor.

Vamos começar com o módulo que baixa sites da Web Archive. Estes são servidores virtuais localizados na Califórnia. Sua localização foi escolhida de forma a obter a velocidade máxima de conexão possível com o próprio Web Archive, porque seus servidores estão localizados em São Francisco. Depois de inserir dados no campo apropriado na página do módulo https://pt.archivarix.com/restore/, a captura de tela do site arquivado e endereça a API de arquivamento da Web para solicitar uma lista de arquivos contidos na data de recuperação especificada .

Após receber uma resposta à solicitação, o sistema gera uma mensagem com a análise dos dados recebidos. O usuário só precisa pressionar o botão de confirmação na mensagem recebida para iniciar o download do site.

O uso da API de arquivamento da Web oferece duas vantagens sobre o download direto quando o script simplesmente segue os links do site. Primeiro, todos os arquivos dessa recuperação são imediatamente conhecidos; você pode estimar o volume do site e o tempo necessário para fazer o download. Devido à natureza da operação de arquivamento da Web, algumas vezes funciona muito instável, de modo que são possíveis quebras de conexão ou download incompleto de arquivos; portanto, o algoritmo do módulo verifica constantemente a integridade dos arquivos recebidos e, nesses casos, tenta baixar o conteúdo reconectando-se a o servidor de arquivamento da Web. Segundo, devido às peculiaridades da indexação de sites pelo Web Archive, nem todos os arquivos de sites podem ter links diretos, o que significa que quando você tenta baixar um site simplesmente seguindo os links, eles ficam indisponíveis. Portanto, a restauração por meio da API de arquivamento da Web usada pelo Archivarix possibilita restaurar a quantidade máxima possível de conteúdo arquivado do site por uma data especificada.

Após a conclusão da operação, o módulo de download do Web Archive transfere dados para o módulo de processamento. Ele forma um site a partir dos arquivos recebidos adequados para instalação no servidor Apache ou Nginx. A operação do site é baseada no banco de dados SQLite, portanto, para começar, basta carregá-lo no servidor e não é necessário instalar módulos adicionais, bancos de dados MySQL e criação de usuários. O módulo de processamento otimiza o site criado; inclui otimização de imagem, além de compactação CSS e JS. Isso pode aumentar significativamente a velocidade de download do site restaurado, se comparado ao site original. A velocidade de download de alguns sites Wordpress não otimizados com vários plugins e arquivos de mídia não compactados pode ser significativamente aumentada após o processamento por este módulo. É óbvio que, se o site foi otimizado inicialmente, isso não dará um grande aumento na velocidade de download.

O módulo de processamento remove publicidade, contadores e análises, verificando os arquivos recebidos em um extenso banco de dados de fornecedores de publicidade e análise. A remoção de links externos e contatos clicáveis ​​ocorre simplesmente por código de soma de verificação. Em geral, esse algoritmo realiza uma limpeza bastante eficiente do site de “vestígios do proprietário anterior”, embora às vezes isso não exclua a necessidade de corrigir algo manualmente. Por exemplo, um script Java auto-escrito que redireciona o usuário do site para um determinado site de monetização não será excluído pelo algoritmo. Às vezes, você precisa adicionar fotos ausentes ou remover resíduos desnecessários, como um livro de visitas com spam. Portanto, é necessário contratar um editor do site resultante. E isso já existe. Seu nome é Archivarix CMS.

Este é um CMS simples e compacto projetado para editar sites criados pelo sistema Archivarix. Permite pesquisar e substituir código em todo o site usando expressões regulares, editando o conteúdo no editor WYSIWYG, adicionando novas páginas e arquivos. O Archivarix CMS pode ser usado junto com qualquer outro CMS em um site.

Agora vamos falar sobre outro módulo usado para baixar sites existentes. Ao contrário do módulo para baixar sites do Web Archive, é impossível prever quantos e quais arquivos você precisa baixar, para que os servidores do módulo funcionem de uma maneira completamente diferente. O Server spider simplesmente segue todos os links presentes em um site que você irá baixar. Para que o script não caia no ciclo de download interminável de qualquer página gerada automaticamente, a profundidade máxima do link é limitada a dez cliques. E o número máximo de arquivos que podem ser baixados do site deve ser especificado com antecedência.

Para o download mais completo do conteúdo que você precisa, existem vários recursos que foram inventados neste módulo. Você pode selecionar uma aranha de serviço de agente de usuário diferente, por exemplo, Chrome Desktop ou Googlebot. Referenciador para desvio de camuflagem - se você precisar fazer o download exato do que o usuário vê ao fazer login na pesquisa, poderá instalar um referenciador do Google, Yandex ou outro site. Para se proteger contra o banimento por IP, você pode optar por baixar o site usando a rede Tor, enquanto o IP do serviço da aranha muda aleatoriamente nessa rede. Outros parâmetros, como otimização de imagens, remoção de anúncios e análises, são semelhantes aos parâmetros do módulo de download do Web Archive.

Após a conclusão do download, o conteúdo é transferido para o módulo de processamento. Seus princípios de operação são completamente semelhantes aos da operação com o site baixado do Web Archive descrito acima.

Também vale mencionar a possibilidade de clonar sites restaurados ou baixados. Às vezes acontece que durante a recuperação, um escolheu outros parâmetros que, no final, eram necessários. Por exemplo, a remoção de links externos era desnecessária e, para alguns links externos, você não precisava iniciar o download novamente. Você só precisa definir novos parâmetros na página de recuperação e começar a recriar o site.

O uso de materiais de artigo é permitido apenas se o link para a fonte for publicado: https://archivarix.com/pt/blog/how-does-it-works/