Archivarix如何工作?

张贴者: 2019-12-03

Archivarix系统旨在下载和还原不再可从Web存档访问的站点以及当前在线的站点。这是与其余“下载器”和“站点解析器”的主要区别。 Archivarix的目标不仅是下载,而且还以一种可在您的服务器上访问的形式恢复网站。

让我们从从Web Archive下载网站的模块开始。这些是位于加利福尼亚的虚拟服务器。选择它们的位置是为了获得与Web存档本身最大的连接速度,因为它的服务器位于旧金山。在模块页面https://zh.archivarix.com/restore/上的相应字段中输入数据后,它将获取已存档网站的屏幕快照,并访问Web Archive API以请求指定恢复日期包含的文件列表。

收到对请求的响应后,系统会生成一条消息,其中包含对接收到的数据的分析。用户只需要按收到消息中的确认按钮即可开始下载网站。

当脚本仅跟随网站的链接时,与直接下载相比,使用Web Archive API有两个优点。首先,此恢复的所有文件都是立即已知的,您可以估计网站的数量以及下载它所需的时间。由于Web存档操作的性质,有时它的工作非常不稳定,因此可能会导致连接中断或文件下载不完整,因此模块算法会不断检查接收到的文件的完整性,在这种情况下,尝试通过重新连接来下载内容Web存档服务器。其次,由于Web存档对网站建立索引的特殊性,并非所有网站文件都可能具有直接链接,这意味着当您仅通过单击链接尝试下载网站时,它们将不可用。因此,通过Archivarix使用的Web存档API进行还原,可以在指定日期还原最大数量的存档网站内容。

完成该操作后,Web存档的下载模块会将数据传输到处理模块。它由接收到的文件组成一个网站,适合在Apache或Nginx服务器上安装。网站的操作基于SQLite数据库,因此,只需将其上载到服务器即可上手,而无需安装其他模块,MySQL数据库和创建用户。处理模块优化创建的网站;它包括图像优化以及CSS和JS压缩。如果与原始网站相比,它可以显着提高已还原网站的下载速度。使用此模块处理后,一些带有插件和未压缩媒体文件的未优化Wordpress网站的下载速度可能会大大提高。显而易见的是,如果最初对网站进行了优化,则下载速度不会大大提高。

处理模块通过对照广泛的广告和分析提供商数据库检查接收到的文件来删除广告,计数器和分析。删除外部链接和可点击的联系人只需通过校验和代码即可。通常,此算法可以非常有效地清除网站上的“先前所有者的痕迹”,尽管有时这并不排除需要手动更正某些内容的麻烦。例如,该算法不会删除将网站用户重定向到某个获利网站的自写Java脚本。有时,您需要添加丢失的图片或删除不必要的残留物,作为垃圾邮件。因此,需要聘请最终网站的编辑。它已经存在。它的名字叫Archivarix CMS。

这是一个简单紧凑的CMS,旨在编辑由Archivarix系统创建的网站。它使您可以使用正则表达式在整个网站中搜索和替换代码,在“所见即所得”编辑器中编辑内容,添加新页面和文件。 Archivarix CMS可以与一个网站上的任何其他CMS一起使用。

现在,我们来谈谈用于下载现有网站的其他模块。与从Web存档下载网站的模块不同,无法预测需要下载多少文件以及哪些文件,因此该模块的服务器以完全不同的方式工作。 Server Spider只需遵循您将要下载的网站上存在的所有链接。为了使脚本不会陷入任何自动生成页面的无休止的下载周期,最大链接深度限制为十次单击。并且必须预先指定可从网站下载的最大文件数。

为了最完整地下载所需的内容,此模块中发明了几种功能。您可以选择其他User-Agent服务蜘蛛,例如Chrome桌面或Googlebot。隐藏引人注意的引荐来源网址–如果您需要完全下载用户从搜索登录时看到的内容,则可以安装Google,Yandex或其他网站引荐来源网址。为了防止被IP禁止,您可以选择使用Tor网络下载网站,而服务蜘蛛的IP在该网络中会随机变化。其他参数,例如图像优化,广告删除和分析,与从Web存档下载模块的参数相似。

下载完成后,内容将传输到处理模块。其操作原理与上述从Web存档下载网站的操作完全相似。

还值得一提的是,克隆恢复或下载的网站的可能性。有时,在恢复过程中可能会选择其他参数,但最终并没有必要。例如,不需要外部链接,而您需要一些外部链接,那么就无需再次开始下载。您只需要在恢复页面上设置新参数并开始重新创建站点。

仅在发布到来源的链接时,才允许使用文章材料: https://archivarix.com/zh/blog/how-does-it-works/

1 Archivarix如何工作?

Archivarix系统旨在下载和还原不再可从Web存档访问的站点以及当前在线的站点。这是与其余“下载器”和“站点解析器”的主要区别。 Archivarix的目标不仅是下载,而且还以一种可在您的服务器上访问的形式恢复网站。

让我们从从Web Archive下载网站的模块开始。这些是位于加利福尼亚的虚拟服务器。选择它们的位置是为了获得与Web存档本身最大的连接速度,因为它的服务器位于旧金山。在…

9 月 返回
2 如何将内容从Wayback Machine(archive.org)传输到Wordpress?

通过使用“提取结构化内容”选项,您可以轻松地从Web存档上的站点和任何其他站点创建Wordpress博客。为此,首先找到源站点,然后在“还原网站”或“下载网站”工具中选中“提取结构化内容”选项。输入您的选项(电子邮件,时间戳等),然后开始下载。…

9 月 返回
3 简单紧凑的Archivarix CMS。 用于下载网站的平面文件CMS。

为了方便您编辑在我们系统中还原的网站,我们开发了一个仅包含一个小php文件的简单平面文件CMS。 尽管尺寸庞大,但此CMS是用于处理您的网站的功能强大且用途广泛的工具。 它提供了任何CMS的所有基本功能,以及网站管理员根据从Web存档还原的内容创建PBN的特殊功能。…

7 月 返回
4 Archivarix CMS中使用的正则表达式

本文介绍了用于搜索和替换使用Archivarix System还原的网站中的内容的正则表达式。 它们不是该系统独有的。 如果您知道PHP,Perl,Java或其他编程语言的正则表达式,那么您已经知道如何使用我们的搜索和替换。 如果没有,我们希望本文对您有所帮助。…

7 月 返回
最新消息:
2020.06.08
具有新的便捷功能的Archivarix CMS于6月首次更新。
-修复:当未启用php zip扩展名时,“历史记录”部分不起作用。
-历史记录选项卡,其中包含编辑文本文件时的更改详细信息。
-.htaccess编辑工具。
-能够将备份清理到所需的回滚点。
-已从“工具”中删除了“缺少网址”块,可从主面板访问
-增加了检查并在主面板中显示可用磁盘空间。
-在启动和初始安装时改进了对必要PHP扩展的验证。
-较小的外观变化。
-所有外部工具已更新为最新版本。
2020.05.21
网络演播室和使用外包的演播室的更新将不胜感激。
-用于安全模式的单独密码。
-扩展安全模式。现在,您可以创建自定义规则和文件,但是无需可执行代码。
-从CMS重新安装站点,而不必手动从服务器删除任何内容。
-能够对自定义规则进行排序。
-改进了针对大型网站的搜索和替换。
-“视口元标记”工具的其他设置。
-使用旧版ICU托管时支持IDN域。
-在使用密码的初始安装中,添加了注销功能。
-如果在与WP集成期间检测到.htaccess,则Archivarix规则将添加到其开头。
-按序列号下载站点时,CDN用于提高速度。
-其他较小的改进和修复。
2020.05.12
我们的Archivarix CMS正在飞速发展。出现的新更新:
-用于查看统计信息,服务器设置和系统更新的新仪表板。
-能够创建模板并方便地将新页面添加到站点。
-一键式集成Wordpress和Joomla。
-现在在“搜索替换”中,附加过滤以构造函数的形式进行,您可以在其中添加任意数量的规则。
-现在,您可以按域/子域,日期时间,文件大小过滤结果。
-一种新工具,用于在Cloudlfare中重置缓存或启用/禁用开发模式。
-一种用于删除网址中版本控制的新工具,例如,css或js中的“ver=1.2.3”。甚至允许您修复由于缺少不同版本的样式而在WebArchive中看起来歪斜的页面。
-robots.txt工具可以立即启用并添加站点地图。
-自动和手动创建回滚点以进行更改。
-导入可以导入模板。
-保存/导入加载程序的设置包含创建的自定义文件。
-对于持续时间超过超时的所有操作,将显示进度条。
-一种向站点的所有页面添加视口元标记的工具。
-删除断开的链接和图像的工具可以解决服务器上的文件。
-一种新工具,可修复html代码中不正确的urlencode链接。很少,但可能派上用场。
-改进了缺少网址工具。现在与新的加载程序一起,统计对不存在的URL的调用。
-搜索和替换中的正则表达式提示。
-改进了对缺少的php扩展名的检查。
-将所有使用的js工具更新到最新版本。

这以及许多其他外观上的改进和速度优化。
2020.02.14
新星期五,新更新!
Archivarix CMS完成了许多新功能和有用功能:
-现在,在“搜索和替换”中,您可以按网址日期进行过滤。
-现在,单击按钮即可删除网站所有页面的外部链接。锚被保留。
-新参数ACMS_SAFE_MODE,该参数禁止更改Loader / CMS设置和加载自定义文件,也禁止导入以导入设置和自定义文件。
-现在可以将Loader和CMS的JSON设置文件下载到您的计算机,并从您计算机上的文件下载到CMS。因此,将设置转移到其他站点变得更加容易。
-创建自定义规则变得更加方便,您可以选择常用的模式。
-无需下载文件即可在文件管理器中创建新的自定义文件。
-主域的网址树始终排在第一位。
-如果您隐藏域/子域的网址树,则在使用CMS时会保存此设置。
-打开/折叠网址树,而不是两个按钮,现在可以同时执行这两个操作。
-简化了创建新URL的操作,并且在创建时可以立即从计算机中指定文件。
-在移动版式中,主要工作部分位于第一位。
-每次操作文件后,其大小都会在数据库中更新。
-修复了选择性历史回滚的按钮。
-修复了为域名中包含数字的子域创建新的url的问题。
2020.02.07
更新的新部分!
现在无需更改文件源代码中的任何内容。
-现在,您可以通过从Archivarix CMS仅将一个脚本上载到服务器来将站点上载到服务器。
-为了更改CMS设置中的某些内容,您不再需要打开其源代码。您可以直接从“设置”部分设置密码或下限。
-为了连接您的计数器,跟踪器,自定义脚本,.content.xxxxxx文件夹中现在使用了一个单独的“ includes”文件夹。您还可以直接通过CMS中的新文件管理器上传自定义文件。向站点的所有页面添加计数器和分析也变得方便和易于理解。
-导入支持带有设置和“ includes”文件夹的新文件结构。
-添加了用于在代码编辑器中工作的键盘快捷键。

新版本中的这些以及许多其他改进。加载程序也已更新,并且可以使用CMS创建的设置。