Australian Web Archive

El Archivo Web de Australia, Australian Web Archive (AWA) es una base de datos en línea disponible públicamente de sitios web australianos archivados, alojada por la Biblioteca Nacional de Australia (NLA) en su plataforma Trove, un agregador de bases de datos de bibliotecas en línea. Comprende el archivo PANDORA de la NLA, el Archivo Web del Gobierno de Australia (AGWA) y las colecciones de dominios ".au" de la Biblioteca Nacional de Australia. El acceso se realiza a través de una única interfaz en Trove,^[1]​ que está disponible públicamente. El archivo web australiano se creó en marzo de 2019, y es uno de los archivos web más grandes del mundo. Su propósito es proporcionar un recurso para historiadores e investigadores.

PANDORA comenzó a archivar sitios web en octubre de 1996.^[2]​

En 2005, la NLA comenzó a archivar instantáneas anuales de todo el dominio web australiano (URL con el sufijo ".au"), recopiladas a través de grandes cuotas de rastreo. Más tarde, los primeros sitios web del dominio web .au, que datan de 1996, se obtuvieron del Internet Archive. En 2019, este contenido se hizo público por primera vez a través de Trove.

La infraestructura de PANDORA, que funciona bien para un archivo selectivo a pequeña escala, no se adapta a la "recolección masiva" de contenido web a gran escala, por lo que se tuvo que desarrollar un nuevo sistema técnico mediante el cual un servicio de archivo web integraría la entrega de sitios web archivados, dentro de una interfaz de sitio web en vivo que entrega los sitios web archivados sin problemas al usuario, lo cual es difícil de lograr técnicamente.

Los sitios web del gobierno australiano son registros de la Commonwealth y, por lo tanto, son publicaciones que deben administrarse de conformidad con la Ley de Archivos de 1983 del país.

El Archivo Web del Gobierno de Australia (AGWA) consiste en un archivo masivo de los sitios web del Gobierno del Commonwealth. La NLA comenzó la recolección regular de sitios web en junio de 2011, después de que se superó un obstáculo significativo con un acuerdo administrativo realizado en mayo de 2010 que permite a la NLA recopilar, preservar y hacer accesibles los sitios web del gobierno sin tener que solicitar permiso previo para cada sitio web o documento, como ocurría con anterioridad. El servicio utiliza el rastreador web Heritrix para recolectar archivos WARC para almacenamiento y Open Wayback para entrega del servicio. Hay una enorme cantidad de publicaciones por parte del gobierno, pero también muchos desafíos que superar tratando de preservar el contenido, como su repentina desaparición. En marzo de 2014, la AGWA se puso a disposición del público.

La AGWA cumple con los requisitos de preservación y retención para sitios web como material susceptible de "conservar como archivos nacionales" (ARN) según la Ley de Archivos; sin embargo, los videos y los archivos de documentos (como PDF o documentos de Word) no siempre se capturan, por lo que deben administrarse por separado.

A principios de 2015, la AGWA incluía contenido que databa de 2005, que ascendía a unos 144 millones de archivos que ocupaban 15 terabytes. Solo incluía los sitios web del Gobierno de la Commonwealth recopilados a través de recolecciones masivas de casi 1000 URL iniciales. La programación de las recolecciones aún no se había establecido de forma rutinaria, pero las recolecciones se realizaban aproximadamente tres veces al año.

En 2017, el archivo AGWA y PANDORA se fusionaron con las otras colecciones de archivos web para formar la colección de archivos web Trove. Después de un mayor desarrollo y la creación del Archivo Web de Australia, los sitios web gubernamentales archivados a través de AGWA y ahora incluidos en AWA todavía se pueden buscar por separado utilizando la opción "Búsqueda avanzada".

La NLA describe un archivo web como una "colección de instantáneas de sitios web capturados mientras son accesibles en la web, y luego conservados en una copia estática". La colección archivada en la AWA es "relevante para la vida y las actividades culturales, sociales, políticas, de investigación y comerciales de Australia y sus habitantes". Recopila material web a través del archivo programado de sitios web y publicaciones seleccionados, así como una recolección ad hoc relacionada con eventos importantes.

En marzo de 2019, cuando comenzó, AWA ya contenía alrededor de 600 terabytes de datos, con 9 mil millones de registros. Contiene más funciones que Wayback Machine, alojada en Internet Archive, lo que permite la búsqueda de texto completo mediante un motor de búsqueda integrado en la empresa. Los desarrolladores también idearon técnicas para filtrar el "ruido" no deseado. Los datos permanecen en los servidores de la biblioteca, aunque se prevé un cambio a la nube en el futuro, a medida que crezca el contenido. La usabilidad por parte de una amplia gama de usuarios, y en particular la funcionalidad de búsqueda, fueron los principales enfoques durante el desarrollo.

Un archivo puede buscarse completamente, por medio de una combinación de técnicas utilizadas por los desarrolladores. Cada equipo creó un algoritmo de búsqueda único y complejo, mediante la adaptación de una versión del algoritmo de clasificación de páginas de Google (basado en la frecuencia de clics en una página), modificado para generar mejores recursos de alta calidad. Otras tecnologías incluyen un filtro bayesiano, un clasificador no seguro para el trabajo de Yahoo y aprendizaje automático.

Existe la opción Limitar el dominio web gov.au antes de realizar la búsqueda, y otras opciones de la búsqueda avanzada son limitar el intervalo de tiempo de las instantáneas, el dominio y el tipo de archivo.

Con muchos de los sitios web anteriores de la década de 1990 ahora perdidos, principalmente debido al cambio frecuente de plataformas web, el Archivo Web de Australia es una iniciativa importante que ayudará a preservar las páginas web actuales y futuras, especialmente el contenido australiano. Se prevé continuar agregando material al Archivo y otro material en línea recopilado de acuerdo con la Ley de Bibliotecas Nacionales de 1960, las disposiciones de depósito legal de la Ley de Derechos de Autor de 1968 y la política de selección de colecciones digitales de la NLA.

Los sitios web de la región de Asia-Pacífico no están incluidos en la AWA, pero NLA se asocia con Internet Archive para recopilar y preservar "sitios web seleccionados de Asia / Pacífico relacionados con eventos específicos o grupos sociopolíticos".

• Historiografía