Настройка и использование ArchiveBox
ь в моем ящике, пока взлом Интернет-архива не попал в заголовки газет. Теперь они являются сердцем моей локальной системы веб-архивирования, сохраняя все — от любимых сообщений в блоге до проектов с открытым исходным кодом. В этой статье я покажу вам свой пошаговый путь к созданию частного Интернет-архива и независимости цифрового хранения с помощью ArchiveBox.Почему я решил разместить частный интернет-архив
Недавнее нарушение безопасности Интернет-архива поразило как удар молнии по сообществу, занимающемуся сохранением цифровых данных, и по всем тем, кто извлекает выгоду из его работы. 9 октября хакеры взломали сайт и украли огромную базу данных аутентификации
Contents
Почему я решил разместить частный интернет-архив
еще хуже, так это то, что на этом проблемы Архива не закончились. Когда к 21 октября им удалось восстановить некоторые службы, хакеры получили доступ к их системе поддержки Zendesk, продемонстрировав, что уязвимость оказалась глубже, чем предполагалось изначально.Хотя с тех пор Архив возобновил работу, его будущее остается неопределенным, поскольку нарушения безопасности — не единственная угроза сохранности цифровых данных. Недавнее решение федерального апелляционного суда нанесло еще один серьезный удар по Интернет-архиву, установив, что их цифровая библиотека не защищена доктриной добросовестного использования и поэтому может быть вынуждена удалить значительную часть ее контента.
Последствия очевидны: необходимость личного контроля над сохранностью цифровых данных никогда не была более очевидной. Хорошей новостью является то, что любой может легко настроить частный интернет-архив с помощью Raspberry Pi и АрхивБокс .
Моя рекомендуемая настройка оборудования для архивирования Raspberry Pi
Если вы готовы создать свой собственный частный интернет-архив, вам понадобится некоторое оборудование.
Прежде всего вам понадобится Raspberry Pi. Для получения наилучших результатов я настоятельно рекомендую последнюю версию Raspberry Pi 5, поскольку ее значительно улучшенная производительность означает, что ваши задачи архивирования будут выполняться более плавно и быстрее, и у вас будет достаточно места для будущего расширения вашего архива.
Тем не менее, не переживайте, если у вас уже есть Raspberry Pi 4B с 4 или 8 ГБ оперативной памяти. Эти модели прекрасно способны работать с личным архивом, и у них есть одно интересное преимущество перед Pi 5: аппаратное кодирование Видео H.264 . Это становится особенно ценным, если вы планируете транслировать архивное видео на телевизор или другие устройства в доме.
Помимо вашего Pi вам еще понадобится:
- Карта microSD. Карты microSD емкостью 32 ГБ достаточно для запуска и работы ArchiveBox. Эта карта microSD будет служить основным загрузочным диском Pi, поэтому обязательно выбирайте качественный и надежный диск, чтобы предотвратить любые проблемы с повреждением данных в будущем.
- Внешний жесткий диск
Моя рекомендуемая настройка оборудования для архивирования Raspberry Pi
дюйма с собственным источником питания. Почему? Потому что 3,5-дюймовые накопители со временем обеспечивают более высокую надежность по сравнению с более современными твердотельными накопителями, а надежность — это самое главное, когда дело касается архивирования. - Монитор, мышь и клавиатура : они технически необязательны, но могут упростить настройку, особенно если вы настраиваете Pi впервые. Кроме того, вы можете управлять им полностью удаленно, используя такие инструменты, как SSH (протокол безопасной оболочки) , VNC (вычисления в виртуальной сети) или RDP (протокол удаленного рабочего стола) .
Как только все эти элементы будут у вас под рукой, вы готовы приступить к настройке собственного интернет-архива!
Подготовка программной среды для архивирования
Первый шаг — установить и запустить операционную систему на Raspberry Pi. Лично я рекомендую ОС Raspberry Pi, потому что, как официальная ОС для устройств Raspberry Pi, это, безусловно, самый популярный и поддерживаемый вариант. Вы можете следовать нашему Руководство по установке ОС Raspberry Pi , если не знаете, как записать его на карту microSD.
А если вы любите приключения, возможно, вам захочется изучить некоторые из альтернативные операционные системы доступны для Raspberry Pi .
После установки операционной системы загрузите Pi и подключите его к Интернету (неважно, используете ли вы проводное или беспроводное соединение). Затем запустите Терминал и выполните обновление системы командой:
sudo apt update && sudo apt full-upgrade
Когда дело доходит до установки ArchiveBox, у вас есть три варианта: Docker, сценарий автоматической установки или использование менеджера пакетов вашей системы. Я настоятельно рекомендую работаю с Докером . Он не только обеспечивает максимально простую установку и обновление, но также обеспечивает лучшую изоляцию безопасности и включает все зависимости прямо из коробки.
К сожалению, Docker не предустановлен в ОС Raspberry Pi, поэтому нам потребуется сначала настройте это (не забудьте также выполнить действия после установки).
После успешной установки Docker мы готовы перейти к установке самого ArchiveBox, что будет намного проще благодаря всей проделанной нами работе.
Установка и запуск ArchiveBox
Чтобы установить ArchiveBox с помощью Docker, сначала создайте каталог, в котором будет храниться весь ваш заархивированный контент. Это будет ваша архивная папка на Raspberry Pi, поэтому выберите место с достаточным объемом памяти, например внешний жесткий диск (вы можете перейти к нему с помощью команда компакт-диска ):
mkdir -p archivebox/data && cd archivebox
Затем загрузите официальный файл конфигурации Docker Compose, который определяет, как должен работать ArchiveBox:
curl -fsSL 'https://docker-compose.archivebox.Подготовка программной среды для архивирования
/div>Этот файл конфигурации важен, поскольку он настраивает все необходимые компоненты, включая веб-сервер и запланированные задачи. Если вы хотите сохранить архив на внешнем диске вместо SD-карты Pi (что рекомендуется), вам необходимо отредактировать файл «docker-compose.yml», чтобы он указывал на местоположение подключенного диска.
Для этого откройте файл конфигурации в любом текстовом редакторе, например нано :
nano docker-compose.yml
Найдите раздел тома в службе archivebox. По умолчанию это выглядит примерно так:
services: archivebox: ... volumes: - ./data:/dataНам нужно изменить
./data
, чтобы он отражал полный путь к каталогу данных нашего внешнего диска. Например, если ваш диск смонтирован по адресу/mnt/external_drive
, измените строку так:services: archivebox: ... volumes: - /mnt/external_drive/archivebox/data:/dataЭто указывает Docker хранить все данные ArchiveBox в каталоге «archivebox/data» на внешнем диске вместо использования относительного пути. Использование абсолютного пути важно, поскольку оно гарантирует, что Docker всегда сможет найти данные вашего архива, даже если вы запускаете команды из разных каталогов.
Пока вы это делаете, вы также можете добавить переменные среды
PUID
иPGID
, чтобы они соответствовали учетной записи пользователя вашего Pi. Найдите свой идентификатор пользователя и идентификатор группы, запустивid -u
иid -g
, а затем добавьте их в раздел среды:services: archivebox: ... environment: - PUID=1000 # replace with your user ID - PGID=1000 # replace with your group IDНаконец, закомментируйте или удалите сервисы sonic (быстрее и лучше ищет большие коллекции) и novnc (позволяет настроить профиль с логинами на сайты, которые вы хотите заархивировать). Настройка этих дополнительных служб выходит за рамки данного руководства, поэтому я рекомендую вам следовать официальной документации, если они вас интересуют.
Минимальная рабочая конфигурация должна выглядеть примерно так:
Сохраните файл и выйдите из редактора. Теперь инициализируйте свой архив и создайте администратора для доступа к веб-интерфейсу:
docker compose run archivebox init docker compose run archivebox manage createsuperuserПосле завершения инициализации вы можете запустить сервер ArchiveBox:
docker compose up -d
Теперь вы можете получить доступ к своему экземпляру ArchiveBox, открыв веб-браузер и перейдя по адресу http://localhost:8000. Попробуйте сейчас. Вот что вы должны увидеть:
Настройка и использов
Установка и запуск ArchiveBox
ь поведение ArchiveBox, вам не нужно напрямую редактировать файлы конфигурации. Вместо этого используйте командуconfig
для изменения настроек. Например, я всегда настраиваю тайм-ауты и ограничения ресурсов для повышения производительности Raspberry Pi:docker compose run archivebox config --set MEDIA_TIMEOUT=3600 docker compose run archivebox config --set TIMEOUT=60 docker compose run archivebox config --set MEDIA_MAX_SIZE=750mbВы также можете отключить отправку на archive.org, чтобы ускорить архивирование:
docker compose run archivebox config --set SAVE_ARCHIVE_DOT_ORG=FalseВсе настройки автоматически сохраняются в файле
ArchiveBox.conf
в вашем каталоге данных, и вы можете просмотреть текущие настройки в любое время, запустив:docker compose run archivebox config listПосле завершения базовой настройки вы можете приступить к добавлению контента в свой архив. ArchiveBox поддерживает несколько способов добавления URL-адресов. Самый простой из них — веб-интерфейс. Вы просто нажимаете кнопку Добавить, вставляете свои URL-адреса и нажимаете кнопку Добавить URL-адреса и архивировать.
<В некоторых ситуациях архивировать удобнее через командную строку. Например, чтобы заархивировать одну веб-страницу, вы можете запустить:
docker compose run archivebox add 'https://example.com'
Или чтобы заархивировать весь список URL-адресов из текстового файла:
docker compose run archivebox add < urls.txt
Наконец, вы можете импортировать из различных сервисов закладок, включая Pocket, Pinboard или Instapaper. Пожалуйста, посетите официальную вики для получения подробных инструкций.
Помните, что ваш архив так же безопасен, как и хранимые вами резервные копии. Чтобы защитить весь контент, который вы пытаетесь сохранить, я настоятельно рекомендую реализовать надежную стратегию резервного копирования с помощью лучшее программное обеспечение для резервного копирования Linux для защиты от потери данных, сбоев питания или случайного удаления.
Обложка и скриншоты: Дэвид Морело.