Time machine web: Internet Archive: Wayback Machine

Содержание

Бекап макбуков на удаленный сервер Time Machine для путешественников / Хабр

Принцип работы утилиты Time Machine Traveler Helper

У меня есть рабочий макбук и я часто путешествую. Я боюсь потерять данные на нем, поэтому я делаю бекапы через родную Time Machine на удаленный сервер. Для этого я поднял в офисе сервер SMB, который всегда доступен через VPN.

Проблема: если включить автоматический бекап в Time Machine, система будет постоянно бекапится даже через тонкий мобильный интернет в самолете, мешая работать, исчерпав весь канал.

Решение: я написал скрипт Time Machine Traveler, который проверяет скорость доступа к SMB шаре и запускает бекап только если качество соединения высокое.

Мой скрипт работает так

  1. Проверяет доступность SMB сервера через VPN

  2. Если сервер доступен, запускает тест скорости через iperf3

  3. Если скорость хорошая, запускает бекап


Настройка сервера

Чтобы развернуть такой же сетап, вам потребуется поднять Samba сервер и настроить к нему удаленный доступ через VPN. Вы можете сделать это любым удобным способом. Я расскажу про свой способ.

VPN

Мы на работе используем модный ZeroTier. Это не совсем VPN, так как в нем нет центрального сервера, а все соединения происходят напрямую, через P2P. Это позволяет получить максимальную скорость между клиентом и SMB сервером.

В ZeroTier подключения внутри VPN сети происходят напрямую

В обычной схеме с VPN сервером вы всегда ограничены качеством канала между вами и сервером. И даже если офис находится в соседнем здании, вы все равно будете пропускать трафик через VPN сервер, внося задержки. В ZeroTier я выжимаю 100 Mbit/s до офиса из дома с минимальными задержками. При этом мне доступны все хосты внутри VPN сети, и чем ближе я физически к целевому хосту, тем лучше скорсть. Такое невозможно получить с центральным VPN сервером.

Я обожаю ZeroTier за его простоту в настройке. Я пользуюсь и OpenVPN и IPSec Ikev2 и все это ужасно. Сейчас добавление нового клиента в VPN сеть у нас на работе выглядит так:

sudo zerotier-cli join <network id>

Дальше администратор апрувит добавление нового клиента в веб-морде и все. Там же в веб-интерфейсе можно легко отключить клиента. Кайф!

SMB сервер

Для бекапа в Time Machine вам потребуется развернуть SMB сервер на дисковом хранилище. Это может быть NAS или голая Samba. Я использую обычную Samba настроенную по этому мануалу, чтобы включить расширения протокола для macOS.

С недавнего времени Apple забросили поддержку своего протокола AFP (Apple Filing Protocol), поэтому все мануалы по настройке сервера для Time Machine, где используется AFP устаревшие, не используйте их. Теперь достаточно обычного SMB.

Speed Test

Чтобы измерять скорость до SMB хранилища, я развернул на том же сервере iperf3, который всегда слушает порт и ждет клиентов для замеров скорости сети.

apt install iperf3

И добавил его как сервис:

# systemctl cat iperf3.service
# /lib/systemd/system/iperf3.service
[Unit]
Description=iperf3 server
After=syslog.target network.target auditd.service
[Service]
ExecStart=/usr/bin/iperf3 -s
[Install]
WantedBy=multi-user. target

Настройка клиента

В нашем случае клиенты это макбуки путешественников. На них нужно настроить Time Machine на удаленный сервер как обычно. При настройке важно подключаться к SMB серверу по тому адресу, который будет доступен через VPN.

Подключение к SMB шаре

ВАЖНО: при подключении к SMB хранилищу нужно поставить галочку «Сохранить пароль в ключнице, иначе мой скрипт не сможет сам подмонтировать диск в фоне.

При подключении к удаленному SMB важно сохранить пароль

Активация Time Machine

Если у вас правильно настроена Samba, удаленный диск появится в списке доступных для бекапа в Time Machine. Активируйте его и выполните первый самый долгий бекап. Размер бекапа будет равен объему занятого места на диске. Когда первичный бекап выполнен, нужно убрать галочку «Автоматический Бекап».

ВАЖНО: если дисковое хранилище общее, выбирайте опцию «шифровать бекап» в time machine, иначе все ваши файлы будут лежать на сервере в открытом виде.

Установка скрипта Time Machine Traveler Helper

Мой скрипт это плагин для утилиты xbar. Эта утилита запускает шелл скрипты в фоне и красиво форматирует их вывод в системном трее.

Вот мой плагин Time_Machine_Traveler.py (Это Pull Request в библиотеку плагинов xbar)

Он еще сырой и я не буду советовать всем его устанавливать. Вам придется самому разобраться как добавить его в xbar. В данный момент я приглашаю только разработчиков протестировать и доработать плагин.

Настройки скрипта

У скрипта есть настройки, для работы вам нужно их заполнить

  • SMB_SHARE_ADDRESS — адрес SMB сервера, IP или домен, например 10.30.22.1

  • WORKGROUP_NAME — имя рабочей группы на SMB сервере. В моем случае стандартное WORKGROUP

  • SMB_MOUNT_PATH — полный путь по которому будет доступно SMB хранилище в системе. В моем случае это /Volumes/pavel Его можно посмотреть, когда SMB хранилище смонтировано с помощью утилиты df

  • SMB_USER — имя пользователя с которым подключаться к SMB

  • SMB_SHARE_PATH — имя SMB папки на сервере. Оно показано, когда вы подключаетесь к SMB серверу. В моем случае это просто pavel

  • SPEED_TEST_SERVER — адрес сервера на котором установлен iperf3. В моем случае это тот же адрес, что и SMB хранилище

  • SPEED_TEST_DURATION — время, которое будет выполняться тест скорости. По умолчанию это 10 секунд, что для меня слишком долго, так как в этот момент канал нагружается полностью. Я поставил 3 секунды

  • SPEED_TEST_TIMEOUT — таймаут подключения к серверу iperf3 в миллисекундах. Это те же задержки, которые мы видим в ping. Если поставить значение меньше 100мс, это автоматически отрежет бекап через мобильный интернет.

  • MIN_SPEED — минимальная скорость до сервера в Mbit/s. Я ставлю 60 мегабит.

  • MAX_LOAD_AVERAGE — я ненавижу, когда бекап включается в момент, когда я кодирую видео на ноутубуке. Поэтому скрипт проверяет насколько нагружена система и если LA больше этого значения, то не запускает бекап. Я ставлю 5

Скриншоты

Скорость до SMB сервера слишком медленная, бекап отмененВыполняется бекап. Прогресс и оставшееся время пока не показываются

⚠️ Помогите в тестировании

Это полезный инструмент для удаленных сотрудников и тех кто путешествует. На текущий момент скрипт находится в alpha версии и я прошу вас принять участие в тестировании и доработке скрипта, потому что мне уже лень.

TODO

Скрипт не готов до конца, нужно еще:

  • Убрать зависимость от стороннего python3 из brew. В идеале хочется использовать стандартный системный питон

  • Убрать зависимость от osascript

  • Сократить настройки: брать настройки адреса SMB шары и всех путей из вывода tmutil destinationinfo

  • Показывать прогресс бекапа через tmutil status. Вот референс

  • Брать дату последнего успешного бекапа из tmutil status и на основании этого сделать возможность настройки интервалов бекапов: если последний успешный бекап старше N дней, запускаем бекап.

Как Time Machine для Mac поможет вам сохранить все важные файлы

16 августа 2020 Ликбез macOS

Настройте резервное копирование и обезопасьте себя от потери важной информации.

Что такое Time Machine

Все владельцы Mac (да и не только) наверняка слышали о Time Machine. Это встроенная в macOS система резервного копирования данных, сохраняющая дубликаты всех документов, программ, сообщений, музыкальных файлов. Она позволяет легко восстановить любую информацию на диске в случае каких‑либо сбоев, нечаянного удаления, а также при замене накопителя или покупке нового Mac.

Как работает Time Machine

При первом запуске Time Machine индексирует всё содержимое диска и делает его бэкап. После этого резервное копирование осуществляется автоматически без участия пользователя. Бэкапы создаются каждый час и хранятся по такому принципу:

  • В течение суток доступны ежечасные копии.
  • В течение месяца доступны ежедневные копии.
  • За предыдущие месяцы доступны еженедельные копии.

Количество бэкапов ограничено только объёмом накопителя. Когда он заполняется, копии постепенно удаляются — начиная с самых старых. Поэтому резервное дублирование данных никогда не прекращается, даже если использовать диск небольшого объёма.

Если накопитель для бэкапов не подключён, macOS сохраняет моментальные локальные копии на системном диске. Позже они переносятся на тот, что выбран в настройках Time Machine.

Как настроить резервное копирование в Time Machine

1. Подготовьте накопитель

Для бэкапов подойдёт как традиционный жёсткий диск, так и SSD‑накопитель. Вид подключения может быть любым: USB, Thunderbolt, FireWire или локальная сеть. Ёмкость диска должна быть не меньше объёма встроенного хранилища Mac, а лучше вдвое больше — чтобы можно было хранить копии за последние пару месяцев, а не за несколько недель. Например, для компьютера с накопителем 512 ГБ стоит выбрать винчестер от 1 ТБ и выше.

Если планируете использовать диск не только для резервного копирования, но и для хранения других файлов, то лучше создать под бэкапы отдельный раздел (в противном случае Time Machine не будет удалять старые дубликаты, пока не закончится свободное место).

Для этого откройте «Дисковую утилиту», выберите диск и нажмите кнопку «Разбить на разделы».

Далее кликните на «+», укажите имя, размер, тип файловой системы Mac OS Extended (журналируемый) и нажмите «Применить».

2. Включите Time Machine

Откройте системные настройки и перейдите в одноимённый раздел.

Поставьте галочки напротив пунктов «Создавать резервные копии автоматически» и «Показывать Time Machine в строке меню».

Нажмите кнопку «Выбрать резервный диск», укажите накопитель в списке и кликните «Использовать диск».

Через пару минут начнётся автоматическое выполнение бэкапа. Чтобы запустить его сразу же, нажмите на иконку Time Machine в строке меню и выберите «Создать резервную копию сейчас».

Если хотите защитить бэкапы шифрованием, поставьте галочку напротив соответствующего пункта. В этом случае восстановить данные из резервной копии можно будет только после ввода пароля.

3. Настройте параметры

По умолчанию сохраняемые резервные данные могут составлять всё содержимое диска. Для экономии места и ускорения процесса копирования можно исключить из бэкапа загрузки и другие ненужные папки.

Для этого в окне Time Machine нажмите «Параметры».

С помощью кнопки «+» добавьте в исключения требуемые каталоги и нажмите «Сохранить».

При необходимости таким же образом можно удалить исключения. Здесь же, в меню настроек, с помощью соответствующих галочек можно активировать опции резервного копирования при питании от аккумулятора и уведомлений об удалении старых бэкапов.

Как восстановить данные из резервной копии

Как восстановить отдельный файл

Подключите диск с резервными данными к Mac. Перейдите к папке, в которой находился или находится файл. Выберите «Войти в Time Machine», кликнув по иконке утилиты в строке меню.

С помощью стрелок или шкалы справа укажите нужный период времени и нажмите «Восстановить».

Выберите, заменить ли исходный файл, оставить оба или только оригинал.

Как восстановить все файлы на диске

Для воссоздания данных при установке macOS или после покупки нового Mac подключите накопитель, который используется с Time Machine.

На завершающем этапе настройки при запуске «Ассистента миграции» выберите вариант «С компьютера Mac, резервной копии Time Machine или загрузочного диска».

Укажите диск и резервную копию, затем нажмите кнопку «Продолжить».

Выберите, какой именно контент следует перенести, и ещё раз нажмите «Продолжить».

Всё остальное программа сделает сама.

Читайте также 💻💿⚙️

  • Как на Android сделать резервную копию данных в Google Drive
  • Как настроить автосохранение в популярных офисных пакетах
  • Как сделать бэкап на компьютере и смартфоне
  • Как восстановить файлы, удаленные в iCloud
  • 4 удобных приложения для резервного копирования в Linux

Wayback Machine: 5 альтернатив, которые стоит попробовать

Большая часть Интернета эфемерна.

Веб-страницы существуют до тех пор, пока их нет. Содержимое на них существует до тех пор, пока оно не будет обновлено, а затем исчезнет.

Если не копаться в архиве.

Архивирование сети важно для культурных и антропологических исследований. Это также полезно для бизнеса, например, для конкурентного анализа. Это может даже помочь документировать или отслеживать политические процессы.

Ваша конкретная причина поиска архивного контента может определить, какая служба работает лучше всего.

Wayback Machine — самый известный архив.

Скриншот, https://archive.org/web/, январь 2023 г.

Интернет-архив — некоммерческая организация, а Wayback Machine — веб-версия ее архива, содержащая абсолютно огромное количество данных.

Вы можете запросить сохранение веб-страницы в ее текущем состоянии, а также использовать такие инструменты, как API.

Каким бы огромным ни был архив Wayback Machine, он, скорее всего, не заполнен на 100%. Если у вас возникли проблемы с поиском чего-то конкретного или вам интересно, есть ли альтернативы с большим количеством функций, эти альтернативы могут помочь.

Я не буду рассматривать платные подписки SaaS, так как не считаю платную услугу реальной альтернативой бесплатной, предоставляемой некоммерческой организацией.

Поехали!

1. Проект «Помни»

«Помни» — это исключительная альтернатива Wayback Machine, поскольку она объединяет несколько разных источников, включая саму Wayback Machine.

На веб-сайте вы можете получить доступ к архивам из нескольких источников с помощью инструмента «Путешествие во времени».

Скриншот, http://timetravel.mementoweb.org/, январь 2023 г.

Это первое отличие, которое делает Memento таким классным, и оно включает в себя и некоторые другие архивы из этого списка. Это означает, что это настраиваемый опыт и, вероятно, один из самых полных.

Еще одной отличительной особенностью Memento является расширение Chrome, которое позволяет вам выбрать дату, когда вы хотите просмотреть текущую страницу. Это переносит инструмент туда, где вы просматриваете, вместо того, чтобы заставлять вас вводить URL-адрес в форму.

Вы также можете создать снимок страницы и сгенерировать ссылку на нее, которая не сломается. Это особенно полезно для цитирования.

Если вы обеспокоены тем, что страница может исчезнуть или содержимое может обновиться, но вы хотите использовать информацию, создание одной из этих ссылок гарантирует, что люди смогут увидеть ваш первоисточник.

2. Archive.today

Archive.today — еще один инструмент для создания моментальных снимков. Он позволяет сохранить ссылку на страницу в том виде, в каком она существует в данный момент.

Переход по ссылке приведет пользователей к неизменяемой версии страницы.

Скриншот, https://archive.ph/, январь 2023 г.

Он также содержит некоторые относительно расширенные поисковые запросы, которые вы можете выполнять по доменам и URL-адресам, чтобы найти снимки, которые были сохранены с помощью этого инструмента.

Этот инструмент также имеет расширение для Chrome и приложение для Android.

Поиски в Memento могут включать результаты из Archive.today.

3. WebCite

WebCite предлагает мощные приложения для авторов, журналистов, ученых и издателей.

Он предлагает различные способы создания и представления заархивированных страниц и URL-адресов.

Скриншот, rhttps://webcitation.org/, январь 2023 г.

К сожалению, на момент публикации новые запросы не принимаются. Но вы все еще можете получить доступ к уже заархивированным страницам. Когда и если он снова начнет принимать запросы, это очень полезный инструмент для этого.

Самая мощная функция для авторов и издателей — возможность загрузить рукопись прямо на веб-сайт.

Инструмент будет сканировать каждую ссылку в загруженной рукописи и автоматически создавать архивы каждой из страниц, на которые есть ссылки, в том виде, в каком они существуют в настоящее время. Это экономит много времени, если вы использовали много ссылок на веб-сайты.

Если вы создали контент, который вы хотите, чтобы люди могли создавать снимки, вы можете добавить на свою страницу специальную ссылку WebCite, по которой пользователи могут щелкнуть. Это встраивает функции архива в вашу страницу, экономя время пользователей, если они решат использовать вашу работу в качестве цитирования.

4. GitHub

GitHub — это платформа для разработки и совместной работы, которая также отдает приоритет общедоступным проектам и открытому исходному коду.

Он документирует и архивирует код и программы с открытым исходным кодом и доступен для поиска другими архивами, такими как Wayback Machine.

Снимок экрана, https://github.com/explore, январь 2023 г.

Но, если вы ищете что-то, связанное с кодом или разработкой программного обеспечения, может быть проще сразу перейти на GitHub, чем использовать другой архивный сервис. .

Хотя у GitHub есть платные бизнес-планы, он бесплатен для обычного пользователя. Он даже предлагает 15 ГБ дискового пространства и некоторую вычислительную мощность в своей облачной среде разработки бесплатно для личного использования.

5. Веб-архивы для конкретных стран

В некоторых странах есть собственные веб-архивы.

Это может быть особенно полезной альтернативой Wayback Machine, если вы ищете веб-сайт, тесно связанный с конкретным местом или культурой страны.

В более специализированных архивах может быть более полная информация, если у вас возникли проблемы с ее поиском в другом месте, хотя, опять же, я хочу упомянуть, что первая альтернатива в этом списке, Memento, извлекается из нескольких разных архивов для разных стран.

Я также должен отметить, что многие архивы, относящиеся к стране, региону, образовательному учреждению или отдельной библиотеке, сотрудничают с Archive-it, поставщиком услуг, созданным The Internet Archive (создатели Wayback Machine).

Они курируют определенные коллекции на основе релевантности, но все партнеры Archive-it используют один и тот же источник: Интернет-архив.

Вот несколько веб-архивов для конкретных стран:

  • Веб-архив Великобритании.
  • Интернет-архив Библиотеки Конгресса.
  • Интернет-архив Сингапура.
  • Хорватский веб-архив.

Заключение

Когда вы ищете альтернативы Wayback Machine, вы можете не осознавать, что многие из них частично или полностью основаны на одном и том же архиве.

Но есть и другие службы, которыми вы можете воспользоваться. Некоторые из них имеют более полезные функции, в зависимости от ваших целей.

Это не исчерпывающий список альтернативных инструментов, но это большинство легкодоступных инструментов для обычного пользователя.

Другие требуют ежемесячных платежей, а некоторые бесплатны для академических и юридических учреждений, но не для отдельных пользователей.

Я решил сосредоточиться на лучших инструментах, которые можно использовать прямо сейчас без суеты.

Дополнительные ресурсы:

  • Попробуйте эти инструменты и методы для экспорта результатов поиска Google в Excel
  • 20 отличных поисковых систем, которые можно использовать вместо Google
  • Как работают поисковые системы

Рекомендуемое изображение: Studio Romantic/Shutterstock

Категория SEO Инструменты

WP Time Capsule — WordPress Backup + Staging и его инкрементный!

Капсула времени WP

Резервное копирование только изменений

Прекратите каждый раз создавать полную резервную копию всего сайта. Пора умнеть.

«WP Time Capsule экономит нам часы на управлении резервными копиями и много места на наших серверах. Нам очень нравится его инкрементальная функция, которая помогает нам создавать резервные копии автоматически и эффективно. »

Эдуард Бош Бертран

Соучредитель Climb Around.

Time-machine для вашего WordPress

WP Time Capsule — самое умное и передовое решение для резервного копирования WordPress в мире.
Вот почему умные владельцы бизнеса и веб-агентства любят WP Time Capsule, и вы тоже!

Владельцы бизнеса

Агентства

Электронная торговля

Портфолио

Владельцы бизнеса

Агентства

Электронная торговля

Портфолио

Резервное копирование по мере внесения изменений

Каждое изменение, происходящее на вашем веб-сайте, немедленно копируется. Это означает, что ваша резервная копия всегда актуальна автоматически.

Защитите свой сайт от хакеров

В неизбежном сценарии взлома все, что вам нужно сделать, это восстановить веб-сайт на момент времени одним нажатием кнопки.

Обновление с уверенностью

Резервная копия вашего веб-сайта создается каждый раз, когда применяется обновление. В случае, если обновление сломает ваш сайт, быстрое восстановление выполняется одним щелчком мыши.

Проверьте свои изменения, прежде чем вводить их в действие.

Когда ваш веб-сайт имеет решающее значение для вашего бизнеса, вы не можете допустить снижения производительности. Вот почему теперь вы можете протестировать изменения или обновления на промежуточном сайте, прежде чем запускать их.

Белая метка нашей технологии

Удалите все упоминания о «WP Time Capsule» из представления списка плагинов — имя плагина, описание, название компании и ссылка. Это похоже на предоставление собственного решения для резервного копирования.

Вид с высоты птичьего полета

Управляйте резервными копиями всех своих веб-сайтов с нашей центральной панели. Просмотр и исправление ошибок резервного копирования без посещения каждого веб-сайта в отдельности.

Сэкономьте на счете за хранилище

Используя решение для инкрементного резервного копирования, вы значительно сэкономите на счете за хранилище хостинга, поскольку резервируются только изменения. Никаких zip-архивов с одними и теми же файлами, которые засоряют ваш сервер.

Промежуточная среда одним щелчком мыши

Настройте клон вашего работающего сайта, чтобы протестировать изменения и обновления одним щелчком мыши. Больше никаких сюрпризов на живом сайте. Протестируйте все на промежуточном сайте, прежде чем запускать их в жизнь.

Защитите свой интернет-магазин

Ваш интернет-магазин более хрупок, чем вы думаете. Независимо от опасности или повреждения, быстрое восстановление выполняется одним щелчком мыши.

Резервные заказы по мере их поступления

Заказы — это родословная вашего бизнеса. Вы не хотите пропустить ни одного заказа. Вот почему с WPTC резервное копирование каждого заказа происходит сразу после его поступления.

Проверка важных обновлений в промежуточной среде

Будь то обновления Woocommerce или других плагинов; они важны для обеспечения безопасности вашего сайта. Но обновлять их на живом сайте не стоит. Благодаря нашей постановке в один клик вы получаете клон своего работающего сайта для тестирования обновлений.

Безопасно тестируйте новые идеи

У вас есть идея по улучшению вашего веб-сайта? Идите вперед и попробуйте его с уверенностью. Если вам нужно восстановить его, просто нажмите кнопку «Восстановить». Простой.

Защитите свой сайт от хакеров

В неизбежном сценарии взлома все, что вам нужно сделать, это восстановить веб-сайт на момент времени одним нажатием кнопки.

Резервное копирование по мере внесения изменений

Каждое изменение, происходящее на вашем веб-сайте, немедленно копируется. Это означает, что ваша резервная копия всегда актуальна автоматически.

Обновление с уверенностью

Резервная копия вашего веб-сайта создается каждый раз, когда применяется обновление. В случае, если обновление сломает ваш сайт, быстрое восстановление выполняется одним щелчком мыши.

Проверьте свои изменения, прежде чем вводить их в действие

Когда ваш веб-сайт имеет решающее значение для вашего бизнеса, вы не можете допустить снижения производительности. Вот почему теперь вы можете протестировать изменения или обновления на промежуточном сайте, прежде чем запускать их.

+

резервных копий

+

ГБ сэкономлено места

+

сэкономлено часов

Более 9000 довольных клиентов не могут ошибаться

«Возможность сделать резервную копию вашего сайта перед обновлением файлов ядра, плагина или темы неоценима. Если вы обнаружите, что обновление приводит к «ломке» вашего сайта, вы можете легко восстановить и снова запустите свой веб-сайт».

John LabellaFilmMaker

«Считается, что рекомендуется делать резервную копию перед обновлением вашего сайта. С WPTC полезное напоминание предлагает мне создать резервную копию перед обновлением. Мне это нравится.»

Девин УокерОснователь GiveWP.

«Это, безусловно, самый простой интерфейс плагина резервного копирования, который я когда-либо видел. Настолько, что я думаю, что он заменил мою текущую рекомендацию BackupBuddy.»

Скотт Уайден КивовитцБлогер, фотограф и педагог, Нью-Джерси.

«Поддержка (по электронной почте) быстро реагирует на проблемы, и кажется, что команда разработчиков открыта и приветствует предложения.»

Питер Эксперт BosWordPress

«Всегда инкрементальный! Мне нравится тот факт, что это плагин для инкрементного резервного копирования! Попробовал, и он работает очень хорошо. Продолжайте в том же духе.»

Ахмед АваисРазработчик Full Stack WordPress