Chudik

Балансировщик для видео хостинга

2025-04-15T16:36:37.492Z

Сразу же скажу, что это статья не про громадные хостинги по типу youtube, rutube, vimeo и т.д. А гораздо в меньших масштабах.

Но все же я получил некоторый опыт и хотел бы поделиться им с вами.

Задача

У меня был вэб-сервер на базе nginx + vod_module. На сервере была примонтирована директория с видеофайлами в формате mp4. Они были достаточно большие от 10 до 40Гб в среднем. Поэтому мне и пригодился модуль VOD, что бы отдавать видео контент в формате HLS. Подробнее об этом можно найти информацию в интернете. Я сейчас не буду об этом, статья у меня немного о другом. Так вот, модуль VOD довольно ресурсоемкий, особенно при большом количестве запросов. Он отъедает процессорное время и в лучшем случае видео загружается дольше. В худшем, их невозможно смотреть. И именно с этим я и столкнулся в конечном итоге.

Мне нужно было решить, как оптимизировать все это. Либо найти способы как сделать масштабирование.

Процесс

Сперва, я сделал небольшую оптимизация путем более тонкой настройки модуля. Но это не дало сильного прироста производительности.

Тогда я начал рассматривать вариант с масштабированием. Проект у меня бесплатный, поэтому я искал дешевые vps. Не очень хотелось платить еще за несколько vps из своего кармана.

В итоге, я нашел вполне хорошего хостера во всех смыслах. И цены приятные, ниже рынка и при этом отличная поддержка. Заказал у них сперва один сервер, настроил его. А после, попросил через поддержку склонировать виртуальные диски еще на 2 сервера.

Что получилось: 3 абсолютно идентично настроенных сервера.

Далее я настроил DNS, добавив 3 A-записи по типу hls.example.com с разными ip-адресами. Которые принадлежали этим серверам соответственно.

Это решило для меня:

Распределение нагрузки по серверам (round robin)
Распределение трафика

Но самое интересное, это настройка самого nginx. Ниже я опишу 2 способа конфигурации. Т.к. чуть позже РКН подпортили мне все и пришлось сделать еще один вариант.

Решение

Способ 1. Подключаем CloudFlare.

Cloudflare — это глобальная сеть доставки контента (CDN), которая предоставляет решения для повышения безопасности и производительности веб-сайтов.

Я решил, что было бы не лишним подключить CF. Что бы получить дополнительное кеширование + защиту от ddos и т.д.

В общем, для начале я закрыл все соединения извне. Разрешив обращаться к вэб-серверу только с ip-адресов CF. Найди их можно здесь: https://www.cloudflare.com/ips-v4

Для автообновления этого списка я сделал небольшой скрипт:

#!/usr/bin/env bash

file='cloudflare';

rm -f $file
touch $file

for i in `curl https://www.cloudflare.com/ips-v4`; do echo 'set_real_ip_from '$i';' >> $file; done
echo 'real_ip_header CF-Connecting-IP;' >> $file

Он создает файл cloudflare с заполненными в правильном формате данными для nginx.

Поставил, что бы он запускался раз в день по крону и забыл о нем.

Пример:

0 0 * * * cd /usr/local/nginx/conf && ./update_cloudflare.sh

Обновляем в 12 ночи каждый день.

Далее подключаем его в секцию http конфига nginx:

#cloudflare
include cloudflare;

Чуть не забыл сказать, что делает этот файл :) Он нам нужен для того, что бы nginx принимал от указанных ip-адресов заголовок "CF-Connecting-IP" и обрабатывал настоящий ip-адрес клиентов.

С nginx разобрались. Теперь нужно настроить фаервол.

Пример iptables:

# Закрываем изначально ВСЁ (т.е. изначально все что не разрешено - запрещено):
$IPT -P INPUT DROP

# Пропускаем соединения изнутри
$IPT -A INPUT --match state --state ESTABLISHED,RELATED -j ACCEPT

# clouflare
CF="173.245.48.0/20,103.21.244.0/22,103.22.200.0/22,103.31.4.0/22,141.101.64.0/18,108.162.192.0/18,190.93.240.0/20,188.114.96.0/20,197.234.240.0/22,198.41.128.0/17,162.158.0.0/15,104.16.0.0/13,104.24.0.0/14,172.64.0.0/13,131.0.72.0/22"

# web
$IPT -A INPUT -p tcp -m multiport --dports 80,443 -s $CF -j ACCEPT

Естественно, это не полный набор правил. Я выделил лишь основное.

Зачем мы закрыли доступ всем на порт 80,443? Все просто, наверно многие из вас знают. Что часто приходят различные робот-спайдеры которые "засерают" логи, различные сканеры, поисковые роботы, парсеры и т.д.

А упомянутые правила, как раз избавляют нас от всего этого. Теперь на наши сервера будут поступать только реальные запросы от клиентов. Но есть важный момент. Мне не нужны поисковики для этого поддомена! Основной индексируется нормально.

Способ 2. Напрямую.

Здесь нет ничего необычного, кроме того. Что я решил избавиться от лишних логов, на несуществующие домены.

Пример конфига nginx:

server {
    listen 80 default_server;
    listen [::]:80 default_server;
    listen 443 ssl default_server;
    listen [::]:443 ssl default_server;

    ssl_certificate /usr/local/nginx/ssl/nginx-selfsigned.crt;  # Фиктивный сертификат (можно сгенерировать самоподписанный)
    ssl_certificate_key /usr/local/nginx/ssl/nginx-selfsigned.key;  # Фиктивный ключ

    server_name _;  # Сопоставляется с любым доменом

    # Отвечаем 444 (No Response) или 404 (Not Found)
    return 444;
    # или
    # return 404;

    # Отключаем логирование
    access_log off;
    log_not_found off;

    # Закрываем соединение для HTTPS (если используется 444)
    ssl_reject_handshake on;
}

Итог

Я получил желаемый результат в обоих решениях. Теперь все отдается для пользователей быстро, нагрузка средняя по серверам. Даже есть некоторый запас ресурсов и все работает как часики.

P.S. В добавок я сделал защиту от скачиваний. Но это уже другая история.

Облачные решения для хранения данных, что выбрать?

2025-01-09T14:26:00.189Z

Всем привет!

Сегодня я хочу затронуть тему облаков. Т.к. сейчас практически все сервисы так или иначе связаны с ними. Это касается как мобильные устройства, так и некоторых программ на ПК. И с одной стороны это очень удобно, с другой есть и негативные моменты. Которые я бы хотел осветить в этой статье.

Здесь речь пойдет о сервисах, которые предоставляют дисковое пространство для хранения ваших файлов. Фото, музыки и много другого.

Облачные решения, я бы поделил на 2 типа. Это платные сервисы и размещенные на ваших ресурсах.

Давайте посмотрим на плюсы и минусы.

Платные решения

Плюсы:

Отказоустойчивость (всегда доступны)
Безопасное хранение данных (потеря практически исключена)
Поддержка
Приложения (ПК, мобильные устройства)

Минусы:

Платно (на бесплатных тарифах 10-20 Гб)
Ограничение по трафику (скачивание по ссылкам, если поделиться)
Ограничение по размеру загружаемых файлов

Примеры сервисов

Облако Mail.ru (РФ)

Яндекс Диск (РФ)

Mega (Зарубежный)

Google Disk (Зарубежный)

На этом список конечно не заканчивается, сейчас их огромное количество.

Размещение у себя

К счастью, сейчас есть готовые бесплатные решения. И достаточно их загрузить и настроить по документации. Да, это требует некоторых знаний и серверных ресурсов. Но зато подобное решение является более вариативным. Благодаря, более тонкой настройки.

И так, я приведу в пример 2 бесплатных решения.

OwnCloud - Имеет в себе все, что нужно для работы с облаком. Не буду перечислять все его возможности. Скажу только главное: Поддержка WebDAV протокола, пользователи, разграничение прав и квот. А так же поддержка так называемых приложений, которые расширяют возможности. И чуть не забыл сказать, что есть программы-клиенты как для мобильных приложений, так и для ПК.

NextCloud - Форк OwnCloud. Насколько я понимаю, часть разработчиков ушли из OwnCloud и создали свой продукт на его основе. Они очень схожи, но на мой взгляд он развивается больше.

Лично я, начинал с OwnCloud. А после мигрировал на NextCloud. Это было еще в 2016 году. И пользуюсь им до сих пор.

Сразу отмечу минусы:

За сохранность отвечаете вы и ваше оборудование
Резервные копии тоже создаете сами
Доступность облака становится вашей задачей
Ну и в отличии от платных решений немного похуже графический интерфейс

На этом все. Все остальное это плюсы.

Заключение

Я уже использую его около 10 лет - полет нормальный. Советую и остальным, если есть возможность и желание создания своего облака.

З.Ы. Под конец 2024 года, у меня развалилась система на которой крутилось облако. Напишу о его восстановлении в следующей статье. Никаких данных утеряно не было, даже без бэкапов. Но это скорее везение. Не делайте так!

Caddy2 и некоторые полезности

2022-06-25T07:53:11.817Z

Оф. сайт: https://caddyserver.com/v2

Начну пожалуй с описания. Что же это за зверек?
Caddy 2 - это маленький, легковесный, функциональный веб-сервер с автоматическим созданием SSL сертификата от Let's Encrypt написанный на Go.

Преимущества

Простая и быстрая установка
Легкая настройка
Быстродействие (может поспорить с nginx)

Область применения

В первую очередь он будет удобен разработчикам. Когда нужен простой реверс прокси на хосте/локалхосте для ваших вм, контейнеров или даже для статики.
Особенно, когда нужен SSL.

Лично я его использую чаще всего на хосте, где есть контейнеры (docker).
Часто я стою перед выбором между nginx (one love ❤) и Caddy. И nginx я выбираю в случае, когда мне нужны тонкие настройки вэб-сервера или особые модули. Но и Caddy тоже довольно гибок.

Установка

Не буду заострять на этом внимание.
Все хорошо описано здесь: https://caddyserver.com/docs/install

Пример простой конфигурации

По дефолту конфиг находится по пути /etc/caddy/Caddyfile

site.example.com:80 {
        # Set this path to your site's directory.
        root * /var/www/

        # Enable the static file server.
        file_server

        # Another common task is to set up a reverse proxy:
        # reverse_proxy localhost:8080

        # Or serve a PHP site through php-fpm:
        # php_fastcgi localhost:9000

        # When using php-fpm listening via a unix socket:
        php_fastcgi /blog/* unix//run/php/php7.0-fpm.sock
}

Сайт с SSL и без него

Без SSL

site.example.com:80 {
...
}

:80 - указывает что SSL не будет использоваться.

С SSL

site.example.com {
...
tls почтовый@ящик.ru
}

Почта указывается, для регистрации в Let's Encrypt. И автоматической загрузки сертификата. Естественно, у вас должен быть доступ извне к машинке. На которой запущен Caddy. И A-запись указывающая на этот хост.
Редирект с 80 на 443 порт подключается автоматически. Если не задан отдельно блок с :80.
Или используем свои сертификаты:

site.example.com {
...
tls /etc/ssl/site.example.com.pem /etc/ssl/site.example.com.key
...
}

Реверс прокси и прокидывание реального IP

site.example.com {
...
reverse_proxy localhost:5580 {
            header_up X-Real-IP {remote_host}
        }
...
}

Ограничение доступа к сайту по ip

site.example.com {
...
@matchost {
        remote_ip 51.89.16.234 192.168.0.0/16
        }
        
        reverse_proxy @matchost localhost:9503 {
            header_up X-Real-IP {remote_host}
        }
...
}

Скрываем заголовок server

site.example.com {
...
header / {
            -Server
        }
...
}

Добавляем любой заголовок

site.example.com {
...
header / Content-Type "text/html; charset=UTF-8;"
...
}

Ограничиваем доступ к сайту по странам

Для этого понадобиться модуль: https://github.com/porech/caddy-maxmind-geolocation
Согласно документации, нужно скачать инструмент xcaddy и установить пакет golang. Что бы сделать свою сборку caddy.
Но есть вариант проще: https://caddyserver.com/download
Там в поиске пишем "geolocation".

И скачиваем готовый кастомный бинарник под вашу архитектуру. Например, linux amd64.

Подсовываем его вместо оригинального и готово. Осталось скачать БД geoip и настроить.
Идем на сайт maxmind: https://dev.maxmind.com/geoip/updating-databases?lang=en
Там все неплохо описано. В двух словах, надо зарегистрироваться, сгенерировать ключ и скачать базу. Нас интересует GeoLite2-Country.
Как только мы это сделали и распаковали базу, можно приступить к настройке.

(GEOFILTER) {
        @geofilter {
                not maxmind_geolocation {
                        db_path "/opt/caddy/geoip/GeoLite2-Country.mmdb"
                        deny_countries FR UNK
                }
        }
        respond @geofilter "Access Denied" 403
}

В примере мы закрываем доступ странам Франция и неопределенным IP.

Далее в секции с описанием сайта добавляем

site.example.com {
...
import GEOFILTER
...
}

Готово
Теперь из указанных стран будут получать 403 ошибку.

Логирование

site.example.com {
...
log {
            output file /var/log/caddy/site.example.com_access.log
            format console
        }
...
}

Подробнее о логировании: https://caddyserver.com/docs/caddyfile/directives/log

Я перечислил основные моменты, с которыми сталкивался. И мне часть из них не показались очевидными. Но довольно легко я находил решение и в настройке это оказывалось довольно просто. По этому, рекомендую всем. Кто еще не щупал этот инструмент, обязательно поработать с ним 🙂

Полезные ссылки

https://www.shixuen.com/linux/services_web_caddy_v2.html

Proxmox 7 проброс видеокарты (GPU) внутри вм

2022-06-04T08:36:12.587Z

Задача

Недавно я собрал себе очередной микро сервер для дома. И у меня была свободная видеокарта от Nvidia модель Geforce GTX 1050Ti.

Нужно было сделать так, что бы её можно было полноценно использовать внутри виртуальной машины. В моем случае, для видео энкодинга.

Я остановился на виртуализации Proxmox (qemu). Т.к. она бесплатная, постоянно развивается и простая в использовании. При этом, имеет довольно внушительный функционал.

Начало работ

Я недолго думая, собрал железо. Скачал дистрибутив, на момент написания статьи последняя версия была 7.2 И принялся её устанавливать.

Тогда я еще не подозревал какой квест ждет меня впереди.

Установка прошла быстро и с ней вряд ли у кого-то возникнут вопросы.

Я принялся создавать вмку, сразу пробросил "PCI устройство" в виде видеокарты и установил windows 10.

Важно

Тип машины: q35

Bios: OVMF (UEFI)

GPU была обнаружена системой и я скачал, установил драйвера с оф. сайта Nvidia.

Но после установки увидел сообщение:

Пример ошибки (скриншот не мой)

Естественно, я пошел "гуглить". Как правильно нужно сделать проброс видеокарты. Перепробовав много решений из статей. Но ничего не выходило.

Спустя несколько часов, я наткнулся на зарубежный сайт. Где было описано, почему такое происходит.

Дело в том, что компания производитель видеокарты (Nvidia). Таким способом борется с использованием домашней версии видеокарты в виртуализации на уровне прошивки. Что бы покупали корпоративные версии карт, такие как Quadro и Titan. И даже на некоторое время я разочаровался и думал, что уже ничего не сделаешь.

Но вдруг вспомнил, что в proxmox есть возможность указать файл с прошивкой.

Решение

Так как же можно решить эту проблему?

Для начала я решил сдампить текущую прошивку видеокарты. Для этого есть инструмент от производителя видеокарты под названием nvflash. Дистрибутив утилиты есть под разные ОС. Мне нужна была под linux. Я скачал её, зашел на хост и сделал дамп командой:

./nvflash --save название.bin

После, нам нужно внести изменения. Что бы снять ограничения с видеокарты.

Берем любой HEX-редактор и открываем этот дамп прошивки.

Далее делаем поиск по ANSI string со словом "Video":

Теперь берем все, что до символа "U" или "US" на этой же строке. Выделяем это и до самого начала файла. И просто удаляем.

Выделение

Получается так:

Результат после удаления

И сохраняем по пути /usr/share/kvm/vbios.bin

Прошивка готова! Но прошивать видеокарту сомнительное удовольствие.

По этому, мы просто укажем файл для нашего устройства самой вм.

Нужно пройти в каталог /etc/pve/qemu-server/, там хранятся все конфигурации созданных вм.

Моя имела айди 100, по этому я открываю редактором файл 100.conf

И дописываю ,romfile=vbios.bin в строку с hostpci0.

Получается так:

hostpci0: 0000:01:00,pcie=1,romfile=vbios.bin,x-vga=1

Сохраняем изменения и запускаем нашу виртуальную машину.

Но не забудьте, если вы используете в качестве гостевой ОС - Windows. То консоль proxmox не сможет зацепиться к вм. Нужно использовать RDP для подключения. Т.к. видеокарта будет "занята" вм.

Результат

После запуска, если вы сделали все правильно. То увидите следующее:

Ну и конечно в диспетчере задач

Видеокарта теперь работает так, как будто она находится подключенной к вашему ПК. А не внутри виртуализации. Т.е. вм работает с ней напрямую.

Цель достигнута, хоть и было затрачено мной много времени на её решение.

Собственно по этому я и пишу эту статью. Что бы вам сэкономить время и поделиться опытом.

Свободный интернет 2022

2022-05-22T22:21:29.541Z

Наверно для многих из вас, как и для меня. Есть некоторые неудобства, когда нужные для вас сайты становятся заблокированными на территории нашей страны. Да, некоторый контроль несомненно нужен в пределах разумного. Но иногда случается, что из-за небольшой оплошности выносят решения о блокировки ресурса. Именно по этому, я хочу поделиться с вами как можно получить доступ к заблокированным сайтам.

Но не забывайте о законах и ответственности, за их несоблюдение!

В этой статье я не буду рассказывать как пользоваться VPN. Вы и так знаете, а так же есть куча статей и готовых приложений в интернете для этого.

Я же хочу поделиться с вами другими способами. Которые на мой взгляд намного лучше во многих смыслах.

Давайте начнем с минусов использования VPN:

Весь трафик проходит через сервера другой страны
Снижается пинг у "вашего интернета"
Мешает или делает невозможным использование, если вы работаете из дома и используете "рабочий" VPN и т.д. (нельзя использовать 2 и более VPN одновременно)

Мы же воспользуемся другими методами.

Я опишу 2 способа, которые использую сам. Первый более удобный в использовании, второй проще в установке но имеет свои минусы.

Способ №1 (мой выбор)

Shadowsocks - Это бесплатный открытый проект от разработчиков из Китая.

Он имеет пару из программ для клиента и сервера.

Принцип работы: клиент изображает из себя сервер SOCKS5 прокси, получает входящие соединения, шифрует их, транслирует на сервер и там выпускает в интернет.

Системные требования:

Клиент: желательно Windows 10 (но возможно будет работать и на более ранних версиях), есть версии и для других платформ.
Сервер: linux (VPS, dedicated и т.д.), docker, пара ядер CPU и 512 мб оперативной памяти

Установка:

Купите недорогую VPS у любого хостинг провайдера заграницей.

Или используйте альтернативный бесплатный способ: https://habr.com/ru/post/555768/

Установите linux (debian, ubuntu, centos и т.д.) и docker, docker-compose.

Далее создайте файл docker-compose.yml (название именно такое).

С содержимым:

version: '3'
services:
  shadowsocks:
    image: shadowsocks/shadowsocks-libev:latest
    environment:
      - TZ=Europe/Moscow
      - PASSWORD=vash_parol
      - METHOD=aes-256-gcm
      - ARGS=--fast-open
    ports:
      - "8390:8388"
      - "8390:8388/udp"
    restart: unless-stopped

Замените vash_parol в тексте на свой пароль. Рекомендую сделать его сложным и длинным.

Т.к. ваша прокси будет смотреть в интернет, кто-то может воспользоваться ей в своих целях. По этому, крайне рекомендую делать сложный пароль.

И выполните команду:

docker-compose up -d

Убедитесь, что контейнер создался и запущен командой:

 docker ps

И не забудьте разрешить порт 8390 в фаерволле, если он у вас настроен.

На этом установка серверной части завершена.

Переходим к клиентской части на ПК.

Заходим на официальный сайт Shadowsocks и скачиваем клиент: Windows.

Для MacOS лучший клиент ShadowsocksX-NG

Устанавливаем его и добавляем свой сервер:

Настройки прокси в программе Shadowsocks

После вам нужно в программе включить все как на скрине:

Пример настроек программы в контекстном меню, из трея.

Системный прокси сервер включать не нужно, иначе вы направите весь трафик через shadowsocks.

После этих действий. Программа установит соединение с вашим сервером и поднимет на ПК socks5 сервер с портом 1080.

Далее, для удобства использования. Я предлагаю сделать так, что бы вы ходили через shadowsocks только к заблокированным сайтам.

Для этого нужно установить расширение для браузера Proxy SwitchyOmega. Он разработан как расширение для браузера Chrome и Firefox, но так же подойдет и для других. Которые сделаны на его движке. Например, такие как Opera (GX).

Что бы настроить данное расширение, нужно добавить ваш сервер.

Добавление SS сервера.

И настроить правила для сайтов:

Так нужно добавить каждый сайт, доступ к которому нужно разблокировать.

Тем самым, только к перечисленным здесь сайтам. Вы будете ходить через SS. А на все остальные сайты, как и обычно через свой интернет.

Включаем профиль autoswitch:

Не забывайте, что клиент SS должен быть запущен. Что бы все работало.

Использование на мобильном устройстве

Для IOS:

UPD: ShadowLink более недоступен в AppStore. Как альтернативное бесплатное решение, предлагаю использовать V2Box.

Загрузите приложение ShadowLink. Оно бесплатное, но предлагает подписку как и большинство других. Нам хватит и бесплатного функционала.

Запустите приложение и на первом экране, с предложением приобрести подписку. Закройте его на крестик в правом верхнем углу экрана.

Далее нажмите на кнопку "сервер:" и выберите "+"

Введите данные

И нажмите "Save".

Выберите только что добавленный сервер и нажмите большую кнопку по середине.

После этого вы можете проверить свой ip, например здесь myip.ru. Если ваш ip совпадает с ip сервера SS, значит все работает правильно.

Когда вам не нужно будет подключение через прокси, запустите программу и снова нажмите большую кнопку. Что бы отключиться от сервера.

Для Android:

Скачиваем приложение ShadowSocks из Google Play.

И добавляем сервер аналогично IOS выше.

Для подключения, жмем кнопку по середине внизу. Там же можно и проверить подключение.

Удобно? Я думаю очень.

Способ №2

В случае блокировок по IP-адресу, провайдеры фильтруют только исходящие запросы на IP-адреса из реестра, но не входящие пакеты с этих адресов.
Программа ReQrypt работает как эффективный прокси-сервер: исходящие от клиента пакеты отправляются на сервер ReQrypt в зашифрованном виде, сервер ReQrypt пересылает их серверу назначения с подменой исходящего IP-адреса на клиентский, сервер назначения отвечает клиенту напрямую, минуя ReQrypt.

Все, что нам нужно. Это установить программу и запустить её.

После чего мы увидим следующее у себя в браузере:

WebUI после запуска программы.

И вы можете ходить по всем сайтам. Вам открыт весь интернет )

Но в этом способе есть и свои минусы:

Весь трафик пойдет через данную программу
Повысится задержка сети, из-за передачи данных через сервера программы

Но есть и плюсы:

Возвращаться данные от сайтов/сервисов будут напрямую вам.
Используемый ip будет ваш реальный.
Никаких дополнительных действий не нужно!

Очень легко пользоваться.

Запустили программу - получили доступ к сайтам. Не нужно больше, закрыли программу.

Вывод: Самый простой и действенный способ. Помогает обойти блокировку у большинства провайдеров.

На момент написания статьи, я считаю эти способы самыми эффективными.

Вы можете найти в интернете статьи с более полным описанием каждого из способов. Я же не старался углубляться в тонкие настройки и максимальный разбор каждого из способов. А пытался описать лишь самое главное, что бы каждый из интересующихся этим вопросом людей, смогли не тратя много времени достигнуть результата. Надеюсь вы нашли, что искали :)

Бэкап usb флешки под linux (debian)

2021-03-03T23:57:06.364Z

Статья перенесена из старого блога.

На так давно мне пришлось сделать бэкап usb флешки.

Поискав в интернете, я наткнулся на статьи по утилите dd. Попробовав её, я понял, что это не совсем правильно.

И решил вам рассказать о более действенном и правильном способе.

Сейчас я вам расскажу подробнее..

Правильный способ

Как вы наверное уже догадываетесь, добиться желаемого можно не одним и даже не двумя, остроумными и не очень способами, но правильнее и проще всего на мой взгляд, использовать утилиту ddrescue. Что существенно важно — имеется в виду GNU ddrescue, а не давно уже устаревший оригинал.

Она, также как и cp, занимается копированием файлов, но в случае нахождения ошибок, ddrescue не прервёт работу с радостным сообщением о том, что пациент скорее мёртв, чем жив, а запомнит место с ошибкой, чтобы вернуться к нему позже и попробовать прочитать заново. Теперь уже медленно и нежно.

Используется ddrescue следующим образом:
ddrescue <ключи> <файл который копируем> <новый файл, в который скопируем старый> <лог файл>

ddrescue не способна принимать входные данные с конвейра, или передавать на конвейр результат работы, что впрочем неудивительно. Возможность пропускать места с ошибками при первой итерации и возвращение к ним в последующих циклах подразумевает наличие файлов на выходе и входе.

Команда, которая выполнит операцию, аналогичную описанной выше, будет выглядеть так:

ddrescue /dev/sda2 win_c.img win_c.img.log

Кстати, в данный момент я молчаливо подразумеваю, что жёсткий диск, с которого мы снимаем копию более-менее исправен и фокусов не выкидывает. Если с диском есть серьёзные проблемы, то лучше предварительно ознакомиться с подробностями использования ddrescue, например тут. и применить эти знания при снятии образа.

Неправильный способ

Часто можно встретить рекомендации использовать для копирования файла устройства или раздела программу под названием dd. Как правило, для снятия образа предлагается сделать что-то вот такое:

dd if=/dev/sda2 of=win_c.img

Не делайте так! Хотя семантически подход верен (произойдёт копирование одного файла в другой), последствия могут быть очень печальны. Да, dd превосходит cp в том отношении, что при обнаружении ошибки cp прекратит работу, а dd не прекратит, но если на диске есть битые или просто плохо читаемые сектора, то dd будет продолжать попытки считать их содержимое пока из винчестера не повалит дым.

Да, у dd есть аргумент noerror, но при его использовании копирование может быть выполнено с ошибками, попыток восстановления которых предпринято не будет. ddrescue в аналогичной ситуации после первого прохода вернётся к пропущенным местам и попробует прочитать их маленькими кусочками. И оставит лог файл, с помощью которого можно будет продолжать попытки вычитать сбойные места в будущем.

Короче, используйте ddrescue. А если кроме dd ничего нет, не забывайте про аргумент noerror.

Описанная выше процедура может применяться например для того, чтобы сохранить образ диска с только что установленной операционной системой для последующего восстановления. Да, настоящий линуксоид так поступать не станет, но среди пользователей операционной системы с другим названием это достаточно распространённая практика. И для периодического вдумчивого ремонта регулярно ломающегося компьютера какой нибудь симпатичной девушки её смело могут применять даже любители пингвинов. А если девушек больше некоторого, сугубо индивидуального для каждого самоделкина, количества, то данный метод просто незаменим. Главное не перепутать названия файлов с образами.

Просмотр содержимого образа раздела (логического диска)

Так как каждый раздел диска представлен файлом, можно предположить, что должен существовать штатный способ подключения файлов с образами к файловой системе. С определённой точки зрения так оно и есть. Конкретно для этого используется утилита mount, с помощью которой можно поместить дерево файлов, содержащееся в образе, в любую директорию на ваш выбор. Этот процесс называется монтированием.

Итак, у нас уже есть образ, снятый с диска C: операционной системы Windows 7. Мы назвали образ win_c.img и хотим увидеть его содержимое в заранее созданной директории /mnt/win_c. Для этого надо ввести команду mount -o loop win_c.img /mnt/win_c.

Вот так можно убедиться, что образ, который вы собираетесь накатить на винчестер очередного розового ноутбука, является образом именного того диска C: который ожидается увидеть на данной конкретной машине. Ну, или можно просто скопировать с него файлы без которых никак нельзя обойтись и отправить этот образ во внешнюю тьму. А на ноутбук поставить последнюю Убунту или Федору.

But we can go deeper.

Просмотр содержимого образа физического диска

А вот с монтированием образа диска целиком всё не так просто. Ужасная правда состоит в том, что монтировать файлы из произвольного места файловой системы ядро не умеет и аргумент -o loop, команды mount, сигнализирует о том, что сначала надо связать образ с файлом виртуального устройства в директории /dev, и потом уже присоединить содержимое этого устройства к файловой системе.

Файлы виртуальных устройств создаются заранее (на этапе загрузки системы) и имеют названия loop0, loop1, loop2 и так далее по нарастающей.

Связать образ раздела с одним из этих файлов можно командой losetup. Команда mount из предыдущего раздела на самом деле эквивалентна следующим двум командам.

losetup /dev/loop0 win_c.img
mount /dev/loop0 /mnt/win_c

Но вот для того, чтобы посмотреть содержимое образа в котором есть несколько разделов, этого недостаточно. Дело в том, что если выполнить команду losetup для такого файла, то с устройством /dev/loop0 будет связан весь образ целиком. То есть это устройство будет эквивалентом /dev/sda, а нам нужны эквиваленты /dev/sda1 и /dev/sda2.

Обладатели свежих версий программы losetup (читай гентушники и арчеводы) могут выполнить losetup c аргументом --partscan, что приведёт к автоматическому созданию в директории /dev файлов, соответствующих разделам образа. То есть /dev/loop0p1, /dev/loop0p2 и так далее до самого горизонта. И вот уже эти файлы можно отдавать команде mount.

losetup --partscan /dev/loop0 drive.img
mount /dev/loop0p2 /mnt/win_c

Те же, кому не так повезло с дистрибутивом, могут воспользоваться программой kpartx, которая сделает то же самое, но положит файлы соотвествующие разделaм не в директорию /dev, а в директорию /dev/mapper, откуда их можно монтировать и просматривать.

kpartx -a /dev/loop0 drive.img
mount /dev/mapper/loop0p2 /mnt/win_c

But we can go even deeper than that…

Развёртывание образа на физический носитель

А теперь о том, как собственно накатить образ на другой диск. Как и раньше надо руководствоваться тем, что диски и разделы представлены в виде файлов. И если для снятия образа нужно было создать копию файла устройства или раздела, то для того, чтобы закатать этот образ обратно надо провести операцию копирования в обратную сторону. То есть вместо cp /dev/sda2 win_c.img написать cp win_c.img /dev/sda2. Ну и лучше помнить о советах, изложенных в руководстве по снятию образа. А именно пользоваться ddrescue и не пользоваться dd.

ddrescue --force win_c.img /dev/sda2 win_c_restore.img.log
Конечно следует помнить, что раздел в который мы восстанавливаем образ (в данном случае /dev/sda2) должен быть не меньше файла с образом. Eсли же раздел окажется больше этого файла, то проблем при восстановлении не будет, но в разделе останется неразмеченное пространство. И придётся либо смириться с этим фактом, либо увеличить размер файловой системы до размера раздела каким-нибудь специализированным софтом (увеличивать, впрочем, обычно гораздо проще и быстрее, чем уменьшать).

P.S. Если у вас загрузочная "флешка". То лучше воспользоваться утилитой бесплатной утилитой CloneZilla. Она делает полную копию раздела или диска, включая MBR (загрузочная область диска).

Внимание!
ddrescue не записывает в образ загрузочную область диска.

Делаем бекапы всего, что для нас важно!

2021-03-03T23:53:46.925Z

Статья перенесена из старого блога.

Однажды я хостился у одного горе-хостинга (как оказалось) под названием CloudMouse. Которые, в один прекрасный, солнечный день. Вдруг стали недоступны по всем сервисам.

Кроме своей панели управления. Даже главная хостинга не открывалась. После саппорт ответил, что у них там какой-то сбой и они разбираются с этим. Это затянулось на двое суток.

А после ответ был таков:

И немного спустя, вот это:

Естественно, все свои проекты с их VPS я потерял. Т.к. бэкапы были тоже у них! 7 лет работы, коту под хвост...

Запомните: "Есть 2 типа админов, кто еще не делает бэкапов и кто уже делает!" Это печальная правда.

И так, теперь к делу. После этой ситуации я всерьез задумался о бэкапировании ВСЕХ данных.

Сперва, я озадачился выбором самого хостинга под бэкапы. Не буду описывать весь процесс выбора по критериям из которых, я исходил.

Но мой выбор остановился здесь: ihor.ru (не в коем случае, не реклама)

Но, их проект айхор существует с 2010 года. Об этом написано на сайте компании владельца. Дружелюбный, компетентный и быстрый саппорт.

Цены тоже не кусаются.

Так вот, получил я место под бэкапы и реквизиты доступа к нему. И тут началась "жара" в поиске и в итоге по написанию (допилу) скриптов автобэкапирования.

Подготовка

У меня на VPS под сайты, стоит debian.

В репозиториях есть такой пакет curlftpfs. Который позволяет смонтировать ftp к системе.

Вводим:

apt-get install curlftpfs

Установили. Идем дальше:

mkdir /mnt/backupcurlftpfs ftp://backup.pldev.ru/ /mnt/backup -o user=логин:пароль

Теперь в папке /mnt/backup у нас содержимое ftp сервера. Туда мы и будем складывать наши копии. Надо добавить в автозагрузку точку монтирования нашего фтп сервера. Добавляем в файл /etc/rc.local строчку:

curlftpfs ftp://backup.pldev.ru/ /mnt/backup -o user=логин:пароль

Ну и наконец, переходим к скриптам.

Debian

Скрипт для создания резервной копии всех баз MySQL:

#!/bin/sh# System + MySQL backup script### System Setup ###BACKUP=/root/backup/ ### Mysql ### [параметры доступа к нашим базам MySQL]MUSER="root"MPASS="пароль"MHOST="localhost" ### FTP ###FTPD="/db/"FTPU="логин" # [имя пользавателя (логин) удаленного ftp-cервера]FTPP="пароль" # [пароль доступа к удаленному ftp-серверу]FTPS="ip-адрес" # [собственно, адрес ftp-сервера или его IP] ### Binaries ###TAR="$(which tar)"GZIP="$(which gzip)"FTP="$(which ftp)"MYSQL="$(which mysql)"MYSQLDUMP="$(which mysqldump)" ## Today + hour in 24h format ###NOW=$(date +%Y%m%d) ### Create temp dir ### mkdir $BACKUP/$NOW ### name Mysql ###DBS="$($MYSQL -u $MUSER -h $MHOST -p$MPASS -Bse 'show databases')"for db in $DBSdo ### ###mkdir $BACKUP/$NOW/$dbFILE=$BACKUP/$NOW/$db/$db.sql.gzecho $i; $MYSQLDUMP --add-drop-table --allow-keywords -q -c -u $MUSER -h $MHOST -p$MPASS $db $i | $GZIP -9 > $FILEdone ARCHIVE=$BACKUP/mysql-$NOW.tar.gzARCHIVED=$BACKUP/$NOW $TAR -zcvf $ARCHIVE $ARCHIVED ### ftp ###cd $BACKUPDUMPFILE=mysql-$NOW.tar.gz$FTP -n $FTPS <<END_SCRIPTquote USER $FTPUquote PASS $FTPPcd $FTPDmput $DUMPFILEquitEND_SCRIPT ### clear ### rm -rf $ARCHIVED exit

И сохраняем его например под названием mysql_backup.sh, выполняем команду chmod +x что бы разрешил выполнение файла.

Делаем backup веб-сайтов:

#!/bin/bash # current dateDATE=`date +%Y-%M-%d` # y/m/d/h/m separatelyYEAR=`date +%Y`MONTH=`date +%m`DAY=`date +%d`HOURS=`date +%H`MINUTES=`date +%M` /bin/tar -zcvpf /mnt/backup/web/web_$DAY-$MONTH-$YEAR.tar.gz /www-data/* --exclude=*.tar.gz exit

Сохраняем его под названием backup_web.sh и выполняем chmod +x backup_web.sh

Делаем бэкап самой VPS (целой системы):

#!/bin/bash echo Start: >> ./node_logecho `date` >> ./node_log # Что бы знать, когда стартует и сколько времени проходит.tar -zcvpf /backup/backup-`date '+%d-%B-%Y'`.tar.gz / --exclude=/proc --exclude=/sys --exclude=/dev/pts --exclude=/backup --exclude=/mnt --exclude=/dev --exclude=/lost+found --exclude=/etc/fstab --exclude=/boot/grub/grub.conf --exclude=/var/log --exclude=*.tar.gzmv /backup/backup-`date '+%d-%B-%Y'`.tar.gz /mnt/backup/node/backup-`date '+%d-%B-%Y'`.tar.gzecho Finish: >> ./node_logecho `date` >> ./node_logecho ----- >> ./node_log exit

Сохраняем под названием backup_system.sh и выполняем так же chmod +x backup_system.sh

Советую, запустить каждый скрипт и проверить его работу! Естественно подправив его под себя. Пути, реквизиты доступа и т.д.

И после внести в crontab:

# backup mysql10 0 */1 * * /root/backup_mysql > /dev/null# backup web0 3 */1 * * /root/backup_web.sh > /dev/null 2>/dev/null# backup system0 6 * * 1 /root/backup_system.sh > /dev/null 2>/dev/null

C никсами вроде бы все. Все это сейчас успешно работает у меня.

Подготовка для Windows

Т.к. я являюсь администратором игрового сервера, а он запущен под окнами.

Пришлось заботиться и о резервном копировании данных под форточками

В "идеале" было бы подключить ftp как диск. И как оказалось, это вполне реально.

Представляю вашему вниманию программу NetDrive. НО! Последняя её бесплатная версия 1.3.4, дальше уже она идет платная. Триальная версия 30 дней.

А после будет куча "гемора" с ней, если её не купить. По-этому, я вам выкладываю именно последнюю бесплатную версию.

C её настройкой проблем возникнуть не должно. Там все просто, заполняете данные для доступа к FTP и выбираете диск, у меня это F:.

И проверяем, видны ли файлы с ftp сервера. Если все ок, идем дальше.

Бэкапим данные под виндой

Создаем .bat файл с содержимым:

@echo off "c:\program files\winrar\rar.exe" a -r -t -ed -m5 -x@c:\list.txt c:\backup-%date%.rar D:\life\ copy c:\backup-%date%.rar f:\backup-%date%.rar del c:\backup-%date%.rar

Соответственно, у меня сохраняется папка D:\life. У вас должен быть установлен WinRar.

А так же создаем файл исключений (c:\list.txt):

log**.bin*.log*.rar*.zipexception*

Это файлы которые не попадут в архив.

Бэкапим MsSQL базы

Для этого есть утилита SQLBakFree. Бесплатна и функциональна. В ней есть поддержка, как "заливки" на фтп. Так и "складывания" в папочку.

По-этому, на этом я не буду задерживаться.

Бекапим логи

@echo offecho Save Logs GameServerrename LOG savedrd /s /q "D:\life\[5]GameServer\logfile" "c:\program files\winrar\rar.exe" a -r -t -ed -m5 backup-%day%.%month%.%year%_%hour%.rar D:\life\[5]GameServer\saved\*move backup-%day%.%month%.%year%_%hour%.rar f:\logs\ RD /S /Q saved

Думаю, комментарии излишни.

И не забудьте, это все добавить в Планировщик заданий, что бы все происходило автоматически.

Итог

Делайте бэкапы всегда, тем самым вы застрахуете себя от подобных ситуаций. Как к сожалению, произошла у меня.

И вы не потеряете то, что для вас действительно важно.

Сломался Internet Explorer

2021-03-03T23:52:31.933Z

Статья перенесена из старого блога.

Это же майкрософт

Для них это нормально.

Система: Windows 7 Версия Internet Explorer 11. Все началось с того, что перестали открываться страницы. Да и не только, так же отказался работать Webmoney Keeper. И все приложения, косвенно использовавшие эксплорер. При этому у меня стоял Dr.Web лицензионный и прекрасно обновлялся.

А это значит, дело не в вирусе. Долго я искал причины - откатывал обновления windows/ Проверял настройки соединений и прочее.

В итоге, решил "погуглить". Пробовал разные методы, описанные на просторах интернета. Но ничего не помогало!

И тогда, я в отчаение подумал, что здесь поможет только переустановка системы. А это критично для меня.

И в друг, я наткнулся на форум Касперского, на котором предлагали попробовать софтину под названием "ADWCleaner".

Суть программы в том, что она ищет в системных файлах и во всех установленных браузерах, всякую нечисть. Типа, тулбаров, прописанных проксей и прочего хлама.

И вы не поверите, но она спасла мой эксплорер. Именно, она выполнила быстро проверку системы и удалила всю ~~шляпу~~ фигню.

После этих действий, все заработало на ура. И система снова стала чистой!

Советую программу ADWCleaner.

PHP и безопасность.

2021-03-03T23:51:35.513Z

Статья перенесена из старого блога.

Первое, что нужно сделать. Это ограничить выполнение системных команд через php.

А так же, закрыть большинство опасных функций в eval().

Вносим изменения в настройки php.ini

disable_functions = pcntl_alarm,pcntl_fork,pcntl_waitpid,pcntl_wait,pcntl_wifexited,pcntl_wifstopped,pcntl_wifsignaled,pcntl_wexitstatus,pcntl_wtermsig,pcntl_wstopsig,pcntl_signal,pcntl_signal_dispatch,pcntl_get_last_error,pcntl_strerror,pcntl_sigprocmask,pcntl_sigwaitinfo,pcntl_sigtimedwait,pcntl_exec,pcntl_getpriority,pcntl_setpriority,exec,system,popen,proc_open,shell_exec,eval,passthru,copy

После, нужно установить Suhosin модуль для php. Через него, мы сможем закрыть выполнение произвольного кода (eval) внутри пхп.

Когда установите и подключите suhosin - добавьте в файл php.ini следующее:

[suhosin]suhosin.executor.disable_eval = 0suhosin.executor.eval.blacklist = "include,include_once,require,require_once,curl_init,fpassthru,file,base64_encode,base64_decode,mail,exec,system,proc_open,leak,syslog,pfsockopen,shell_exec,ini_restore,symlink,stream_socket_server,proc_nice,popen,proc_get_status,dl, pcntl_exec, pcntl_fork, pcntl_signal,pcntl_waitpid, pcntl_wexitstatus, pcntl_wifexited, pcntl_wifsignaled,pcntl_wifstopped, pcntl_wstopsig, pcntl_wtermsig, socket_accept,socket_bind, socket_connect, socket_create, socket_create_listen,socket_create_pair,link,register_shutdown_function,register_tick_function,file_get_contents,file,fopen,fsockopen,readdir,mysql_connect,mssql_connect,copy,url_exec,proc_terminate"suhosin.post.max_vars = 4096suhosin.get.max_value_length = 2000suhosin.request.max_varname_length = 350suhosin.request.max_vars = 4096

И перезагрузите apache.

На этом, основная часть работы завершена. Но все же, я бы посоветовал на этом не останавливаться.

Проверьте, на всех своих сайтах, на всех своих cms есть ли в папке upload(s) наличие файла .htaccess .

В нем должны содержаться примерно такие строки:

<Files ~ "^.*\.(php|cgi|pl|php3|php4|php5|php6|phtml|shtml)">    Order allow,deny    Deny from all</Files>

Данные строки запрещают выполнение/запуск файлов, которые перечислены выше. В данном каталоге и во всех, что находятся внутри текущего каталога.

Что на это даст?

Дело в том, что большинство распространенных движков, зачастую имеют уязвимости. Через которые вам могут загрузить шеллы. И как правило, грузятся они чаще всего в папку аплодс.

А с помощью данного правила для apache, вы сможете воспрепятствовать их запуску. Даже, если вам все-таки загрузили его.

На этом, пока все. Если что-то вспомню, дополню статью.

Proxmox 4x и 5х приводим к лучшему виду

2021-03-03T23:50:21.153Z

Статья перенесена из старого блога.

Не буду рассказывать, что это за продукт и как его устанавливать. Таких статей в интернете полно.

Лучше поговорим о том, как сделать для веб-панели валидный ssl сертификат бесплатно. И как убрать всплывающее окно "No valid subscription".

И так начнем.

Создаем валидный сертификат с помощью Let's Encrypt. Для этого, должен быть обязательно привязан домен к вашей системе.

В удобной для вас папке выполняем:

wget 'https://github.com/Neilpang/acme.sh/archive/master.zip'unzip master.zip

Далее установка:

mkdir /etc/pve/.lecd /root/acme.sh-master./acme.sh --install --accountconf /etc/pve/.le/account.conf --accountkey /etc/pve/.le/account.key --accountemail "Ваш_имэйл"

Проверяем конфиг /etc/pve/.le/account.conf

ACCOUNT_EMAIL должен содержать вашу рабочую почту.
ACCOUNT_KEY_PATH должен быть путь "/etc/pve/.le/account.key"

Теперь надо проверить, что 80 порт не закрыт извне. Он нужен, для подтверждения, что домен принадлежит вам.

Выполняем:

./acme.sh --issue --standalone --keypath /etc/pve/local/pveproxy-ssl.key --fullchainpath /etc/pve/local/pveproxy-ssl.pem --reloadcmd "systemctl restart pveproxy" -d ваш_домен

Все, можете проверять.

И что бы каждый раз вам не регистрировать по-новой вручную сертификат. Создадим скрипт.

#!/usr/bin/env shcd /root/acme.sh-master/./acme.sh --issue --standalone --keypath /etc/pve/local/pveproxy-ssl.key --fullchainpath /etc/pve/local/pveproxy-ssl.pem --reloadcmd "systemctl restart pveproxy" -d ваш_домен --force

Назовем его update_cert.sh и добавим в крон:

0 0 * * * /root/acme.sh-master/update_cert.sh > /dev/null

Ну а теперь, уберем раздражающее окно о том, что у нас нет подписки. Оно появляется каждый раз, когд мы логинитесь в веб-панель.

Создадим скрипт:

#!/usr/bin/env shsed -i.bak "s/data.status !== 'Active'/xyu == pizdec/g" /usr/share/pve-manager/ext6/pvemanagerlib.js

Извиняюсь, за переменные. Но таких, точно нет в этом продукте, а нам это и нужно ;) Выполняете скрипт и готово.

Но не спешите его удалять, при обновлении proxmox окно может вернуться и вам придеться выполнить скрипт снова.

UPD:

На версии 5 и выше, что бы убрать напоминание о подписке, нужно выполнить:

sed -i "s/getNoSubKeyHtml:/getNoSubHtml_:/" /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js