Sincronize um Linux VPS com armazenamento de objetos (rclone)

Manter seus VPs Linux sincronizados com armazenamento de objetos é uma maneira inteligente de gerenciar backups, armazenar ativos estáticos ou descarregar dados para desempenho e flexibilidade de armazenamento.

Este guia passa pelo processo usando o RCLONE, uma ferramenta leve e poderosa que funciona com a maioria dos serviços de armazenamento de objetos.

Pré-requisitos

Aqui está o que você deseja ter antes de começar:

• Um VPS Linux: Você precisará de acesso de shell ao seu VPS.É aqui que estão localizados os arquivos ou diretórios que você deseja sincronizar.
  
  
• Um provedor de armazenamento de objetos: Existem vários provedores de serviços de armazenamento de objetos para escolher.Escolha um que possa escalar com seus recursos, integra -se à sua infraestrutura existente e, é claro, se encaixa no seu orçamento.
  
  
• Credenciais de acesso: Você precisará de uma chave de acesso e chave secreta para autenticar com a API do seu provedor de armazenamento.Eles são usados ​​com segurança pela ferramenta Sync para interagir com o seu balde.

Etapa 1: Instale o Rclone

O Rclone é um utilitário de linha de comando de código aberto gratuito para gerenciar arquivos no armazenamento em nuvem.Ele suporta inúmeros fornecedores diferentes e funciona bem para sincronizar, copiar, criptografar e automatizar transferências.

1. Faça login no seu VPS via SSH.

ssh user@your-vps-ip

2. Instale Rclone:

curl https://rclone.org/install.sh | sudo bash

Isso buscará e instalará a versão mais recente.

Se você preferir usar o gerenciador de pacotes do seu sistema:

Debian/Ubuntu:

sudo apt install rclone

CENTOS/RHEL:

sudo yum install epel-release
sudo yum install rclone

Fedora:

sudo dnf install rclone

Etapa 2: configure um controle remoto

Agora você configurará o Rclone para que possa falar com seu balde de armazenamento

Inicie a ferramenta de configuração interativa:

rclone config

Siga estas etapas no menu:

1. Escolher n Para criar um novo controle remoto.
   
2. Dê um nome como MyRemote.Este nome é usado nos comandos para se referir à conexão
   
3. Escolha seu provedor de armazenamento na lista.
   
4. Digite sua chave de acesso e chave secreta.
   
5. Insira qualquer terminal ou configuração específico da região, conforme necessário.
   
6. Aceite as opções padrão, a menos que você saiba que precisa de algo específico.
   

Agora vamos testar sua configuração:

rclone ls myremote:

Se tudo estiver configurado corretamente, você verá uma lista de seus baldes de armazenamento ou não retornará nada sem mostrar um erro.

Essa configuração cria um perfil de conexão contínuo e reutilizável e permite que você o use em vários diretórios ou scripts.

Etapa 3: sincronize seus arquivos

Agora que o Rclone está configurado, você pode sincronizar um diretório local (como o seu site ou arquivos de projeto) com o armazenamento de objetos.

Por exemplo, diga que você deseja fazer backup de seu site de / var / www / html para o seu armazenamento de objetos:

rclone sync /var/www/html myremote:backups/html --progress

Aqui está o que este comando faz:

• Compara sua pasta local (/var/www/html) ao alvo no armazenamento de objetos (MyRemote: backups/html
• Transfere quaisquer arquivos novos ou atualizados
• Remove os arquivos do destino que não existem mais na fonte local (você pode evitar isso - veja abaixo)

Se você deseja fazer upload apenas de arquivos novos ou alterados sem remover nada do destino, você pode usar cópia de em vez de:

rclone copy /var/www/html myremote:backups/html --progress

Etapa 4: automatize o processo com Cron

Para manter seus arquivos atualizados automaticamente, você pode configurar um trabalho de Cron:

1.Ppene seu crontab:

crontab -e

2. Adicione esta linha aos arquivos de sincronização todos os dias à meia -noite:

0 0 * * * /usr/bin/rclone sync /var/www/html myremote:backups/html --quiet

Você pode alterar o tempo e o caminho, conforme necessário.Verifique se o caminho para o Rclone corresponde ao local onde foi instalado (o que o Rclone dirá).

Etapa 5 (opcional): criptografar seus arquivos

Se você estiver lidando com dados confidenciais-arquivos do usuário, documentos internos ou qualquer coisa que você não desejaria expostos-o RCLONE permite adicionar criptografia do lado do cliente antes de fazer o upload.

Veja como configuramos isso:

1.Run Rclone Config novamente:

rclone config

2. Adicione um novo controle remoto e escolha cripta como o tipo de armazenamento.

3. Aponte para a pasta do seu controle remoto original (por exemplo,, MyRemote: backups/html).

4. Escolha uma senha e confirme.

Depois disso, você pode usar seu controle remoto criptografado para fazer upload de arquivos como este:

rclone sync /var/www/html mycryptremote:html --progress

Configurações opcionais para melhor controle

Aqui estão algumas bandeiras úteis que você pode usar:

--Fast-list acelera o processo de digitalização para arquivos grandes usando mais memória durante a listagem de arquivos:

rclone sync /var/www/html myremote:backups/html --fast-list

--BWLIMIT Largura de banda Caps para evitar desacelerar outros processos:

rclone sync /var/www/html myremote:backups/html --bwlimit 1M

-arquivo de log Mantém um registro detalhado de cada sincronização em um arquivo de log:

rclone sync /var/www/html myremote:backups/html --log-file=/var/log/rclone.log

Alternativas ao rclone

Embora o Rclone seja uma das ferramentas mais flexíveis e amplamente recomendadas para sincronizar com armazenamento de objetos, há outros utilitários que valem a pena saber - especialmente se você estiver procurando por diferentes fluxos de trabalho, integração mais profunda ou compatibilidade específica.

Aqui estão algumas alternativas, como elas funcionam e quando podem se encaixar melhor, dependendo de suas necessidades.

Comparação de ferramentas em um olhar

s3cmd-simples e amigável ao scripts

S3CMD é a ferramenta de linha de comando Construído especificamente para interagir com os serviços de armazenamento de objetos compatíveis com Amazon S3 e S3.É adequado para scripts, tarefas simples de upload, download e sincronização, especialmente em trabalhos Cron ou pipelines de implantação automatizados.

Se você está gerenciando baldes S3 em ambientes ou deseja uma ferramenta que grude de perto à API S3, o S3CMD oferece comandos simples e familiares e documentação sólida.

Quando usá -lo:

• Você já está trabalhando com o S3 ou um provedor compatível (Wasabi, Backblaze B2 com API S3 ativada, etc.).
  
• Você deseja uma ferramenta leve e direta que seja bem com scripts de shell.
  
• Você prefere uma ferramenta projetada especificamente para o protocolo S3.
  

Instalação:

sudo apt install s3cmd   # On Debian/Ubuntu

Configuração:

s3cmd --configure

Você será solicitado para:

• Chave de acesso
  
• Chave secreta
  
• Endpoint (se não estiver usando aws)
  
• Criptografia opcional ou configurações HTTPS

Exemplo de sincronização básica:

s3cmd sync /var/www/html/ s3://your-bucket/html/

S3FS - Monte o armazenamento de objetos como um sistema de arquivos

O S3FS permite montar um balde S3 como se fosse um diretório local.Isso significa que você pode usar comandos Linux padrão (CP, MV, RSYNC, etc.) para trabalhar com seu armazenamento em nuvem como faria com um disco normal.

Isso é especialmente útil se você tiver ferramentas que não tenham conhecimento de nuvens, mas podem gravar em um caminho de arquivo.O S3FS torna perfeito redirecionar essa saída para armazenamento de objetos.No entanto, o desempenho nem sempre é tão rápido quanto os sistemas de arquivos nativos, e não é ideal para atividade de leitura/gravação de alta frequência.

Quando usá -lo:

• Você precisa de aplicativos para ler/gravar arquivos como se estivessem em um disco local.
  
• Você está trabalhando com software que não suporta uploads de nuvem direta.
  
• Você prefere a flexibilidade do acesso direto do sistema de arquivos ao armazenamento de objetos.

Instalação:

sudo apt install s3fs

Credenciais de configuração:

echo ACCESS_KEY:SECRET_KEY > ~/.passwd-s3fs
chmod 600 ~/.passwd-s3fs

Monte o balde:

mkdir ~/mybucket
s3fs your-bucket-name ~/mybucket -o passwd_file=~/.passwd-s3fs

AWS CLI - ideal para integrações da Amazon S3

A CLI da AWS é a ferramenta oficial de comando da Amazon para gerenciar quase todas as partes da AWS-incluindo o S3.

Se você está fazendo mais do que apenas backups - como definir permissões de balde, gerenciar o versão ou desencadear funções lambda - a AWS CLI fornece mais controle e opções do que outras ferramentas.

Quando usá -lo:

• Você já está usando serviços da AWS e deseja integrar tarefas de armazenamento no seu fluxo de trabalho.
  
• Você precisa de acesso total a recursos S3, como regras do ciclo de vida, permissões e marcação de objetos.
  
• Você deseja compatibilidade com automação ou pipelines de CI/CD.

Instalação (Linux):

curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"
unzip awscliv2.zip
sudo ./aws/install

Configure:

aws configure

Quando solicitado, digite:

• Chave de acesso
  
• Chave secreta
  
• Região padrão
  
• Formato de saída (JSON, texto, etc.)

Exemplo de sincronização:

aws s3 sync /var/www/html s3://your-bucket-name/html

Empacotando

Manter seu VPS em sincronia com o armazenamento de objetos é uma maneira confiável de fazer backup de dados e tornar o conteúdo acessível.Esteja você executando uploads regulares ou sincronizando pastas ao vivo, o Rclone oferece as ferramentas para fazê -lo com eficiência.

Com opções de criptografia, registro e automação, você pode configurar um sistema que funcione silenciosamente em segundo plano - da maneira que você deseja.