AWS Transfer Family e Serviços de Migração de Dados

Este tópico apresenta os principais serviços da AWS para transferência e migração de dados, explicando para que servem e como facilitam o processo de mover dados para a nuvem.

O Que Você Vai Aprender

• Conhecer os principais serviços de migração e transferência de dados da AWS.
• Entender o que é o AWS Transfer Family e seus protocolos suportados (SFTP, FTPS, FTP).
• Explorar o AWS DataSync, seu funcionamento e benefícios.
• Descobrir o AWS Snowball e Snowball Edge, soluções para grandes volumes de dados.
• Analisar casos de uso reais para cada serviço.

O Que é o AWS Transfer Family?

O AWS Transfer Family é um serviço totalmente gerenciado que permite transferir arquivos segura e facilmente entre seus sistemas locais e o Amazon S3, usando protocolos tradicionais como:
- SFTP (SSH File Transfer Protocol) — protocolo seguro muito usado para transferência de arquivos entre sistemas.
- FTPS (FTP over SSL/TLS) — FTP com criptografia para transferência segura.
- FTP (File Transfer Protocol) — protocolo clássico para troca de arquivos, menos seguro, mas ainda usado em muitos ambientes.

Por Que Usar o AWS Transfer Family?

• Sem mudanças nos clientes/aplicativos: Ele funciona com seus sistemas de autenticação já existentes e mantém os nomes DNS familiarmente configurados.
• Gerenciamento simplificado: Toda a infraestrutura do serviço é gerenciada pela AWS, eliminando a necessidade de administrar servidores FTP/SFTP próprios.
• Integração nativa com S3: Os arquivos transferidos chegam diretamente no Amazon S3, o que facilita o armazenamento durável e a integração com outros serviços AWS.

Outros Serviços de Migração de Dados

AWS DataSync

• Serviço gerenciado para transferência rápida e automatizada de dados entre armazenamento local e AWS (S3, EFS, FSx).
• Otimizado para dados grandes e movimentações constantes, com controle de largura de banda e segurança embutida.
• Elimina a necessidade de criar scripts manuais para sincronização, reduz erros e acelera o processo.

AWS Snowball e Snowball Edge

• Solução para migração de dados em grande escala onde a transferência pela internet não é viável (ex: petabytes de dados).
• Aparelho físico seguro que é enviado para você, onde carrega seus dados localmente, e depois enviado de volta para AWS para upload direto.
• O Snowball Edge oferece armazenamento com computação local, permitindo processamento dos dados durante a migração.

Quando Usar Cada Serviço?

Dicas para Aprender e Revisar

• Pense no AWS Transfer Family como um serviço que substitui seu antigo servidor FTP/SFTP, porém, na nuvem e sem complicações.
• O DataSync é um robô que faz transferências automáticas e confiáveis para você, economizando tempo e evitando erros.
• O Snowball é seu caminhão de mudança para a nuvem: carregado com seus dados, viaja fisicamente quando o volume é muito grande.

Conceitos-Chave do AWS Transfer Family

O AWS Transfer Family é um conjunto gerenciado de serviços que suportam transferência de arquivos usando protocolos tradicionais para o Amazon S3, facilitando a migração e integração sem mudanças nos clientes.

Protocolos Compatíveis

Funcionalidades do AWS Transfer Family

• Suporte total aos padrões SFTP, FTPS e FTP.
• Autenticação integrada: conecta-se facilmente a sistemas de identidade corporativos como Microsoft Active Directory, LDAP, Okta, entre outros.
• Armazenamento direto no Amazon S3: arquivos transmitidos são armazenados como objetos S3, possibilitando integração com serviços AWS de análise, machine learning e arquivamento.

Como Funciona — Passo a Passo

1. Escolha do protocolo e configuração do endpoint:
2. O cliente define se usará SFTP, FTPS ou FTP, configura o domínio e seleciona o bucket S3 alvo.
3. Clientes existentes continuam usando seus softwares normalmente:
4. Os usuários continuam usando seus clientes SFTP/FTP/FTPS sem necessidade de alteração.
5. Roteamento DNS opcional:
6. Mantém nomes de host e domínios familiares para usuários e aplicativos.
7. Armazenamento nativo no S3:
8. Os arquivos são armazenados diretamente como objetos no S3, garantindo durabilidade e disponibilidade.
9. Dados prontos para processamento:
10. Os dados armazenados estão imediatamente disponíveis para serviços AWS como análise, machine learning e arquivamento.

Nota: o AWS Transfer for FTP funciona apenas dentro de VPCs, não sendo exposto para internet pública.

AWS DataSync — Transferência Rápida e Automática de Dados

O Que é o AWS DataSync?

O AWS DataSync é um serviço gerenciado que simplifica, acelera e automatiza a movimentação de dados entre seu armazenamento local e serviços de armazenamento da AWS.

Por Que Usar o DataSync?

• Automatiza tarefas complexas como criptografia, validação de integridade dos dados, otimização de rede e gerenciamento de falhas.
• Usa protocolos especiais, arquitetura paralela e multithread que proporcionam alta performance nas transferências.
• É flexível para migrações únicas ou replicações recorrentes, facilitando backup e recuperação.
• Opera via Internet ou conexão privada AWS Direct Connect para garantir segurança e eficiência.

Com O Que o DataSync Funciona?

• Servidores de arquivos locais com protocolos NFS (Network File System) e SMB (Server Message Block).
• Armazenamento de objetos autogerenciado.
• Dispositivos AWS Snowcone para edge computing e migração física.
• Buckets do Amazon S3.
• Sistemas de arquivos do Amazon EFS (Elastic File System).
• Sistemas de arquivos Amazon FSx for Windows File Server.

Como Funciona na Prática?

Local Storage / Servidor NFS/SMB <--> Agente AWS DataSync <--> Serviços AWS (S3, EFS, FSx)

• Um agente DataSync instalado localmente conecta seu storage à nuvem AWS.
• O serviço gerencia transferências, aplicando compressão, criptografia e valida validação dos dados para garantir cópias exatas.

Quando Usar o AWS DataSync?

• Para transferências rápidas e confiáveis entre ambientes locais e AWS.
• Para sincronizações e replicações automatizadas sem intervenção manual.
• Para migração de grandes volumes de dados com segurança e alta performance.

AWS DataSync — Conceitos e Casos de Uso

Como Funciona o AWS DataSync?

O DataSync é um serviço gerenciado que facilita a movimentação rápida e segura de dados entre seu armazenamento local e os serviços de armazenamento da AWS. Ele utiliza um agente local, protocolos padrão e transferência segura com criptografia.

Arquitetura Básica

Principais Casos de Uso do AWS DataSync

Fluxo de Dados do AWS DataSync

Benefícios do AWS DataSync

• Totalmente gerenciado: sem necessidade de scripts manuais.
• Segurança embutida: criptografia em trânsito e controle de acesso AWS.
• Alto desempenho: arquitetura paralela e multithread.
• Flexibilidade: suporta vários tipos de armazenamento tanto local quanto na AWS.
• Economia: otimiza custos com transferências rápidas e automáticas.

AWS Snowball — Transferência Segura e Escalável de Dados

O Que é o AWS Snowball?

O AWS Snowball é um serviço que fornece dispositivos físicos seguros e robustos para transferir grandes volumes de dados entre seu ambiente local e a nuvem AWS. Além do transporte, o serviço oferece recursos de computação de borda, armazenamento integrado e segurança avançada.

Variedades do Snowball:

• Snowball Edge:
• Dispositivo físico com 40 vCPUs e até 80 TB de armazenamento.
• Oferece armazenamento em bloco ou de objetos compatível com o Amazon S3.
• Duas versões: Storage Optimized (focado em armazenamento) e Compute Optimized (focado em processamento local).
• Indicado para ambientes desconectados, como fábricas remotas, navios ou moinhos de vento.
• AWS Snowcone:
• Menor dispositivo, com 8 TB de armazenamento utilizável.
• Robusto e portátil, ideal para edge computing e ambientes externos aos data centers.
• AWS Snowmobile:
• Contêiner de 45 pés para transportar até 100 PB de dados.
• Usado em migrações de escala massiva (exabytes) e fechamento de data centers.
• Transporta dados fisicamente até o local do cliente e depois para a AWS.

Como Funciona o AWS Snowball?

• Você cria uma tarefa no Console AWS e recebe automaticamente um dispositivo Snowball no endereço configurado.
• Após o dispositivo chegar, ele é conectado à sua rede local.
• Usando o cliente Snowball, você seleciona os dados para transferência.
• Os dados são criptografados e transferidos com alta velocidade para o Snowball.
• Ao concluir, o dispositivo é enviado de volta para a AWS com etiqueta E-Ink automatizada para rastreamento.
• A AWS importa os dados para o serviço especificado (S3, Glacier).

Segurança e Proteção de Dados

• Gabinetes invioláveis e resistentes a violação física.
• Criptografia AES 256 bits ponta a ponta para todos os dados armazenados no dispositivo.
• Trusted Platform Module (TPM) de padrão aberto para assegurar integridade e execução confiável.
• Cadeia de custódia rigorosa com escolta e rastreamento durante transporte.

Principais Casos de Uso do AWS Snowball

Resumo dos Serviços de Migração e Transferência

Projeto Sugerido — Base de Conhecimento para Soluções

• Crie e mantenha uma base de conhecimento focada em armazenamento e gerenciamento de dados.
• Adicione casos e soluções baseadas nas experiências com os serviços AWS abordados.
• Use esta base para acelerar diagnósticos e melhorar operações futuras.