• O3S

O erro de cálculo da NASA ao levar seus dados para a Nuvem e como resolver isto?

A NASA lançará 247 petabytes de dados na nuvem da Amazon AWS, mas cometeu um grave erro de cálculo: esqueceu os custos de saída da nuvem antes de decolar.


Uma auditoria descobriu este erro, que pode significar menor fluxo de dados (downloads) para os cientistas e pesquisadores, a menos que a agência pague a mais por estes downloads.

A NASA prevê que precisará de 215 petabytes a mais de armazenamento até 2025 e, espera que a Amazon Web Services forneça a maior parte dessa capacidade. No entanto, a agência espacial não percebeu que isso custaria muito em taxas de saída da nuvem (downloads). Da forma que está, terá que pagar de forma progressiva a medida que os cientistas baixarem seus dados. Este esquecimento nos cálculos deixou a estratégia de nuvens da NASA apontando para o chão e não para o céu. Os dados em questão virão do programa ESDIS (Earth Science Data and Information System), que coleta informações das muitas missões que observam nosso planeta. A NASA disponibiliza essas leituras através do Sistema de Observação e Dados do Sistema de Observação da Terra (EOSDIS). Para armazenar todos os dados e executar o EOSDIS, a NASA opera uma dúzia de DAACs (Distributed Active Archive Centres) que fornecem redundância. Mas a NASA está cansada de gerenciar toda essa infraestrutura, então, em 2019, escolheu a AWS para hospedar tudo e começou a migrar seus dados para a nuvem da Amazon como parte de um projeto chamado Earthdata Cloud. A mudança inicial do armazenamento local para a nuvem foi planejado para o primeiro trimestre de 2020, com mais migrações na sequência. A agência espera transferir muitos dados do seu ambiente local para nuvem nos próximos anos. A NASA também sabe que um grande volume de petabytes de dados está por vir. Prevê-se que 15 missões iminentes, como o Radar de Abertura Sintética NASA-ISRO (NISAR) e os satélites Superfície de Água e Topografia Oceânica (SWOT), entreguem mais de 100 terabytes por dia de dados. Mencionamos SWOT e NISAR, porque serão as primeiras missões a descarregar dados diretamente no Earthdata Cloud. A agência, portanto, projeta que, em 2025, ela terá 247 petabytes, muito mais do que os 32 que atualmente se vê. A NASA achava que tudo isso era uma ótima ideia: em sua documentação para a migração, disse:


Pesquisadores e interessados nos dados do NASA Earth Science terão mais oportunidades de acessar e processar grandes quantidades de dados rapidamente, permitindo novos tipos de pesquisa e análise. Os dados anteriormente dispersos geograficamente agora estarão acessíveis na nuvem, economizando tempo e recursos.

E de fato será assim, se a NASA puder pagar por estes custos adicionais.


Esta é a grande pergunta, pois um relatório de auditoria de março [PDF] do Inspetor-Geral da NASA notou que o EOSDIS não havia previsto adequadamente o que as cobranças de saída de dados (downloads) da nuvem fariam ao seu plano de migração. "Particularmente, a agência enfrenta a possibilidade de aumentos substanciais nos custos de saída de dados da nuvem", escreveu o Escritório do Inspetor-Geral, explicando que hoje a NASA não incorre em custos adicionais quando os usuários acessam dados de seus DAACs. “No entanto, quando os usuários finais baixam dados do Earthdata Cloud, a agência, e não o usuário, será cobrada toda vez que os dados forem baixados.

“Isto significa que o EDSIS está incorrendo em custos de saída da nuvem. No final, o ESDIS será responsável pelos custos da nuvem, incluindo também as taxas de saída e os custos para operar os 12 DAACS. ” E para piorar as coisas, a NASA “ainda não determinou quais conjuntos de dados farão a transição para a Earthdata Cloud nem desenvolveu modelos de custo com base na experiência operacional e métricas para uso e saída.


"Como resultado, as projeções de custos atuais podem ser menores do que o necessário para cobrir despesas futuras e a adoção da nuvem pode se tornar mais cara e difícil de gerenciar". E tem mais. A organização concluiu: “Coletivamente, isso apresenta riscos potenciais de que os dados científicos se tornem menos disponíveis para os usuários finais, se a NASA impuser limitações à quantidade de saída de dados por razões de controle de custos”. E, para colocar uma cereja no bolo, o relatório constatou que os organizadores do projeto não consultaram o suficiente, não seguiram os padrões de integridade de dados do NIST e não procuraram economias adequadamente durante as análises internas, em parte porque metade da equipe de revisão trabalhou no próprio projeto. Como resultado os auditores apontaram três recomendações:

  1. Quando o NISAR e o SWOT estiverem operacionais e fornecerem dados suficientes, concluam uma análise independente para determinar a sustentabilidade financeira de longo prazo do suporte à migração e operação da nuvem, mantendo também as características atuais do DAAC.

  2. Usando as orientações apropriadas da agência, especifique a coordenação com ESDIS e OCIO, no início do ciclo de vida da missão, durante o desenvolvimento do plano de gerenciamento de dados.

  3. Certifique-se de que todos os tipos de informações ​​sejam considerados durante a categorização do DAAC, que premissas apropriadas sejam usadas na determinação dos níveis de impacto e que os procedimentos de categorização apropriados sejam padronizados.


A auditoria aponta um aumento nos gastos com nuvem de cerca de US $ 30 milhões por ano até 2025, como resultado das taxas de saída, além do acordo de US $ 65 milhões por ano da NASA com a AWS. A NASA certamente faz muitas coisas incríveis, mas o The Register acabou achando  esta história depois de analisar a recente auditoria do trabalho de desenvolvimento da agência em seus lançadores móveis - os veículos colossais projetados para montar, transportar e lançar foguetes e cápsulas SLS e Orion. Essa auditoria constatou que o projeto “excedeu em muito suas metas de custo e cronograma no desenvolvimento do ML-1. Em janeiro de 2020, a modificação do ML-1 para acomodar o SLS custou US $ 693 milhões - US $ 308 milhões a mais que a estimativa orçamentária de março de 2014 da agência - e está atrasada mais de três anos. ”


Como resolver isto? Bom, você precisa dimensionar todos os custos envolvidos na migração para a nuvem e os custos envolvidos durante a operação, e isto não é fácil. Todas as nuvens publicas tem custos que, dependendo da sua aplicação, podem incorrer em grandes surpresas.


Nós não somos "cientistas de foguetes", mas conhecemos bem o impacto dos custos de saída de dados da nuvem.


O que recomendamos neste caso? Que a NASA considere urgentemente migrar seus dados para a solução de Storage as a Service Enteprise da Zadara, onde pagarão sob demanda, mais barato localmente ou na nuvem, e sem surpresas de custos com operações de escrita, leitura ou quaisquer custos de saída da rede.


Fonte: https://www.theregister.co.uk/2020/03/19/nasa_cloud_data_migration_mess/

239 visualizações

©2020 by O3S