O desafio da TI: como armazenar e processar tantas informações no cenário atual
Se antes falávamos em megabytes ou gigabytes de informação, hoje as empresas de tecnologia
apontam para quantidades inimagináveis, algo que os especialistas identificam como big data
Bombardeados diariamente com um excesso de informações como nunca registrado antes na história da humanidade, certamente o volume a ser processado por cada pessoa que habita o planeta neste exato momento é centenas de vezes maior do que o recebido por alguém em poucos anos atrás.
Olhando para o mundo corporativo, é impressionante a quantidade de informações armazenadas pelas empresas. Infelizmente, na grande maioria das vezes, não fazem bom uso delas.
Pesquisa recente realizada pela consultoria EIU (Economist Intelligence Unit) com 580 executivos de várias empresas no mundo apontou que apenas 18% dos executivos admitiram ter coletado e analisado informações de forma estruturada por algum tipo de sistema de gestão.
O Brasil não foge à regra e olhando sob a perspectiva do setor contábil e tributário, é notório que o número de obrigações acessórias eleva tanto o volume de dados como a necessidade das empresas em processar as informações com qualidade e rapidez sob o risco de pesadas multas.
Este processo só é possível graças a altos investimentos com tecnologia da informação, qualificação ou contratação de mão de obra especializada e, é claro, tempo hábil para cumprir os prazos. Isto tudo incorre muitas vezes na mudança do foco do negócio principal da empresa.
Se antes falávamos em megabytes de informação, passando por gigabytes, hoje as empresas de tecnologia apontam para quantidades inimagináveis, algo que os especialistas identificam como big data. Big data implica em duas palavras-chave: volume (bancos de dados gigantes) e velocidade (manuseio e tratamento analítico, que devem ser feitos rapidamente, em alguns casos até mesmo em tempo real).
Tanto para as companhias como para empresas desenvolvedoras de tecnologia e soluções e também os profissionais da área, surgem alguns desafios que precisam cada vez mais ser entendidos e superados. Além disso, não podemos esquecer que os próprios órgãos governamentais e reguladores recebem, centralizam e analisam informações cruzadas de milhões de empresas, ou seja, o problema aqui se potencializa ainda mais.
Primeiro, para as empresas de alta tecnologia o desafio é produzir meios de armazenamento (tanto físicos como lógicos) que possibilitem não só o armazenamento de bilhões de informações com custos aceitáveis, além de oferecer a possibilidade de acesso, recuperação e processamento destas informações em tempos cada vez menores.
Ou seja, o numero de informações aumenta exponencialmente e a velocidade de processamento deve diminuir numa razão inversamente proporcional. Isto fará com que estas empresas invistam muito dinheiro e recursos técnicos em dispositivos cada vez mais performáticos visto que o armazenamento tradicional em discos rígidos, bancos de dados limitados, aliados com sistemas legados de baixa performance levam as empresas a comprometer o desempenho de seus negócios.
Produtos como processadores cada vez mais velozes e distribuídos, armazenamento em memória, streaming computing, tecnologias orientadas a tratar grandes volumes de dados ou bancos de dados específicos usados, por exemplo, em ferramentas de mídias sociais, são derivados da tecnologia que vem se desenvolvendo exatamente para suprir a crescente demanda de armazenamento e processamento.
Por outro lado, para as empresas usuárias o grande desafio é ter a capacidade de armazenar informações com qualidade, comprar ou desenvolver produtos de software que tratem as informações inseridas em seus bancos de dados.
Ao contrário, terão de arcar com o risco de torná-lo um conjunto sem fim de dados não confiáveis que apenas colocam em risco seu negócio perante o Fisco, além de não lhes apoiar na gestão da sua empresa e ainda por cima aumentar seus custos com a tecnologia da informação.
O conceito do big data já se espalha por todos os setores da economia. Um estudo mostra que em 2010, as empresas norte-americanas de mais de 1.000 funcionários armazenavam cada uma, em média, mais que 200 terabytes de dados. E em alguns setores o volume médio chegava a um petabyte.
O uso de big data já começa a se mostrar como fator diferenciador no cenário de negócios. Casos citados no relatório da McKinsey mostram que algumas empresas conseguiram substanciais vantagens competitivas explorando de forma analítica e em tempo hábil um imenso volume de dados.
E, por último, para os profissionais de TI o desafio é se atualizar num mercado cada vez mais dinâmico e precário de mão de obra altamente especializada, no sentido de entender as demandas existentes pelas empresas e absorver a ideia de que não basta apenas construir sistemas como se fazia há cinco ou dez anos, e sim imaginar arquiteturas mais complexas, variáveis cada vez mais difíceis de controlar e principalmente projetar e entregar artefatos de software que processem informações com alta performance e grau de assertividade.
Com isso, o ideal será buscar otimizar todos os recursos existentes, sejam eles através de processamentos paralelos, máxima otimização no armazenamento, construção de algoritmos cada vez mais inteligentes e recuperação de dados sob pena de que os aplicativos passem horas ou dias processando um numero cada vez maior de informações.
Por fim, trata-se de um cenário divergente e perigoso, pois se por um lado a tecnologia nos permite cada vez mais recursos poderosos, por outro, os desafios, complexidade e investimentos sugerem exatamente um incremento destes recursos em forma de valor financeiro e conhecimento.
O tema por si só se torna apaixonante e desafiador, e estando em qualquer um dos lados, certamente ninguém passará imune a mais este cenário vivido neste veloz e não menos intenso século XXI.
* Wagner Xavier é diretor de desenvolvimento e suporte da Prosoft Tecnologia e professor de Gerenciamento de Projetos e Sistemas de Informações.
Olhando para o mundo corporativo, é impressionante a quantidade de informações armazenadas pelas empresas. Infelizmente, na grande maioria das vezes, não fazem bom uso delas.
Pesquisa recente realizada pela consultoria EIU (Economist Intelligence Unit) com 580 executivos de várias empresas no mundo apontou que apenas 18% dos executivos admitiram ter coletado e analisado informações de forma estruturada por algum tipo de sistema de gestão.
O Brasil não foge à regra e olhando sob a perspectiva do setor contábil e tributário, é notório que o número de obrigações acessórias eleva tanto o volume de dados como a necessidade das empresas em processar as informações com qualidade e rapidez sob o risco de pesadas multas.
Este processo só é possível graças a altos investimentos com tecnologia da informação, qualificação ou contratação de mão de obra especializada e, é claro, tempo hábil para cumprir os prazos. Isto tudo incorre muitas vezes na mudança do foco do negócio principal da empresa.
Se antes falávamos em megabytes de informação, passando por gigabytes, hoje as empresas de tecnologia apontam para quantidades inimagináveis, algo que os especialistas identificam como big data. Big data implica em duas palavras-chave: volume (bancos de dados gigantes) e velocidade (manuseio e tratamento analítico, que devem ser feitos rapidamente, em alguns casos até mesmo em tempo real).
Tanto para as companhias como para empresas desenvolvedoras de tecnologia e soluções e também os profissionais da área, surgem alguns desafios que precisam cada vez mais ser entendidos e superados. Além disso, não podemos esquecer que os próprios órgãos governamentais e reguladores recebem, centralizam e analisam informações cruzadas de milhões de empresas, ou seja, o problema aqui se potencializa ainda mais.
Primeiro, para as empresas de alta tecnologia o desafio é produzir meios de armazenamento (tanto físicos como lógicos) que possibilitem não só o armazenamento de bilhões de informações com custos aceitáveis, além de oferecer a possibilidade de acesso, recuperação e processamento destas informações em tempos cada vez menores.
Ou seja, o numero de informações aumenta exponencialmente e a velocidade de processamento deve diminuir numa razão inversamente proporcional. Isto fará com que estas empresas invistam muito dinheiro e recursos técnicos em dispositivos cada vez mais performáticos visto que o armazenamento tradicional em discos rígidos, bancos de dados limitados, aliados com sistemas legados de baixa performance levam as empresas a comprometer o desempenho de seus negócios.
Produtos como processadores cada vez mais velozes e distribuídos, armazenamento em memória, streaming computing, tecnologias orientadas a tratar grandes volumes de dados ou bancos de dados específicos usados, por exemplo, em ferramentas de mídias sociais, são derivados da tecnologia que vem se desenvolvendo exatamente para suprir a crescente demanda de armazenamento e processamento.
Por outro lado, para as empresas usuárias o grande desafio é ter a capacidade de armazenar informações com qualidade, comprar ou desenvolver produtos de software que tratem as informações inseridas em seus bancos de dados.
Ao contrário, terão de arcar com o risco de torná-lo um conjunto sem fim de dados não confiáveis que apenas colocam em risco seu negócio perante o Fisco, além de não lhes apoiar na gestão da sua empresa e ainda por cima aumentar seus custos com a tecnologia da informação.
O conceito do big data já se espalha por todos os setores da economia. Um estudo mostra que em 2010, as empresas norte-americanas de mais de 1.000 funcionários armazenavam cada uma, em média, mais que 200 terabytes de dados. E em alguns setores o volume médio chegava a um petabyte.
O uso de big data já começa a se mostrar como fator diferenciador no cenário de negócios. Casos citados no relatório da McKinsey mostram que algumas empresas conseguiram substanciais vantagens competitivas explorando de forma analítica e em tempo hábil um imenso volume de dados.
E, por último, para os profissionais de TI o desafio é se atualizar num mercado cada vez mais dinâmico e precário de mão de obra altamente especializada, no sentido de entender as demandas existentes pelas empresas e absorver a ideia de que não basta apenas construir sistemas como se fazia há cinco ou dez anos, e sim imaginar arquiteturas mais complexas, variáveis cada vez mais difíceis de controlar e principalmente projetar e entregar artefatos de software que processem informações com alta performance e grau de assertividade.
Com isso, o ideal será buscar otimizar todos os recursos existentes, sejam eles através de processamentos paralelos, máxima otimização no armazenamento, construção de algoritmos cada vez mais inteligentes e recuperação de dados sob pena de que os aplicativos passem horas ou dias processando um numero cada vez maior de informações.
Por fim, trata-se de um cenário divergente e perigoso, pois se por um lado a tecnologia nos permite cada vez mais recursos poderosos, por outro, os desafios, complexidade e investimentos sugerem exatamente um incremento destes recursos em forma de valor financeiro e conhecimento.
O tema por si só se torna apaixonante e desafiador, e estando em qualquer um dos lados, certamente ninguém passará imune a mais este cenário vivido neste veloz e não menos intenso século XXI.
* Wagner Xavier é diretor de desenvolvimento e suporte da Prosoft Tecnologia e professor de Gerenciamento de Projetos e Sistemas de Informações.
