As empresas modernas funcionam com dados, mas movimentar esses dados e dar a eles o formato certo para que possam ser usados em aplicações específicas continua sendo uma tarefa complexa. Definitividadeque está sendo lançada furtivamente na quarta-feira e anunciando uma rodada de financiamento inicial de US$ 4,5 milhões, quer dar a essas empresas as ferramentas para observar, consertar e otimizar seus pipelines de dados.
O problema aqui é que, diferentemente de muitos de seus concorrentes, ele não analisa os dados somente depois que eles são transformados e depositados em algum lugar — momento em que fica difícil solucionar problemas quando as coisas dão errado — mas enquanto os dados ainda estão em movimento.
A startup suporta uma grande variedade de ambientes, mas foca em aplicativos baseados em Apache Spark (no local ou no topo de serviços gerenciados como o Dataproc do Google, AWS EMR ou Databricks, por exemplo), o que talvez não seja nenhuma surpresa, dado que todos os cofundadores têm muita experiência com mecanismos de processamento de dados de código aberto. O CTO Ohad Raviv é um colaborador do Spark e ex-líder de tecnologia de big data no PayPal. Roy Daniel, o CEO da empresa, trabalhou anteriormente na FIS, enquanto o VP de P&D Tom Bar-Yacov foi anteriormente um gerente de engenharia de dados no PayPal.
Em uma entrevista, Daniel enfatizou que a empresa se concentra no plano de transformação de dados em cima de um data lake ou warehouse, não na parte de ingestão de dados do pipeline. Alguns dos problemas que a equipe experimentou durante seu tempo trabalhando para essas grandes empresas incluem problemas de qualidade de dados causados por dados inconsistentes, alterações de esquema e dados obsoletos. “Esses são problemas de qualidade de dados que se propagam para baixo”, disse ele. “Eles afetam os negócios, sejam modelos que estão trabalhando em cima de dados ruins agora, ou painéis ou BI que estão quebrados e, de repente, o CFO fica tipo, o que está acontecendo?”
Outro problema são os pipelines de dados que simplesmente quebram, falham e depois são executados novamente, bem como os pipelines que não foram otimizados e acabam custando muito mais para serem processados do que o necessário.
“Nós nos conhecemos por meio de um amigo em comum”, Daniel me contou quando perguntei como a equipe fundadora se conheceu e decidiu lidar com essa questão específica. “Todos nós viemos de serviços financeiros, mas em nosso primeiro encontro, já percebemos que estamos realmente lutando e somos desafiados pelo mesmo problema dos dois lados da moeda. E essa foi a faísca, e pensamos: ‘Ei, deveríamos fazer algo sobre isso.’”
O que faz o Definity se destacar é que ele monitora os dados em movimento. Isso permite que ele detecte problemas diretamente na fonte, facilitando a solução de problemas e a otimização desses pipelines. Pode não ser impossível diagnosticar a causa raiz de um problema se tudo o que você tem é o resultado final, mas é definitivamente muito mais fácil quando você pode olhar para todas as diferentes etapas que levaram a ele. Isso também significa que o Definity pode impedir que um pipeline seja executado se os dados de entrada estiverem corrompidos, por exemplo.
“Os líderes de dados corporativos de hoje enfrentam uma pressão séria para garantir a confiabilidade dos dados que alimentam o negócio, ao mesmo tempo em que aumentam a escala, cortam custos e adotam tecnologias de IA”, disse Nate Meir, sócio geral da StageOne Ventures, que liderou a rodada de capital inicial da Definity. “Mas sem visão de raio-X em cada aplicativo de dados, as equipes de dados ficam cegas e reacionárias. A Definity está abordando essa necessidade de frente com uma solução de mudança de paradigma que é poderosa e perfeita para equipes de engenharia de dados e plataforma de dados.”
Como o serviço usa um sistema baseado em agentes, ele também fica fora do caminho dos desenvolvedores que constroem e mantêm esses sistemas. Nenhuma alteração de código é necessária, e os agentes simplesmente rodam em linha com cada aplicativo Python ou de dados no pipeline. Vale a pena notar, no entanto, que mesmo para os clientes que usam o serviço hospedado da Definity, apenas metadados são transferidos para seus servidores.
A rodada de financiamento foi liderada pela StageOne, com a participação da Hyde Park Ventures Partners e de vários investidores anjos estratégicos.
