para o lagouma startup suíça que está desenvolvendo tecnologia para proteger aplicativos de IA generativa de prompts maliciosos e outras ameaças, levantou US$ 20 milhões em uma rodada Série A liderada pela empresa europeia de capital de risco Atomico.
A IA generativa surgiu como o exemplo do crescente movimento da IA, impulsionado por aplicativos populares como ChatGPT. Mas continua a ser motivo de preocupação em ambientes empresariais, em grande parte devido a problemas de segurança e privacidade de dados.
Para contexto, modelos de linguagem grandes (LLMs) são os motores por trás da IA generativa e permitem que máquinas entendam e gerem texto como um humano. Mas se você quer que tal aplicativo escreva um poema ou resuma um contrato legal, ele precisa de instruções para orientar sua saída. Esses “prompts”, no entanto, podem ser construídos de forma a enganar o aplicativo a fazer algo que não deveria, como divulgar dados confidenciais que foram usados para treiná-lo ou dar acesso não autorizado a sistemas privados. Essas “injeções de prompt” são uma preocupação real e crescentee são especificamente o que Lakera está se propondo a abordar.
Resposta rápida
Fundada em Zurique em 2021, a Lakera oficialmente lançado em outubro passado com US$ 10 milhões em financiamentocom a promessa expressa de proteger organizações de fraquezas de segurança do LLM, como vazamento de dados ou injeções rápidas. Ele funciona com qualquer LLM, incluindo GPT-X da OpenAI, Bard do Google, LLaMA da Meta e Claude da Anthropic.
Em sua essência, o Lakera é apresentado como um “firewall de aplicativo de IA de baixa latência” que protege o tráfego de entrada e saída de aplicativos de IA generativos.
O produto inaugural da empresa, Guarda Lakeraé construído em um banco de dados que reúne insights de inúmeras fontes, incluindo conjuntos de dados de “código aberto” disponíveis publicamente, como aqueles hospedados no Hugging Face, pesquisa interna de aprendizado de máquina e um curioso jogo interativo desenvolvido por ele chamado Gandalfque convida os usuários a tentar enganá-lo para revelar uma senha secreta.
O jogo fica mais sofisticado (e, portanto, mais difícil de “hackear”) conforme os níveis progridem. Mas essas interações permitiram que Lakera construísse o que chama de “taxonomia de injeção rápida” que separa tais ataques em categorias.
“Estamos priorizando a IA, construindo nossos próprios modelos para detectar ataques maliciosos, como injeções rápidas em tempo real”, explicou o cofundador e CEO da Lakera, David Haber, ao TechCrunch. “Nossos modelos aprendem continuamente, a partir de grandes quantidades de interações generativas de IA, como são as interações maliciosas. Como resultado, nossos modelos de detectores melhoram e evoluem continuamente com o cenário de ameaças emergentes.”
A Lakera diz que, ao integrar seu aplicativo com a Lakera Guard API, as empresas podem se proteger melhor contra prompts maliciosos. No entanto, a empresa também desenvolveu modelos especializados que escaneiam prompts e saídas de aplicativos para conteúdo tóxicocom detectores dedicados para discurso de ódio, conteúdo sexual, violência e palavrões.
“Esses detectores são particularmente úteis para aplicações voltadas ao público, por exemplo, chatbots, mas também são usados em outros ambientes”, disse Haber.
Semelhante ao seu conjunto de ferramentas de defesa rápida, as empresas podem integrar a inteligência de moderação de conteúdo do Lakera com uma única linha de código e podem obter acesso a um painel de controle de políticas centralizado para ajustar os limites que desejam definir de acordo com o tipo de conteúdo.
Com US$ 20 milhões novos no banco, a Lakera está agora preparada para expandir sua presença global, especialmente nos EUA. A empresa já reivindica uma série de clientes de alto perfil na América do Norte, incluindo os sediados nos EUA. Respell, startup de IA assim como Mega-unicórnio canadense Cohere.
“Grandes empresas, empresas de SaaS e provedores de modelos de IA estão todos correndo para lançar aplicativos de IA seguros”, disse Haber. “Organizações de serviços financeiros entendem os riscos de segurança e conformidade e são as primeiras a adotar, mas estamos vendo interesse em todos os setores. A maioria das empresas sabe que precisa incorporar o GenAI em seus principais processos de negócios para permanecer competitiva.”
Além do principal apoiador Atomico, a rodada Série A da Lakera incluiu a participação do braço de capital de risco do Dropbox, Citi Ventures e Redalpine.
