Análise do Krisp Voice Isolation: como resolver o problema da segunda voz em agentes de IA por voz

O reconhecimento de fala lida bem com o ruído, mas quando uma segunda pessoa fala, ela acaba aparecendo na transcrição.

Emmanuel Mumba

Emmanuel Mumba

20 novembro 2026

Análise do Krisp Voice Isolation: como resolver o problema da segunda voz em agentes de IA por voz

Apidog para empresas

Implantação local

SSO & RBAC

Conforme SOC 2

Explorar Apidog Enterprise

Quando um agente de voz falha em chamadas reais, a causa muitas vezes não é o LLM nem a voz. O problema começa um passo antes, no áudio que o agente escuta, seja ele encaminhado para um modelo de fala-para-texto (STT) ou diretamente para um modelo de fala-para-fala. Os STT modernos lidam bem com trânsito e ar-condicionado. O que eles não conseguem lidar é com uma segunda pessoa falando: um colega, uma TV, o agente na mesa ao lado em um call center. Eles também escutam essas vozes, e o agente age com base em palavras que o interlocutor nunca disse.

O Krisp Voice Isolation fica na frente do STT e remove todas as vozes, exceto a do interlocutor principal. Para esta análise, li o benchmark e a documentação do Krisp, criei uma conta na API self-serve e processei oito gravações reais do dataset público do Krisp. Em seguida, transcrevi o áudio antes e depois com um modelo STT de código aberto para ver o que realmente mudou.

Veredito rápido: se o seu agente atende chamadas de escritórios, casas, call centers ou qualquer lugar onde há pessoas falando ao fundo, o Voice Isolation vale a pena no seu pipeline. No meu teste, a fala ao fundo que tinha virado 331 palavras de transcrição falsa caiu para zero. As desvantagens são reais, mas pequenas: um leve custo na qualidade de áudio telefônico limpo, uma API disponível apenas na região dos EUA e menos modelos na API do que no SDK.

O problema: vozes ao fundo, não ruído de fundo

Modelos de STT são treinados para captar fala, não para decidir qual fala importa. O ruído pode ser filtrado porque não se parece com fala. Uma segunda voz se parece exatamente com fala, porque é fala.

O próprio exemplo do Krisp é ilustrativo. Um interlocutor pede para cancelar uma assinatura enquanto um colega por perto pergunta sobre o almoço. O STT retorna um único fluxo de palavras sem nada que marque quais vieram do interlocutor, então o agente recebe as duas como uma única solicitação.

Isso quebra um agente de voz de três maneiras:

Em cada caso, a lógica do agente funciona como projetada. Ela está reagindo a uma voz que nunca deveria ter escutado.

Os números mostram o tamanho dessa diferença. No teste de lançamento do Voice Isolation 2.5 do Krisp, 10 sistemas de STT tiveram, em média, uma taxa de erro de palavras (WER) de 2,10% em áudio limpo de um único interlocutor. Com uma segunda pessoa falando por cima, os mesmos sistemas tiveram média de 35,92%. A supressão de ruído não fecha essa lacuna, porque a interferência é fala.

O que é o Krisp Voice Isolation

A API e SDK do Krisp Voice Isolation removem vozes e ruídos ao fundo de um fluxo de áudio ao vivo e repassam apenas o interlocutor principal. Foi criado para agentes de IA de voz e usa a mesma tecnologia principal que o Krisp oferece para chamadas humanas sob o nome Background Voice Cancellation (BVC).

Ele entra primeiro no pipeline do agente, de modo que todo modelo posterior escuta apenas uma voz:

Where Voice Isolation sits in a voice agent pipeline

Onde o Voice Isolation se encaixa no pipeline de um agente de voz

Essa posição importa. Sem ele, o VAD e a detecção de turnos também escutam o terceiro, e é daí que vêm as interrupções falsas.

O Krisp dedica cerca de nove anos à IA de voz e diz processar mais de 1 trilhão de minutos de voz por ano. O Voice Isolation é um dos produtos do seu portfólio de API de IA de voz e SDK. O Voice Isolation faz parte da VIVA, o conjunto de modelos em tempo real do Krisp para agentes de voz, junto com Turn-Taking, Interrupt Prediction e VAD. Ele trabalha em conjunto com o turn-taking, em vez de substituí-lo.

Especificação

Voice Isolation 2.5

Computação

Somente CPU, sem necessidade de GPU

Latência algorítmica

15 ms (a documentação do SDK do Krisp indica latência adicional de cerca de 20 ms)

Motores STT

Qualquer um. Ele opera no sinal de áudio, então não há configuração por idioma ou por motor

Áudio telefônico

Telefonia de banda estreita, G.711, G.722, G.729, Opus, headsets Bluetooth

Cadastro de voz

Não é necessário

Distância do microfone

Campo próximo; em geral, dentro de cerca de 30 cm (1 pé) como referência, dependendo da acústica 

Modelos

Default, Balanced, Lite, HD

Os quatro modelos dão controle sobre a agressividade com que vozes e ruídos ao fundo são removidos. Com agressividade máxima (a configuração padrão), o Default remove mais. O Balanced processa a voz principal de forma mais leve, com a mesma computação. O Lite usa cerca de um terço da computação do Default. O HD é para streams WebRTC de 32 kHz, e não para áudio telefônico. A agressividade é uma configuração de execução que você pode ajustar sem alterar a computação; na API, é o parâmetro suppression_level, de 0 a 100. 

Uma limitação que vale conhecer desde o início: os modelos de remoção de voz assumem que o interlocutor está perto do microfone. Como referência geral, a partir de cerca de 30 cm a própria voz do interlocutor principal pode ser suprimida. Essa não é uma regra rígida; é uma recomendação geral, e a distância real depende das condições acústicas.  Para dispositivos de campo distante, como smart speakers, o Krisp oferece um modelo separado que remove apenas o ruído.

A versão 2.5 foi lançada em agosto de 2026, e o Krisp publicou um benchmark e dataset abertos em setembro. O modelo agora está disponível como API self-serve, além do SDK.

O que os benchmarks do Krisp mostram

No benchmark aberto do Krisp, o Voice Isolation reduziu a taxa média de erro de palavras de 23,24% para 6,24%, uma queda de 73%.

A página do benchmark do Krisp resume o resultado principal.

O benchmark usa 265 gravações reais de escritórios, casas, quatro andares de call centers em operação e carros. Nada foi simulado ou misturado depois. A maioria das gravações segue o mesmo roteiro: o interlocutor principal fala, uma segunda pessoa entra, o interlocutor principal fica em silêncio enquanto a outra continua falando, e então o interlocutor principal volta. Esse intervalo de silêncio é o verdadeiro teste, porque a transcrição correta para ele é vazia. Cada arquivo foi processado por 11 configurações de STT de nove motores, com e sem isolamento.

Fonte: benchmark de voice isolation do Krisp, out. de 2026 · 11 configurações de STT, todos os cenários combinados

Todos os motores melhoraram e nenhum piorou. O resultado mais útil é o que acontece com a distância entre os motores: no áudio bruto, ela tem cerca de 20 pontos de largura, e após o isolamento diminui para cerca de 5. Se o seu agente escuta vozes ao fundo, limpar a entrada melhora o seu WER mais do que escolher um fornecedor de STT diferente.

Por cenário, o ganho depende de haver ou não uma segunda voz:

Cenário

Áudio bruto

Com Voice Isolation

Trabalho (escritórios, casas, salas de reunião)

31,84%

6,30%

Call center

23,83%

6,86%

Chamadas telefônicas (sem voz concorrente)

3,48%

3,91%

Todos os 265 arquivos

23,24%

6,24%

Onde ele não ajuda

O Krisp publica seus pontos fracos, e eu acho que essa é a parte mais convincente do material.

A página do benchmark permite reproduzir seis gravações brutas e processadas. A amostra 153, uma chamada telefônica, está marcada como "Piora".

Duas outras coisas para ter em mente. O número de 73% e o de 46,4% que você verá no site do Krisp vêm de testes diferentes: 265 gravações no benchmark aberto e 1.685 gravações no teste de lançamento do 2.5. E os resultados do Krisp comparam áudio com e sem o próprio isolamento dele, não contra produtos de isolamento de outros fornecedores.

As gravações, transcrições manuais, rótulos de segmentos e a saída de todos os modelos estão públicas no Hugging Face, então qualquer um pode refazer o teste. Foi o que fiz em seguida.

Teste prático: experimentando a API de Voice Isolation

No meu teste, o Voice Isolation removeu todas as palavras de fala ao fundo das transcrições, e o WER combinado caiu de 40,1% para 10,2%.

Configuração

Criar uma conta no Portal de Desenvolvedores é rápido, com login via Google, Microsoft ou e-mail. O trial me deu US$ 30 em créditos e um limite de duas sessões simultâneas. Depois é só ir em API Keys → Create key, e você recebe uma chave que só pode ser copiada uma vez.

A página de Voice Isolation no Portal de Desenvolvedores no plano trial.

A chave de API que criei para esta análise. Uma única chave funciona em todos os produtos de API do Krisp, incluindo a Voice Translation API. .

A API é um WebSocket. Seu backend troca a chave de API por um token de sessão de curta duração, o cliente envia um pequeno JSON de saudação, espera o ready e então transmite PCM mono de 16 bits e recebe o áudio limpo de volta quadro a quadro:

URL = "wss://streaming.krisp.ai/voice-isolation"async with websockets.connect(URL, additional_headers={"Authorization": f"api-key {session_token}"}) as ws:    await ws.send(json.dumps({"model": "VIVA-tel", "sample_rate": 16000, "suppression_level": 100}))    hello = json.loads(await ws.recv())  # {"type": "ready", ...}    # then send exactly 30 ms of audio per message (960 bytes at 16 kHz)    # and write each binary message you receive to your output

Isso é próximo ao quickstart da API do Krisp, um script Python curto que limpa um arquivo WAV. Uma regra pega muita gente: cada mensagem de áudio deve ter exatamente 30 ms. Qualquer outra duração encerra a sessão com um erro invalid_frame_duration, então preencha o último quadro com silêncio.

Para o teste, escolhi oito gravações do dataset público do Krisp: três gravações de escritório, três de andares de call center e duas chamadas telefônicas de carro, cerca de 11 minutos no total. Transmiti cada uma pela API em velocidade em tempo real, a partir da Ásia. Depois transcrevi o áudio bruto e o limpo com o Parakeet TDT 0.6B v2 de código aberto da NVIDIA, um dos motores do benchmark do Krisp, e pontuei cada segmento rotulado contra as transcrições humanas.

Resultados

Gravações

WER bruto

WER com Voice Isolation

Escritório (3 arquivos)

36,6%

3,6%

Call center (3 arquivos)

53,4%

15,8%

Chamadas telefônicas, sem segunda voz (2 arquivos)

5,8%

5,2%

Todos os 8 arquivos

40,1%

10,2%

Quase toda a melhoria veio de um único lugar: os intervalos em que o interlocutor principal estava em silêncio e outra pessoa continuava falando. No áudio bruto, o Parakeet transformou essa fala ao fundo em 331 palavras de transcrição. Depois do Voice Isolation, ele não produziu nenhuma. A voz ao fundo ficou de 13 a 34 dB mais baixa nesses intervalos, enquanto o nível do interlocutor principal quase não mudou (dentro de 1 dB).

My test · Krisp API (VIVA-tel), transcribed with Parakeet TDT 0.6B v2 · the 6 recordings with a background-only window

Meu teste · API do Krisp (VIVA-tel), transcrito com Parakeet TDT 0.6B v2 · as 6 gravações com um intervalo apenas de fala ao fundo

O exemplo do call center mostra por que isso importa. Enquanto o agente que eu estava testando pausava, o agente na mesa ao lado estava em outra chamada. A transcrição bruta capturou aquela chamada palavra por palavra:

thank you for calling meridian bank before i begin i will need to confirm your identity for security could you give me your full name your date of birth...

Um agente de voz trataria isso como fala do interlocutor. Com o Voice Isolation, o mesmo intervalo voltou vazio.

Quando as duas pessoas falavam ao mesmo tempo, a mudança foi pequena: 13,2% bruto contra 12,5% limpo. O Parakeet já favorecia a voz mais alta e mais próxima nesses trechos. A maioria dos erros restantes ali é formatação de números na minha pontuação (números de telefone, preços, CEPs), que afetou igualmente as duas versões.

nas duas chamadas telefônicas limpas, um arquivo ganhou um erro extra e o outro perdeu dois. Isso está alinhado com a própria constatação do Krisp de que o custo em áudio limpo é pequeno.

Latência e confiabilidade de fora dos EUA

A API atualmente roda apenas na região dos EUA, e a documentação do Krisp avisa que clientes em outros lugares verão latência adicional. Da Ásia, a viagem de ida e volta mediana de um quadro (envio até o retorno do áudio limpo) foi de 260–520 ms dependendo da sessão, e configurar uma sessão geralmente levava de 1,5 a 3 segundos. Isso é distância de rede, não o modelo: o Krisp indica 15 ms de latência algorítmica. Mas se o seu agente atende usuários longe dos EUA, você sentirá isso, e o SDK nos seus próprios servidores evita o problema.

Uma das minhas nove sessões caiu cerca de 70 segundos depois com um fechamento anormal. Executá-la novamente funcionou. Atribuo isso à rota longa vinda da Ásia, e não ao serviço, mas é um lembrete para tratar reconexões em produção.

Sobre este teste: oito arquivos são uma amostra pequena, não um benchmark. Reamostrrei as gravações de 32 kHz para 16 kHz para o modelo de telefonia (VIVA-tel), usei um único motor de STT e mantive a normalização de texto simples, então meus números absolutos não são comparáveis aos do Krisp. O que eu estava verificando é a direção e a magnitude da mudança, e ela correspondeu ao que o Krisp relata.

Experiência do desenvolvedor: API ou SDK

O Voice Isolation é oferecido de duas formas, e qual delas você pode usar depende do seu plano.


Voice Isolation API

VIVA SDK

Onde roda

Nuvem do Krisp (região dos EUA)

Seus próprios servidores, em CPU

Como usar

Transmite áudio por um WebSocket e recebe áudio limpo de volta

Carrega um modelo e processa quadros de áudio no seu próprio código

Linguagens

Qualquer uma com cliente WebSocket

Python, Node.js, Go, Rust, C++ e C

Áudio

8 ou 16 kHz (VIVA-tel), 32 kHz (VIVA-pro), PCM mono de 16 bits

De 8 kHz até 32 kHz, dependendo do modelo (o HD aceita entradas de até 32 kHz) 

Modelos

Dois: VIVA-tel para áudio telefônico, VIVA-pro para banda larga de 32 kHz

Default, Balanced, Lite, HD

Acesso

Self-serve, chave de API pelo portal

Licença comercial, plano Enterprise

Inclui também

Voice Translation API

Turn-Taking e VAD

A API é o caminho mais fácil: sem arquivos de modelo para distribuir e nada para rodar na sua CPU. As desvantagens são que o seu áudio vai para a nuvem do Krisp e você tem dois modelos em vez de quatro: VIVA-tel para áudio telefônico de 8 ou 16 kHz e VIVA-pro para áudio de banda larga de 32 kHz. O VIVA-pro ainda não está na referência da API, mas está no Playground do portal, a API o aceitou no meu teste, e o Krisp confirmou que ele está disponível.

O Playground do portal permite testar qualquer um dos modelos da API com o seu próprio microfone antes de escrever qualquer código.

O SDK mantém o áudio nos seus próprios servidores e só vai online para verificar a licença. É também onde a questão de custo fica interessante. O post sobre CPU do Krisp mostra que uma única flag do SDK, enableLowPrecisionExecution, aproximadamente dobra o número de chamadas que um servidor consegue limpar em CPUs com suporte a FP16. Uma instância AWS Graviton3 de 16 vCPUs passou de 76 chamadas ao vivo para 137, e o modelo Lite comporta cerca de três vezes mais streams que os modelos completos. Em chips Intel Ice Lake mais antigos, a flag não faz nada.

Integrações

A documentação é clara e atualizada. O quickstart funcionou de primeira, e as mensagens de erro dizem exatamente o que deu errado, até o tamanho de quadro esperado e recebido. Minha única reclamação é a nomenclatura: o blog fala em Default, Balanced, Lite e HD, os downloads do SDK usam nomes de arquivo como krisp-viva-vi-tel-v2.5.1, e a API chama seus modelos de VIVA-tel e VIVA-pro, com apenas o primeiro na referência da API. Uma tabela de equivalência na documentação ajudaria.

Preços

A API é cobrada por hora de áudio, e é barata o suficiente para que o custo não deva decidir se você a usa ou não.

Preços para desenvolvedores do Krisp, novembro de 2026.

No plano Starter pré-pago, a API de Voice Isolation custa US$ 0,18 por hora de áudio, sem mensalidade. A tarifa é a mesma para os dois modelos da API, VIVA-tel e VIVA-pro. O Growth custa US$ 400 por mês, inclui US$ 400 de uso e reduz a tarifa para US$ 0,12 por hora, com maior concorrência e suporte prioritário. O Enterprise é sob medida e é o único plano que inclui o SDK, um SLA e HIPAA e SOC 2.

Os US$ 30 de crédito inicial cobrem cerca de 166 horas de áudio na tarifa Starter, o que é mais que suficiente para testes. Os créditos duram 12 meses e o uso é cobrado por minuto. Para dar uma ideia de escala, uma chamada de 5 minutos custa cerca de 1,5 centavo para limpar no Starter.

O SDK está apenas no plano Enterprise, a um preço combinado, então você precisará falar com o setor comercial se quiser rodar os modelos nos seus próprios servidores. As tarifas são da página de preços do Krisp, verificadas em novembro de 2026.

Alternativas

O Krisp não é a única opção para remover vozes ao fundo, mas ainda não existe um teste comparativo independente desses produtos. Cada fornecedor publica seus próprios números sobre seus próprios dados, então trate os números abaixo como alegações.

Opção

O que faz

Vale saber

DeepFilterNet

Supressão de ruído em tempo real

Funciona a 48 kHz em janelas de 20 ms com cerca de 40 ms de latência total, rápido o suficiente para uma única thread de CPU. Ele ataca ruído, não uma segunda voz.

DPDFNet

Supressão de ruído em tempo real, construída sobre o DeepFilterNet2

Modelos causais e de canal único da Ceva sob Apache-2.0, com um pacote ONNX somente CPU (pip install dpdfnet). É supressão de ruído, não remoção de voz.

ClearerVoice-Studio

Kit de ferramentas para aprimoramento, separação e extração de interlocutor alvo

A extração de interlocutor somente áudio precisa de uma gravação de referência do interlocutor alvo e roda a 8 kHz. Outros modos de extração usam vídeo, gestos ou EEG.

SpeechBrain SepFormer (WHAMR!)

Separação de fala

Modelo Apache-2.0 para áudio de 8 kHz de canal único que divide uma mistura em vozes separadas. Você ainda precisa decidir qual saída é a do interlocutor.

Sem isolamento

Confiar no tratamento de ruído próprio do STT

Grátis, e ok se os interlocutores estiverem quase sempre sozinhos; a Deepgram já argumentou que a pré-filtragem pode prejudicar o STT

O diferencial do Krisp é a evidência. É o único fornecedor aqui com um benchmark aberto e reproduzível em 11 configurações de STT, e publica os casos em que perde. É também o mais flexível para implantar: API na nuvem, SDK no servidor, ou embutido no LiveKit e no Pipecat.

Veredito

O Krisp Voice Isolation é a solução a recorrer quando um agente de voz se comporta mal em chamadas reais e funciona bem em testes. Ele remove as vozes que o seu agente não deveria escutar, funciona com qualquer STT que você já usa, e tanto o benchmark do Krisp quanto o meu próprio teste mostram a mesma coisa: a fala ao fundo deixa de chegar à transcrição.

Prós

Contras

Quem deve usar: equipes cujos agentes atendem chamadas de call centers, escritórios, casas, carros ou qualquer lugar com outras pessoas falando por perto. Comece com a API para medir o efeito nas suas próprias gravações e, se precisar dos outros modelos, de menor latência fora dos EUA ou de áudio que permanece nos seus servidores, migre para o SDK.

Quem pode dispensar: agentes cujos interlocutores quase sempre estão sozinhos em salas silenciosas, ou dispositivos de campo distante como smart speakers, para os quais os modelos de remoção de voz não foram projetados.

Você pode testar a API do Krisp Voice Isolation com os créditos gratuitos e processar as suas próprias gravações em uma tarde.

FAQ

Isolamento de voz é o mesmo que cancelamento de ruído? Não. O cancelamento de ruído remove sons que não são fala, como trânsito e teclado. O isolamento de voz também remove as vozes de outras pessoas, que o cancelamento de ruído deixa passar.

O Krisp Voice Isolation funciona com o meu provedor de STT? Sim. Ele processa o próprio áudio, então funciona na frente de qualquer motor de STT. O Krisp o testou com 11 configurações, incluindo modelos da Deepgram, AssemblyAI, ElevenLabs, Soniox, Google, Cartesia e NVIDIA. Ele também pode ficar na frente de modelos de fala-para-fala. O Krisp ainda não publicou resultados para essa configuração, mas nada impede que você experimente. 

Ele substitui a detecção de turnos? Não. Ele fica antes do VAD e da detecção de turnos e entrega um áudio mais limpo para eles. O Krisp oferece o Turn-Taking como um modelo separado no mesmo SDK VIVA.

Os usuários precisam cadastrar a voz? Não. Não é necessário cadastro nem treinamento na voz do usuário.

Quanta latência ele adiciona? O Krisp indica 15 ms de latência algorítmica, e a documentação do SDK estima a latência adicional em cerca de 20 ms. Com a API na nuvem, o tempo de rede até a região dos EUA se soma a isso.

Funciona em chamadas telefônicas? Sim. Ele lida com áudio de telefonia de banda estreita, codecs comuns como G.711, G.722, G.729 e Opus, e headsets Bluetooth.

E para chamadas entre humanos? A mesma tecnologia é oferecida como Background Voice Cancellation (BVC) no SDK RTC do Krisp, que roda no dispositivo do usuário em navegadores e aplicativos desktop e móveis. Centrais de atendimento com agentes humanos a obtêm por meio do produto call center AI do Krisp, que mantém as vozes dos agentes próximos fora das chamadas dos clientes.

Explore more

Top 7 Melhores Ferramentas de CI/CD: Um Guia de Comparação

Top 7 Melhores Ferramentas de CI/CD: Um Guia de Comparação

Na minha jornada como desenvolvedor de software, encontrei inúmeras ferramentas projetadas para agilizar o processo de desenvolvimento. Embora o panorama do desenvolvimento de software continue a evoluir, uma coisa permanece clara: Integração Contínua e Implantação Contínua (CI/CD) eficientes são críticas para a entrega de aplicações robustas. Neste artigo, estou animado para compartilhar uma comparação abrangente de 7 ferramentas populares de CI/CD que tiveram um impacto significativo na comuni

19 novembro 2024

Pratique o design de API no Apidog

Descubra uma forma mais fácil de construir e usar APIs