FunClip

FunClip é uma ferramenta de código aberto para criar clipes de vídeo automaticamente, com instalação local. Ela usa os modelos abertos da série FunASR Paraformer, do laboratório de fala Alibaba TONGYI, para reconhecer a fala em vídeos. Depois, o usuário pode selecionar trechos de texto ou falantes nos resultados e clicar para obter os clipes correspondentes.

A ferramenta integra o modelo Paraformer-Large, que também prevê os tempos dos trechos. Com o recurso de palavras-chave do SeACo-Paraformer, o usuário pode indicar nomes e outros termos específicos para melhorar o reconhecimento. O modelo CAM++ identifica falantes automaticamente, permitindo criar clipes a partir dos trechos de uma pessoa específica.

As funções são acessadas pela interface Gradio. FunClip também pode ser instalado em um servidor e acessado pelo navegador. Ele permite selecionar vários trechos e gera automaticamente legendas SRT para o vídeo completo e para os clipes escolhidos. Também oferece recorte assistido por LLM, inclusive por meio do OrcaRouter, um gateway de roteamento compatível com OpenAI.

Entre as opções de modelo estão o Paraformer padrão para vídeos em chinês, o checkpoint Fun-ASR-Nano, o SenseVoice para reconhecimento multilíngue com marcações de emoção e eventos sonoros, o MOSS para áudios longos com identificação anônima de falantes e marcações de tempo, e o Paraformer English para vídeos em inglês.