ai-video-assistant

AI Video Assistant 是一個端到端的會議智慧體，可把錄製的站會、YouTube 講座或客戶通話等影片轉換為結構化、可搜尋的知識。它採用檢索增強生成（RAG）流水線，將自動語音識別與大語言模型結合，對影片內容進行轉錄、總結、提取並支援對話。工作流接受 YouTube URL 或本地影片/音訊檔案，下載並將音訊規範化為 WAV，切分成塊，並用 OpenAI Whisper 在本地轉錄。Whisper 還可以按需把印地語/印英混雜語（Hinglish）音訊翻譯成英語。

轉錄文本交由 Mistral 的語言模型處理，生成專業的會議標題、要點式摘要、含負責人和截止日期的行動項、關鍵決策和未決問題。分塊轉錄和 map-reduce 摘要器用於讓長達一小時的錄音保持快速且連貫。結果顯示在深色主題的 Streamlit 介面中，並帶有即時流水線狀態。RAG 層使用 Hugging Face 的 sentence-transformer 對轉錄文本做嵌入，並在 ChromaDB 中建立索引。聊天時，問題會檢索相關的轉錄片段，回答以該上下文為依據。

系統由用於音訊獲取、轉錄、摘要、結構化提取和檢索的模組化 Python 元件構成，因此轉錄引擎、嵌入模型或 LLM 服務商等元件都可替換。它提供 Streamlit 網頁應用和命令列執行器。應用在本地執行；只有通過 Mistral API 呼叫 LLM 時才需要金鑰。