in-house-llm-data-analytics-assistant

In-House LLM Data Analytics Assistant 是一个本地的、注重隐私的 LLM 分析原型，可把自然语言的业务问题转化为确定性的数据分析、检索增强生成（RAG）、语义类别发现、可视化以及有证据依据的解释。它使用 Llama 3.1、Ollama、Python、Pandas、ChromaDB、Sentence Transformers、Altair 和 Streamlit 构建。系统把 Llama 3.1 用作自然语言智能层，同时把权威的分析计算保留在确定性工具中。请求会被路由到对话、分析、语义检索和类别发现等工作流。对于语义类问题，ChromaDB 检索相关记录，并作为受控上下文提供给 Llama 以进行有依据的生成。其核心工程原则是：让 LLM 负责语言理解、意图解读、语义推理和解释，而由确定性的分析工具执行权威计算。该原型基于一个包含 30,000 条客户记录的合成结构化数据集开发和测试，因此无需暴露机密或生产数据即可演示这一概念。架构有意把数据层、确定性计算层和 LLM 智能层分开。完整的结构化数据集保存在 Pandas DataFrame 中用于确定性分析，而记录级内容的另一份向量化表示存放在 ChromaDB 中用于语义检索。完整的源数据集不会直接传给 Llama 3.1；模型接收的是与所选工作流相适应的受控上下文。