红熊技术选型
业务场景支持
1. 提高生产效率
通过红熊 AI大模型技术,企业可以自动化处理大量数据,提高生产效率,降低成本。
例如:
- 舆情项目的文章分析和分类处理
- 智能写作
- 自动撰写新闻稿
2. 提升客户体验
大模型技术可以帮助企业更好地理解客户需求,提供更加个性化的服务和产品,提升客户体验。
例如:
- 文章阅读和AI解读
- 产业的数据分析
- 资讯自动化、机器人化等
3. 创新业务模式
大模型技术可以推动企业创新业务模式,为企业创造新的增长点。
例如:
- 针对产业的相关资讯的智能化咨询
- 相关资讯智能推荐
- 产业专业内容、数据解读、研报解读等
红熊AI 支持产品特征
性能:产品的性能要稳定可靠,能够高效地处理大量数据,满足企业的业务需求。
- 易用性:产品的操作要简单易懂,不需要过多的技术门槛,方便企业快速上手。
- 可扩展性:产品要具有良好的可扩展性,能够随着企业业务的发展而不断升级和优化。
- 成本:产品的价格要合理,同时要考虑其性价比,避免不必要的浪费。
技术支持与服务:产品提供商要具备完善的技术支持和服务体系,能够及时解决企业遇到的问题。
性能需求
响应速度快:有专属的客服团队,日常工作中能及时响应。
- 并发处理能力强:大于30QPS,支持分布式部署。
- 稳定性:系统故障和崩溃率低于0.05%。
- 安全性:符合国内的政策法规,经过备案,对敏感词有过滤,对用户输入有识别和违禁词的拦截。
可扩展性:支持模型微调。
红熊AI 项目信息
项目成立时间:2024.4.7
- 项目研发团队规模:15 名全职研发人员
- 后端技术语言:Python
- 前端技术语言:Next.js/Flask/Django/Tornado
- 数据库选型:PostgreSQL本地私有化数据库
- 深度学习框架:TensorFlow
- 爬虫库:requests
- 图形界面框架:PyQt
- 科学计算库:Numpy
自然语言处理框架:NLTK
红熊AI技术特性
通用大模型支持:15+ 通用大模型,支持文心一言、通义千问、智谱 AI、Kimi等
- 本地模型推理:Xoribits,OpenLLM,LocalAI,ChatGLM,Ollama,NVIDIA TIS(默认Xoribits,新接入24小时内支持,随时联系客服)
- 多模态技术支持:支持文本、图像、视频、音频,跨数据源
- 应用类型支持:对话助手、Agent(智能体)、工作流
- 解决方案支持:支持教育场景、电商场景、其他场景自定义,如有特殊场景随时联系
- 提示词prompt 支持:编排模式、简易模式编排、Assistant 模式编排、Flow 模式编排、Multi-Agent 模式(Prompt 变量类型:字符串、单选枚举、外部 API、文件)
- 工作流支持:支持节点(LLM、知识库检索、问题分类、条件分支、代码执行、模板转换、HTTP 请求、工具)
- 知识库支持:
- 索引方式:关键词、文本向量、由 LLM 辅助的问题-分段模式
- 检索方式:关键词、文本相似度匹配、混合检索、N 选 1 模式、多路召回、召回优化技术(使用 ReRank 模型)
- 向量数据库支持:Qdrant(推荐),Weaviate,Zilliz
- Agent 支持:
- 工具支持:可调用 OpenAI Plugin 标准的工具,可直接加载 OpenAPI Specification 的 API 作为工具
- 内置工具:30+ 款
- 内容审查:支持自定义,支持API 扩展
- 小模型私有化支持:支持全球 30 款小模型私有化24 小时部署,参数任意调参
- 音频处理:支持任意长度文本音频替换,支持语境、声调、情景配置
- 图片处理:支持 SD、ComfyUI 图片生成,支持工作流,Agent 流程嵌套
- 视频处理:视频处理支持Lora 生成,可生成 8k 高清 12 秒长视频
- 部署方式:支持 Saas、私有化部署、云上部署
- 数据集支持:包括通义千问、智谱AI的ChatGLM-6B、百川baichuan-7B、Mistral-7B开源模型、Gemma(Google)和LLaMa 2(Meta)等。支持不同的数据集和精度版本,适应不同的应用需求。
- 计算资源依赖:A100, A10,包括高性能计算(HPC)资源、云计算服务等
红熊 AI服务问题测试情况
问题 | 效果 |
---|---|
模型返回结果 | 99.999% |
产品功能和体验问题、报错码问题 | 100% |
训练中断次数 | 99.87% |
训练中断时长 | 10 秒 |
服务器部署问题 | 0% |
Api 报错 | 99.8% |
API 输出效果问题 | 99.7% |
Token 计算错误问题 | 0% |
输入长度异常报错 | 0% |
API 调用报错 | 99.9% |
服务稳定性 | 99.9% |
服务超时时长 | 10 秒错误返回 |
训练体验问题、卡顿、日志记录 | 100% |
异常回答,数据返回卡顿 | 0% |