TigerBot是什么
TigerBot是一个能处理多种语言和任务的大规模语言模型。根据公开评测，TigerBot-7B这个版本的表现，达到了OpenAI同规模模型综合性能的96%。这还只是他们的第一个公开版本。
这次开源了哪些内容
他们把一系列探索成果都开放了出来：
- 模型: 包括TigerBot-7B、TigerBot-7B基础版，以及用于研究的TigerBot-180B版本。
- 代码: 提供了基本的训练和推理代码。甚至包含用两张显卡就能推理180B大模型的量化和推理方案。
- 数据: 开源了100G的预训练数据，这些是从2TB原始数据里清洗、去噪、去重后得到的精华。还有1G（约100万条）的监督微调数据，覆盖了用户指令中常见的10个大类、120个小类任务。
- API: 提供了聊天、插件、微调等接口，目标是让用户不用写代码，在半小时内就能训练和使用属于自己的大模型。
- 领域数据: 特别包含了金融、法律、百科等领域的资料，邀请开发者一起打造专业级的应用。
在技术上做了哪些优化
团队在BLOOM模型的基础上，从架构到算法都进行了改进：
- 创新了指令微调算法，让模型更容易学习和掌握新任务。
- 采用集成与概率建模方法，让模型生成的内容在事实准确性和创造性之间更可控。
- 突破了主流训练框架在内存和通信上的瓶颈，实现了在数千张显卡上连续数月的稳定训练。
- 针对中文语言不规则的特性，从分词器到训练算法都做了专门的优化，让它更懂中文。
