夜深了，注意休息，愿你今夜好梦。
K2 is an open-source large language model designed specifically for the geosciences. It is based on the LLaMA architecture and is first pre-trained in the domain on a large amount of geoscience literature (including open access papers and Wikipedia), and then fine-tuned using the knowledge-intensive instruction data GeoSignal. In the GeoBench benchmark evaluation consisting of NPEE and AP Geology, Geography, and Environmental Science tests, K2 outperforms similar parameter-scaled baseline models on a number of objective and subjective tasks. The project will open source the associated code and data.
K2是一个专门为地球科学领域打造的开源大语言模型。它的目标很明确：让AI更懂地质、地理和环境科学。
它的训练分两步走。第一步是“打基础”：研究人员收集并清理了大量地球科学文献，包括专业的开放获取论文和维基百科相关页面，用这些资料对通用的LLaMA模型进行了深入的领域预训练。第二步是“精加工”：使用一个名为GeoSignal的知识密集型指令数据集对模型进行微调，让它不仅能理解知识，还能更好地遵循指令、回答问题。
为了检验成果，团队用GeoBench作为评测基准。这个基准包含了全国研究生地球科学入学考试（NPEE）和美国大学预修课程（AP）中关于地质学、地理学和环境科学的测试题目。在与参数规模相近的几个基线模型对比中，K2在客观题和需要主观评判的任务上都取得了更好的成绩。
简单说，这个为地球科学“特训”过的模型，在专业领域表现出了更强的能力。目前，K2（7B参数版本）的相关代码和数据正在开源共享中。
