标签：数据管道效率

该项目是一个详细的基准研究，比较大型语言模型（LLMs）的成本、能源消耗和性能与不同数据管道技术（文件格式和处理框架）的可持续性和效率。所有能源和CO2排放均使用CodeCarbon库进行测量。