本周带来的 8 个模型项目分别用于金融领域对话、中英对话、文本到音乐生成、视频理解等；2 个工具项目用于大型语言微调、多模态应用构建。

(相关资料图)

哥大开源金融大型语言模型FinGPT，以数据为中心通过自动筛选提供可靠资源和工具

哥伦比亚大学和纽约大学（上海）的研究者开发了针对金融领域的开源大型语言模型 FinGPT，该模型采用数据为中心的方法，为研究人员和从业者提供可访问和透明的资源来开发他们的 FinLLMs。FinGPT 目前提供 V1 和 V2 版本，其中 V1 基于 ChatGLM 和 LoRA 在中国金融市场数据上训练得到，V2 基于 LLaMA 和 LoRA 在美国金融实测数据上训练得到。项目提供了数据准备、数据集制作、微调和推理脚本等方便开发者使用的工具。FinGPT 为开发金融自然语言处理任务提供了高质量的金融数据资源。

获取资源：

https://sota.jiqizhixin.com/project/fingpt

百川智能开源预训练语言模型baichuan-7B，可商用、具有中英双语理解的能力

baichuan-7B 是百川智能开源的可商用大规模预训练语言模型，基于 Transformer 结构，在大约 1.2 万亿 tokens 上训练的 70 亿参数模型，支持中英双语，上下文窗口长度为 4096。为了提升训练效率，baichuan-7B 深度整合了模型算子，自适应优化了模型并行策略以及重计算策略，针对任务负载和集群配置实现了自适应优化。baichuan-7B 在 C-Eval、AGIEval 和 Gaokao 三个最具影响力的中文评估基准进行了综合评估，结果显示具有出色的中文理解能力。此外，在英文上，baichuan-7B 在 MMLU 评测结果显示，英文理解能力媲美 LLaMA-7B 和中文开源模型 ChatGLM-6B。

获取资源：

https://sota.jiqizhixin.com/project/baichuan-7b

Meta提出可控文本生成音乐模型MusicGen，能够生成符合给定和声和旋律结构的音乐

MusicGen 是一个可控的文本生成音乐模型，由 Meta AI 的研究者开发。该模型采用了通用框架和无监督旋律调节的方法，能够生成符合给定和声和旋律结构的高质量音乐样本。MusicGen 是一个单级自回归 Transformer 模型，在 32kHz EnCodec 分词器上进行训练，具有 4 个以 50Hz 采样的码本。该模型非商业用途免费使用，音频生成 PyTorch 库 Audiocraft 为 MusicGen 提供代码和模型，并提供了安装代码、模型 API 应用程序接口以及使用 API 的快速示例，方便开发者快速使用。

获取资源：

https://sota.jiqizhixin.com/project/musicgen

FlagAI大规模模型工具包，快速训练、微调、部署，高效创建多模态应用

FlagAI 是一个快速、易于使用和可扩展的大规模模型工具包，旨在支持多模态下游任务的大规模模型的训练、微调和部署。FlagAI 提供 API，可快速下载预训练模型，并在 SuperGLUE 和 CLUE 基准测试中收集的各种数据集上进行微调，支持 30 多种主流模型，包括 Aquila 语言模型、AltCLIP 多语言文本和图像表示模型、AltDiffusion Huggingface 空间的文本-图像生成模型、WuDao GLM、EVA-CLIP、BERT、RoBERTa 等。支持四种主流数据/模型并行库 PyTorch、Deepspeed、Megatron-LM、BMTrain，并提供适用于 few-shot 任务的 prompt-learning 工具包。这些模型可应用于（中英）文本分类、信息提取、问答、摘要和文本生成等任务。

获取资源：

https://sota.jiqizhixin.com/project/flagai

开源平台OpenLLM，可轻松微调、部署和监控任何开源大型语言模型，为构建AI应用提供强大支持

OpenLLM 是一个开放平台，用于在生产环境中运行大型语言模型（LLMs）。开发者可以轻松地微调、部署和监控任何开源的大型语言模型，构建强大的人工智能应用。OpenLLM 内置支持多种开源 LLM，其中包括 StableLM、Falcon、Dolly、Flan-T5、ChatGLM、StarCoder 等，让开发者可以选择适合自己的 LLM。同时，OpenLLM 支持 LangChain 和 BentoML，让开发者可以将 LLMs 与其他模型和服务组合起来创建自己的人工智能应用。

获取资源：

https://sota.jiqizhixin.com/project/openllm

穆罕默德·本·扎耶德人工智能大学提出视频对话模型Video-ChatGPT， 能够理解和生成关于视频的详细对话

视频对话模型 Video-ChatGPT，能够理解和生成关于视频的详细对话。该模型通过在视频指令数据上微调，捕捉视频数据中的时间动态和帧间一致性关系，从而能够以连贯方式进行有关视频内容的开放式对话。此外，项目还提供了 10 万个视频-指令对的数据集以及环境安装命令、获取 LLaVA 权重脚本、数据集格式转换脚本、训练代码等工具。Video-ChatGPT 将为视频理解应用领域的开发者提供强大的支持。

获取资源：

https://sota.jiqizhixin.com/project/video-chatgpt

微软发布医学多模态大模型LLaVA-Med，基于LLaVA的医学指令微调，为生物医学图像开放问题提供视觉语言对话

微软发布医学多模态大型模型 LLaVA-Med，用于生物医学图像开放性研究问题的视觉-语言对话。LLaVA-Med 基于 LLaVA 的医学指令微调，并使用了一种成本效益高的方法，利用从 PubMed Central 提取的大规模、广覆盖的生物医学图题数据集进行训练。该模型能够根据开放性指令辅助回答关于生物医学图像的问题，并展现出优秀的多模态对话能力。在三个标准生物医学视觉问答数据集上，微调 LLaVA-Med 在某些指标上优于先前的监督式最先进方法。为了促进生物医学多模态研究，微软将发布指令遵循数据和 LLaVA-Med 模型。

获取资源：

https://sota.jiqizhixin.com/project/llava-med

英伟达提出新型混合CNN-ViT神经网络FasterViT，在精度与图像吞吐量上表现出优越的性能

视觉 Transformers 在计算机视觉领域中备受欢迎，取得了卓越的性能。然而，在真实的 ViT 模型中仍存在归纳能力不足的问题，导致可能需要更多的训练数据来弥补偏差。因此，英伟达的研究者提出了一种新型混合 CNN-ViT 神经网络 FasterViT，重点关注计算机视觉应用中的高图像吞吐量，表现出了在精度和图像吞吐量上优越的性能。该项目提供了依赖项安装命令、ImageNet-1K 训练代码、ImageNet-1K 预训练模型、详细的模型训练方法以及所使用的评估代码。

获取资源：

https://sota.jiqizhixin.com/project/fastervit

开源中文大型语言模型OpenLLaMA-Chinese，提供中英文指令微调权重，支持自然语言生成和对话系统开发

OpenLLaMA-Chinese 是基于 OpenLLaMA 构建的，OpenLLaMA 是 Meta 的 LLaMA 7B 和 13B 模型的开源再现，使用 RedPajama 数据集进行训练。OpenLLaMA-Chinese 使用了 OpenLLaMA 基础模型，并进行了中英文指令微调，并公开了模型的权重。当前项目开放中文指令微调权重、英文指令微调权重以及中英文指令微调权重。OpenLLaMA-Chinese 可以用于开发自然语言生成、对话系统等应用，没有任何使用限制。

获取资源：

https://sota.jiqizhixin.com/project/openllama-chinese

编程大型模型WizardCoder开源，采用Evol-Instruct方法开发，高性能编程、支持微调和推理任务

编程大型模型（Code LLM）WizardCoder，采用 Evol-Instruct 方法开发，专门用于编程任务。WizardCoder-15B-v1.0 模型在 HumanEval 基准测试中取得了 57.3%的 pass@1 得分，比开源 Code LLMs 高出了 22.3 个百分点。相比闭源模型，WizardCoder 具有更小的模型大小，并在 HumanEval 和 MBPP 基准测试中表现出显著的性能优势。WizardCoder 的代码和模型托管于 huggingface，当前项目提供部署环境配置代码、模型权重、模型训练代码和模型文件，帮助开发者进行微调、推理等开发任务。

获取资源：

https://sota.jiqizhixin.com/project/wizardcoder

网页端访问：在浏览器地址栏输入新版站点地址 sota.jiqizhixin.com ，即可前往「SOTA！模型」平台，查看关注的模型是否有新资源收录。 

移动端访问：在微信移动端中搜索服务号名称「机器之心SOTA模型」或 ID 「sotaai」，关注 SOTA！模型服务号，即可通过服务号底部菜单栏使用平台功能，更有最新AI技术、开发资源及社区动态定期推送。