字节跳动与南洋理工大学联合开源StoryMem框架

字节跳动与南洋理工大学合作开源了StoryMem框架，这一框架旨在帮助开发者更高效地构建和管理多媒体故事应用，StoryMem通过集成图像、文本和视频等多种媒体形式，提供了一种全新的叙述方式，该框架的开源将促进多媒体故事领域的创新和发展，有望为开发者带来更高效、更便捷的开发体验，字节跳动与南洋理工大学的合作展示了科技与教育的紧密融合，推动了技术的开放和共享。

字节跳动携手南洋理工大学共同推出开源ai视频生成框架storymem，创新性地引入“memory-to-video（m2v）”机制，成功将传统单镜头扩散模型拓展为可生成多镜头、时长超1分钟且叙事流畅的长视频生成系统。

该框架采用动态记忆库存储关键帧语义与视觉特征，并融合轻量级LoRA微调策略，在人物形象、场景风格及情节发展等维度实现跨镜头高度统一，整体一致性指标相较当前主流方法提升29%。

项目开源地址：https://www.php.cn/link/52bd90a3be645143af3c4ad082803269

同步发布的ST-Bench评测数据集涵盖300组多镜头故事提示，全面支撑长视频生成效果的标准化评估。目前，社区已在ComfyUI平台中启动StoryMem技术集成工作。

源码地址：点击下载