MuseDock

交流与反馈：扫描下方二维码或添加作者微信 RikS-July20。如需加入 MuseDock 微信交流群，请备注「MuseDock 交流群」，作者会邀请你入群。

MuseDock 作者微信二维码

MuseDock 是一个本地优先的 AI 短视频创作与编辑工作台。它将素材整理、脚本与分镜、配音字幕、画面生成、视频渲染和后续修改集中在同一个创作流程中，目前支持 HyperFrames 动态视频、线稿白板动画 与 旁白配图视频 三种创作模式。

项目会保留素材来源、制作过程和阶段产物，方便查看进度、修改内容、失败恢复和继续编辑。任务、模型配置、素材、音频、工程和导出文件默认保存在本地；只有在调用已配置的模型、联网研究、素材或来源服务时，才会发送相应请求。

快速开始

环境要求

Node.js >=22 <23
Python 3.10+
Google Chrome
ffprobe

Chrome 用于采集和渲染；项目自带 ffmpeg，也可使用系统版本。Python 用于白板动画的媒体处理。

安装并启动

npm install
npm run dev

npm install 会安装 Node.js 依赖并创建白板动画所需的独立 Python 媒体环境。启动后访问，选择创作模式即可开始。

首次进入应用后，请在设置中心至少配置一个分析模型。配音、图片生成和联网补图功能还需要按需配置 TTS、图片模型和 Pexels。

创作模式

| 模式 | 支持输入 | 制作方式与结果 | | --- | --- | --- | | HyperFrames 动态视频 | 选题、文章、公众号、GitHub、抖音链接、图片 | 整理来源和素材，生成脚本、配音、字幕与动态镜头，输出可继续修改的 HTML 视频工程。 | | 线稿白板动画 | 主题、正文、带时间轴的 SRT 字幕 | 确认内容与分镜后，按设置生成旁白或无旁白时间轴、场景线稿与连续落墨动画，最终输出视频。 | | 旁白配图视频 | 主题、正文、可选参考文本 | 确认文稿和配音时长后生成或上传配图，选择候选、调整图片微动与字幕，动态预览并导出 MP4；也支持无配音制作。 |

核心能力

多种内容入口：可以从选题、文章、链接、图片、正文或 SRT 字幕开始创作。
来源与素材管理：保留原始来源和研究结果，将文章图片、生成图片与补充素材分别管理，便于追踪和调整。
素材驱动的动态视频：HyperFrames 根据内容和素材规划画面，生成 HTML/CSS/GSAP 镜头，并完成配音、字幕、音效、渲染与合成。
可编辑的视频工程：在工程编辑器中修改文案和布局、检查画面、让 AI 调整镜头并重新导出。
连续落墨的白板动画：支持横屏 16:9、竖屏 9:16 和横屏 4:3（1440×1080），提供六种暖米黄纸底模板及“白底手写图解”，支持画笔显隐、字幕烧录、旁白与静音方案。
可观察、可恢复的长任务：在任务详情中查看阶段进度、预览和待确认事项；失败后可以复用仍有效的产物继续制作。
可查看、可复制的 API 返回：在侧栏的“API 调用记录”中查看成功、失败和格式异常的返回；任务详情中的“API 返回记录”会筛选当前任务，自动重试与补正分别留存。
本地数据优先：创作数据默认保存在本机，便于自行管理和备份。

基本流程

HyperFrames 动态视频

选题 / 链接 / 图片
  -> 来源与素材准备
  -> 内容策划、旁白与分镜
  -> 动态画面、字幕与音效
  -> 渲染、质检与导出
  -> 在工程编辑器中继续修改

线稿白板动画

主题 / 正文 / SRT
  -> 内容、分镜与制作方案
  -> 用户确认
  -> 旁白或无旁白时间轴
  -> 场景线稿与连续落墨动画
  -> 预览、确认与导出

白板模式支持简体中文、美国英语和英国英语旁白，也可以完全关闭旁白。字幕按自然停顿逐句切换，每次只显示一条单行短句；可在“制作设置”中选择字幕颜色和字号，过长分句会按画幅与字号继续拆短。主题与正文可以选择保留原文或在不改变事实的前提下润色口播；SRT 模式会保留输入时间轴。更详细的模型要求、视觉模板、语音配置和恢复说明见白板制作说明。

“视频开头”可选 提问模式 · 卡片叠放：自己填写一个问题，或留空让模型根据正文拟定；在方案中确认、修改后，提问时依次展示本视频全部成品图，讲完再进入正常白板内容。开场额外计时，与正文共用完整旁白；正文和 SRT 原文不变。使用旁白时按实际语音匹配字幕；关闭旁白时按阅读时长展示开场，SRT 原时间轴整体顺延，不调用配音。开场始终显示问题文字；成片字幕开关控制正文字幕。默认直接开始正文，已有任务不自动添加开场。开场渲染为独立模块，目前先接入白板模式。

内容与分镜生成失败后，点击“重新生成方案”会携带上一轮已保存的失败候选及具体校验原因，保留正确内容并定向修正。白板与旁白配图的方案请求在 OpenAI Responses 协议下使用 JSON Schema，在 OpenAI Chat Completions 协议下使用 JSON 模式（json_object），两者都必须通过应用内的方案校验；服务商不支持格式参数时请查看 API 返回记录，不会自动取消约束重发。每轮仍最多自动补正一次，只有通过校验的完整方案才会进入待确认。

在线稿列表点击“查看详情”，等待生成、生成中或生成失败时也能查看、编辑并保存本幕提示词。图片服务拒绝内容时，可调整画面描述后保存，再点击“使用已保存提示词继续制作”；保存本身不发起模型请求。正在执行的一轮会先保留请求结果，再应用修改；只重新生成受影响的分镜及其后续动画，其他分镜与旁白继续复用。外部结果待核实时，仍需先核实并授权新请求。

落墨编排和视觉检查在 OpenAI Chat Completions、Responses 协议下启用 JSON 模式（json_object）；落墨请求还会携带字段结构，明确区域数组与分组依据的层级。JSON 模式约束语法，字段、坐标和覆盖率仍由应用校验；服务商拒绝格式参数时不会自动取消约束重发。格式补正会携带具体问题，包括 JSON 语法位置、出错区域、顶点坐标和允许范围，让模型保留正确分区并定向修正。本地校验器异常会单独报告，不触发模型补正。每幕每轮仍最多补正一次，与覆盖率修正共用次数；详细原因保存在分镜详情和“API 返回记录”中。已有有效编排及旧版本预览继续复用。

使用 deepseek-flash 分析线稿、编排落墨区域时，OpenAI Chat Completions 和 Responses 请求会使用低强度思考与 32,768 token 输出预算，减少思考耗尽额度后没有编排正文的情况。预算包含思考消耗；达到上限仍会暂停，请先核对 API 返回记录，再授权新请求。新请求可能计费，已完成的分镜会复用。

旁白配图视频

选择“旁白配图视频”，输入主题或正文；正文可保留原文或润色口播，参考文本可注明是内容资料还是表达参考。目标时长支持 15–600 秒，画幅支持 16:9、9:16、4:3，提供 8 种生图风格、不使用预设和自定义补充。

制作顺序为：文稿与分镜 → 确认方案 → 完整配音与试听（或无配音时间轴）→ 配图生成／上传与选图 → 图片运动和整片动态预览 → 确认导出。实际配音时长单独展示，明显偏离目标时可接受实际时长，或修改文稿与声音设置；不会自动截断或变速。

创建后从“文稿与分镜”开始；任务标题旁的“本地任务参数”可调整本任务制作设置。创建时提交的主题、正文及参考文本不可修改；需要更换原始输入时请创建新任务。文稿与分镜仍可在任务内编辑。

模型与声音：使用设置中心当前选择的模型。豆包与 MiniMax 使用同请求原生字幕；MiMo 需要配置 FunASR 句级转写。长旁白按文本分段，成功分段可复用。关闭配音后无需 TTS 配置，也不调用配音或转写。
共用制作设置：在“设置中心 → 共用制作默认值”设置新任务的画幅、时长、语言、配音、BGM 和字幕。白板与旁白配图共用这些默认值。已有任务保留自己的设置；字幕字号支持 24–96 px，留空时竖屏为 52 px、其他画幅为 48 px。
图片与微动：可以补齐缺图、单张生成、上传和切换候选。批量补图时，画面占位区会标出排队项和正在生成的图片，完成后显示新图。支持推近、拉远、上下左右和四个斜向平移，可统一设置或逐图随机，也可单张覆盖、锁定和重新随机。随机结果会保存，刷新和重新导出不重新抽取。
修改与恢复：文稿、提示词、字幕和运动分别保存；只修改字幕样式或运动不会重新生成图片和配音。取消后停止后续派发，保留已成功媒体；重配音未完成时保留上一版完整配音。外部结果待核实时，应先查看 API 返回记录，再决定是否允许新请求。
内容审核：如果服务商拒绝创作内容，任务会提示审核拦截；可查看 API 返回记录中的审核类别。需要修改原始输入或参考文本时，请用合规内容创建新任务。
预览与导出：图片浏览是静态的；运动片段和整片预览播放实际 MP4。输出为 25 fps，提供视频、字幕和制作清单下载，并保留历史导出。配音、BGM、字幕烧录相互独立。请在具体任务中试听声音、观看运动与字幕后确认导出。

模型配置与检测

在 设置中心 → 模型配置 中新增或编辑供应商，填写 API Key 和 Base URL。Base URL 使用供应商要求的 API 前缀，例如 https://api.example.com/v1，不要填写完整的生成接口地址。

分析模型协议可选择 OpenAI Responses、OpenAI Chat Completions 或 Anthropic Messages。使用 DeepSeek 原生 Chat 接口时，选择 OpenAI Chat Completions，Base URL 填 https://api.deepseek.com，再填写模型 ID；如果使用兼容服务或中转，填写该服务提供的 Base URL。已有供应商的协议不会自动改变。

方案、分镜、字幕校订、图像分析、内容图谱、音效规划和编辑指令等 JSON 结果统一通过模型调用层启用格式约束：Chat Completions 使用 JSON 模式；Responses 在业务提供 Schema 时使用严格 JSON Schema，否则使用 JSON 模式。Anthropic 保留 JSON 提示词与本地校验，不发送 OpenAI 专用字段。普通问答、文稿和 HTML 生成保留文本输出。服务商拒绝格式参数时会报告失败，不会去掉约束重新请求；格式通过后仍需业务校验。

测试连通性：使用当前弹窗中的配置请求供应商模型目录，显示连接结果、HTTP 状态与耗时。此检测不生成内容，也不验证具体模型的生成能力。
获取模型列表：支持 OpenAI 兼容模型目录及 Anthropic 模型目录。点击模型旁的“复制模型ID”，再粘贴到需要配置的模型 ID 输入框。模型用途仍需以供应商说明为准；未开放目录的供应商可继续手动填写。

检测和获取列表均无需先保存。已保存的供应商可以将 API Key 留空；更换域名、协议或端口后，需要重新输入密钥才能检测。填写模型 ID 后，依次点击 应用到列表、保存模型配置 才会保存修改。

API 返回记录

侧栏 API 调用记录 支持按任务 ID、返回状态筛选，并逐页查看历史。打开“查看详情”后，可查看接口、模型、HTTP 状态、耗时、请求入参、返回正文、响应头及已记录的校验原因。JSON 内容以树状结构展示，对象和数组可逐层或全部展开、折叠；其他正文按原文展示。含音频 Base64 等长字段的响应只展示有限长度预览，复制仍包含已保存的完整正文。可分别复制已保存的请求入参、返回正文或完整诊断。查看和复制只读取本地记录，不会重新发送模型请求。

文本与视觉分析、图片生成、语音合成、转写、来源读取、搜索与素材下载的请求均会记录；成功返回同样保留。文本请求体在本机脱敏保存，单条最多 2 MiB；二进制和流式上传请求体不保存。密钥、认证信息、Cookie 和链接签名在落盘前按已知规则脱敏，但创作正文仍会保留，分享诊断前请自行复核。二进制响应以 Base64 保存，流式连接中断时标明已取得的部分。单条返回正文最多保存 64 MiB，超出时在详情中明确标记截断；页面长正文预览不影响复制已保存的内容。旧版本未保存的请求入参无法补录。

豆包已返回音频但原生字幕校验失败时，提示和 API 返回记录会保留具体校验原因；音频继续保存，系统不会自动重新合成。

抖音转写

在侧栏 抖音转写 中粘贴公开视频链接或分享文案，生成 TXT 文稿和句级 SRT 字幕，支持自动校订、可选抽帧和本地历史记录。校订使用已配置的分析模型，并保留原始结果；校订失败时可点击“仅重试校订”，无需重新转写。

首次使用时，点击“登录抖音”，在 MuseDock 打开的独立 Chrome 窗口中登录，再返回点击“检查登录状态”。平时浏览器中的登录状态不会自动共享，已有 Chrome 窗口可以保持打开。

读取视频时，应用会打开对应的抖音视频页面，请保持窗口打开。若提示访问被拒绝、需要验证或请求过于频繁，请按页面提示完成验证或稍后再试。

转写默认使用本地 FunASR，首次安装依赖后由应用按需启动。需要调整服务地址、Python 路径或模型缓存目录时，在 设置中心 → 模型配置 → ASR 转写 中点击“本地服务设置”，修改后点击“保存模型配置”。安装与详细用法见抖音转写与 FunASR 说明。

使用边界

MuseDock 仍处于早期开发阶段，功能和数据结构可能继续调整。
采集能力只服务于短视频创作，不是通用爬虫工具；文章和 GitHub 来源只处理正文和图片，不提取网页中的视频。
分析模型、图片模型、TTS、联网研究、Pexels 和来源平台均受各自服务配置、网络和配额限制。
HyperFrames 渲染依赖 Chrome；视频合成依赖 ffmpeg 和 ffprobe；白板模式还依赖独立的 Python 媒体环境和可用字体。缺少相关依赖时，对应的渲染或导出功能将不可用。

使用须知

本项目仅供个人学习、研究和已获授权范围内的内容创作。使用采集能力时，请遵守目标平台服务条款和当地法律法规，只采集你有权访问的内容，不要用于大规模抓取或商业化倒卖；因使用本项目产生的后果由使用者自行承担。

友情链接

Linux.Do — 技术氛围浓厚的开源社区，欢迎大家加入。

License

MuseDock 基于 Apache License 2.0 开源。