TL;DR: OpenMontage là một hệ thống sản xuất video theo tác nhân nguồn mở, chạy bên trong trợ lý mã hóa AI hiện có của bạn. Mười một quy trình sản xuất, hơn 100 công cụ, hơn 60 tích hợp nhà cung cấp, và hơn 700 tệp kỹ năng và kiến thức thực hiện một yêu cầu từ nghiên cứu qua kịch bản, tài sản, chỉnh sửa và kết xuất. 55.047 lượt gắn sao tính đến ngày 1 tháng 9 năm 2026. Hai điều cần biết trước khi bắt đầu: nó là AGPL-3.0, không phải MIT như hầu hết các công cụ trong danh mục này, và nó là một trong những hệ thống tác nhân sử dụng API nhiều nhất mà bạn có thể cài đặt, với chi phí thực tế gắn liền với mỗi lần thử lại.
Đây là một phân tích sâu về một công cụ từ danh sách tổng hợp năm công cụ tác nhân AI nguồn mở đáng cài đặt vào năm 2026 của chúng tôi.
Hầu hết các công cụ "video AI" cung cấp cho bạn một đoạn clip từ một lời nhắc duy nhất. OpenMontage cung cấp cho tác nhân mã hóa của bạn một bộ phận sản xuất: giai đoạn nghiên cứu, giai đoạn kịch bản, kế hoạch cảnh quay, tạo tài sản, chỉnh sửa và bố cục cuối cùng, với các cổng phê duyệt của con người ở giữa.
Đây là dự án khác thường nhất trong làn sóng công cụ tác nhân hiện tại, và mang tính hướng dẫn nhất, bởi vì đây là dự án mà công việc của tác nhân có chi phí đô la gắn liền với mỗi bước và thiết kế phải xem xét điều đó một cách nghiêm túc.
Nó thực sự làm gì
Bạn mở kho lưu trữ trong Claude Code, Cursor, Copilot, Windsurf hoặc Codex và mô tả những gì bạn muốn:
Tạo một video giải thích hoạt hình dài 60 giây về cách mạng lưới thần kinh học hỏi
Tác nhân sau đó chạy một quy trình cố định:
nghiên cứu -> đề xuất -> kịch bản -> kế hoạch_cảnh -> tài sản -> chỉnh_sửa -> tổng_hợp
Mỗi giai đoạn có một kỹ năng đạo diễn, là một tệp hướng dẫn markdown dạy tác nhân cách thực hiện giai đoạn cụ thể đó. Tác nhân đọc kỹ năng, sử dụng các công cụ, xem xét lại đầu ra của chính nó, lưu trạng thái và dừng lại để con người phê duyệt tại các điểm quyết định sáng tạo.
Giai đoạn nghiên cứu là phần tách biệt công cụ này với các đồ chơi prompt-to-video. Trước khi viết một từ kịch bản nào, tác nhân thực hiện từ 15 đến 25 lượt tìm kiếm web trên YouTube, Reddit, Hacker News, các trang tin tức và các nguồn học thuật, sau đó tạo ra một bản tóm tắt nghiên cứu có cấu trúc với các trích dẫn. Kịch bản được dựa trên những gì nó tìm thấy thay vì những gì mô hình ghi nhớ.
Các quy trình
Bảng README liệt kê mười một quy trình làm việc sản xuất hoàn chỉnh, mặc dù mô tả kho lưu trữ quảng cáo mười hai:
| Quy trình | Sản xuất | Tốt cho |
|---|---|---|
| Video giải thích hoạt hình | Nghiên cứu, thuyết minh, hình ảnh, âm nhạc | Hướng dẫn, phân tích chủ đề |
| Hoạt hình | Đồ họa chuyển động, chữ động học | Mạng xã hội, demo sản phẩm |
| Người nói ảnh đại diện | Video do người thuyết trình dẫn dắt | Truyền thông doanh nghiệp, đào tạo |
| Điện ảnh | Trailer, teaser, chỉnh sửa tâm trạng | Phim thương hiệu |
| Xưởng cắt clip | Các clip ngắn được xếp hạng từ một nguồn dài | Tái sử dụng nội dung dài |
| Dựng phim tài liệu | Cắt ghép theo chủ đề từ cảnh quay miễn phí đã được lập chỉ mục | Bài luận video, cảnh quay B-roll thực tế |
| Kết hợp | Cảnh quay nguồn cộng với hình ảnh được tạo ra | Cải thiện cảnh quay hiện có |
| Bản địa hóa và lồng tiếng | Phụ đề, lồng tiếng, dịch thuật | Phân phối đa ngôn ngữ |
| Tái sử dụng Podcast | Điểm nổi bật thành video | Tiếp thị podcast |
| Demo màn hình | Ghi màn hình được trau chuốt | Demo sản phẩm, tài liệu |
| Người nói chuyện trực tiếp | Video diễn giả dẫn dắt bằng cảnh quay | Bài thuyết trình, phỏng vấn |
Dựng phim tài liệu (Documentary Montage) là phần thú vị về mặt kỹ thuật. Thay vì tạo hoạt ảnh từ ảnh tĩnh, nó xây dựng một kho dữ liệu được lập chỉ mục CLIP từ các nguồn miễn phí và kho lưu trữ mở bao gồm Pexels, Archive.org, NASA, Wikimedia và Unsplash, truy xuất các clip chuyển động thực tế bằng cách khớp ngữ nghĩa và cắt chúng thành một dòng thời gian thực. Điều đó mang lại cho bạn một video hoàn chỉnh từ cảnh quay thực tế mà không cần API tạo trả phí nào, đây là một tuyên bố khác biệt đáng kể so với hầu hết các gói video AI miễn phí.
Đối với các nhóm đang xuất bản nội dung dành cho nhà phát triển, Demo màn hình (Screen Demo) và Xưởng cắt clip (Clip Factory) là những công cụ nhanh chóng mang lại lợi ích nhất. Một bản phát hành được công bố, nhật ký thay đổi tồn tại, và việc biến nó thành một video hướng dẫn thường cần một người có kỹ năng chỉnh sửa và một buổi chiều rảnh rỗi.
Backlot, và tại sao các cổng phê duyệt lại quan trọng
Chat cho bạn biết những gì tác nhân đã nói. Backlot là một bảng điều khiển cục bộ hiển thị những gì quá trình sản xuất đang làm: các giai đoạn sáng lên, kịch bản hiển thị dưới dạng trang kịch bản, thẻ cảnh trong khi tài sản được tạo, và mọi quyết định của nhà cung cấp cũng như số tiền chi tiêu được hiển thị trên bảng.
python -m backlot open # thư viện của mọi dự án trên ổ đĩa
python -m backlot open <project-id> # bảng trực tiếp của một sản phẩm
python scripts/backlot_simulate_run.py # xem một lần chạy mô phỏng trước
Bảng điều khiển tự động mở khi một quá trình sản xuất bắt đầu, và nó lấy mọi thứ từ các tệp mà quy trình đã ghi mà không cần báo cáo riêng biệt.
Phần quan trọng là bảng phân cảnh là một cổng thực sự. Việc tạo tài sản sẽ tạm dừng trên một bảng liên hệ theo từng cảnh hiển thị các cảnh quay, lời nhắc, chi phí mỗi tài sản và điểm chất lượng, để bạn phê duyệt hình ảnh trước khi kết xuất chứ không phải sau khi đã chi tiền. Cổng kịch bản giữ cho đến khi bạn trả lời. Khi một lần chạy kết thúc, phát lại sẽ cuộn toàn bộ quá trình sản xuất từ các dấu thời gian của nó.
Các cổng phê duyệt trước khi chi tiêu là thiết kế chính xác cho bất kỳ hệ thống tác nhân nào có ngân sách kèm theo, và hầu hết các công cụ tác nhân không có chúng. Một tác vụ không thể bắt đầu cho đến khi con người chấp thuận là thuộc tính an toàn hữu ích nhất trong toàn bộ danh mục này.
Bắt đầu từ một video tham khảo
Ý tưởng thực sự hay khác ở đây: bạn có thể cung cấp một thứ bạn thích thay vì viết một lời nhắc hoàn hảo.
Dán một video YouTube, Short, Reel, TikTok hoặc clip cục bộ và tác nhân sẽ phân tích kịch bản, nhịp độ, cảnh quay, khung hình chính và phong cách, sau đó đưa ra hai hoặc ba khái niệm khác biệt, một đường dẫn công cụ trung thực, ước tính chi phí và một mẫu trước khi quá trình sản xuất đầy đủ bắt đầu.
Đây là một YouTube Short tôi yêu thích. Hãy làm cho tôi một thứ gì đó tương tự, nhưng về
quản lý phiên bản API.
Kết quả trả về sẽ nêu rõ những gì nó giữ lại từ tài liệu tham khảo, những gì nó thay đổi, chi phí ước tính với độ dài mục tiêu của bạn và trông như thế nào với các nhà cung cấp bạn hiện đã cấu hình. Chi phí trước khi cam kết, đây là chủ đề xuyên suốt của toàn bộ dự án.
Cài đặt
git clone https://github.com/calesthio/OpenMontage.git
cd OpenMontage
make setup
Các yêu cầu tiên quyết là Python 3.10 trở lên, FFmpeg, Node.js 18 trở lên và một trợ lý mã hóa AI có thể đọc tệp và chạy mã. Sau đó mở dự án trong tác nhân của bạn và mô tả những gì bạn muốn.
Thiết lập nhà cung cấp là tùy chọn và có thể tăng dần. Mọi khả năng đều hỗ trợ các lựa chọn thay thế cục bộ nguồn mở bên cạnh các API trả phí, và một bộ chọn được chấm điểm sẽ xếp hạng các nhà cung cấp trên bảy khía cạnh, bao gồm sự phù hợp với tác vụ, chất lượng đầu ra, kiểm soát, độ tin cậy, hiệu quả chi phí, độ trễ và tính liên tục, sau đó chọn một đối sánh. Bạn không bị khóa với một nhà cung cấp và bạn có thể chạy một lượng đáng kể các tác vụ này mà không cần cấu hình trả phí nào.
Để mở rộng: video giới thiệu của chính dự án, bảy thế giới được tạo bằng ba mô hình hình ảnh và bốn mô hình video, báo cáo chi phí tạo nguồn khoảng 5 đô la.
Đọc giấy phép trước khi bạn phát triển dựa trên nó
Đây là điều duy nhất tách biệt OpenMontage khỏi mọi thứ khác trong danh mục này, và rất dễ bỏ qua.
OpenMontage là AGPL-3.0. agency-agents, Agent-Reach, Orca và codebase-memory-mcp đều là MIT. Sự khác biệt không chỉ là hình thức.
Điều khoản mạng của AGPL có nghĩa là nếu bạn chạy một phiên bản đã sửa đổi như một dịch vụ mạng, bạn có nghĩa vụ cung cấp mã nguồn các sửa đổi của mình cho người dùng dịch vụ đó. Xây dựng một công cụ nội bộ dựa trên nó thì không sao. Đóng gói nó vào một sản phẩm SaaS và tính phí là một quyết định pháp lý mà công ty của bạn cần đưa ra một cách thận trọng, không phải một chi tiết để lướt qua trong README.
Đó là một lựa chọn hợp pháp của những người duy trì, và đó là giấy phép làm chính xác những gì nó tồn tại để làm. Chỉ cần đưa ra quyết định với đội pháp lý của bạn thay vì phát hiện ra nó trong quá trình thẩm định.
Phần không ai cảnh báo bạn: đây là một dự án tích hợp API
Đây là điều thực sự gây khó khăn cho mọi người trong tuần thứ hai, và đó không phải là công việc sáng tạo.
OpenMontage điều phối hơn 60 tích hợp nhà cung cấp. Tạo video, tạo hình ảnh, chuyển văn bản thành giọng nói, âm nhạc, trộn âm thanh, phụ đề, cải thiện, phân tích. Mỗi cái đều là một API bên thứ ba với xác thực, hạn ngạch, định dạng lỗi và cấu hình độ trễ riêng. Tác nhân không viết video; nó đang chạy một công việc phân tán trên hàng chục dịch vụ trả phí và ghép nối kết quả.
Điều đó tạo ra một tập hợp các chế độ lỗi cụ thể mà bất kỳ ai đã tích hợp API trả phí đều sẽ nhận ra:
- Việc tạo video là một quá trình dài và không đồng bộ. Bạn gửi một công việc và thăm dò kết quả sẽ đến sau vài phút, không phải vài mili giây. Các tác nhân xử lý điều này kém theo mặc định, hoặc hết thời gian chờ hoặc quay vòng. Các mẫu hoạt động được mô tả trong xử lý các hoạt động API dài hạn bằng tác nhân AI.
- Một lần thử lại ngây thơ sẽ tốn tiền thật. Thử lại một yêu cầu tạo đã thành công nhưng hết thời gian chờ phản hồi có nghĩa là trả tiền hai lần cho cùng một clip. Đây chính xác là vấn đề mà khóa idempotency tồn tại để giải quyết, và đáng để đọc về khóa idempotency cho tác nhân AI trước khi bạn cho phép tác nhân thử lại bất kỳ thứ gì có tính phí.
- Lỗi hạn ngạch và giới hạn tốc độ cần được phân biệt với các lỗi thực sự. Một tác nhân coi lỗi 429 giống như 500 sẽ chuyển sang nhà cung cấp kém hơn khi lẽ ra nó nên chờ đợi. Sự phân biệt đó nằm trong định dạng lỗi, là chủ đề của thiết kế thông báo lỗi API cho tác nhân AI, và mặt phục hồi nằm trong phục hồi lỗi tác nhân AI.
- Các API của nhà cung cấp thay đổi mà không báo trước. Một trường phản hồi di chuyển, quy trình bị gián đoạn giữa quá trình sản xuất, và bạn phát hiện ra từ một kết xuất trông sai thay vì từ một lỗi. Xem điều gì xảy ra khi các thay đổi API làm hỏng tác nhân AI.
Dự án này rất nghiêm túc về vấn đề này, đó là một điểm cộng. Có ước tính chi phí trước khi thực hiện, giới hạn chi tiêu, ngưỡng phê duyệt cho mỗi hành động, xác thực trước khi tổng hợp để phát hiện các kế hoạch bị lỗi trước khi lãng phí thời gian GPU, tự đánh giá bắt buộc sau khi kết xuất bằng ffprobe với trích xuất khung hình và phân tích âm thanh, và một nhật ký quyết định có thể kiểm toán cho mọi lựa chọn nhà cung cấp và dự phòng.
Đó là một lớp tích hợp được thiết kế tốt hơn hầu hết các dịch vụ sản xuất. Đây cũng là một lý lẽ tốt để xử lý các tích hợp nhà cung cấp của riêng bạn với kỷ luật tương tự, đó là lý do tại sao Apidog có vị trí của nó trong một hệ thống như thế này. Nếu bạn đang thêm một nhà cung cấp, hoặc gói OpenMontage đằng sau dịch vụ của riêng bạn, việc có hợp đồng được viết dưới dạng đặc tả OpenAPI, được mô phỏng từ đặc tả đó để bạn có thể kiểm tra các nhánh lỗi mà không phải trả tiền cho mỗi cuộc gọi, và được bao phủ bởi các bài kiểm tra hợp đồng thất bại trong CI là sự khác biệt giữa một quy trình xuống cấp một cách duyên dáng và một quy trình đốt cháy ngân sách cho việc thử lại. Kiểm tra một API đắt tiền, chậm, không xác định đối với một mô phỏng thay vì dịch vụ trực tiếp là cách tiết kiệm chi phí lớn nhất ở đây, và Apidog tạo ra các mô phỏng đó từ đặc tả bao gồm các phản hồi lỗi. Thêm về hình dạng chung của điều này trong sử dụng đặc tả OpenAPI của bạn làm công cụ tác nhân.
Sản xuất là công việc nhóm, và Backlot là cục bộ
Khoảng cách thứ hai là về tổ chức hơn là kỹ thuật.
Backlot là một bảng tốt. Nó cũng là một bảng cục bộ, trên một máy, cho một sản phẩm. Điều đó không sao khi bạn tự làm video. Công việc video trong một công ty không như vậy. Một kịch bản cần một người đánh giá chuyên môn. Hình ảnh cần một người từ bộ phận thương hiệu. Các tuyên bố cần một người có thể xác nhận chúng là đúng. Bản cắt cuối cùng cần sự chấp thuận từ người sở hữu kênh.
Các cổng của OpenMontage tạm dừng cho một con người. Chúng không có khái niệm về con người nào, không có hàng đợi cho người mà bạn đang chờ phê duyệt, và không có hồ sơ sau đó về việc ai đã phê duyệt cái gì. Khi video được phát hành và ai đó hỏi ai đã ký duyệt yêu cầu về giá trong cảnh bốn, câu trả lời là một dấu thời gian trong một thư mục dự án cục bộ.
Sharkly là lớp khắc phục hình dạng đó, và sản xuất video được ánh xạ lên nó một cách bất thường:
- Tác vụ là bản ghi. Tiến độ, các lệnh gọi công cụ và kết quả được truyền về đó, và đầu ra của tác nhân được lưu trữ dưới dạng các bình luận mà bạn trả lời. Phản hồi kịch bản xuất hiện trên tác vụ, không phải trong thiết bị đầu cuối của ai đó, và nó vẫn ở đó sau ba tháng.
- Một Nhóm (Crew) bao gồm một tác nhân lãnh đạo cộng với các tác nhân và con người khác, chạy theo kiểu lãnh đạo trước. Đó chính xác là mô hình sản xuất: một đạo diễn đọc bản tóm tắt, quyết định chuyên gia nào cần kéo vào, và kết hợp đầu ra của họ. Sharkly thiết kế để chạy theo cách đó thay vì để mọi tác nhân bắt đầu cùng một lúc.
- Một tác vụ trong Backlog không bắt đầu chạy. Bạn có thể xếp hàng một tháng làm việc video mà không tốn một xu nào, sau đó phát hành các mục khi chúng được phê duyệt. Đối với một quy trình mà việc bắt đầu chạy có nghĩa là trả tiền cho các nhà cung cấp thế hệ, cổng đó quan trọng hơn bình thường.
- Một Tác nhân (Agent) là một cấu hình đã lưu. Hướng dẫn, thời gian chạy, kỹ năng, kho lưu trữ, môi trường. Thiết lập OpenMontage được điều chỉnh của bạn, với các nhà cung cấp bạn tin tưởng và giới hạn ngân sách bạn đã chọn, trở thành một thứ có thể tái sử dụng thay vì một bản sao cục bộ trên một máy tính xách tay.
- Thực thi là do bạn tự cung cấp. Bạn kết nối một Máy tính (Computer), có thể là máy tính xách tay của bạn, một máy chủ hoặc một vùng chứa, và Sharkly sử dụng Thời gian chạy (Runtime) đã được cài đặt trên đó. Việc kết xuất video cần một máy có ổ đĩa và CPU thực sự, và việc chỉ định rõ ràng máy nào chạy tác vụ là một tính năng ở đây, không phải chi phí phụ.
- Công việc kho lưu trữ chạy trong một nhánh làm việc riêng biệt (worktree) cho mỗi tác vụ. Hai sản phẩm đồng thời sẽ không xung đột.
Tóm lại: OpenMontage tự động hóa quá trình sản xuất. Nó không tự động hóa các phê duyệt, phân công hoặc bản ghi. Trong một nhóm, đó là những phần thực sự cản trở việc phát hành.
Ai nên cài đặt công cụ này
Đánh giá trung thực.
Đáng giá nếu bạn thường xuyên xuất bản nội dung cho nhà phát triển và đã phải trả tiền chỉnh sửa hoặc bỏ qua. Screen Demo, Clip Factory và Localization là những quy trình có lợi nhuận rõ ràng nhất. Một nhật ký thay đổi thành video hướng dẫn, hoặc một buổi nói chuyện hội nghị thành hàng chục clip xã hội, sẽ trả lại chi phí thiết lập trong một tuần.
Đáng giá nếu bạn muốn đầu ra cảnh quay thực tế mà không cần API tạo trả phí. Quy trình Documentary Montage thực sự độc đáo và cách tiếp cận kho lưu trữ miễn phí hoạt động hiệu quả.
Bỏ qua nếu bạn thỉnh thoảng chỉ cần một video. Chi phí thiết lập, cấu hình nhà cung cấp và đường cong học hỏi không được khấu hao hiệu quả cho ba video mỗi năm.
Bỏ qua nếu AGPL là một vấn đề đối với cách bạn dự định sử dụng nó. Hãy quyết định điều đó trước, không phải sau khi bạn đã xây dựng một quy trình làm việc dựa trên nó.
Câu hỏi thường gặp
Tôi có cần khóa API trả phí không? Không. Mọi tính năng đều hỗ trợ các lựa chọn thay thế nguồn mở hoặc cục bộ, và Documentary Montage được xây dựng từ kho lưu trữ miễn phí. Các nhà cung cấp trả phí mang lại cho bạn chất lượng cao hơn và nhiều tùy chọn tạo hơn. Hãy bắt đầu mà không cấu hình trả phí nào và thêm các nhà cung cấp khi bạn gặp khó khăn.
Những trợ lý mã hóa nào hoạt động? Claude Code, Cursor, Copilot, Windsurf và Codex được nêu tên. Bất cứ thứ gì có thể đọc tệp và chạy mã đều sẽ hoạt động, vì quy trình là Python cộng với các tệp kỹ năng markdown.
Một video thực sự tốn bao nhiêu tiền? Điều đó hoàn toàn phụ thuộc vào quy trình và nhà cung cấp. Video giới thiệu bảy thế giới của chính dự án báo cáo chi phí tạo khoảng 5 đô la. Documentary Montage sử dụng kho lưu trữ miễn phí có chi phí gần bằng không. Hệ thống ước tính trước khi thực hiện và áp dụng giới hạn chi tiêu, vì vậy bạn sẽ biết trước khi cam kết.
Giấy phép AGPL có phải là vấn đề đối với tôi không? Sử dụng nội bộ, dự án cá nhân và công việc nguồn mở đều không sao. Chạy một phiên bản đã sửa đổi như một dịch vụ cho người khác sẽ kích hoạt điều khoản mạng và nghĩa vụ nguồn của nó. Hãy hỏi nhóm pháp lý của bạn trước khi xây dựng sản phẩm dựa trên nó.
Nó có thể chỉnh sửa cảnh quay của riêng tôi, hay chỉ tạo ra? Cả hai. Talking Head, Hybrid, Screen Demo, Clip Factory và Localization đều hoạt động trên cảnh quay bạn cung cấp. Việc tạo ra là một lựa chọn, không phải chế độ duy nhất.
Điều này khác với một framework tác nhân như thế nào? Nó là một thư viện kỹ năng theo nghĩa tương tự như agency-agents, được giới hạn trong một miền và đi kèm với công cụ thực tế. Nó không phải là cơ sở hạ tầng điều phối như Strands hoặc AgentKit. Nó là một thư viện kỹ năng và công cụ chuyên biệt theo miền, giúp một tác nhân mã hóa hiện có thành thạo việc sản xuất video. Lớp khác biệt.
Tóm lại
OpenMontage là thứ đầy tham vọng nhất trong danh sách các công cụ tác nhân hàng đầu hiện nay, và nó được thiết kế tốt hơn so với những gì danh mục này thường có: các cổng trước khi chi tiêu, ước tính chi phí trước khi thực hiện, tự đánh giá sau khi kết xuất, và một nhật ký quyết định có thể kiểm toán. Nếu bạn xuất bản nội dung cho nhà phát triển, riêng các quy trình Screen Demo và Clip Factory có thể biện minh cho việc thiết lập.
Hãy bắt đầu với hai điều rõ ràng. Giấy phép là AGPL-3.0, đó là một quyết định, không phải một ghi chú. Và bên dưới công việc sáng tạo này là một sự tích hợp API lớn, tốn kém, chạy dài, điều đó có nghĩa là các nguyên tắc nhàm chán được áp dụng: một hợp đồng bằng văn bản, các mô phỏng mà bạn có thể kiểm tra các nhánh lỗi mà không phải trả tiền, các lần thử lại idempotency và xử lý lỗi phân biệt hạn ngạch với sự cố ngừng hoạt động. Đó là mục đích của Apidog. Mọi thứ về việc ai đã phê duyệt cái gì, và khi nào, là mục đích của Sharkly.
Tác nhân có thể đạo diễn video. Nó không nên là bản ghi duy nhất cho thấy video đã được phê duyệt.