ToonCrafter

ToonCrafter là một phương pháp sáng tạo video hoạt hình mới, vượt qua giới hạn của các kỹ thuật nội suy video hoạt hình truyền thống dựa trên sự tương ứng (correspondence-based). Thay vào đó, ToonCrafter sử dụng khả năng tạo hình (generative) để nội suy mượt mà giữa hai khung hình hoạt hình, tạo ra chuyển động tự nhiên và chân thực hơn.

Trải nghiệm công cụ (Free) ⤵🎳

(Xem hướng dẫn bên dưới nếu bạn chưa biết cách)

✨⚡🌟 Hướng dẫn sử dụng ToonCrafter:

1️⃣ Tải lên hình ảnh:

• Input Image 1: Kéo và thả khung hình hoạt hình đầu tiên của bạn vào khu vực này.
• Input Image 2: Kéo và thả khung hình hoạt hình thứ hai vào khu vực này.

2️⃣ Điền thông tin và cài đặt:

• Prompts (Tùy chọn): Nhập mô tả ngắn gọn về hành động hoặc chuyển động bạn muốn tạo giữa hai khung hình.(Ví dụ: "chạy", "nhảy", "quay đầu").
• Random Seed (Hạt giống ngẫu nhiên): Nếu bạn muốn kiểm soát tính ngẫu nhiên của kết quả, hãy nhập một số cụ thể. Để có kết quả ngẫu nhiên hoàn toàn, hãy bỏ trống trường này.
• ETA: Đây là tham số điều chỉnh bước lấy mẫu trong quá trình tạo hình. Giá trị càng cao, kết quả càng chi tiết nhưng thời gian tạo sẽ lâu hơn. (Giá trị mặc định: 1)
• CFG Scale (Mức độ hướng dẫn): Điều khiển mức độ tuân thủ của AI với prompt. Giá trị càng cao, AI sẽ tuân thủ prompt chặt chẽ hơn, nhưng có thể hạn chế sự sáng tạo. (Giá trị mặc định: 7.5)
• Sampling Steps (Số bước lấy mẫu): Tham số này tương tự như số lần lặp lại của AI trong quá trình tạo hình. Số bước càng cao, kết quả càng chi tiết nhưng thời gian tạo sẽ lâu hơn. (Giá trị mặc định: 50)
• FPS (Số khung hình trên giây): Chọn tốc độ khung hình cho video đầu ra.

3️⃣ Tạo video:

• Nhấn nút "Generate" (Tạo) để bắt đầu quá trình tạo video. Thời gian tạo sẽ phụ thuộc vào các cài đặt bạn đã chọn.
• Quá trình tạo hình: ToonCrafter sẽ sử dụng mô hình AI đã được huấn luyện trước để tạo ra các khung hình trung gian giữa hai hình ảnh đầu vào của bạn.
• Xem kết quả: Khi quá trình tạo hình hoàn tất, video sẽ được hiển thị trong phần "Generated Video". Bạn có thể xem lại video và tải xuống nếu muốn.

Lưu ý:

• Hiện tại, ToonCrafter chỉ hỗ trợ tạo video lên đến 16 khung hình với độ phân giải 512x320.
• Thời gian tạo hình có thể giảm bằng cách sử dụng ít bước DDIM hơn.
• Mô hình có thể gặp khó khăn trong việc hiểu nội dung hình ảnh một cách chính xác và ngữ nghĩa (ví dụ: phần màu đen nên là phần cứng của máy bay, không thể đung đưa theo gió).
• Mô hình có thể gặp khó khăn trong việc tạo ra chuyển động chuyển tiếp thuyết phục khi các đối tượng xuất hiện hoặc biến mất trong khung hình.

Ví dụ về Prompts:

• Để tạo video một nhân vật đang đi bộ: "walking man"
• Để tạo video một cảnh anime: "an anime scene"
• Để tạo video một con mèo đang uống sữa: "a cat drinking milk"

Lời khuyên:

• Sử dụng hình ảnh đầu vào chất lượng cao để có kết quả tốt nhất.
• Thử nghiệm với các prompts và cài đặt khác nhau để khám phá các khả năng sáng tạo của ToonCrafter.

Với ToonCrafter, việc tạo ra những video hoạt hình mượt mà và sống động chưa bao giờ dễ dàng đến thế!