Theo yapay zekâ haberlerini bu akşam deneyebileceğiniz şeylere dönüştürür.
Bu hikâye ilham mı verdi? Fikrini saniyeler içinde kendi yapay zekâ sanatına dönüştür — ücretsiz başla, kart gerekmez.
Ücretsiz başlaBir arkadaşını seç ve bu haber hakkındaki görüşünü öğren
Amazon Prime Video, ekrandaki oyuncuların ağız hareketlerini insan seslendirmesiyle eşleştirmek için dijital olarak yeniden şekillendiren bir yapay zeka dudak senkronizasyonu özelliği başlattı — Alman romantik draması Maxton Hall'ın İngilizce dublajıyla.
Maxton Hall, İngilizce versiyonunda yapay zeka dudak senkronizasyonu dublajı alan ilk Prime Video yapımıdır.
Görsel: The Verge / The Verge AI
Geleneksel dublaj görünür bir dikiş bırakır: oyuncunun dudakları Almanca heceleri oluştururken ses parçası İngilizce olanları sunar ve beyniniz bu uyumsuzluğu saniyeler içinde fark eder. Prime Video'nun sistemi bu dikişe video katmanında saldırır; insan sesi performansına dokunmadan yedek fonemlere uyacak şekilde ağız geometrisini büküyor. Sonuç, açıklandığı gibi çalışırsa, izleyicilerin ana dil yapımlarından beklediği kusursuz senkrona daha yakın olacak.
Buradaki iş akışı hakkında kesin olmak gerekiyor. Ses parçası hâlâ insan dublaj sanatçıları tarafından kaydediliyor; Prime Video sentetik konuşma üretmiyor. Yapay zeka adımı tamamen post-prodüksiyon video işlemede yer alıyor: dublaj sesinin fonem zamanlamasını analiz ediyor ve kaynak görüntünün ağız bölgesini buna uyacak şekilde yeniden şekillendiriyor. Bunu, yüksek bütçeli yapımlarda görsel efekt stüdyolarının elle yaptığı ağız değiştirme çalışmasının hedeflenmiş, otomatikleştirilmiş bir versiyonu olarak düşünebilirsiniz — akış ölçeğinde uygulanıyor.
Yapay zeka video yaratıcıları için bu ayrım pratik açıdan önemli. Bu tür araçlar, özünde mevcut video üzerinde çalışan ağız yeniden hedefleme modelleridir — açık kaynaklı video iş akışlarında zaten görünen yüz yeniden canlandırma ve dudak senkronizasyonu düğümleriyle örtüşen bir teknik. Adobe Premiere'in üretken medya özellikleri veya bağımsız yeniden canlandırma modelleri gibi araçlarda dudak senkronizasyonu katmanlarını denediyseniz, Prime Video'nun uygulaması aynı teknoloji sınıfıdır; yalnızca insan sesiyle yönlendirilen yayın kalitesinde bir iş akışında çalışıyor.
Şu anda özellik tek bir yapım deneyi. Prime Video, hangi dizilerin sırada olduğunu açıklamadı ve bir zaman çizelgesi vermedi. Durumun dürüst özeti bu: İngilizce dublajda bir Alman romantik komedisi ve belirsiz bir genişleme vaadi.
Dar kapsamlı lansman, bir kalibrasyon hamlesi olarak mantıklı. Dudak senkronizasyonu kalitesi izleyicilerin değerlendirmesi açısından acımasız derecede kolaydır — oyuncuyu plastik görünümlü kılan herhangi bir aşırı düzeltme anında tepkiye yol açar. Zaten geniş bir uluslararası izleyici kitlesine sahip bir diziyle başlamak, Amazon'a görece sınırlı riskle gerçek dünya test ortamı sağlıyor.
Prime Video, yapay zeka dudak senkronizasyonu lansmanı için test yatağı olarak güçlü bir uluslararası takipçi kitlesine sahip Alman dizisi Maxton Hall'ı seçti.
Görsel: The Verge / The Verge AI
Çok dilli video içeriği oluşturan yaratıcılar için — örneğin yapay zeka tarafından üretilen kısa klipleri ikinci bir dile seslendiren bir seslendirme sanatçısı — bu, otomatik ağız yeniden hedeflemenin araştırma demolarından üretim iş akışlarına hızla geçtiğine işaret ediyor. «Prime Video bunu yapabilir» ile «bir eklenti bunu yapabilir» arasındaki mesafe iki yıldır kapanıyor. Karakter animasyonu üretiyor ve diyalog katmanlıyorsanız, açık kaynaklı ağız yeniden hedefleme modellerini takip etmek pratik bir sonraki adımdır; altta yatan teknik artık egzotik değil.
Prime Video'nun hamlesi aynı zamanda daha geniş bir örüntüyü de pekiştiriyor: video prodüksiyonundaki en kalıcı yapay zeka entegrasyonları, insan yaratıcı çalışmasını — burada ses performansını — merkezde tutan, yapay zekanın ise mekanik hizalama sorununu üstlendiği entegrasyonlardır. Bu, kendi iş akışında nerede üretim nerede otomasyon uygulayacağına karar veren herkes için kullanışlı bir çerçeve.
