Google’ın DeepMind yapay zeka laboratuvarı, görüntülere eşlik edecek müzikler ve hatta diyaloglar oluşturabilen yeni bir teknoloji üzerinde çalışıyor.
Laboratuvar, Google Veo ve OpenAI’nin Sora’sı üzere öbür görüntü oluşturma araçlarıyla eşleştirilebilen görüntüden sese (V2A) teknoloji projesindeki gelişmeleri bir görüntüyle paylaştı.
DeepMind grubu, blog yazısında sistemin ham pikselleri anlayabildiğini ve ekranda olup bitenler için ses efektleri oluşturmak üzere bu bilgileri metin istemleriyle birleştirebildiğini sav ediyor.
Yeni yapay zeka aracı sayesinde, sessiz sinemalar ve öteki sessiz görüntüler üzere klâsik çekimler için art plan müzikleri oluşturmak için de kullanılabilmesi muhtemel görünüyor.
Yapay zekayı nasıl eğittiler?
DeepMind’ın araştırmacılarına nazaran bu yapay zeka, görüntüler, ses kayıtları ve seslerin detaylı açıklamalarını içeren açıklamalar üzerinde eğitildi. Bu sayede, yapay zeka belli sesleri görsel sahnelerle ilişkilendirmeyi öğrendi.
Yeni araçta metin istemi kullanmak isteğe bağlı olsa da, son eseri mümkün olduğunca hakikat ve gerçekçi olacak formda şekillendirmek ve düzgünleştirmek için kullanıcı metin üzerinden yapay zekaya müdahalede bulunabiliyor. Örneğin çıktıyı istediğiniz sesleri oluşturmaya yönlendirmek için olumlu istemler yahut istemediğiniz seslerden uzaklaştırmak için olumsuz istemler girebiliyorsunuz. Aşağıdaki görüntüde izleyeceğini örnekte takım şu ipucunu kullanmış: “Sinematik, tansiyon, dehşet sineması, müzik, tansiyon, ambiyans, beton üzerindeki ayak sesleri.“
Videodaki ses efektleri şimdi çok etkileyici ve gerçekçi görünmese de bu alanda bir başlangıç olduğunu ve kısa müddette kendini geliştireceğini de unutmamak gerekiyor.