コロンビアの研究者たちは,AIを使ってビデオから唇のシンセサイザーを学習し,人間ロボットの相互作用を改善した26人のロボットの顔を開発した. Columbia researchers built a 26-motor robot face that learns lip-syncing from video using AI, improving human-robot interaction.

コロンビア大学研究者は26のモーターを備えたロボットの顔を作成し,動画で人間を観察し,AIを使って音を現実的な唇の動きに適合させる. Researchers at Columbia University have created a robot face with 26 motors that learns to lip-sync by observing humans on video, using AI to match sounds to realistic lip movements. このシステムは自己観察と 話し声と歌を学習することで 言語と音色を問わず 唇と音声を同期させ 人間とロボットの自然なやり取りを 改善します The system, trained through self-observation and studying speech and song, can synchronize lips with audio across languages and tones, improving natural human-robot interaction. この技術は,特定の音に問題はないが,ロボット表現の重要なギャップを踏まえて,医療や教育などのアプリケーションにおける感情的なつながりを高めることを目的としている. Though challenges remain with certain sounds, the technology aims to enhance emotional connection in applications like healthcare and education by addressing a key gap in robotic expression.