AI ayudó a hacer la mejor canción que escuchaste esta semana

Alison Parshall: Es ciencia científica americana, vamos. Soy Alison Parshall.

Voy a tocar una canción para ti. Apuesto a que nunca has escuchado un sonido como este antes.

[CLIP: Beginning of “Enter Demons & Gods,” by Yaboi Hanoi]

Parashall: Entonces, cuando escuché esto por primera vez, sentí curiosidad e inexplicable. Estaba sacudiendo la cabeza a un ritmo que sonaba familiar, pero las notas no sonaban familiares en absoluto.

Si estoy sentado al piano, ¿puedo tocar esas notas?

[CLIP: Notes on piano]

Y la melodía, ni siquiera estoy seguro de qué instrumento suena así.

Resulta que ningún instrumento suena así. Sin embargo, si está familiarizado con la música de Tailandia o el muay thai, el deporte nacional del país, puede sonarle familiar.

[CLIP: Muay Thai boxing background sounds]

Lamtharn “Hanói” Hantrakul: Para la audiencia tailandesa, es como estar en este valle misterioso que es a la vez familiar y desconocido. Si te dan ganas de mudarte, me he conectado correctamente contigo.

Parashall: Ese fue Lamtharn «Hanoi» Hantrakul. Es un tecnólogo musical y el cerebro detrás de esta nueva música.

Nació y creció en Bangkok. Dado que es la capital de Vietnam, el apodo de «Hanoi» sin duda es un poco confuso, pero a sus padres les encantó tanto la ciudad que le pusieron a su hijo su nombre.

Hanoi es tailandés de principio a fin. Musicalmente, se le conoce como Yaboi Hanoi, que comenzó como una broma…

Hantrakour: Este tecnólogo musical nerd tratando de ser… ya sabes, como, «Sí, soy como un yaboi genial de Hanoi».

Parashall: Pero a la gente realmente le gustó, así que se mantuvo. Fue bajo este apodo que compuso la melodía que acabas de escuchar con la ayuda de un asistente no humano (aprendizaje automático, un tipo de inteligencia artificial).

Mira, los algoritmos de IA ahora son músicos.

Bienvenidos a la primera entrega de una «fascinación» de tres partes, así es como llamamos a estas miniseries basadas en la ciencia y de ritmo rápido, para su información, sobre cómo la inteligencia artificial penetra en el mundo de la música.

Entonces, sobre toda la IA siendo músicos ahora: en su mayoría estoy bromeando: estos algoritmos informáticos reflejan nuestra propia creatividad e ingenio, sin importar cuán avanzados sean.

Tienen muchos datos de los que aprender y pueden detectar patrones sutiles que se pueden usar para hacer predicciones útiles, no solo en la música sino en muchas artes.

Son realmente buenos en eso. De hecho, estos algoritmos han evolucionado tan rápidamente que la gente está empezando a pensar que hacen algo más que el reconocimiento de patrones.

ChatGPT es un modelo de IA de aprendizaje de idiomas a gran escala que puede componer un poema sobre los impuestos a la herencia o la metanfetamina. Puede crear recetas de «Muslos de pollo a la francesa con zanahorias y nata». O simplemente hace que la carta de presentación de su solicitud de empleo sea menos mala.

Dall-E 2 es un modelo de aprendizaje profundo que puede crear arte fantástico a partir de claves lingüísticas simples, como «un plato de sopa es la entrada a otra dimensión, al estilo Basquiat».

Ahora gente como Hanoi está utilizando el aprendizaje automático para desafiar la asfixia musical que Europa occidental básicamente nos ha ahogado a todos.

Lo que nos lleva de vuelta a «Enter Demons & Gods», la composición asistida por aprendizaje automático de Hanoi al comienzo del episodio. En 2022, la presentó a un concurso internacional llamado AI Song Contest.

Ganó.

[CLIP: Recording of award ceremony]

locutor: Eso significa un total de 21,1 puntos de los votantes y el jurado… ¡Yaboi Hanoi es el ganador del concurso de canciones de IA de 2022!

[CLIP: Applause]

[CLIP: Hantrakul: Yeah, I’m, I’m just completely lost for words. I’m just so excited that the song spoke to so many people both at home in Thailand … and that it also spoke to the jury.]

Hantrakour: El hecho de que tus oídos no estén acostumbrados, creo que realmente aumenta el sentimiento para mucha gente, por ejemplo, los oyentes occidentales, es como estar fuera de este mundo, porque está literalmente en este mundo de afinación promedio afuera.

Parashall: Se refería a la afinación de temperamento igual de 12 tonos. Incluso si no ha escuchado el nombre técnico antes, ciertamente lo ha escuchado en acción: describe las 12 notas repetidas que puede tocar en el piano y las notas fundamentales de básicamente toda la música clásica y popular occidental. Mira, tienes una octava, donde los agudos son exactamente el doble de la frecuencia de los graves…

[CLIP: Piano plays an octave of A at 440 and 880 hertz]

La música occidental divide esta octava en 12 notas, que se dividen en proporciones iguales.

[CLIP: Ascending chromatic A scale on the piano]

Hanoi conoce muy bien este sistema de afinación porque su madre lo animó a tocar el piano cuando era niño, como muchas personas en todo el mundo.

Hantrakour: Mi mamá solía decir: «Si puedes tocar el piano, puedes entender todos los demás instrumentos». un instrumento occidental».

Parashall: Esto es real. Si creciste escuchando principalmente música occidental, las 12 notas del piano suenan naturales y normales.

Ahora escúchame, me voy a quedar un rato. Quiero que te quedes conmigo. La nota A4 en el piano suena así…

[CLIP: 440 Hz tone]

…generalmente se establece en una frecuencia de 440 Hz, lo que significa que las ondas sonoras oscilan 440 veces por segundo.

Pero no hay nada especial en este número 440. Fue estandarizado por primera vez solo en la década de 1930. Algunas orquestas, como la Filarmónica de Nueva York, afinan a 442 Hz. Es una diferencia lo suficientemente pequeña como para que nuestros oídos sean básicamente inaudibles. Pero en el período barroco alrededor de 1600, la misma nota se estableció en 415 Hz.

[CLIP: 415 Hz tone]

Todo esto es para decir que el tono es un espectro, y hay literalmente infinitas notas para tocar con las que puedes afinar tu instrumento. No hay ninguna razón real por la que tengamos que dividir la octava en 12 notas en lugar de 22 o 5 notas.

Y no hay ninguna razón real por la que tengamos que espaciar las notas uniformemente a lo largo de la octava. Hay muchos músicos que argumentan que las 12 notas de la escala occidental suenan mejor cuando no se dividen en proporciones iguales.

Al final, ni siquiera necesitamos construir un sistema de afinación en torno a las octavas. Claro, las leyes de la física y la biología de nuestros oídos pueden predisponernos a encontrar octavas agradables, pero los humanos somos criaturas creativas y flexibles.

Entonces, dadas estas posibilidades ilimitadas, tiene sentido que las elecciones culturales en todo el mundo segmenten los espacios musicales de manera diferente. Ninguno de los violines tailandeses que Hanoi aprendió mientras crecía en Bangkok tenía…

Hantrakour: Te vi. vi duang…

Parashall: Se adapta a modelos de 12 tonos: están más cerca de lo que los musicólogos llaman afinación de temperamento igual de siete notas. Esto encaja 7 notas en la misma cantidad de espacio musical que la música occidental encaja en 12, aunque esto definitivamente es una simplificación excesiva de las complejidades de la afinación tailandesa.

Asimismo, las notas y los intervalos tocados por el pin nai, un instrumento parecido al oboe que se toca en los combates de muay thai, no se pueden imitar en un piano.

De hecho, si usas este pi nai vibrato –  …

[CLIP: Pi nai trill]

Parashall: La nota más cercana que puedo llegar a tocar en el piano es esta…

[CLIP: Pi nai piano approximation]

Parashall: Estos lanzamientos están algo cerca, pero no son pi nai. Sin embargo, estos son los mismos tonos con los que nuestra tecnología musical está diseñada para funcionar.

Hantrakour: Creo que ese fue realmente un punto de partida para pensar, bueno, «¿Qué pasa si lo contrario es cierto? ¿Y si pudiéramos usar la tecnología para crear música que se ajuste al estilo de la música tailandesa?»

Parashall: Aquí es donde entra el aprendizaje automático. Mira, toda una revolución en la forma en que funciona con la música.

Durante mucho tiempo, la música que hacíamos con IA se limitaba a esas 12 notas del piano.

Esto se debe a que los archivos de audio sin formato son muy grandes y codifican mucha información. Las grabaciones de alta calidad suelen tener 44.000 muestras por segundo, el doble que las grabaciones estéreo, que pueden reproducir una pista diferente en cada oído de los auriculares.

Entonces, veamos, si intentas hacer que una IA mastique «Stairway to Heaven» de Led Zeppelin…

[CLIP: Led Zeppelin’s Stairway to Heaven]

… tendrá más de 42 millones de puntos de datos para procesar. Esto es demasiado para un algoritmo de IA.

Entonces esos algoritmos más antiguos necesitan algo más simple. Todo lo que pueden procesar es una representación simbólica basada en texto de la esencia de la nota que se está tocando…

[CLIP: MIDI version of Led Zeppelin’s Stairway to Heaven]

…como notas escritas en papel que te dicen cómo tocar una canción en el piano. Aquí es donde nos encontramos con nuestro viejo enemigo, la escala limitada de 12 tonos.

[CLIP: Reprise of the 12-tone approximation of the pi nai]

Hantrakour: En el momento en que su música deja este sistema de afinación, literalmente no hay forma de que estos modelos simbólicos comprendan o den sentido a algunas de las melodías que contiene.

Parashall: Así que el viejo modelo simbólico no sabía qué hacer con pin nai. Afortunadamente, nuestra potencia informática finalmente ha alcanzado nuestras ambiciones de audio.

Hanoi es uno de los ingenieros que ayudan a que esto suceda a través de su trabajo anterior en Google Magenta y su trabajo actual en TikTok.

Ha desarrollado herramientas de aprendizaje automático que le permiten tocar una melodía en un instrumento y convertirla en otro en segundos.

Hantrakour: Cuando trabajaba en Google, hice demostraciones realmente interesantes en las que, ya sabes, puedes convertir el canto clásico de la India en el sonido de un saxofonista, o volver a convertir el sonido de un pájaro en una flauta.

[CLIP: Birds re-rendered as a flute using Google’s Tone Transfer]

Parashall: Para Hanoi, estas herramientas de aprendizaje automático le permiten operar directamente en grabaciones de pinai sin filtrarlas a través del tamiz de la notación musical occidental.

Escuchemos ese vibrato de nuevo:

[CLIP: Pi nai trill]

Parashall: Esta grabación es del músico tailandés Udomkiet Joey Phengaubon tocando melodías clásicas tailandesas estándar.

Hanoi alimentó la grabación a través de una herramienta de inteligencia artificial que ayudó a desarrollar llamada Mawf. Toma las características únicas de su afinación y timbre y lo vuelve a presentar como un instrumento diferente, ante todo el saxofón…

[CLIP: Pi nai as saxophone]

Parashall: Entonces trompeta…

[CLIP: Pi Nai as trumpet]

Parashall: Luego hay otro instrumento tailandés.

[CLIP: Pi nai as khlui flute]

Hantrakour: Es como cinco instrumentos apilados uno encima del otro con mucha distorsión. Así que es… ¿quién sabe qué es?

[CLIP: All instruments together; music reenters]

Parashall: Hanoi tituló su obra «Enter Demons & Gods», o en tailandés…

Hantrakour: «Asura Deva Choom Noom».

Parashall: Se inspiró en una escena de la mitología tailandesa en la que cientos de dioses y demonios se enfrentan por el elixir de la vida.

[CLIP: Battle sound effects in the background]

Al final, básicamente creó una pista de EDM de fusión tailandés-occidental.

Hantrakour: No quiero llamarlo preservación cultural. Me gusta llamarlo un renacimiento cultural. Creo que es increíblemente liberador. Casi siento que he estado hablando en inglés toda mi vida.

Parashall: Ahora habla tailandés y no tiene intención de detenerse.

Hantrakour: Fue un gran momento para mí y debería estar escribiendo más música como esta. Es en estos momentos cuando un pasaje tailandés que nunca podría trascender la música clásica tailandesa finalmente cruza esta dimensión hacia la música electrónica. Para mí, esta es la definición de IA que empodera a los humanos creativos.

[CLIP: Music ends]

Parashall: A los jueces del concurso de canciones de inteligencia artificial y al público votante les encantó la canción de Hanoi. Cada año se agregan competencias, con nuevos artistas musicales que usan IA de diferentes maneras.

Pero la revolución musical de la IA que aprovecha Hanoi, desde las representaciones planas basadas en texto hasta el rico mundo del audio sin procesar, tiene consecuencias de largo alcance.

En el próximo episodio…

[CLIP: Christine McLeavey: “Working with raw audio, the sky is the limit in terms of what you can create.”]

[CLIP: Shelly Palmer: The amount of things that have to be true for this to be what it is are unbelievable—like, unbelievable.”]

Parashall: Veremos qué tan avanzados son estos algoritmos con un modelo creado recientemente por Google que toma su descripción escrita de la música y crea un archivo de audio con solo hacer clic en un botón.

Science, Quickly es una producción de Jeff DelViscio, Tulika Bose y Kelso Harper. Nuestro tema musical está compuesto por Dominic Smith.

No importa dónde obtenga sus podcasts, no olvide suscribirse a Science, Quickly. Para obtener más noticias y características científicas detalladas, visite ScientificAmerican.com.

Para Science Quickly para Noticias-Hoy, soy Allison Parshall.