Он родился 26 июня 1950 года в Вильянди (Эстонская ССР) в музыкальной семье, с детства играл на фортепиано и флейте. Увлекся рок-музыкой, из-за отказа прекратить исполнять ее был вынужден оставить учебу в Таллинском музыкальном училище. Во второй половине 1960-x годов был бас-гитаристом и солистом различных эстонских групп и ансамблей.
В 1970 году выиграл республиканский конкурс комсомольской песни, год спустя — конкурс молодых эстрадных певцов. Был солистом ансамблей «Lainer» и «Radar». В 1970-е годы неоднократно получал премии различных конкурсов и фестивалей песни. Завоевал спецприз жюри на международном конкурсе песни в Сопоте в 1975 году.
Яак Йоала сотрудничал с известнейшими эстрадными композиторами тех лет — Давидом Тухмановым, Александром Зацепиным, Раймондом Паулсом. Огромнаая полярность пришла к нему после выхода в 1979 году на телеэкраны музыкального телефильма «31 июня», в котором прозвучало несколько песен в исполнении Яака Йоалы.
В 1970—80-х годах Йоала много гастролировал, снялся в нескольких музыкальных фильмах, неоднократно становился лауреатом телевизионного фестиваля «Песня года». Йоала виртуозно владел различными музыкальными инструментами и иногда сам исполнял инструментальные партии на записях собственных песен — сохранились записи его исполнения на фортепиано, флейте, гитаре, ударных.
С 1988 года Йоала покинул советскую сцену, а в середине 1990-х практически прекратил концерты. Преподавал гитару в Таллинском музыкальном училище. В 2000 году выступил одним из учредителей Эстонского союза исполнителей — организации, защищающей авторские права эстонских музыкантов. Несколько лет возглавлял Эстонский союз исполнителей, затем стал членом правления. Был продюсером молодых певцов, преподавал вокал.
В 2002 году на Шестом телеканале (ТВС) в авторском цикле Сергея Костина «Хвост кометы» вышла передача о Яаке Йоала.
