Quando adolescente, Hyldon se interessou pela música Iê-iê-iê, influenciado por seu primo Pedrinho da Luz, que tocava guitarra na banda The Fevers. Formou uma banda chamada Os Abelhas, com a qual se apresentou em clubes de Niterói e cidades vizinhas, chegando a participar de programas de rádio e televisão. Quando sua família decidiu se mudar de volta para a Bahia, Hyldon convenceu sua mãe a deixá-lo ficar no Rio de Janeiro, morando com Pedrinho. Essa relação próxima levou a importantes oportunidades na indústria musical, incluindo sua primeira gravação com o The Fevers. Sua primeira composição gravada, "Eu me Enganei", foi lançada quando ele tinha apenas 17 anos, marcando o início de sua carreira como compositor.

Em 1969, enquanto suas músicas eram gravadas por artistas como Jerry Adriani e Wanderley Cardoso, Hyldon também se estabeleceu como músico, participando de várias gravações. Viajou com a banda Os Diagonais, onde conheceu Tim Maia, que mais tarde se tornaria uma influência significativa em sua carreira. Durante esse período, Hyldon trabalhou como guitarrista em álbuns de artistas como Toni Tornado e Wilson Simonal, dois pioneiros da música negra brasileira.

Em 1970, Hyldon foi convidado a trabalhar como produtor na PolyGram, com a condição de que pudesse lançar seu próprio trabalho. Ele aceitou e passou a produzir álbuns de sucesso para artistas como Erasmo Carlos, Diana e Odair José, tocando guitarra no maior sucesso de Odair, "Uma Vida Só". Durante esse período, Hyldon continuou a compor e criar arranjos, se preparando para lançar seu próprio álbum com o apoio de Tim Maia e Cassiano.

Em 1974, Hyldon gravou seu primeiro single, "Na Rua, na Chuva, na Fazenda (Casinha de Sapê)," que rapidamente se tornou um sucesso nas rádios. No ano seguinte, ele lançou outro single com "As Dores do Mundo," que também ganhou popularidade. Esses sucessos permitiram que ele lançasse seu primeiro álbum, Na Rua, na Chuva, na Fazenda, que contou com várias músicas de sucesso, como "Na Sombra de uma Árvore" e "Acontecimento," consolidando sua carreira na música brasileira.