Batizado como Angenor de Oliveira, Cartola recebeu esse apelido quando trabalhava como pedreiro e para proteger-se dos pingos de cimento usava um chapéu coco que chamava de cartola.
Não queria nada com os estudos, de família pobre, muito cedo teve que trabalhar para ajudar na renda da casa. Exerceu inúmeras funções mas gostava mesmo era da boemia, razão da qual foi expulso de casa pelo pai.
A morte de sua primeira mulher, a desilusão com a segunda, e mais a bebida e o desinteresse do mercado pela sua obra quase o destruíram. Foi salvo pelos conselhos do amigo Carlos Cachaça e o amor da terceira e definitiva mulher, Dona Zica.
Já aos 48 anos (em 1956) foi reencontrado, pelo jornalista Sérgio Porto, trabalhando como lavador de carros. Ele que aos 19 havia sido fundador da Mangueira e pouco depois, conquistado a admiração e amizade de Villa-Lobos e Noel Rosa.
O reconhecimento veio somente a partir de 1963, quando abriu o Bar Zicartola, onde a bossa nova foi apresentada ao samba, e que se tornou ponto de encontro e intelectuais e sambistas do Rio de Janeiro. Gravou seu primeiro disco em 1974, aos 65 anos!
Apesar da pouquíssima instrução, morando na favela, fez poesia da melhor qualidade e compôs músicas em que melancolia e força lírica formam um par indissociável. Pérolas como As rosas não falam, Acontece, O mundo é um moinho, Alegria, Minha, Quem me vê sorrindo, Disfarça e chora, Tive sim, Peito Vazio, O Sol Nascerá.