Яковлев окончил Свердловский юридический институт по специальности «правоведение» в 1953 году, преподавал в Свердловском юридическом институте, был директором Всесоюзного научно-исследовательского института, заместителем председателя общественной Комиссии международного сотрудничества по гуманитарным проблемам и правам человека.

С 1989 по 1991 год — министр юстиции СССР. Одновременно был главным государственным арбитром страны и председателем Высшего арбитражного суда.

В конце 1991 года занял должность государственного советника по правовой политике при президенте СССР. С 2005 года — советник президента России и сопредседатель Ассоциации юристов России. Награжден почетной грамотой президента«за активное участие в подготовке проекта Конституции Российской Федерации и большой вклад в развитие демократических основ Российской Федерации».