Выпускник Горьковского театрального училища Александр Яковлев в разное время служил в драматическом театре во Владимире, Московском областном ТЮЗе и Московском областном драматическом театре имени Островского.

Александр Яковлев снимался в 119 фильмах и сериалах. Его дебют в кино состоялся в 1973 году в фильме «Великие голодранцы». Особую известность он получил после выхода в 1974 году фильма «Свой среди чужих, чужой среди своих» Никиты Михалкова, в котором он сыграл роль штабс-капитана, организовавшего нападение на поезд.

Также Яковлев снимался в фильмах «Медный ангел», «Визит к Минотавру», «Вера, Надежда, любовь», «Квартет Гварнери», «Легенда №17», «Вий». В Союзе кинематографистов также отметили роль Яковлева в сериале «Мужской сезон. Бархатная революция».