Ярославский Кремль в его первозданном виде, к сожалению, не сохранился. Древнейшие постройки на его территории датируются XVII веком. Не дошел до нас и Петровский монастырь. Он был упразднен - по одним данным – где-то в середине XIV, по другим в середине XV века. Известно, однако, что со второй половины XV века на месте монастыря уже стояла деревянная приходская церковь, а намного позже, в 1691 году,  на средства городских прихожан была возведена каменная церковь Петра и Павла, которая не сохранилась до наших дней. Сейчас на этом месте находится въезд на автомобильно-пешеходный мост через Волгу, построенный  в 1960 году.

Толгский монастырь был закрыт в 1929 году, но в 1987 году его полуразрушенное здание было возвращено Русской Православной Церкви и здесь учредили первую в современной России женскую обитель. Толгская обитель, по сути полностью восстановленная из руин,  в наши дни  стала местом паломничества верующих и туристов. Знаменитая явленная икона Толгской Богоматери, положившая начало обители, была передана монастырю и доныне являет людям чудеса исцеления.

Жителям Ярославля пришлось вновь взять в руки оружие в 1812 году, во времена нападения наполеоновских войск  на Россию. Почти  11 тысяч ополченцев Ярославской губернии участвовали в боях наряду с регулярной армией, не щадя своих жизней, в результате чего потери ярославского ополчения составили 40%.

После усмирения разгула Смутного времени именно выгодное местоположение Ярославля на пересечении торгового пути,  связывавшего  Россию с Западной Европой, позволило городу быстро восстановиться. Ярославль начинает формироваться как крупный торговый и ремесленный центр. Здесь работают ремесленники более чем  ста специальностей: среди них плотники, каменщики, кузнецы, кожевники и т.д. Экономический подъем XVII века предопределил расцвет культуры и искусства в Ярославле. В городе начинает развиваться храмовое строительство. Уже в середине XVII века каменное зодчество и храмовые росписи Ярославля начинают  отличаться самобытностью. При строительстве уже в то время широко применялись специально изготовленные  фигурные кирпичи, стены храмов украшались полихромными изразцами, богато декорировались. Храмы Ярославля большие по размерам и с мощными пятиглавиями, в них находятся  уникальные росписи. В XVII веке Ярославль превратился в огромную строительную площадку.

В XIX веке Ярославль опять  утопает в строительных лесах. Строится первый мост через реку Которосль, убираются старинные городские укрепления, на месте которых разбивается Казанский бульвар. Обустраивается набережная Волги, ее ограждают чугунной решеткой, ставятся мосты через городские овраги. По данным всероссийской переписи 1897 года в Ярославле уже проживало более 71 тыс. чел., причем количество мужского населения в городе преобладало над женским. При Александре I на средства известного уральского предпринимателя И.Г. Демидова в городе открывается первое высшее учебное заведение — Ярославское Демидовское училище высших наук, преобразованное  вскоре  в лицей. Для него отдали архиерейский дом в заповедной исторической части города. Жители города в благодарность на собранные средства в 1829 году на центральной Ильинской площади города поставили памятник основателю лицея И.Г. Демидову. Лицей стал очень популярным учебным заведением в государстве. Одно время в лицее преподавал законоведение, государственное право и финансы знаменитый педагог профессор К.Д. Ушинский, в разные годы здесь учились поэты К. Бальмонт, М. Богданович, советский писатель-фантаст А.Беляев. При советской власти лицей был преобразован в Ярославский государственный университет, но вскоре его закрыли в связи с реорганизацией системы образования. Памятник И.Г. Демидову  был демонтирован. Только в 1970 году Ярославский государственный университет был вновь открыт. Сегодня он носит имя И.Г. Демидова и является ведущим высшим учебным заведением в регионе. К началу XX века в городе функционировало 66 учебных заведений.

Началась Великая Отечественная война. Более полумиллиона жителей Ярославской области отправились на фронт, погибло свыше 200 тысяч человек. В конце осени 1941 года немецкие войска стояли в пятидесяти километрах от Ярославля. На город было совершено 13 налетов вражеской авиации. От них погибло 255 человек. Ярославль был объявлен прифронтовой зоной. На случай оккупации важнейшие предприятия заминировали. Промышленность Ярославля перешла на выпуск военной продукции. Автомобили, артиллерийские тягачи, шины, электромоторы, малотоннажные военные суда и военные катера, снаряды, фанаты и многое другое производилось для фронта. Как и вся страна, Ярославль жил войной. На средства, собранные ярославскими комсомольцами, была построена подводная лодка «Ярославский комсомолец», переданная соединению подводного флота, которым командовал ярославец контр-адмирал И.А. Колышкин. Ярославская земля — родина выдающегося полководца — Маршала Советского Союза Ф.И.Толбухина. Многие ярославцы были награждены медалями и орденами за воинские заслуги. В 196S году к 30-летию Победы в Великой Отечественной войне в городском сквере был установлен обелиск в память о боевых и трудовых подвигах ярославцев в годы войны.