Родился 8 апреля 1937 года в г. Боготоле Красноярского края в рабочей семье.
В 1959 г. окончил ТПИ по специальности инженер-механик.
Трудовую деятельность начал на Томском заводе кранового оборудования в должности инженера-технолога техотдела.
С 1962-1965 г. г. - заместитель главного технолога объединения «Сибэлектромотор».
С 1965-1967 г. г. - заместитель главного инженера объединения «Сибэлектромотор».
С 1967-1971 г. г. - главный инженер объединения «Сибэлектромотор».
С 1971-1977 г. г. - директор объединения «Сибэлектромотор».
С 1977-1982 г. г. - второй секретарь Томского горкома КПСС.
С 1982-1988 г. г. - председатель Томского горисполкома.
В 1988 г. - утверждён генеральным директором Международного советско-болгарского научно-производственного объединения (МНПО) «ЗОНД», в 1989 г. - генеральным директором ВЭА «Томскинтерсервис».
С 1997-2001 г. г. - заместитель председателя Государственной Думы Томской области.
С 2002 по 2007 г. г. - член Совета Федерации Федерального Собрания РФ. За этот период работы награждён орденом "Дружбы народов", почётным знаком "За развитие парламентаризма в России", грамотами Совета Федерации и Счётной палаты РФ.
С 2004 г. являлся членом делегации Федерального Собрания РФ в Парламентской Ассамблее Совета Европы (ПАСЕ). Состоял в двух её комитетах.
В объединении «Сибэлектромотор» Ю. Я. Ковалёв активно занимался наращиванием производственных мощностей, внедрял прогрессивные технологические линии, осваивал выпуск новых типов электродвигателей.
Под руководством Ю. Я. Ковалёва объединение превратилось в одно из ведущих предприятий электротехнической промышленности СССР. В Томске оно отличалось не только объёмами производства и качеством выпускаемой продукции, но и размахом жилищного и социального строительства.
В должности второго секретаря Томского горкома КПСС курировал вопросы экономического и социального развития г. Томска (промышленность, капитальное строительство, транспорт, торговля, бытовые услуги, жилищно-коммунальное хозяйство). В Томском горисполкоме, Ю. Я. Ковалёв направлял свою деятельность на дальнейшее развитие хозяйственной и культурной жизни г. Томска, рост благосостояния горожан, улучшение их жилищных условий. За этот период г. Томск неоднократно награждался переходящим Красным Знаменем ЦК КПСС, Совета Министров РСФСР и ВЦСПС.
Не менее значительный вклад в решение важнейших социально-экономических проблем г. Томска, Ю. Я. Ковалёв внёс, возглавляя МНПО «ЗОНД» и ВЭА «Томскинтерсервис». ВЭА «Томскинтерсервис» осуществляла продвижение продукции Томских предприятий на мировой рынок. По заявкам Томских предприятий ассоциация поставляла современное импортное технологическое оборудование, системы автоматизированного проектирования. При непосредственном участии ВЭА «Томскинтерсервис» в Томске были осуществлены крупные инвестиционные проекты: введены в действие цифровая междугородная телефонная станция, сеть сотовой связи, Копыловский завод керамических изделий. ВЭА «Томскинтерсервис» значительную часть своей прибыли направляла на благотворительную деятельность, оказание Администрации области финансовой помощи по поддержке сельского хозяйства, выполнение социальных программ.
В период деятельности в Государственной Думе Томской области Ю. Я. Ковалёв занимался формированием законодательной базы в бюджетной и финансовой сфере, стоял у истоков разработки нормативной правовой базы по энергосбережению. Является автором ряда Законов о государственной поддержке малого бизнеса, инвестиционной и инновационной деятельности в Томской области.
Ю. Я. Ковалёв неоднократно избирался депутатом Томского городского и областного Совета народных депутатов. Был избран депутатом первого и второго созывов Государственной Думы Томской области (1994-2001 г. г.).
С 1997 г. был президентом Томского регионального отделения Российского фонда милосердия и здоровья, вице-президентом Попечительского совета ТПУ, членом Попечительского совета СГМУ.
Награждён тремя орденами «Знак почёта» (1971, 1981, 1986), орденом «За заслуги перед Отечеством» IV степени (1997 г.), медалями.
Трижды лауреат престижных международных наград Европейского центра исследований рынка (Бельгия, г. Брюссель, 1995, 1996, 1997) и Европейского Совета по глобальному бизнесу (Испания, г. Мадрид, 1997).
С января 2008 года по апрель 2010 - председатель Совета старейшин города Томска.
Решением ТГД № 166 от 18.10.1999 Ю. Я. Ковалёву присвоено звание Почётного гражданина города Томска.