Народився Микола Ярошенко в Полтаві 1 (13) грудня 1846 року в сім’ї військовослужбовця. У Полтаві пройшло його дитинство: тут він здобув початкову освіту – у Полтавському кадетському корпусі, тут отримав перші уроки малювання – його вчителем став випускник Петербурзької академії мистецтв Іван Зайцев. Завершив навчання М.Ярошенко в Петербурзі у Михайлівській артилерійській академії, після якої був призначений на посаду завідувача штампувальної майстерні Петербурзького патронного заводу, де прослужив більше 20 років.
У 1892 році одержав звання генерал-майора. Наступного року за станом здоров’я вийшов у відставку.
Спеціальної художньої освіти М. Ярошенко не мав. Ще під час навчання у військових закладах він відвідував Рисувальну школу, де викладав видатний художник І.М. Крамський. Протягом п’яти років був вільним слухачем Петербурзької Академії мистецтв. З 1875 року Ярошенко експонент, а з 1876 – член правління Товариства пересувних виставок. З Товариством пов’язана вся подальша доля М. Ярошенка. Він став одним із його ідейних керівників, очолив Товариство після смерті І.Крамського. Миколу Ярошенка називали „совістю передвижників”.
Неодноразово відвідував Полтаву, де продовжувала мешкати його матір. Мав дружні стосунки з колом полтавських художників – Іваном Зайцевим, Григорієм Мясоєдовим, Василем Волковим, Леонідом Позеном.
Останні роки життя Микола Ярошенко прожив у Кисловодську (зараз в його будинку відкрито меморіальний музей).
Помер від серцевого нападу 25 червня 1898 року. На його могилі споруджено пам’ятник – бронзовий бюст роботи Леоніда Позена.
Вдова художника, виконуючи волю свого чоловіка, заповіла колекцію творів Миколи Олександровича Ярошенка його рідному місту. У 1917 році її привезено до Полтави. До колекції входило 100 картин, 23 робочих альбоми малюнків, скульптурні твори Миколи Ярошенка та досить значна за кількістю і, головне, за значенням збірка робіт друзів і колег по Товариству пересувних виставок – Василя Полєнова, Івана Шишкіна, Іллі Рєпіна, Михайла Нестєрова, Василя Максимова та ін. Нині вони складають основу збірки Полтавського художнього музею, два зали якого безпосередньо відведені творчості славного земляка – Миколи Олександровича Ярошенка.
