Виникла Іванівка наприкінці XVIII століття на землі майора Баранова, який одержав у 1793 році 3,1 тис. десятини від царського уряду. В першій половині XIX століття населений пункт називався Малою Баранівкою.
Село зростало за рахунок припливу селян, які тікали від жорстоких утисків з центральних губерній України та Росії на південь України. В 1826 році в Малій Баранівці мешкало 1,9 тис. осіб. У цьому ж році Мала Баранівка отримала статус містечка.
У 1887 році у містечку Янівка мешкало 660 чоловіків та 625 жінок.
Під час Голодомору 1932—1933 років померло щонайменше 11 жителів селища.
