На основании резолюции Всероссийского центрального исполнительного комитета от 6 февраля 1922 года ЧК и некоторые ее местные органы были упразднены и на базе данной структуры создано Государственное политическое управление (ГПУ). В Азербайджане же на заседании Президиума Центрального исполнительного комитета от 7 августа 1926 года было принято решение «О замене АзЧК на ГПУ».

Основная задача ГПУ заключалась в успешном завершении осуществляемой большевистским правительством политики коллективизации. Однако в 1928-1929 годах сопротивление национальных сил политике коллективизации еще больше усилилось. Проанализировав ситуацию в стране, ЦИК и СНК СССР подвергли критике недостатки в правоохранительных органах и отметили необходимость определенных структурных преобразований.  В целях военизации азербайджанской милиции на повестку дня ЦИК и СНК Азербайджана был вынесен вопрос об упразднении Народного комиссариата внутренних дел  (НКВД).

23 марта 1930 года ЦИК Азербайджана вернулся к данному вопросу и принял решение об упразднении НКВД как отдельного комиссариата. Некоторые его структурные подразделения – милиция и отдел уголовного розыска по государственной и организационной линии были присоединены к ГПУ. Однако вскоре НКВД был восстановлен. Точнее, НКВД и ГПУ продолжили работу как самостоятельные структуры.