Постановлением ЦИК СССР от 10 июля 1934 года Объединенное государственное политическое управление (ОГПУ) было упразднено как самостоятельный орган. На его базе было создано Главное управление государственной безопасности (ГУГБ), включенное в состав Народного комиссариата внутренних дел СССР. Реорганизация органов государственной безопасности была вызвана серьезным изменением оперативной обстановки и внешними угрозами.

В 1935-1938 годах из-за возросшей угрозы нападения гитлеровской Германии на СССР перед  спецслужбами СССР и Азербайджанской ССР стояли неотложные задачи. Бакинская нефть и ослабление Азербайджанской ССР в целом входили в сферу особых интересов Гитлера и с точки зрения захватнической политики на Востоке. Фашисты обещали включить бакинскую нефть в «Континентальное нефтяное общество» Германии, заниматься ее переработкой и транспортировкой. В результате принятых практических мер в Азербайджане были задержаны несколько шпионов гитлеровской Германии, прошедших специальную подготовку.

Сложившаяся ситуация требовала перестройки работы органов безопасности. Указом Президиума Верховного Совета СССР от 20 июля 1941 года в связи с переходом на военные условия работы НКВД и НКГБ были объединены и переименованы в НКВД. На основании данного указа в структуры органов безопасности союзных и автономных республик, краев и областей были внесены соответствующие изменения. Указом Президиума Верховного Совета Азербайджанской ССР от 20 августа 1941 года НКВД Азербайджанской ССР и НКГБ Азербайджанской ССР были преобразованы в одну структуры и переименованы в НКВД. Руководителем данной структуры был назначен Миртеймур Миралекпер оглу Ягубов, а его первым заместителем - Степан Фёдорович Емельянов. 

В связи со складывающейся ситуацией структура и задачи органов безопасности часто менялись. В результате Указом Президиума Верховного Совета Азербайджанской СССР Народный комиссариат внутренних дел с 26 мая 1943 года был переименован в Народный комиссариат государственной безопасности.