Politeknik Negeri Semarang merupakan satu dari enam politeknik yang didirikan dengan bantuan Bank Dunia sesuai Surat Keputusan Direktorat Jenderal Pendidikan Tinggi Nomor 03/Dj/Kep/1979. Dengan surat keputusan tersebut, didirikan politeknik di Medan, Palembang, Jakarta, Bandung, Semarang dan Malang. Pendirian enam politeknik ini menyusul keberadaan Politeknik Manufaktur Swiss dan ITB yang telah didirikan pada tahun 1976.Pada saat pertama kali menerima mahasiswa baru di tahun 1982, Politeknik Negeri Semarang saat itu bernama Politeknik Universitas Diponegoro dan membuka tiga jurusan yaitu Jurusan Teknik Sipil, Jurusan Teknik Mesin, dan Jurusan Teknik Elektro. Dalam perkembangannya, dibuka Jurusan Tata Niaga (tahun 1985) dan pengembangan Jurusan Teknik Elektro menjadi Jurusan Teknik Listrik dan Jurusan Teknik Elektronika/Telekomunikasi.