Sebelum tahun 2009 Lembaga Perpustakaan Kota Jambi berupa Unit Pelayanan Teknis Daerah (UPTD) yang berdomisili di Kelurahan Tanjung Pinang, Kecamatan Jambi Timur. Organisasi ini dibawah naungan Dinas Pendidikan dan Kebudayaan Kota Jambi. Sejalan dengan semakin dipahamami pentingnya fungsi lembaga perpustakaan dalam mendorong sumberdaya pembelajar, maka Pemerintah Kota Jambi dibawah pimpinan Walikota Jambi H.R. dr. Bambang Priyanto melakukan perubahan UPTD Perpustakaan menjadi Badan Perpustakaan, Arsip dan Dokumentasi (BPAD) Kota Jambi yang pembentukannya berdasarkan Peraturan Daerah Nomor 11 Tahun 2008 tentang Pembentukan Organisasi Lembaga Teknis Daerah Kota Jambi (Lembaga Daerah Kota Jambi Tahun 2008 Nomor 011) dan Peraturan Walikota Jambi Nomor 26 Tahun 2009 tentang Fungsi Badan, Sekretariat, Bidang dan Rincian Tugas Sub Bagian, Sub Bidang serta Tata Kerja pada Badan Perpustakaan, Arsip dan DokumentasI Kota Jambi dan berlokasi di Jl. Prof.Dr.Sumantri Brojonegoro, Kelurahan Selamat Kec. Telanaipura. Ide perubahan UPTD Perpustakaan menjadi Badan Perpustakaan sekaligus desain gedung perpustakaan terinspirasi ketika sepulangnya Walikota Jambi H. Arifien Manap melakukan kunjungan kerja ke Perpustakaan Inggris.

Pada tahun 2016 Badan Perpustakaan, Arsip dan Dokumentasi Kota Jambi, diubah kembali menjadi Dinas Kearsipan dan Perpustakaan Kota Jambi yang dibentuk melalui Peraturan Walikota Jambi Nomor 50 Tahun 2016 tentang Kedudukan, Susunan, Tugas dan Fungsi serta Tata Kerja Pada Dinas Kearsipan dan Perpustakaan Kota Jambi, yang ditanda tangani pada tanggal 27 Desember 2016 oleh H. Syarif Fasha, ME selaku Walikota Jambi priode 2014-2018. Pembentukan Dinas Kearsipan dan perpustakaan ini didasari oleh adanya perubahan nomen kelatur Organisasi Perangkat Daerah (OPD) secara nasional berdasarkan Peraturan Pemerintah Nomor 18 Tahun 2016 tentang Organisasi Perangkat Daerah ( Lembaran Negara Republik Indonesia Tahun 2016 Nomor 114, Tambahan Lembaran Negara Rpublik Indonesia Nomor 5887), dan Peraturan Daerah Kota Jambi Nomor 14 Tahun 2016 tentang Pembentukan dan Susunan Perangkat Daerah ( Lembaran Daerah Kota Jambi Tahun 2016 Nomor 14).