Sekitar abad ke-16, pempek telah ada di Palembang. Saat itu Sultan Mahmud Badaruddin II tengah berkuasa di kesultanan Palembang Darussalam. Diduga, pempek palembang dipengaruhi oleh makanan orang-orang Cina. Pasalnya, pada saat itu orang-orang Cina mulai masuk ke Palembang. Nama pempek atau empek-empek sendiri diyakini berasal dari sebutan “apek”, yaitu sebutan untuk lelaki tua keturunan Cina.
Sekitar tahun 1617, berdasarkan cerita rakyat yang berkembang, seorang apek atau kakek berusia 65 tahun yang tinggal di daerah Perakitan (tepian Sungai Musi) merasa prihatin menyaksikan tangkapan ikan yang berlimpah di Sungai Musi. Hasil tangkapan itu belum seluruhnya dimanfaatkan dengan baik, hanya sebatas digoreng dan dipindang.
Si apek kemudian berinisiatif untuk membuat alternatif pengolahan lain. Kemudian ia mencampur daging ikan giling dengan tepung tapioka, sehingga dihasilkan makanan baru. Para apek menjajakan makanan baru tersebut keliling kota dengan sepedanya.
Konon, para pembeli sering mengejarnya dengan terburu-buru, maka dengan spontan para pelangganya sering memanggilnya dengan sebutan “pek” “sipek” “apek”, dan sering kali diucapkan berulang menjadi “pek pek” maka makanan tersebut akhirnya dikenal sebagai pempek Palembang atau mpek-mpek Palembang.
Versi lain menyebutkan bahwa dahulu warga etnik tionghoa mencari penghidupan di Palembang dengan cara berdagang, dan dalam upacara adat tertentu mereka menyajikan makanan dengan bahan dasar ikan dan tepung tapioka (sagu) untuk keperluan adat. Baru kemudian pada tahun 1916, makanan itu dijual oleh seorang keturunan Indonesia bernama Sipek.
Dalam perjalanannya pempek Palembang sendiri mengalami banyak pengembangan menjadi beragam jenis, seperti kapal selam, adaan, lenjer, lenggang, dan lain-lain.
Kapan lahirnya pempek, memang masih simpang siur, pasalnya singkong yang menjadi bahan dasar tepung tapioca baru dikenalkan oleh Portugis pada abad ke-16. Artinya, kemungkinan besar tepung tapioca belum ditemukan sebelum abad itu.
Pula, pada abad ke-18, sepeda atau velocipede baru dikenal di Prancis dan Jerman. Artinya, agak janggal rasanya pada abad ke-16 apek telah menggunakan sepeda untuk menjajakan dagangannya. Walaupun begitu sangat mungkin pempek merupakan adaptasi dari makanan Cina seperti baso ikan, kekian ataupun ngohyang, mengingat pada saat ini kebanyakan pempek juga dijual oleh kaum keturunan Tionghoa.
Pada awalnya pempek dibuat dari ikan belida. Namun, dengan semakin langka dan mahalnya harga ikan belida, ikan tersebut diganti dengan ikan gabus yang harganya lebih murah, tetapi dengan rasa yang tetap gurih.
Pada perkembangan selanjutnya, digunakan juga jenis ikan sungai lainnya, misalnya ikan putak, toman, dan bujuk. Dipakai juga jenis ikan laut seperti Tenggiri, Kakap Merah, parang-parang, ekor kuning, dan ikan sebelah.