Benteng Sumenep atau Benteng Belanda dibangun pada tahun 1785. Benteng yang tinggi temboknya mencapai 3 meter ini berdiri di atas tanah seluas 15.000 meter pesrsegi (panjang 150 meter dan lebar 100 meter) dengan ketebalan tembok 5 meter. Benteng ini dilengkapi dengan asrama untuk 25—30 tentara. Mereka dibawah pimpinan seorang letnan. Di setiap sudut benteng (ada empat sudut) ada cannon-nya. Sebuah sumber Inggris menyebutkan bahwa dalam tahun 1811 benteng tersebut bentuknya dan lokasinya kurang strategis, sehingga dalam kenyataannya hanya digunakan sebagai gudang (tempat penyimpanan). Bangunan benteng itu sendiri terbuat dari bata . Ia mempunyai dua pintu masuk, yaitu di bagian utara dan selatan. Setiap pertahanan dihubungkan dengan pertahanan lainnya dengan tonjolan setebal 5 meter.
Dewasa ini segmen benteng yang masih tersisa adalah dua pintu gerbang, sebuah penjara, dan papan pengumuman. Oleh karena itu, fungsi benteng telah berubah menjadi areal proyek pengembangan petani ternak kecil. Dengan fungsinya yang baru ini maka di dalam dan di laurnya ada sejumlah bangunan kandang ternak dan rumah penjaga. Di luar benteng bagian barat ada sebuah tanah pekuburan Belanda yang sudah ada sejak tahun 1933.