ในสมัยนั้นมีกรมทำหน้าที่ทหารเรืออยู่ ๒ กรม คือ กรมทหารเรือพระที่นั่งเวสาตรี และกรมอรสุมพล เป็นกองเรือรบที่เรียกว่า "ทหารมะรีน" รวมอยู่ในบังคับบัญชาเดียวกัน แต่ยังขาดเอกภาพ
ในปี พ.ศ. ๒๔๓๐ ได้ทรงจัดตั้งกรมเสนาธิการขึ้น จึงรวมทั้ง ๒ กรมเข้าด้วยกันเป็นกรมทหารเรือ นอกจากนี้ พระองค์ท่านยังปรับปรุงเรือกลไฟจากเครื่องจักรข้างเป็นเรือจักรอีกด้วย ทรงเร่งรัดและปรับปรุงให้ขยายคู่เรือ และยังมีพระบรมราชองค์การให้ปรับปรุงซ่อมแซมป้อมเก่า สร้างป้อมใหม่ที่ทันสมัยเพื่อป้องกันพระนคร และได้พระราชทานนามว่า "ป้อมพระจุลจอมเกล้า"
หลังจากเกิดเหตุการณ์เรือรบฝรั่งเศษเข้ามาปิดปากอ่าว เมื่อ ๑๓ กรกฎาคม ๒๔๓๖ พระองค์ทรงให้พระองค์เจ้าอาภากร ( ขณะนั้นมีพระชนมายุเพียง ๑๓ พรรษา ) เสด็จไปศึกษาที่ประเทศอังกฤษ ได้ทรงศึกษาวิชาทหารเรือ พระองค์ทรงมีพระราชหัตถเลขาถึงพระเจ้าลูกยาเธอ พระองค์เจ้าอาภากรเกียรติวงศ์ดังนี้
พระที่นั่งอมรพิมามณี
วันที่ ๑๕ กุมภาพันธ์ รัตนโกสินทรศก ๑๑๓ ถึงชายอาภากรเกียรติวงศ์
ด้วยได้รับหนังสือวันที่ ๙ และหนังสืออื่นๆ ก่อนหน้านี้แล้วให้อุตส่าห์เล่าเรียนแลแสวงหาสิ่งที่เป็นประโยชน์ อย่าให้มีความบันเทิงใจในสิ่งที่ไม่เป็นประโยชน์เหลือเกิน ให้เป็นแต่ธรรมดาสามัญคนซึ่งต้องมีความสุขเป็นเครื่องเลี้ยงชีพอยู่ จะได้เป็นประโยชน์ส่วนตัวแลบ้านเมืองของตนสืบไป...
( พระปรมาภิไธย ) สยามินทร์ ( ๒๓ )
[