Birlik ordusu hem denizden hem de karadan Konfederasyon savunmasını iki gün boyunca top atışına tuttu. Konfederasyon ordusunun durumu son derece kötüydü. Tarih 3 Mayıs 1862’ye geldiği zaman ise Konfederasyon ordusu geri çekilmeye başladı. Birlik ordusu ise 4 Mayıs’ta Konfederasyon ordusunun geri çekilmesinden haberdar oldu.

Ancak haberi getiren Konfederasyon tarafından kaçmış iki köleydi. Bu yüzden Birlik komutanı Konfederasyon tarafının geri çekilmesini kontrol etmek için askerlerini gönderdi. Haber doğruydu, Konfederasyon ordusu geri çekiliyordu. Birlik komutanı derhal ordusunu uykusundan uyandırdı ve 4 Mayıs 1862 tarihinin sabahında Birlik askerleri ilk önce 16 Nisan’da geri püskürtüldükleri Konfederasyon hattını ele geçirdi. Sonrasında ise Yorktown şehrinde bazı patlamalar olduğu haberi Birlik komutanına ulaştı. Birlik komutanı ise Konfederasyon ordusunun geri çekilip çekilmemesi konusunda şüpheye düştü.