Ідея побудувати неприступний форт між двома островами виникла ще 1666 року, коли у містечку Рошфор було відкрито військові корабельні верфі. Ці стратегічно важливі країни об’єкти могли стати легкої мішенню для англійців, із якими французи періодично воювали протягом багатьох століть. Артилерія Іль-д’Екса та Олерона була не в силах захистити верфі у разі несподіваного нападу, оскільки дальність стрілянини не дозволяла перекрити протоку повністю.
Посередині залишалося приблизно 6 кілометрів, що дозволяло потенційному противнику благополучно обійти наявну мілину, пройшовши загороджувальний вогонь. Зведення цьому місці фортифікацій дозволило б усунути таку небезпеку. Людовік XIV припускав, що керуватиме будівельними роботами буде відомий інженер свого часу Себастья Вобан. Однак той відмовився, вважаючи витівку неможливою.
До початку XIX століття ніхто з володарів Франції більше не згадував ідеї будівництва фортеці. Це питання стало актуальним за часів правління Наполеона I, який вів дуже агресивну зовнішню політику, яка викликала невдоволення Англії. Тому в 1881 році зведення форту Боярд все ж таки почалося. Будівельні технології на той момент зробили крок далеко вперед, і країна вже могла собі дозволити такі фортифікації.
Встановлюючи важкі кам’яні блоки на морське дно, майстри зіткнулися з тим, що камінь швидко поринав у пісок під власною вагою. Великі витрати та сумніви в успіху проекту змусили владу згорнути будівництво у 1809 році. Відновилося воно лише через 28 років, за часів царювання Луї-Філіппа I, який знову розв’язав конфлікт з Англією.
Зведення конструкції було завершено лише 1857 року. На той час військова справа досягла небувалих висот, що дозволило новому озброєнню легко тримати під контролем навколишні води. Вийшло, що добудований форт не був потрібен. Будова залишилася у веденні військового міністерства, але його гармати так жодного разу і не вистрілили. Згодом тут було обладнано в’язницю, проте вона функціонувала недовго.
На початку XX століття все оснащення фортеці було розпродано, а сам форт залишився поза увагою. Друга світова війна завдала істотних збитків будівлі форту Боярд, оскільки німецькі війська використовували його як мішеню для артилерійських навчань. Протягом усього століття зміцнення неодноразово перепродували на аукціонах, поки його в 1989 році не придбав продюсер Жак Антуан для використання як знімальний майданчик.