Castelul a fost construit pe un teren locuit încă din epoca bronzului. În această regiune au fost descoperite numeroase vestigii arheologice din acea epocă, dar şi urmele unor castre romane. Primul mare proprietar al moşiei Drajna a fost marele căpitan şi cronicar Constantin Filipescu-Mărgineanu, nepotul domnitorului Şerban Cantacuzino. Nepotul acestuia, Nicolae Filipescu, a construit biserica Sf. Alexandru din satul Drajna de Jos. Dupa moartea tatălui, timp în care moşia este prădată de trupele otomane, Alexandru Filipescu-Drajneanul (1787-1856) reface singur domeniul familiei sale.
În timpul lui Alexandru Filipescu s-au început zidurile care înconjoară curtea, fiind turnate şase tunuri din bronz cu monograma sa. În aceaşi perioadă se reface şi conacul cel mare, o clădire cu trei nivele, decorată în interior după stilul occidental. Acest stil a fost impus de prietenul boierului, artistul francez Charles Colson. Biserica conacului poartă hramul "Sfantul Alexandru", fiind pictată de I. Vintilescu. În capelă se află cavoul familiei, acoperit cu un bloc de marmură.
Alexandru Filipescu a înfiinţat şi o vastă bibliotecă, aducând cu el valoroase cărţi de la Paris. Find un pasionat sculptor, boierul a realizat mai multe obiecte de artă care se păstrează în saloanele castelului. (printre care câteva candelabre de abanos si marmură). Castelul era construit pe trei nivele (parter si doua etaje), având douăzeci şi şapte de camere şi alte utilităţi, printre care şi o pivniţă enormă la subsol. La parter se găseau şi camerele oaspe
ţilor mobilate cu lemn masiv de nuc. O atenţie deosebită era acordată sălii de arme care includea bogate colecţii.
Pe timp de iarnă conacul nu putea fi locuit. Alexandru Filipescu a construit un "conac de iarnă", cu ziduri groase şi călduroase, format din şase camere şi un hol. Pe timpul iernii intreaga familie se muta în camerele acestei construcţii. Palatul a trecut în posesia familiei Kretzulescu în anul 1854, când fiica lui Alexandru Filipescu se va căsători cu Aga Constantin Kretzulescu. Înteaga moştenire a moşiei , dar şi a casei Kretzulescu din Bucureşti, rămâne în posesia Elenei Kretzulescu.
Toate eforturile de refacere a castelului de la Drajna şi a clădirilor anexe au fost zadarnice odată cu cutremurul din 1914. Pagubele au fost imense, aproape jumătate din castel fiind ruinat. În anul 1915 Elena Kretzulescu va începe, împreună cu fiul său Dumitru Warthiadi, renovarea castelului, respectând vechiul plan al conacului. Castelul a fost dotat cu băi moderne, apă curentă, curent electric etc.
Evenimentele istorice au afectat moşia de la Drajna. Mai întâi, castelul a fost ocupat de trupele germane (1916), apoi a fost jefuit de trupele sovietice (1945). In urma acestei devastări de bunurile de valoare (mobilier, tablouri, lustre de cristal etc), castelul a avut diferite funcţii precum sediul Gospodăriei Agricole de Stat, orfelinat, cămin de odihnă pentru sportivi, sanatoriu TBC, destinatie pe care o are si in prezent.
În ciuda numeroaselor distrugeri şi apoi refaceri, castelul boierilor Filipescu renovat de Elena Kretzulescu reprezintă una dintre puţinele reşedinţe boiereşti din Ţara Românească care s-a păstrat până în zilele noastre. Povestea acestei ilustre familii a fost descrisa de Dumitru Kretzulescu-Warthiadi in cartea sa intitulata «Istoria castelului din Drajna, a regiunii inconjuratoare şi a familiei ce-l stapâneşte de peste 300 de ani» (1957)
