Gården blev säteri på 1650-talet med en timrad ståndsmässig huvudbyggnad uppförd av dåvarande ägaren överstelöjtnant Gustaf Ribbing. Den nuvarande huvudbyggnaden blev färdig 1809 och är byggd av stiftsbyggmästare Caspar Seurling som också står bakom många kyrkobyggnader från den här tiden. Arkitekt var Carl Christoffer Gjörwell (1766-1837) känd för att ha ritat bland annat Haga slott. Gjörwell är även känd för sina inredningar i empirestil.
Ribbingsholm intar en särställning i Östergötland. Byggnaden är utformad som en italiensk villa i Andrea Palladios anda i stram, enkel nyklassisk stil, sammanbyggd med lägre sidobyggnader, så kallade pocher, som är rusticerade och står i kontrast mot övriga slätputsade fasader.
Byggnaden vilar på en terrasserad höjd som leder till en öppen park med grusade gångar och rundlar. Det flacka valmade plåttaket är dolt av en träbalustrad.
De stora fönstren på övervåningen berättar att de mest representativa salongerna ligger på övervåningen. Genom hela byggnaden leder en korridor från huvudentrén till entrén ut mot parken. Köket ligger i en av pocherna.
Romantiken förstärks av att handlingen i Carl Jonas Love Almqvists Drottningens Juvelsmycke utspelar sig på Ribbingsholm.
Rusticering (rustik): murverk (murningsteknik) där murstenarnas framsida lämnas råhuggna och skjuter ut utanför murlivet.