Dipende essenzialmente dalle tue aspettative. In queste cose bisogna andarci molto piano, devi sapere chi sono questi "tutti" che ti danno consigli.
Personalmente quando si tratta di siti archeologici io tendo ad ascoltare i consigli solo di un paio di persone che conosce benissimo e so che hanno interessi e gusti simili ai miei, e comunque li prendo con le pinze e spesso poi faccio di testa mia.
Anche a me Olimpia ha un po' deluso, ti dico subito che non è un sito archeologico come può essere Efeso, Leptis Magna, Hierapolis, Afrodisia, Cnosso, Delos, Pompei o la valle dei templi, solo per citarne alcuni nel bacino del mediterraneo.
Comunque, io ti consiglierei di visitarlo, se non altro perché lo stadio e i templi di Hera e Zeus meritano la visita. Al di là di quello, poi, Olimpia è un simbolo, quindi io non direi mai ad uno che si trova nei pressi di non andarlo a vedere.
Poi potrai tirare le somme in base a quello che ti aspettavi e a quello che hai visto magari prima di quel sito, ma io ti consiglierei di visitarlo. E' pur sempre sito patrimonio dell'Unesco (un motivo ci sarà!) e anche se può essere un po' deludente per chi aspetta uno dei migliori siti archeologici della Grecia (la fantasia devi usarla molto molto spesso!), credo che per chi ha un minimo di passione per la storia antica sia un sito comunque da non perdere. Come ti dicevo è un simbolo che va la di là dello stato di conservazione in cui si trova.
Tieni presente poi che tutti i siti archeologici, ma soprattutto quelli dove "si capisce meno" perchè i luoghi non sono ben conservati, se visitati con una guida, cambiano completamente prospettiva. Se hai la possibilità di visitarlo con una brava guida diventerà estremamente interessante.