Silba je naseljena još u rimsko doba. U uvali Pocukmarak pronađen je novčić rimskog cara Antonia Pia iz 161. godine. Neka povijesna vrela kazuju da su otok još u 8. st. naselili Hrvati. Kontinuirana naselja nastaju krajem 15. i početkom 16. stoljeća. Prvi put u povijesti Silbu spominje car putopisac Konstantin Porfirogenet u 9. stoljeću pod imenom Selbo (od latinske riječi za šumu, Silva).

Od 827. godine Silba pripada zadarskoj općini. Godine 1073. hrvatski kralj Petar Krešimir na molbu sestre opatice Čike daruje Silbu samostanu Sv. Marije u Zadru. Otok kasnije dolazi u vlast Mletačke republike koja ga 1639. godine prodaje kapetanu Frani Soppeu za 12.350 zlatnih dukata. Silba potom prelazi u ruke glasovite mletačke obitelji Morosini. Oni su Silbu kao svoj posjed držali sve do prve četvrtine 19. stoljeća. Godine 1838. Morosini prodaju Silbu Marku Ragusinu iz Velog Lošinja, inače bogatom povratniku iz Amerike. Zbog 13-godišnjeg spora s mještanima oko poreza, Ragusin otok odluči prodati Sibenjanima tako da svaki plati razmjerno svom posjedu, ukupno 5025 bavarskih talira. Vijest o otkupu na otok je stigla 19. ožujka 1852.

U spomen na taj događaj Sibenjani svake godine svetkuju Sv. Josipa. Silba svoj procvat doživljava u 17. i 18. st. kao mjesto pomoraca i vlasnika stotinu jedrenjaka. Snažno pomorstvo uvjetovalo je razvoj osobite građanske kulture po načinu stanovanja, odijevanja i uređenju kuća.

O blagostanju stare Silbe najbolje se može prosuditi po župnoj crkvi u kojoj se čuvaju umjetnine najvišeg reda, između ostalog djela Tiziana, Rudolfina i drugih renesansnih slikara. Silba je u to vrijeme imala oko 1200 stanovnika. Otok Silba danas administrativno pripada gradu Zadru.