Silba war schon in der Römerzeit bewohnt. In der Bucht Pocukmarak wurde eine Münze mit dem römischen Kaiser Antonio Pio aus dem Jahr 161 gefunden. Nach einigen Angaben siedelten sich hier die Kroaten im 8 Jh. an. Kontinuierte Ansiedlungen entstanden Ende des 15 und Anfang des 16 Jh. Silba wurde zum ersten Mal in der Geschichte vom Kaiser und Reiseschriftsteller Konstantin Porfirogenet im 9 Jh. unter dem Namen Selbo erwähnt (von silva, lateinisch Wald). 
Ab dem Jahr 827 gehört Silba zur Zadarer Gemeinde. Im Jahre 1073 verschenkt der kroatische König Petar Krešimir, der Bitte seiner Schwester und Klostervorsteherin Cika nachgehend, die Insel Silba an das Kloster der Hl. Maria in Zadar. Danach gelangt sie unter die Herrschaft der Venezianischen Republik, die sie 1639 an Kapitän Fanni Soppe verkauft. Etwas später kommt sie in die Hände der venezianischen Familie Morosini, die Silba bis zum ersten Viertel des 19. Jh. im Besitz behält. Im Jahre 1838 verkauft sie Morosini an den reichen Rückwanderer aus Amerika Marko Ragusin aus Veli Lošinj. Wegen eines 13 jährigen Steuer-Rechtsstreits mit den Einheimischen, beschließt Ragusin die Insel an ihre Bewohner zu verkaufen. Jeder musste im Verhältnis zu seinem Besitztum bezahlen, insgesamt 5025 bayrische Taler. Die Nachricht darüber erreichte am 19.März 1852 die Insel. Als Andenken an dieses Ereignis feiern die Einheimischen jedes Jahr den Hl. Joseph.
Das 17 und 18 Jh. wird auf Silba als Blütezeit angesehen, sie galt als Ort der Seemänner und Besitzer von 100 Segelschiffen. Die starke Schifffahrt hatte Einfluss auf die überdurchschnittliche Kultur der Lebensweise, der Kleidung und der Hauseinrichtung. Zu dieser Zeit lebten über 1200 Einwohner auf der Insel. Heute gehört Silba administrativ zu Zadar.
