Ursprünglich hieß der Ort „Las Gaviotas“. Der Dichter hat ihn aufgrund der dortigen Felsen und vielleicht auch, weil er sich dorthin zurückziehen konnte, um in Abgeschiedenheit zu schreiben, in „Isla Negra“ umbenannt. Bei seiner Rückkehr aus Europa 1937 suchte Neruda nach einem Ort, um sich dem Verfassen von „Der große Gesang“ zu widmen, einem bedeutenden Buch über die Geschichte und die Natur Amerikas. „Die wilde Küste von Isla Negra, mit der unruhigen Bewegung des Ozeans, erlaubte es mir, mich mit Leidenschaft in die Arbeit an meinem neuen ‚Gesangs‘ zu stürzen.“, vermerkte er in seinen Memoiren.

„…es war mitten am Nachmittag, wir kamen zu Pferd an diesem einsamen Ort an…“- erinnert der Dichter in seinem Buch Una casa en la arena (zu Deutsch Ein Haus im Sand), „..Don Eladio vorneweg, durchwatete den Sumpf von Córdoba (…) Zum ersten Mal konnte ich wie einen Stich diesen Duft nach maritimen Winter, vermischt mit Boldo-Strauch und salzigem Sand, Algen und Disteln vernehmen…"

Don Eladio Sobrino war ein spanischer Seemann, der endgültig in Chile geblieben war, als ihm sein Schiff im Südhafen seinen Dienst versagte.  Er war es, der 1938 Neruda das Grundstück mit einer sich darauf befindlichen Steinhütte verkauft hatte. Bald, wie der Dichter schreibt,: „wuchs das Haus wie Menschen, wie Bäume…“

Im Winter des Jahres 1943, begann Neruda mit dem katalanischen Architekt, Germán Rodríguez Arias, eine Reihe von Ausbauarbeiten an dem Haus, welche im März 1945 beendet wurden. Zu jener Zeit war es nicht leicht, in dem Gebiet Bauarbeiten durchzuführen: alle Materialien mussten per Ochsenwagen über den Sumpf von Córdoba angeliefert werden.

Der erste bedeutende Eingriff, war der Turm ohne Dach, ähnlich der Architektur des mediterranen Europas. Später ließ der Dichter den Turm bedachen, um ihn wie die Häuser von Temuco, der Stadt seiner Kindheit, aussehen zu lassen.

Über den Pazifik schrieb der Dichter: „Er trat aus jeder Karte. Es gab keinen Ort, wo man ihn hätte unterbringen können. So groß, zügellos und blau passte er nirgendwohin. Deshalb hat man ihn vor meinem Fenster gelassen.”

Das Haus Isla Negra ist in die Küstenlandschaft eingebettet. Dort hat das Meer, mit seinen Wellen, Riffen, Strand und Felsen die überwältigenden Eindrücke, die Neruda als Kind bei seinem ersten Kontakt mit dem Ozean in Puerto Saavedra hatte, wiederaufleben lassen. Später wurde das Meer zu einem der mystischen Szenarios seiner Poesie.

Die wichtigsten Sammlungen, die in diesem Haus aufbewahrt werden, sind thematisch mit dem Meer verbunden: Galionsfiguren vom Heck, Segelimitationen, Flaschenschiffe, Seeschnecken, Pottwal-Zähne. Es gibt auch Plätze, die seiner Freundschaft zu einigen toten Poeten gedenken, deren Namen er zum Beispiel in die Balken der Bar hat einschnitzen lassen. Der Besuch bekommt aber auch andere Kollektionen, wie die der besonders geformten Flaschen, der Masken, antiker Schuhe und Tabakpfeifen, zu sehen.

Der Architekt und Freund Nerudas, Sergio Soza, hat ab 1965 weitere Erweiterungsarbeiten am Haus geplant: die Bögen, die Teile des Hauses verbinden und die Räumlichkeiten, die das Zimmer mit dem Pferd und die Covacha beherbergen. Das war ein Ort an den sich der Dichter zum Schreiben zurückzog. Neruda hat ihn mit Zink überdachen lassen, um den Gesang des Regens zu hören und erneut die Gefühle, die er in dem Haus seiner Kindheit im regnerischen Süden Chiles hatte, wiederaufleben zu lassen.

In dem Haus Isla Negra schrieb Neruda einen wichtigen Teil seines literarischen Werks. Hier hat er den Großteil seiner Bücher zusammengestellt und seine aus dem Süden stammende Gastfreundlichkeit ausgelebt.

Der Dichter hat stets die Nationalfeiertage (um den 18. September herum) gefeiert. Trotz der Situation in der sich das Land nach dem Militärputsch befand, kamen auch am 18. September 1973 einige Freunde nach Isla Negra. Dieses Mal brachten sie jedoch nur besorgniserregende Nachrichten.

Am Tag darauf wurde der bereits schwer erkrankte Dichter in einem Rettungswagen in die Hauptstadt gefahren, aus der er erst im Dezember 1992 nach Isla Negra zurückkehrte, als seine Überreste, gemeinsam mit denen seiner Frau, Matilde Urrutia, dorthin überführt wurden. Diese Beisetzung wurde mit allen Ehren, die dem Poeten gebühren, im Beisein der höchsten Autoritäten des Landes durchgeführt. Damit wurde dem Wunsch, den der Dichter vor fast fünfzig Jahren in seinem Gedicht „Disposiciones“ aus Der große Gesang geäußert hatte entsprochen:

„Genossen begrabt mich in Isla Negra,/gegenüber dem Meer, das ich kenne, an jenem rauen, steinigen Ort/mit den Wellen, die meine verlorenen Augen/nicht wieder sehen werden…“