Джеймс Смітсон народився у Парижі близько 1765 року і був незаконно народженою дитиною багатої вдови Елізабет Мейсі і Г'ю Смітсона (Персі), герцога Нортумберленда. У 1786 році Джеймс закінчив Пемброк-коледж в Оксфорді, здобувши ступінь магістра. Він займався хімією, мінералогією, дослідженням природних явищ, написав з цих питань 27 наукових робіт. Після смерті матері він став заможною людиною, подорожував Європою і ніколи не був одружений.
Джеймс Смітсон помер 27 червня 1829 року в Італії в 1829 році і заповів всю свою власність народу Сполучених Штатів Америки, країні, в котрій він ніколи не був, і побажав, щоб на його кошти у Вашингтоні були засновані інститут, національний університет, публічна бібліотека чи обсерваторія для «збільшення і поширення знань».
В 1836 році спадок був прийнятий США і склав, буквально, 11 ящиків, в котрих знаходилось 104 960 золотих соверенів, 8 шиллінгів і 7 пенсів, колекція мінералів, бібліотека і науковий архів. Після переплавки золота його вартість склала 500 тисяч доларів (більше 10 мільярдів доларів за курсом 2010 року). 10 серпня 1846 року, після десяти років дебатів з приводу того, як краще використати спадщину Джеймса Смітсона, Конгрес США прийняв рішення відкрити Смітсонівський інститут, перший заклад із системи наукових і музейних центрів, до якого сьогодні входять 19 музеїв, галерей (включаючи Національні музеї Історії природознавства, Зоологічний парк, Портретна галея, Музей авіації та космонавтики) і бібліотек по всьому світу.
Нині — найбільший музейний комплекс у світі. Він має тісні зв'язки з іншими 168 музеями в 39 штатах, Панамі та Пуерто-Ріко, куди Смітсонівський інститут передав експонати у довготривалу оренду. Щороку Смітсонівський інститут проводить безліч пересувних виставок — зокрема у 2008 році він провів 58 подібних виставок у 510 містах США. Всі музеї Смітсонівського інституту, які щороку відвідує понад тридцять мільйонів чоловік, є безкоштовними і фінансуються як із спеціального фонду, так і урядом США.
У 1901 році в центральній будівлі Смітсонівського інституту, яка на сьогоднішній день є інформаційним центром для всіх, хто відвідує музей, були поховані останки і самого Джеймса Смітсона, привезені з Англії.