Родился в 1891 году в Варшаве в семье купца. Детство Мандельштам провёл в Петербурге.

В 1907 году Осип Эмильевич учился в Тенишевском училище.

С 1907 по 1908 год продолжил обучение в Сорбонне.

С 1909 по 1910 год учился в Гейдельбергском университете. В это время Мандельштам знакомится с Вячеславом Ивановым, посещает его литературные вечера.

В 1910 году впервые опубликованы стихотворения Осипа Эмильевича в журнале "Аполлон". В Париже он знакомится с Н. Гумилёвым, а в 1911 году - с А. Ахматовой.

С этого времени Мандельштам примыкает к акмеизму, войдя в "Цех поэтов". Осип Эмильевич активно пишет статьи и литературные манифесты, идеи которых не всегда разделяли акмеисты.

С 1911 года Мандельштам жил в Петербурге и учился в Петербургском университете, который ему окончить не удалось. Изучал всё это время филологию, иностранные языки.

В 1917 году приветствовал Февральскую революцию и крайне скептически отнёсся к Октябрьскому перевороту. Служил в Центральной коллегии по разгрузке и эвакуации Петрограда.

После Октябрьской революции Осип Эмильевич переезжает в Москву и работает в Наркомпросе заведующим подотделом художественного развития учащихся в Отделе реформы школы.

Мандельштам по состоянию здоровья берёт отпуск, но не уведомляет об этом начальство официально, после чего "дело" Мандельштама разбираюсь на коллегии, но никаких административных наказаний к Осипу Эмильевичу не применили.

В начале 1919 года Мандельштам уезжает на Украину (Харьков, Киев), где он встретил свою будущую жену Надежду Хазину. Надо сказать, что на протяжении всей жизни Мандельштам испытывал самые нежные чувства к Марине Цветаевой, был её преданным другом.

До 1920 года посетил Крым, Кавказ и через Петроград вернулся в Москву.

В 1921 году Мандельштам вновь едет на Кавказ, посещает Киев. Потом он женится и уезжает в Тифлис. Через год поэт снова в Москве. Союз писателей выделил Мандельштаму комнату в Доме Герцена, где жили литераторы. Осип Эмильевич в это время активно занимается переводами, публикует очерки, статьи, стихи.

В 1923 году выходят сборники стихотворений Мандельштама "Камень" и "Вторая книга". Это было спокойное и благополучное время в жизни Осипа Эмильевича, когда наладился быт, стабилизировалось материальное положение.

В августе 1923 года Мандельштам уезжает в санаторий в Гаспре и просит оставить комнату в Доме Герцена за ним с разрешением проживать там его брату. Но по возвращении с курорта в Москву Мандельштаму комнату не возвращают. Поэту негде жить, нет работы, нет денег. Ситуация была почти катастрофической. За Москвой-рекой Мандельштамы поселяются в комнате профессора, который почти весь год жил на даче. Осип Эмильевич получает возможность вновь работать, надеясь со временем выкупить это жильё совсем. Работает Мандельштам, по его собственным словам, для денег, чтобы хоть немного поправить материальное положение семьи.

Позже Мандельштамы около месяца живут в подмосковном Доме отдыха, а затем переезжают к другу, так как комнаты профессора они лишились.

В начале осени Мандельштам с женой переезжают в Ленинград.

В 1928 году Осипа Эмильевича привлекают к разбирательству "Дела об "Уленшпигеле". Суть дела в том, что книгу Шарля де Костера, которую Мандельштам редактировал, издательство ошибочно выпустило, обозначив Осипа Эмильевича переводчиком. Переводчик А. Горнфельд потребовал объяснений. Издательство опубликовало в прессе официальное извинение, но на этом дело не закончилось, так как Горнфельд опубликовал в прессе фельетон на Мандельштама, а Мандельштам ответил новой публикацией.

С 1929 года Осип Эмильевич поселяется в Москве, вначале остановившись в общежитии учёных, а затем переехав в комнату брата. В это время начинается вновь травля Мандельштама в связи с "Делом об "Уленшпигеле". Доходит до судебного разбирательства, в результате которого Мандельштама призывают к моральной ответственности, а настоящего переводчика упрекают в ошибочности фельетонов в адрес Мандельштама. В сложившейся ситуации Осип Эмильевич лишился работы. История с судом окончательно выбила поэта из колеи.

Мандельштам, возмущённый несправедливым к нему отношением, пишет в "Открытом письме советским писателям": "Я ухожу из Федерации советских писателей, я запрещаю себе отныне быть писателем, потому что я морально ответственен за то, что делаете вы".

Это был смелый и опасный шаг, так как Советская Россия того времени не прощала критики в адрес властей и приветствуемых правительством направлений в литературе.

С августа 1929 по февраль 1930 года Мандельштам работал в газете "Московский Комсомолец".

В 1930 году Мандельштам побывал в Армении. После возвращения из поездки Осип Эмильевич с женой переезжают в Ленинград.

С 1931 года Мандельштам живёт в Москве (врозь с женой).

В 1932 Мандельштамы поселяются вновь в Доме Герцена. В это время состоялся вечер стихов Осипа Эмильевича, его произведения печатаются в газетах. В этом же году писатель вместе с женой посетили Крым. Потом семья переехала в новую кооперативную квартиру (с удобствами) в Москве.

В 1934 году в ночь с 13 на 14 мая Мандельштама арестовали. Следствие длилось две недели. В результате Мандельштама обвинили в написании эпиграммы и приговорили к трём годам ссылки на Урал. В ссылке у Осипа Эмильевича был припадок, теперь ухудшилось состояние здоровья, ему разрешили переехать в Воронеж.

Целый год Мандельштам не мог писать: тяжёлое нервное потрясение после ареста серьёзно подорвало здоровье.

В 1937 году истёк срок ссылки, и Мандельштамы возвратились в Москву, но прожили в ней всего несколько месяцев, так как находиться в столице опальному поэту не разрешалось. Мандельштам с женой переехал в поселок на Волге, а потом поселился в городе Калинине.

2 мая 1928 года Мандельштама вновь арестовали (за ним прислали бригаду НКВД) и приговорили к пяти годам лагерных работ.

Осип Эмильевич был тяжело болен, допросы его измучили, а лагерная жизнь окончательно подорвала и без того слабое здоровье.

27 декабря 1938 года поэт умер в лагерной больнице под Владивостоком.