Adolph von Elm wurde am 24. September 1857 in Hamburg als Sohn eines Zigarrenheimarbeiters geboren. Er gilt als Begründer der „Drei-Säulen-Theorie“, nach der die Arbeiterbewegung von drei Säulen getragen wird: von der politischen Partei (SPD), den Gewerkschaften und den Genossenschaften.
Er absolvierte eine Lehre als Zigarrensortierer und trat schon vor 1875 dem Allgemeinen Deutschen Arbeiterverein (ADAV) bei, Vorläufer der SPD.
Weil er aufgrund des Sozialistengesetzes keine Arbeit mehr fand, wanderte er 1878 in die USA aus, erst nach Detroit, dann nach New York, wo er Vizepräsident des Local 8 der Cigar-Packers-Union (CPU) wurde. Dort freundete er sich mit dem Tabakarbeiter Sam Gompers an, dem späteren Gründer und Präsidenten der AFL, der American Federation of Labor, damals der größte amerikanische Gewerkschaftsbund.
1882 kehrte er nach Deutschland zurück und wurde wieder Mitglied im Freundschaftsclub der Zigarrensortierer, aus dem unter seiner Führung der Verband der Zigarrensortierer und Kistenbekleber hervorging. Am 10. Juli 1885 wurde Adolph von Elm zum Geschäftsführer des neu gegründeten Unterstützungsvereins deutscher Cigarrensortierer gewählt.
Seine Lebenspartnerin Helma Steinbach, eine exponierte Agitatorin der Arbeiterbewegung, lernte er als Vorleserin in eine Zigarrenmacherbude kennen. Sie beide waren an der Gründung der Generalkommission der Gewerkschaften Deutschlands beteiligt, der Vorläuferin des heutigen DGB. Zwischen 1890 und 1896 war von Elm Mitglied der Generalkommission.
Nach der großen Hamburger Tabakarbeiteraussperrung von 1890/91 1892 gründete er die Tabakarbeitergenossenschaft (TAG), um Arbeitsplätze für gemaßregelte Arbeiter zu schaffen, und wurde deren Geschäftsführer. Die Genossenschaft mit ihren Fabriken in Hamburg, Hockenheim (Baden) und Frankenberg (Sachsen) sicherte er gegen die oft unfaire Konkurrenz der anderen Zigarrenfabrikanten, in dem er für sie die Konsumgenossenschaften als Absatzmarkt erschloss. Bis 1910, 18 Jahre lang, stellte dies seine einzige bezahlte Stelle neben seinen zahlreichen ehrenamtlichen Tätigkeiten dar.
1893 erfolgte die Gründung der Freien Volksbühne, die vornehmlich Werke kritischer Autoren wie Gerhard Hauptmann im Programm hatte. Von Elm schrieb zahlreiche Aufsätze, die in den „Sozialistischen Monatsheften“ erschienen und verfasste die Schrift „Gewerkschaften, Genossenschaften und ‚Volksfürsorge’“, deren erste Auflage bereits 50,000 Exemplare umfasste. zwei weitere Auflagen folgten. 1893 wurde von Elm als Abgeordneter des Wahlkreises Holstein 6 (Pinneberg, Elmshorn) für die SPD-Fraktion in den Reichstag gewählt, dem er 14 Jahre lang angehörte.
Maßgeblich war er an der Führung des Hamburger Hafenarbeiterstreiks beteiligt, der 1896/97 11 Wochen dauerte und bis zu 18.000 Streikende umfasste und einer der wichtigsten Arbeitskämpfe des 19. Jahrhunderts war. 1899 gründete er den „Konsum-, Bau- und Sparverein, Produktion“ in Hamburg und blieb dessen Aufsichtsratsvorsitzender bis zu seinem Tode. 1905 war er an der Gründung der Pensionskasse des Zentralverbandes deutscher Konsumvereine beteiligt, der heutigen Hamburger Pensionskasse von 1905, einem der größten Versicherer für betriebliche Altersversorgung. 1913 übernahm er die Geschäftsführung der neu gegründeten „Gewerkschaftlich genossenschaftlichen Lebensversicherungsgesellschaft Volksfürsorge“.
1912 schloss sich der Verband der Zigarrensortierer und Kistenbekleber Deutschlands dem Deutschen Tabakarbeiter-Verband an.
Adolph von Elm starb am 18. September 1916 in Hamburg an einem Herzschlag.