Negli anni in cui si distinse nell'attività orchestrale, come primo violino di spalla, iniziò a dedicarsi anche alla composizione, in particolare di brani virtuosistici per violino: i primi brani risalgono al 1848 ed arrivano fino agli ultimi anni della sua vita. Dopo la morte di Mendelssohn è al primo leggio della Gewandhausorchester Leipzig assieme al violinista Ferdinand David. In seguito, a Weimar, ha modo di suonare anche nell’orchestra di Franz Liszt, con la cui musica avrà esperienze contrastanti. Liszt infatti è attualmente uno degli esponenti più agguerriti della “Nuova Scuola Tedesca”, assieme ad Hector Berlioz e Richard Wagner, la quale, in sostanza, si faceva promotrice e sostenitrice dell'estetica del contenuto, della volontà di subordinare, in ambito musicale, la forma al contenuto. Ciò consisteva nel prediligere il carattere descrittivo della musica, la sua capacità di rappresentare elementi di varia natura, da aspetti del concreto a concetti elevati oggetto di altre arti. La conseguenza di questo rivoluzionario modo di pensare sarebbe stato un rinnovamento totale e subitaneo dell'intero sistema musicale, nella modifica radicale del lascito delle tradizioni e nell'abbandono di musiche ormai considerate obsolete perché troppo rigide per rispondere a questo imperativo morale. Una forma statica non avrebbe potuto rappresentare nulla: le strutture portanti del passato si sgretolano - in nome della fusione delle arti - dei generi, dei tempi all'interno di un singolo brano, ed il futuro della musica sembra non essere altro se non quello di una “corrente impetuosa e continua”, caratterizzata dalla perenne generazione e rigenerazione.

In questo periodo riceve numerosi stimoli alla composizione: tipologie di brani e numerose Cadenze scritte per i più famosi concerti; celebre è quella del Concerto per violino e orchestra di Johannes Brahms, da lui eseguita per la prima volta nel 1879 ed ora frequentemente ripresa dai moderni esecutori. Si distingue anche come camerista: nel 1869 fonda il celebre Quartetto Joachim, che ottiene una risonanza a livelli europei.

È autore di un’apprezzatissima Violinschule, compilata con Arthur Moser, insegnante di violino particolarmente interessato ai problemi dei bambini. L’opera rappresenta il primo tentativo di fornire all’allievo un metodo “globale”, dove tecnica pura ed arte del fraseggio vengono insegnati ed appresi di pari passo come facenti parte di un unico meccanismo, e non separatamente ed in contesti differenti. Musica e prassi rigorosa fanno parte insieme del dialogo tra maestro ed allievo, che va necessariamente costruito in modo sequenziale e progressivo. Ludwig Spohr, nel suo metodo, considerando tutti gli aspetti necessari ad una ‘buona’ esecuzione musicale, esigeva dal violinista una perfetta intonazione, un rispetto rigoroso del tempo e del valore  delle note, la resa dei piano e dei forti; qualora si volesse eccellere in una “bella” esecuzione, allora la si doveva arricchire di un suono gradevole e corposo senza cedimenti, di frasi ben caratterizzate e variegate in ciascuna minuta sfumatura e nella maestria nell'esplorazione degli infiniti timbri dello strumento; un lavoro complesso, al quale lo studente-virtuoso poteva arrivare con zelo e con una spiccata capacità creativa, importantissima nel Romanticismo.