Né le 4 août 1901 dans une famille pauvre de La Nouvelle-Orléans, Louis, suite à l'absence de son père William Armstrong qui a quitté le foyer familial, est élevé par sa mère et sa grand-mère Joséphine. Enfant, il chante dans les rues de La Nouvelle-Orléans dans un petit groupe vocal. En grandissant dans un quartier difficile, il est plusieurs fois renvoyé, en raison d’actes de délinquance, dans un foyer pour enfants de couleur abandonnés : le Home for Coloured Waifs. Il y fait notamment un long séjour (selon les fichiers de la police) après avoir tiré un coup de feu en l’air avec un pistolet pour fêter la nouvelle année.

Il apprend à jouer du cornet à pistons dans l’orchestre de ce centre, grâce à son premier instrument offert par les Karnofsky, une famille juive d’origine russe qui s'était prise d'affection pour cet enfant. Une fois libéré, il joue du cornet dans les cabarets du quartier chaud de Storyville. Il rencontre King Oliver qui lui donne quelques conseils, joue peu de temps dans l'orchestre du tromboniste Kid Ory sur le riverboat (en) Capitol où il remplace King Oliver. Il assiste fréquemment aux parades des brass bands et écoute les vieux musiciens dès qu’il en a l’occasion, apprenant de Bunk Johnson, Buddy Petit et par-dessus tout Joe « King » Oliver. Il joue plus tard dans les brass bands et avec l'orchestre réputé de Fate Marable sur les bateaux à vapeur qui remontent le Mississippi