Le bouleau jaune est le plus grand des bouleaux de l’est du Canada. C’est un arbre de dimension moyenne, atteignant entre 25 et 33 mètres de hauteur. Son tronc est rectiligne et peut avoir jusqu’à 60 cm de diamètre.
L’écorce du bouleau jaune dégage une odeur rappelant le thé des bois. Elle est mince, luisante et rougeâtre lorsque l’arbre est jeune. Elle tourne progressivement au jaune mat, puis fonce peu à peu pour devenir cuivrée. L'écorce se divise en grandes plaques aux bords déchiquetés lorsque l’arbre prend de l’âge.
Les rameaux grêles et bruns du bouleau jaune sont généralement un peu pubescents. Les bourgeons sont également recouverts de poils, surtout lorsque l’arbre est jeune. Ils sont pointus et présentent deux teintes de brun sur chaque écaille.
Les feuilles alternes, simples et acuminées (se terminant en pointe) sont doublement dentées. Leur face supérieure est vert jaunâtre foncé et leur face inférieure plus pâle.
Les fleurs sont groupées en chatons verdâtres. Les fruits sont appelés les nucules (du latin nucula qui signifie « petite noix »). Ces derniers sont logés à plusieurs dans un chaton en forme de cône robuste, ovale et dressé, persistant parfois tout l'hiver.
Au Québec, le bouleau jaune est parfois appelé merisier. Le vrai merisier est un arbre européen, le prunus avium. L’appellation québécoise fait référence à la similitude de leurs feuilles.