沉香的香味是由各种味道组合而成的，其中以甜香为主，大部分气韵都非常迷人。然而沉香的气味中，也并不都是好闻的香气，其中也包含一些杂味，并且有些是无法清除的。在未经过处理的野生材料中，各种等级的沉香，多少会带有一些杂质，如土壤、虫蚁分泌物、昆虫尸体残骸、脏水残留等都可能附着在沉香表面，如果不加以清洗和处理，就会影响沉香的香气。经过清理之后，这些杂味大都可以去除，能够还原沉香本身的味道。

然而，沉香中也有些杂味是天生的，它们或在结香时形成，又或是在熟化的过程中浸染，这种杂味很大程度上无法根除。

油味：来自沉香凝脂的味道，混有植物蛋白的异味，又有些像变质的植物油的气味，这是在结香过程中形成的沉香本味之一，在星洲沉香中比较常见。

腥味：常与油味混在一起，既有植物蛋白的腥气，也有动物蛋白的腥气，这样的杂味味道，多是在后期熟化时被污染，已经导致沉香凝脂的质变，无法清除。

焦窜味道：这是沉香中的木质纤维被熏烤或是燃烧时散发出的气味，有时会给嗅觉带来异样的刺激。这种味道有可能是结香时受到异味油脂的影响，也有可能是熟化过程中受环境的污染，存在于木质纤维中，与木腥混杂，无法清除。

除了天生的杂味，沉香在佩戴把玩的过程中也会后天形成一些杂味。这些杂味的来源多是长期受到人体体味、皮肤表面油脂、汗液等造成，出现这些味道要注意定期保养、清理，不要忽略这样的杂味，因为长此以往，杂味已很难通过晾置通风驱散的，是需重新打磨的。