一、种树难
香榧这种树种比较稀有，原产自我国，但是主要在南方有，而且它是长在深山里的树，生长周期特别长。正常生长的香榧树结的果实是不适合食用的，需要人工嫁接，嫁接之后的树苗种下后也要10多年才能结果，可以说是只是种树就很难。
二、结果难
香榧树虽然七八年结果，但不像其他树种一样当年果实就能采摘，它的果实的生长周期也很长，从果实长出来到结果，也要经历一年多的时间。这种树种开花开一年、结果要一年，成熟又要一年，所以在第一波果实要成熟的时候，第二波的花就开了，第二波的果实才刚刚结上，所以当地人有“千年香榧三代果”的说法，就是说一棵树上既有花又有果，而且三代的果实同时结在树上，很是神奇。
三、采摘难
正是因为香榧树三代同枝的这个特点，采摘的时候就特别麻烦，一个枝头上既有成熟的果实，又有不成熟的果实，机器是没办法准确辨认出来的，所以只能人工攀爬梯子上树采摘，一半摇一摇还能晃动的就是不成熟的，不能摘。这样一来，成本就很高。
四、制作难
刚采摘下来的香榧要等到外面的果皮腐烂之后进行剥皮，然后清洗干净放在阴凉通风处晾晒，干燥之后炒熟，工艺也很复杂，成本又会增加。
正是因为上述四个方面的原因，香榧果实很是难得，但是它营养丰富，素有干果之王的美称，所以售价也很高。