要吃香榧，只要去掉外殼就行，黑衣苦不去掉，如果你不喜歡黑衣的味道可以用香榧殼把它刮掉。 每個香榧上有兩隻對稱的“眼”，有點突出，用拇指和食指使勁按壓就可以破開。裏有一件黑皮包裹着淺黃色的果肉，然後只要輕輕一搓，就可以輕鬆去除黑皮，也可以用外面硬殼刮掉黑衣。
香榧的黑皮可以用外面的硬殼刮，也可以用手搓一搓了，吹掉黑皮之後食用。香榧果味美，營養豐富。果實含有高達42%的油脂，10%的蛋白質，4%的脂肪，含有鈣，磷，鉀等成分。除了炒食，還可以榨油、入藥。香榧可用於去除腸道寄生蟲，如鈎蟲，蛔蟲，有較好的效果。
香榧含脂油較多，所以痰熱體質慎食。另外香榧不與綠豆同食，否則容易腹瀉。 香榧本質上偏温熱的，多吃會讓人上火，所以咽喉腫痛和痰黃的人暫時不吃。因為吃香榧有飽腹感，所以飯前不宜多吃，以免影響正常的用餐，特別是對孩子。另外香榧具有潤腸通便的作用，腹瀉或便溏不適宜吃。
