Когда вспоминает папу, очень тяжело и мне тоже, поэтому я и не поминаю ему об этой дате.
Если речь идёт не об организации ритуальных трапез, а просто о том, как именно относиться к памяти об ушедшем человеке, то ответ психолога очевиден - относиться с уважением и вниманием.
Память об ушедших, вообще говоря, имеет ценность не раз в год за обедом, а тогда, когда эта память нужна живым.
Какие бы ни были отношения с покойным лично у Вас, для Вашего сына он навсегда останется его отцом (да и для Вас, собственно, тоже).
Поэтому вполне понятным будет Ваше желание периодически говорить о нём - тогда, когда Вам и сыну захочется, а не по расписанию.