秘书一词，日语解释为秘密藏书之意。溯其源，同我国古代指宫禁中秘藏的书籍同出一辙，秘书原系指物而非指人，故其由来与我国古代属同一沿革。日本的秘书是官职，相当于中央政府一级的副部长或部长助理，是行政首长，而不完全是幕僚或从事文字工作的，故而日本政府的秘书机构如下：
日本内阁官房，是日本内阁的办事机构，也是内阁主要的辅助机构之一。内阁官房主要任务为负责安排内阁会议议程，负责内阁的日常事务，收集重要情报进行调查研究，向内阁提出制定重要政策的根据。内阁官房是内阁执行行政事务的主要助手。内阁官房设官房长官一人，由总理大臣任命，为内阁成员之一，一般是总理大臣的主要成员，亦其亲信。内阁官房长官统辖内阁官房事务，统一监督所属职员的工作。同时配置内阁官房副长官两人，秘书宫、内阁参事官、内阁审议官和内阁调查官若干人，协助官房长官进行工作。
总理府，是由总理大臣亲自担任首长的行政机关。以总理府总务长官为行政领导的部门，称之为总理府本府。大臣官房负责秘书处工作，保管官印和机密文件。
官内厅，是皇室的一个重要办事机构，主要掌握皇室事务并保管国玺，掌管天皇有关国事行为的事务，直属于内阁总理大臣管辖的总理府。官内厅长官下设次长、侍从长等，协助官内厅长官工作。
在日本，公务秘书是指在国会、政党或内阁各级组织及地方公共机关工作的公务员性质的秘书。这些秘书必须了解国会、政党及内阁情况，并要求精通制定法律的手续和程序。
日本的外事秘书，一般指在大使馆或外资企业中从事秘书工作的人员，在日本设立大使馆的有100多个国家，外资企业在日本设立分支机构的也日益增多，皆聘用日本人充当秘书，但必须精通外语为先决条件。在日本，为了和外国人的秘书一起进行工作，要求外事秘书能将领导和上级的讲话当场速记下来，然后再打印出来，这就需要打字和懂得速记法。此外，还用优美准确的日本话进行口 译，还能准确无误地写出书信文件，能为外客当向导，陪同观看歌舞等娱乐表演，还得一定程度懂得茶道、花道及日本其他文化历史。
至于一般秘书，乃帮助上司处理杂务的工作人员，即能使上司专心致志地从事其本职工作的辅助人员。在日本的企业和政府机关中，秘书及从事秘书工作的人员，可分为专职秘书和以女性为主的处理日常杂务工作人员两类。
