1949年7月13日，中华全国自然科学工作者代表会议筹备会在北京召开。会议期间，童第周、曾呈奎针对我国海洋科学现状，从国家对未来海洋科技的需求出发，向筹建中国科学院之一的竺可桢提出了建立全国性海洋科学研究机构的建议。 

　　1949年10月19日，中央人民政府任命郭沫若为中国科学院院长，陈伯达、李四光、陶孟和、竺可桢为副院长。1949年10月26日，童第周、曾呈奎联名致函陶孟和与竺可桢，再次建议在青岛建立海洋研究所。1949年11月1日，中国科学院宣告成立。11月21日，陶孟和、竺可桢函复童第周和曾呈奎：“……承示各节，当在专门委员会中提出讨论。” 

　　1950年2月3日，中国科学院计划局在北京召开动生物学研究机构调整座谈会，讨论中国科学院接收有关研究机构的改组事宜和海洋科研机构建设问题。1950年3月9日，政务院批准中国科学院水生生物研究所筹建，青岛海洋生物研究室同步筹建。 

　　1950年3月13日，中国科学院派动物学研究所张玺、植物学研究所吴征镒、前中央研究院动物研究所王家楫到青岛办理海洋生物研究室筹备事宜，与青岛市军管会和市人民政府协商在青岛建立中国科学院海洋机构问题；与山东大学协商调童第周、曾呈奎主持海洋生物研究室的建设问题；与童第周、曾呈奎商讨成立海洋生物研究室有关事宜。 

　　1950年4月15日，中国科学院院务会议批准在青岛市莱阳路28号筹建青岛海洋生物研究室，决定调山东大学童第周、曾呈奎和中国科学院动物研究所张玺负责筹建事宜，同时决定将前北平研究院动物研究所涉海研究人员和山东大学部分涉海研究人员调入，作为青岛海洋生物研究室的基本力量。 

　　1950年8月1日，中国科学院水生生物研究所青岛海洋生物研究室在青岛莱阳路28号成立，童第周任主任，曾呈奎、张玺任副主任。这是新中国第一个专业海洋研究机构，它的成立标志着中国现代海洋科学全面、系统、规模化发展的开端。 

　　1954年1月，青岛海洋生物研究室扩大建制并更名为中国科学院海洋生物研究室，由中国科学院直接领导。童第周任主任，曾呈奎、张玺任副主任，李荣镜任党支部书记。 

　　1955年10月20日，中国科学院第45次院务常务会议批准海洋生物室第一届学术委员会组成人员，童第周任主任，曾呈奎、张玺任副主任，毛汉礼、朱树屏、张玺、张孝威、曾呈奎、童第周、赵九章、赫崇本、郑重为委员。

　　1957年8月，中国科学院海洋生物研究室扩建为中国科学院海洋生物研究所。童第周任所长，曾呈奎、张玺、孙自平任副所长，孙自平兼任党总支书记。 

　　1959年1月，海洋生物研究所扩建为中国科学院海洋研究所，海洋生物、物理海洋、海洋地质、海洋化学等学科全面设立。童第周任所长，曾呈奎、张玺、孙自平任副所长，高墨华任党委书记。 

　　在发展过程中，中国科学院海洋研究所还先后成立筹建了烟台工作站、厦门工作站、舟山工作站、大连工作站、南海海洋研究所（张玺兼任所长）。1961年中国科学院长春地质研究所、山东分院海洋化学研究所，1975年中国科学院哈尔滨地球物理研究室等先后并入海洋研究所，研究所进入多学科、综合性全面发展。 

　　1978年9月，童第周辞去所长职务，曾呈奎接任所长。 

　　1950～2020年，先后任所长的有童第周、曾呈奎、刘瑞玉、秦蕴珊、周名江、相建海、孙松、王凡，先后任党委书记的有高墨华、孙自平、王鹤坪、白学光、秦蕴珊、李光友、李乃胜（党委副书记主持党委工作）、孙松、王启尧、王凡、王辉。