，但实际情况开始恶化。
太康十年(289年)，刘阿知见当时天下混乱之象已生，便于五月初一召集旧臣商议对策。刘阿知说：“我久在此地，恐有覆灭之祸，闻东国于日本，有圣天子”，遂决定率其家族东渡，前往日本避难。这样，刘阿知便率领他的儿子刘都贺、舅舅赵舆德和族人刘国鼎、刘涛子、刘鹤明、刘信子等男女共2040人，离开中国本土，飘洋过海，几经艰难，于日本应神天皇二十九年九月五日来到日本。阿知王到达日本后，被日本天皇赐号东汉使主，奉命定居于大和国高市郡桧前村。据记载，当年随阿知王来日本的，还有段姓、郭姓、李氏、多姓、皂姓、朱姓、高姓等7个姓。
阿知来日本后，又奏请日本天皇，派遣使都前往高丽、百济、新罗等国，将许多流落在这些地方的同乡族人招来日本。因人多地狭，日本天皇政府又将他们分置各地。
日本大化《新撰姓氏录》记载，阿知使主的儿子刘贺都，后被日本雄略天皇赐姓为直，子孙因此以直为姓。他有三个儿子山木直，次志努直(一名成努直)，次尔波伎直。其中，山木直又是日本民忌坟、桧原宿祢等25个姓氏的共同祖先。
尔波伎直则是山口宿祢等8个日本姓氏的共同祖先。志努直的后裔后来也衍生出数十个日本姓氏。 阿知使主一族在手工业中的业绩显著，其中一些人逐渐成为倭王政权中的中下级官吏，进而变成“官人豪族”，成为日本古代社会中一支不可忽视的力量，终于成为拥有氏姓豪族的东汉直氏。
西文首氏是另一个归化汉族集团。其中一些人至日本群岛的时间，可能略早于秦氏和东汉直氏。据《古事记》和《日本书纪》应神记载，百济王命阿知吉师(或阿直 歧)去日本，赠送倭王牡马和化马各一匹以及刀、镜等礼物。因阿直歧懂中国的经典，倭王令其教太子茧道稚郎子读中国典籍。一天，倭王问他，是否还有比他更懂中国典籍的人?他回答说：有。王仁比他更懂中国典籍。
于是，倭王派使者去百济召聘王仁。王仁应召来至日本，同时携带《论语》十卷、《千字文》一卷。这就是 关于王仁的传说。王仁为中日两国的文化交流作出贡献，后来在传说中逐渐演变成为西文首的首领。王仁与乐浪郡的王氏一族有某些渊源。乐浪郡的王氏一族原是山东半岛的巨族大姓，因避战乱迁至乐浪郡，王氏族人在那里做过郡守。其后裔中知识分子很多，担任过历代乐浪郡的各种官职。
在公元三一三年乐浪郡灭亡后，其中一部分人移居于百济。王氏的后裔从百济再迁移至日本。因所居之地靠近河道，因而和船运、物资的收藏、管理、搬运等工作发生联系。经过长期的发展，这一族也形成 拥有氏姓的地方豪族。为和东汉直归化汉人相区别，且居于大和的西部，遂称为西文首氏。
这样，秦氏、东汉直氏、西文首氏等归化汉人，以其大量的经济活动，逐渐形成地方氏姓大族，进入倭王政府，成为日本统治阶级的组成部分。
此时移居于日本群岛的汉族，远不止上述三族。据九世纪初日本天皇政府编纂的《新撰姓氏录》所载，在天皇政府中有一定政治地位的氏中，在京城、山城、大和、 摄津、河内、和泉等地区收集起来的归化人系统的氏有三百二十四氏(其中一部分是汉族)，约占日本全部氏的百分之三十。
这百分之三十的归化人中虽然不全是汉族，但汉族所占的比例不会小。这话说得很中肯，去到日本群岛的汉族人民，就是作为日本人的一员在自觉地建设着日本，但是，他们在客观上起了促进中日文化交流的作用。两晋“五胡乱华”时期东渡日本的移民，大都身怀一技之长，深受日本朝廷重用。无数事实证明，大和国家统治机构的完备，经济的发展，国力的增强， 无不与大陆移民有密切关系。
第三次是隋唐时代(公元6世纪末至10世纪初)。
此时，隋朝完成了中国的统一，结束了长达三个世纪的南北分裂状态，中国封建社会开始进入了鼎盛的巅峰时期。尤其是大唐王朝前期(贞观之治到开元盛世)，国家空前强盛，百姓生活富足安康。相比之下的日本，则正处于由奴隶社会向封建社会转折的阵痛期，国势日衰，内部矛盾重重，内讧不断。大陆移民东渡热潮日趋消退，虽仍有部分知识分子、手工业者和学问僧在日本使者的劝诱下赴日，但是人数相比两晋时期已是强弩之末。
相反，强盛的大唐却强烈的吸引了当时的日本人不畏惊涛骇浪，大规模派遣使节(即遣唐使)来唐朝访问学习。
李白《哭晁卿衡》
日本晁卿辞帝都，征帆一片绕蓬壶。
明月不归沉碧海，白云愁色满苍梧。
译文：日本友人晁衡卿，辞别长安回家乡，乘坐帆船远去东方回蓬莱群岛。晁卿如同明月沉大海一去不返，思念你的心情如同苍白的云彩笼罩着云台山。
本文引用李白的《哭晁卿衡》，其诗中的晁衡就是其中一名最著名的留学生(日文名叫阿倍仲麻吕)。遣唐使回日，