不难理解的是,“黄色人种”的本意是指皮肤为黄色的人种。可是,奇迈可此书一个令人吃惊的发现却是,把东亚人的肤色归类为黄色,并非经验观察的结果,而完全是一种近代科学的新发明。十八世纪中期之前的各类西人旅行报告中,对东亚人(主要是中国人和日本人)肤色的描述多是白皙、略暗的白色、橄榄色等,绝少认为东亚人在肤色上与欧洲人迥然有别。包括旅行家、商人和传教士在内的观察者注意到,东亚不同地区的人群体质特征有相当程度的差异,比如中国南方人和北方人比起来肤色要暗一些,但这种差别与欧洲各国间的差异一样,只是深浅之别。这才是经验观察的记录。那时常常被西方观察者归类为“黄皮肤”的,恰恰是在十九世纪被纳入“白人”范围的印度人。色彩不单单是对物理现象的客观描述,还带着各文化传统所赋予的价值与情感。笼统地说(当然只是就奇迈可所要论述的方向而言),西方传统中白色代表着神圣、纯洁、智慧和高贵,黑色象征着邪恶、污贱、死亡和野蛮,黄色则意味着不洁、低俗、病态与恐怖。
当以中国为代表的东亚被认为与西方一样是文明社会的时候,西方旅行者看东方人的肤色是白的,一点也不黄。但随着西欧工业革命的发展,古老的东方社会越来越显得落后、停滞与衰退,东方人的肤色也就慢慢失去了被描述为白色的资格。奇迈可调查了这种转变,他注意到越来越多的观察者称东亚人的肤色近似白色但并不是白色,到底是什么颜色呢?棕色、橄榄色、灰白色、铅色,等等,总之再也不是白色了。不过,几乎还没有人以单纯的黄来描述东亚人的肤色,因为黄色的确并不是一个可以在东亚用肉眼凭经验观察到的肤色。白色被欧洲人垄断之后,如何描述东亚人,似乎在相当长时间和相当广的范围内,难以达成一致。这个问题的解决,要等欧洲中心主义继续成长,超越经验观察,由近代动植物分类学、人类学和进化论主导,才最终实现了东亚人肤色由白向黄的历史性跳跃。
十八世纪中期开始的人种分类标志着近代自然科学中的种族思维取代了古典的经验描述,自然体系中的人类在科学上得以分门别类。人种分类学史上第一个重要的学者是瑞典植物学家林奈(Carl Linnaeus, 1707-1778),他在1735年出版的《自然体系》中把人类分为四种,其中欧罗巴白种人、美洲印第安红种人和非洲黑种人都是那时已广为西方社会所熟悉的说法,只有亚洲人的肤色他用了一个并不明确的拉丁词fuscus,通常可以理解为深色或棕色。在1740年的德文译本中,这个词被译为德语的gelblich“微黄”。奇迈可认为,这是亚洲人种的肤色从各种可选择的颜色最终走向“黄色”的重要一步。而更重要的一步是由林奈本人迈出的。他在1758-1759年出版该书第十版时,把亚洲人的颜色由fuscus改为luridus,而这个词可以译为黄、淡黄、蜡黄、苍白、死一般的颜色,等等。奇迈可强调,林奈并非简单地要在白与黑两极之间寻找一个合适的过渡色,他其实是在找一个暗示病态和不健康的词来指称亚洲人,因为林奈说过,植物呈现luridus颜色就意味着悲伤和可疑。