もうひとりの重要人物は、アーネスト・フェノロサ（1853-1908）だ。彼は、日本の近代美術史を語る上で非常に重要な研究者であり、コレクターでもある。
しかし、日本に来た最初のきっかけは、意外にも「結婚資金を貯めること」だった。高校時代からつき合っていた恋人と結婚を考えていた頃、モースの仲介で25歳の時、来日した。当時、東京大学の政治学の教授を探していることを知ったモースが、ハーバード大学で哲学、政治経済を学んだフェノロサを推薦したのだ。
もうひとつの原因は、父の死だった。アーネストの父、マニュエルはスペイン生まれの移民でピアニスト。当時は、イギリス移民が多くアングロサクソン系の白人至上主義の時代。保守的なボストンの地では、スペイン系移民は就職、結婚も難しかったのだという。さらに、父が突然、自殺してしまう。原因は、よくわかっていないが、残されたアーネストは、大きなトラウマを抱えることとなった。神学を学んでいたのに、父が自殺するということは「神を冒涜した」ことを意味する。彼は、スペイン系であるという血筋、父の自殺という二重の苦しみから解放されるために日本行きを決断したのかもしれない。
フェノロサは、日本に来てからは大きな呪縛から解放されたように、精力的に活動することになった。ボストン美術館付属の美術学校で絵を学んだこともあったフェノロサは日本絵画に魅せられ、政治学や哲学の講義のかたわら、日本美術の研究と収集に没頭するようになっていったのだ。フェノロサが学んだボストン美術館付属美術学校の理事長チャールズ・パーキンスはこんな重要なことを言っている。「美術学校がなければ、美術館は魂のない身体である」と。フェノロサは、美術だけでなく美術教育の重要さも理解していたに違いない。
フェノロサが来日した当時、イギリスからもお雇い外国人として医師のウィリアム・アンダーソンという人物が来て、近くに住んでいた。彼は、品川の海軍病院に勤務し、その間に膨大な日本、中国の美術品を収集した。そのコレクションは、大英博物館における日本美術作品の中心的存在になっていることでも知られている。彼は、自ら集めた日本美術のコレクションで展覧会を開催し、「日本美術史」の講演会を開いていた。そこにフェノロサは参加していたのだ。
アンダーソンは、イギリスに帰国後、『日本絵画芸術』(The Pictorial Arts of Japan)を出版するのだが、これは英語で著された初めての本格的日本美術史の書籍だった。おそらくフェノロサは、この日本美術マニア、ウィリアム・アンダーソンから大きな刺激を受けたのだろう。
フェノロサは、油絵中⼼の⻄洋画に対して「⽇本画」という新しい概念を作り、明治以降の新しい絵画のあるべき姿を唱えた。この「⽇本画」という言葉は、明治15年（1882年）のフェノロサによる講演『美術真説』で使われたのが最初だとも言われている。彼は、日本画と洋画の特色を比較し、日本画の魅力を説いたのだ。
ついには狩野派の画家に入門する。また狩野芳崖の作品に興味を惹かれ、親交を結ぶことになる。そして、「狩野永探理信」という画号まで得ることになった。これは、狩野派の巨匠である狩野永徳の「永」と、探幽の「探」を一字ずつとった特別な雅号で、古画の鑑定状を出すことを狩野家から許されるということでもあった。さらに東京生まれの息子に「カノウ」と名付けるほど狩野派を愛し、その立場を収集にも生かすことができたのだ。あくまでも想像だが、スペイン系移民だったフェノロサは、髪が黒く、小柄な日本人に自分と近い感性を感じていたに違いない。生まれながらの国際人フェノロサは「狩野永探理信」として生まれ変わることで、心に平和を感じることができたのだろう。

フェノロサは、文部省の依頼で、社寺の宝物調査も行った。教え子だった岡倉天心とともに法隆寺の秘仏、観音菩薩立像（救世観音）などを調査した。さらにアメリカへ帰国後、ボストン美術館、日本部門の初代部長となったのだ。この時に持ち帰ったのが日本で買い求めた「平治物語絵巻」だった。
この絵巻は、13世紀後半、鎌倉時代の作品。平治の乱（1159年）の発端になった源義朝たちのクーデターを描いている。現在、3巻あまりが存在しており、ボストン美術館が所蔵するのは、「三条殿夜討巻（さんじょうどのようちのまき）」だ。三条殿から火の手が上がる様子は、ダイナミックな映画のワンシーンを見ているような迫力がある。
元々、この「平治物語絵巻 三条殿夜討巻」は、旧三河国西端藩主、本多家が所蔵していた。しかし、金銭的な理由で市場に流出した。手に入れた美術商は500円で売り歩いたが買い手がつかない。これは現在の価値でいうと約1000万円以上の金額だ。たまたまフェノロサに見せたところ、言い値の倍にあたる1000円で買いたい、ということになった。しかし、誰に売ったかは口外しないという条件付きだったらしい。フェノロサは、この絵巻は国宝級なものだから海外持ち出しを政府が禁じることを心配して、口止めをしたようだ。
ちなみに、当時フェノロサの月給は、破格の300円。当時の大臣、岩倉具視が600円、大久保利通が500円だったというから、相当な金額をもらっていたようだ。絵巻物の傑作と言えば、他にも「源氏物語絵巻」「信貴山縁起絵巻」「鳥獣戯画」「伴大納言絵巻」などがあるが、「平治物語絵巻」はこれらに並ぶ傑作として知られていた。日本にあれば、おそらく国宝となっていただろう。
そう考えると、フェノロサが、この絵巻を手に入れたのも偶然の出会いだった。元々は、彼が裕福で結婚資金を貯める必要もなければ日本に来ていなかったかもしれない。偶然が偶然を生み、モースとフェノロサは日本の近代美術史に名を刻むこととなったのだ。