ロイター通信の報道によると、2014年、アマゾンは就職希望者に対して1つ星から5つ星でランク付けをする自動システムの開発に着手した。しかし、このシステムが技術職において男性志願者を優遇していることが分かり、2017年に廃止した。

このAIツールは、アマゾンがそれまで10年間に渡って受け取ってきた履歴書のデータを元に訓練された。

テクノロジー産業は男性優位分野であるため、履歴書の大部分は男性から送られてきたものだった。

システムは意図せずして、男性志願者を女性志願者よりも優先して選ぶように訓練されていた。

報道によれば、「女性の」という言葉や、特定の女子大学の名前を含む履歴書を減点するようになっていた。

アマゾンは、システムがこれらの条件を中立なものとして判断するように変更を加えたものの、プログラムが他のあらゆる分野において本当に性別に対する偏りがないか、自信を持てなくなったという。

私たちはAIを本質的にバイアスがないものとして扱うことはできない。
バイアスのあるデータでシステムを訓練すれば、アルゴリズムもまたバイアスを含むことになる。
もし、今回のような公平性を欠いたAI人材採用プログラムが導入前に明るみにならなければ、ビジネスに長年根付いている多様性の問題の数々は解決されず、むしろ固定化されてしまうだろう。