Apple Cardの利用限度額が男女で異なるとの問題、利用限度額の算出アルゴリズムに性別データは使われていないことが明かされる 79
ストーリー by hylom
傾向と対策 部門より
傾向と対策 部門より
Anonymous Coward曰く、
先日、Apple Cardの利用限度額決定アルゴリズムが男女差別をしているのではないかとの疑惑が話題になったが、Apple CardをAppleと提携して提供しているゴールドマン・サックスによると、利用限度額を決定するアルゴリズムには性別データは入力されていないという。
しかし、性別と相関するデータを取り込んで利用する限り女性に対するバイアスが生じてしまう可能性があり、また性別データを使わない場合、相関データによって生まれるバイアスを検証ができないとの意見も出ている。
アルゴリズムが！AIが導き出した正解！などの扱い、今後どうなるどうするか諸氏はどう思いますか？
正解を決めてくれりゃそれでいいよ (スコア:4, すばらしい洞察)
今のに文句がある人は夫婦なら同額にすべき、とか貯金額だけで決めろ、とか正解をまず出してほしい
今のはダメだ、と言うところが共通でも実際に変えるとなればいろんな意見があるんだろうし、「今のはダメだ」派の方々で話し合って決めてくれればいいです
私としては「夫婦なら同額」で文句ないけど、
夫婦と言う情報の提供や関係が納得できない人もいるだろうし…
Re: (スコア:0)
AIも、データ食わせて問いに想定どおりの解答を出すかを人間の目で確認して正しいか判断してるよね。
その「正解」があってこそのAIだし、ほんとまずはそこからよね。
でも、「夫婦だから同額派」と「夫婦でも稼ぐ力は別だからクレジットも別派」とかいるだろうからなぁ。
夫婦の財布の管理とか、そこまできっちりデータとして与えないと判断しづらかろう。
Re: (スコア:0)
そもそもこの問題が明らかになったのはほかに持っているクレジットカードに比べて男女で限度額が大幅に異なるってところでしょ。
つまり男女間の差が既存のクレジットカードと同じぐらいだったら問題ないということ。
夫婦がどうこうってのはウォズニアックが財産を夫婦共有にしていて他のカードの限度額は同額だったのにAppleCardでは極端な差が出ていたという割と固有の問題であって、夫婦なら同額とかそういう話ではない。
Re: (スコア:0)
騒ぎの発端になったのはウォズじゃないけどね
Re: (スコア:0)
そりゃ家族でも何でもない他人の限度額とか知らんしね普通
Re:正解を決めてくれりゃそれでいいよ (スコア:2)
そら文句言うてる人に聞いて下さいな
違いがあっても何も文句ないならどうでもいいでしょそんなもん
入力されていないという。 (スコア:1)
言うのはタダですね。
Re: (スコア:0)
調べれば明確にわかる事だし、さすがに嘘はつかないだろう
非公開情報といってもそれなりの人数が開発運用に関与しているだろうから、万一嘘がバレたときのリスクがでかすぎる
そもそも別に性別情報なんか無くても、過去の収入や消費に関する情報が入っているだけでも普通に性別に相関した結果になるだろうし
Re: (スコア:0)
明細はありません。
みたいな。
Re: (スコア:0)
でも名前でだいたいの区別は付いたりしないかな。
男女双方に使われる名前はあるとはいえ、
エドワード(♀)とかジョージ(♀)とかジェームズ(♀)とかハーバート(♀)とかベネディクト(♀)とか
ジェニファー(♂)とかキャロライン(♂)とかクローディア(♂)とかスーザン(♂)とかは
有意な数は居ないんじゃないかな
＃個人の感想です
Re:入力されていないという。 (スコア:1)
ハリウッド映画のクレジット見てると、
１割位はどこだかわからん国の名前ですよ。
米国の話なので、簡単に区別つかないでしょう。
MSのCEOも、名前だけみは性別がわからない米国人も多んじゃないかな。
Re: (スコア:0)
日本人の男性はア段で終わる名前が多く、イタリアでは女性名と思われてしまい、
反対に女性はオ段で終わる名前が多く、イタリアでは男性名だと思われるなんてことも
あるので、多民族国家のアメリカだとどういうことになるのか。
# たぶん人間の方が頭悪いという結論になるんだろうけど
Re: (スコア:0)
あなたが適当なことを言うのはタダ。
周りの人も、この人適当なことを言ってるなー、暇なんだろうなーと思うだけ。
でもアメリカの大企業だと裁判で揉める可能性がある。
タダどころか、裁判で賠償金払う羽目になる可能性さえある。だから迂闊なことは言わない。
むしろ、わざわざ言う理由があった、
黙っているよりも「性別は入力していない」と言った方がメリットがある
と考える方が良いと思います。
まあ私が言うのもタダですがね
推定できる (スコア:1)
身長・体重・購入商品→男女推定→女性の場合限度額を下げる
ってのが出来ちゃうのよね。
AIの厄介なところって、「単純にアルゴリズムから推定した客観的指標」として使える一方「AIの入力データやアルゴリズムの操作による違法行為の隠蔽」にも使える点だよね。
後者は絶対に許されないんだが、峻別することができないとなれば前者も巻き添えはやむを得ない。
どこも「うちは客観的だ」と主張するだろうからね。
そもそもいくら頑張ったところで主観は入る。
ついでに男女差別禁止って制度自体、客観的指標からすれば女性優遇をしなきゃいけないわけだからデータ持たないってこと自体がだめかもしれない。
相関するデータとは (スコア:0)
あなたは男性ではありませんね？
はい／いいえ
Re: (スコア:0)
LGBT活動家「第三の選択肢がない!このクレカ屋はLGBT教育がなってない差別的な会社だ!!」
Re:相関するデータとは (スコア:3)
よく読みなよ、男性か女性かは聞いてないよ。
アルゴリズムのせいにすんなよハゲ (スコア:0)
それで言い訳になるんなら、俺のプログラムがちゃんと動かないのもアルゴリズムのせいにするぞ！
Re: (スコア:0)
ハゲはもう死んでるぞ
現実を認めろ (スコア:0)
あと200年は男女差別が満足いく結果になんかならんから。その間にフェミニズム文化も飽きられるだろうしな。
Re: (スコア:0)
女がいる限りフェミは無くならないんだよなぁ
Re:現実を認めろ (スコア:1)
>女がいる限りフェミは無くならないんだよなぁ
逆説的に言えば、男がいる限り・・・
Re: (スコア:0)
男がいる限りマチズモは無くならない、とすると平仄は合いますね
Re:現実を認めろ (スコア:2)
成程。だから日本ではマジズモは怨恨なのか。
# 「逆転」なのかはあやしいけど。
Re: (スコア:0)
たしかに女性がいる限り無くならないだろうなあ
草創期から女性特有のイベント（出産とか）を目の敵にしてたしみんな男になれればいいのにと考えてそう
クレジットスコアはどうしたんだろ？ (スコア:0)
そもそもクレジットスコアっていう指標があるはずなのに、使ってないってことなのかな？
それとも既存のクレジットスコアに男女差のバイアスがかかってたってこと？
Re: (スコア:0)
技術のアップルを活かして独自スコアによるFinTechをどうのこうのというコンセプトのはず
Re: (スコア:0)
関連ストーリ：Apple Cardの利用限度額決定アルゴリズムが男女差別をしているのではないかとの疑惑
にある、夫婦で妻の方がクレジットスコアが高いにも関わらず妻の利用限度額は二十分の一しかないという指摘が、そもそもこの問題の発端。
一般的なクレジットスコアを使っていないか、使っていてもその寄与がかなり小さいと考えられる。
ゴールドマン・サックスの考えた最強の利用限度額判定プログラムが色々と「面白いもの」になっているのだろう。
まず社名からしてダメだろ (スコア:0)
Goldpersonに改名すべき（棒を振り回す音
Re: (スコア:0)
Goldmanという人が始めたから名前がついただけで、男(man)ではない。
まずは全Goldmanさんを改名させてくれ。
具体的にどこで差が生まれたのか (スコア:0)
他の男女でも同じような傾向なら直接的ではないにせよ性別を判別できるような情報が使われているという事ですかね
Re: (スコア:0)
人類を二分する最大の分類で相関関係にあるデータが多く、
区別をしなようにしたくても実際には無理って事なんだろうなあ
Re: (スコア:0)
かなり端折って大雑把に言ってしまえば（つまり正確性には欠けるよ）…、
市場に男性向け、女性向けというジャンル分けがるように、
消費活動を比較すると男性という集合と女性という集合では決定的な差がある。
＃ある・ないの差ではなく大小の差
ここに社会的要因による違い…例えば女性は男性に比べ企業就職率が低い、離職率が高い、出世による昇給などの事例が少ない等で
平均収入が少ない、収入帯の最繁値が低い、安定した生涯収入を確保できる率が低いとなったとき、
仮に性別のデータがなくても「この消費活動（女性に多い）の人は収入低いし将来個人で稼いで行ける確率も低めだから、高額商品や長期ローンは勧めない方が良いかなぁ」とアルゴリズムが判断し、
出力された結果に「男女差別」が反映される可能性が高まるわけだ。
Re:具体的にどこで差が生まれたのか (スコア:1)
男女入力せずとも「男女差別」による差は観測されグループ分けされ、その結果「男女差別」的な運用が行われる。資金調達能力で差をつけられたら、例えば学資にも差がつくし、結果平均収入が下がる。男女差別は強化される。
なんちゅう負のフィードバック。
男女に限らずいろんな差別が強化されちゃうぞ。
Re: (スコア:0)
正確に消費活動を反映したら逆男女差別が発生する可能性の方がむしろ大きい
Re: (スコア:0)
差別ってのは男が上で女が下には限らないから、それは別に「逆」じゃないし、許されるわけでもない
Re: (スコア:0)
性別によって収入などに差が出て収入に相関する評価値を元に支払い能力を推定したら男女差が出た、みたいなしょーもない話だろこれ。
男女差による収入差を性別属性で逆差別掛けて打ち消さなきゃシステム側ではこの男女差別()を打ち消すことはできないが、
支払い能力に相関しない支払い能力の推定に価値は無いだろう。
医大の離職率相関属性が女性だったのと同じ。
収入差や離職率の男女差解消を目指すべきなのに、
それを反映した二次的な指標にケチつけて修正したところで、
根本原因を放置したら余計に歪な男女差別が生まれるだけだ。
どう思うもなにも (スコア:0)
AIだろうがアルゴリズムだろうが、「人間」が設計し「人間」がプログラムして生まれる物なんだから最初から担当者の価値観で偏向した結果しか出ないのは当たり前。
少なくとも人間以上の何かになれるわけがない。どこまでいっても計算機にすぎんよ。
それが異世界とか第三世界とか人間とは全く違う世界からもたらされたものならともかくね。
Re:どう思うもなにも (スコア:3)
AIだろうがアルゴリズムだろうが、「人間」が設計し「人間」がプログラムして生まれる物なんだから最初から担当者の価値観で偏向した結果しか出ないのは当たり前
いや、担当者の価値観とは関係なく差別が生まれることもあるのよ。
https://www.businessinsider.jp/post-177193 [businessinsider.jp]
Amazonの事例だけどエンジニアの履歴書の順位付けをするAIが大量の過去のデータから学習していたので「優秀なエンジニアの条件」と類似した履歴書を選んだらそれはほぼ男性だった（過去のデータはやはりほぼ男性）というのがある。
Re:どう思うもなにも (スコア:1)
ふと思いましたが
都合の悪い過去データは初めからないことにすれば良いんでない？
AIとか使って
どうだろか？
Re: (スコア:0)
いきなり年嵩のオジサン差別かよ。
Re: (スコア:0)
「根拠のある差別かどうかは問題じゃない」ってちゃんと分かってんじゃん。
「年嵩のオジサンは知能が低い傾向がある」ってデータが仮にあったとしても関係ないだろ?
担当者の偏見だけが差別なら「オジサン達はボケているという証拠があればオジサン差別は正当」って事になる
そんなものは現代では差別主義者の言い訳にしかならないからAIで根拠が付いちゃってるこのカードが問題になってるんだ
正しく差別されただけ (スコア:0)
過去の審査実績に基づいてトレーニングされた結果、人間の所業に忠実に男女差別を行っただけの話。
人間が書いたとおり忠実にプログラムが実行された結果、人間が「バグ」と呼ぶ事象が発生するのと同じ。
恣意性を入れるしかないでしょ (スコア:0)
AIが判断しようが、人間がデータに目を通そうが、
政治的に「差別してはいけない」項目についてはスコアに逆バイアスを掛けて「公平」にするしかないという簡単な事。
つまり、技術の話ではなく政治の話。
男女をマスクして男女のスコアに差が出るなら、性別を推定してそれを補正する逆バイアスをかける
人種をマスクして人種別のスコアに差が出るなら、人種を推定してそれを補正する逆バイアスをかける
年齢に…、出身地に…、学歴に…、
最終的に行き当たるのは、政治的に強いマイノリティが最も容易に自動的に好スコアを稼げるシステムになることは自明だけど、現代社会はそれを望んでいるからという所でしょう。
Re: (スコア:0)
目先の経済合理性よりも人権や平等が優先するというのは金融や経済より深い階層の話だから、しょうがないね。
経済的に最も合理的な選択肢が法律や倫理に触れない保証は無いってことに不思議はないな。
「どうせ欠陥車とばれても見舞金なんかたかが知れてる、放置しよう」という経済合理性の高い経営判断も過去にあったよね。
これは仕方がない (スコア:0)
これは仕方がないのでは
過去のデータから回帰する以上、男性のほうがクレジットクレジットデータは良いでしょうし、性別データと相関が強い説明変数もあるはずだし。
他にも人種とか、居住地域とかいくらでもある
Re: (スコア:0)
○女性のほうがクレジットクレジットデータは良い
アメリカだよ？男女問わずバンバン借金して破産するんだよ？
まだ女性の方がちょっとは理性残ってるから
Re: (スコア:0)
どっちも破産することは多いが、男性のが使用額が大きいとか、または相関が大きい変数が年収そのものとか
Re: (スコア:0)
結婚している場合、どちらが生活費をクレカや借りた金で過去多めに払っていたかによるんじゃないの。結局のところ。
Re: (スコア:0)
仕方がないならサービス終了ですね
簡単な話