パスワードを忘れた? アカウント作成
14056428 story
お金

Apple Cardの利用限度額が男女で異なるとの問題、利用限度額の算出アルゴリズムに性別データは使われていないことが明かされる 79

ストーリー by hylom
傾向と対策 部門より

Anonymous Coward曰く、

先日、Apple Cardの利用限度額決定アルゴリズムが男女差別をしているのではないかとの疑惑が話題になったが、Apple CardをAppleと提携して提供しているゴールドマン・サックスによると、利用限度額を決定するアルゴリズムには性別データは入力されていないという。

しかし、性別と相関するデータを取り込んで利用する限り女性に対するバイアスが生じてしまう可能性があり、また性別データを使わない場合、相関データによって生まれるバイアスを検証ができないとの意見も出ている。

アルゴリズムが!AIが導き出した正解!などの扱い、今後どうなるどうするか諸氏はどう思いますか?

  • by nnnhhh (47970) on 2019年11月26日 17時10分 (#3722270) 日記

    今のに文句がある人は夫婦なら同額にすべき、とか貯金額だけで決めろ、とか正解をまず出してほしい

    今のはダメだ、と言うところが共通でも実際に変えるとなればいろんな意見があるんだろうし、「今のはダメだ」派の方々で話し合って決めてくれればいいです

    私としては「夫婦なら同額」で文句ないけど、
    夫婦と言う情報の提供や関係が納得できない人もいるだろうし…

    ここに返信
    • by Anonymous Coward

      AIも、データ食わせて問いに想定どおりの解答を出すかを人間の目で確認して正しいか判断してるよね。
      その「正解」があってこそのAIだし、ほんとまずはそこからよね。

      でも、「夫婦だから同額派」と「夫婦でも稼ぐ力は別だからクレジットも別派」とかいるだろうからなぁ。
      夫婦の財布の管理とか、そこまできっちりデータとして与えないと判断しづらかろう。

    • by Anonymous Coward

      そもそもこの問題が明らかになったのはほかに持っているクレジットカードに比べて男女で限度額が大幅に異なるってところでしょ。
      つまり男女間の差が既存のクレジットカードと同じぐらいだったら問題ないということ。
      夫婦がどうこうってのはウォズニアックが財産を夫婦共有にしていて他のカードの限度額は同額だったのにAppleCardでは極端な差が出ていたという割と固有の問題であって、夫婦なら同額とかそういう話ではない。

      • by Anonymous Coward

        騒ぎの発端になったのはウォズじゃないけどね

        • by Anonymous Coward
          発端じゃないけど騒いでたのはもっぱら夫婦で限度額が違ってた人たちだけ
          そりゃ家族でも何でもない他人の限度額とか知らんしね普通
  • 言うのはタダですね。

    ここに返信
    • by Anonymous Coward

      調べれば明確にわかる事だし、さすがに嘘はつかないだろう
      非公開情報といってもそれなりの人数が開発運用に関与しているだろうから、万一嘘がバレたときのリスクがでかすぎる

      そもそも別に性別情報なんか無くても、過去の収入や消費に関する情報が入っているだけでも普通に性別に相関した結果になるだろうし

    • by Anonymous Coward

      明細はありません。
      みたいな。

    • by Anonymous Coward

      でも名前でだいたいの区別は付いたりしないかな。
      男女双方に使われる名前はあるとはいえ、
      エドワード(♀)とかジョージ(♀)とかジェームズ(♀)とかハーバート(♀)とかベネディクト(♀)とか
      ジェニファー(♂)とかキャロライン(♂)とかクローディア(♂)とかスーザン(♂)とかは
      有意な数は居ないんじゃないかな
      #個人の感想です

      • ハリウッド映画のクレジット見てると、
        1割位はどこだかわからん国の名前ですよ。
        米国の話なので、簡単に区別つかないでしょう。

        MSのCEOも、名前だけみは性別がわからない米国人も多んじゃないかな。

      • by Anonymous Coward

        日本人の男性はア段で終わる名前が多く、イタリアでは女性名と思われてしまい、
        反対に女性はオ段で終わる名前が多く、イタリアでは男性名だと思われるなんてことも
        あるので、多民族国家のアメリカだとどういうことになるのか。

        # たぶん人間の方が頭悪いという結論になるんだろうけど

    • by Anonymous Coward

      あなたが適当なことを言うのはタダ。
      周りの人も、この人適当なことを言ってるなー、暇なんだろうなーと思うだけ。

      でもアメリカの大企業だと裁判で揉める可能性がある。
      タダどころか、裁判で賠償金払う羽目になる可能性さえある。だから迂闊なことは言わない。

      むしろ、わざわざ言う理由があった、
      黙っているよりも「性別は入力していない」と言った方がメリットがある
      と考える方が良いと思います。

      まあ私が言うのもタダですがね

  • by Anonymous Coward on 2019年11月26日 17時21分 (#3722276)

    身長・体重・購入商品→男女推定→女性の場合限度額を下げる
    ってのが出来ちゃうのよね。
    AIの厄介なところって、「単純にアルゴリズムから推定した客観的指標」として使える一方「AIの入力データやアルゴリズムの操作による違法行為の隠蔽」にも使える点だよね。
    後者は絶対に許されないんだが、峻別することができないとなれば前者も巻き添えはやむを得ない。
    どこも「うちは客観的だ」と主張するだろうからね。
    そもそもいくら頑張ったところで主観は入る。

    ついでに男女差別禁止って制度自体、客観的指標からすれば女性優遇をしなきゃいけないわけだからデータ持たないってこと自体がだめかもしれない。

    ここに返信
  • by Anonymous Coward on 2019年11月26日 16時39分 (#3722240)

    あなたは男性ではありませんね?

    はい/いいえ

    ここに返信
  • by Anonymous Coward on 2019年11月26日 16時39分 (#3722241)

    それで言い訳になるんなら、俺のプログラムがちゃんと動かないのもアルゴリズムのせいにするぞ!

    ここに返信
    • by Anonymous Coward

      ハゲはもう死んでるぞ

  • by Anonymous Coward on 2019年11月26日 16時41分 (#3722243)

    あと200年は男女差別が満足いく結果になんかならんから。その間にフェミニズム文化も飽きられるだろうしな。

    ここに返信
  • by Anonymous Coward on 2019年11月26日 16時52分 (#3722255)

    そもそもクレジットスコアっていう指標があるはずなのに、使ってないってことなのかな?
    それとも既存のクレジットスコアに男女差のバイアスがかかってたってこと?

    ここに返信
    • by Anonymous Coward

      技術のアップルを活かして独自スコアによるFinTechをどうのこうのというコンセプトのはず

    • by Anonymous Coward

      関連ストーリ:Apple Cardの利用限度額決定アルゴリズムが男女差別をしているのではないかとの疑惑

      にある、夫婦で妻の方がクレジットスコアが高いにも関わらず妻の利用限度額は二十分の一しかないという指摘が、そもそもこの問題の発端。

      一般的なクレジットスコアを使っていないか、使っていてもその寄与がかなり小さいと考えられる。

      ゴールドマン・サックスの考えた最強の利用限度額判定プログラムが色々と「面白いもの」になっているのだろう。

  • by Anonymous Coward on 2019年11月26日 16時58分 (#3722261)

    Goldpersonに改名すべき(棒を振り回す音

    ここに返信
    • by Anonymous Coward

      Goldmanという人が始めたから名前がついただけで、男(man)ではない。
      まずは全Goldmanさんを改名させてくれ。

  • by Anonymous Coward on 2019年11月26日 17時00分 (#3722262)

    他の男女でも同じような傾向なら直接的ではないにせよ性別を判別できるような情報が使われているという事ですかね

    ここに返信
    • by Anonymous Coward

      人類を二分する最大の分類で相関関係にあるデータが多く、
      区別をしなようにしたくても実際には無理って事なんだろうなあ

    • by Anonymous Coward

      かなり端折って大雑把に言ってしまえば(つまり正確性には欠けるよ)…、

      市場に男性向け、女性向けというジャンル分けがるように、
      消費活動を比較すると男性という集合と女性という集合では決定的な差がある。
      #ある・ないの差ではなく大小の差

      ここに社会的要因による違い…例えば女性は男性に比べ企業就職率が低い、離職率が高い、出世による昇給などの事例が少ない等で
      平均収入が少ない、収入帯の最繁値が低い、安定した生涯収入を確保できる率が低いとなったとき、
      仮に性別のデータがなくても「この消費活動(女性に多い)の人は収入低いし将来個人で稼いで行ける確率も低めだから、高額商品や長期ローンは勧めない方が良いかなぁ」とアルゴリズムが判断し、
      出力された結果に「男女差別」が反映される可能性が高まるわけだ。

      • by Anonymous Coward on 2019年11月26日 17時37分 (#3722294)

        男女入力せずとも「男女差別」による差は観測されグループ分けされ、その結果「男女差別」的な運用が行われる。資金調達能力で差をつけられたら、例えば学資にも差がつくし、結果平均収入が下がる。男女差別は強化される。
        なんちゅう負のフィードバック。
        男女に限らずいろんな差別が強化されちゃうぞ。

      • by Anonymous Coward
        でもアメリカではクレジットスコアの平均って女性の方が高いそうだよ(自分のスコアは調べられるようになってるらしい)
        正確に消費活動を反映したら逆男女差別が発生する可能性の方がむしろ大きい
        • by Anonymous Coward

          差別ってのは男が上で女が下には限らないから、それは別に「逆」じゃないし、許されるわけでもない

    • by Anonymous Coward

      性別によって収入などに差が出て収入に相関する評価値を元に支払い能力を推定したら男女差が出た、みたいなしょーもない話だろこれ。
      男女差による収入差を性別属性で逆差別掛けて打ち消さなきゃシステム側ではこの男女差別()を打ち消すことはできないが、
      支払い能力に相関しない支払い能力の推定に価値は無いだろう。

      医大の離職率相関属性が女性だったのと同じ。
      収入差や離職率の男女差解消を目指すべきなのに、
      それを反映した二次的な指標にケチつけて修正したところで、
      根本原因を放置したら余計に歪な男女差別が生まれるだけだ。

  • by Anonymous Coward on 2019年11月26日 17時03分 (#3722263)

    AIだろうがアルゴリズムだろうが、「人間」が設計し「人間」がプログラムして生まれる物なんだから最初から担当者の価値観で偏向した結果しか出ないのは当たり前。
    少なくとも人間以上の何かになれるわけがない。どこまでいっても計算機にすぎんよ。

    それが異世界とか第三世界とか人間とは全く違う世界からもたらされたものならともかくね。

    ここに返信
    • by simon (1336) on 2019年11月26日 17時21分 (#3722277)

      AIだろうがアルゴリズムだろうが、「人間」が設計し「人間」がプログラムして生まれる物なんだから最初から担当者の価値観で偏向した結果しか出ないのは当たり前

      いや、担当者の価値観とは関係なく差別が生まれることもあるのよ。

      https://www.businessinsider.jp/post-177193 [businessinsider.jp]

      Amazonの事例だけどエンジニアの履歴書の順位付けをするAIが大量の過去のデータから学習していたので「優秀なエンジニアの条件」と類似した履歴書を選んだらそれはほぼ男性だった(過去のデータはやはりほぼ男性)というのがある。

  • by Anonymous Coward on 2019年11月26日 17時47分 (#3722301)

    過去の審査実績に基づいてトレーニングされた結果、人間の所業に忠実に男女差別を行っただけの話。
    人間が書いたとおり忠実にプログラムが実行された結果、人間が「バグ」と呼ぶ事象が発生するのと同じ。

    ここに返信
  • by Anonymous Coward on 2019年11月26日 17時58分 (#3722314)

    AIが判断しようが、人間がデータに目を通そうが、
    政治的に「差別してはいけない」項目についてはスコアに逆バイアスを掛けて「公平」にするしかないという簡単な事。

    つまり、技術の話ではなく政治の話。

    男女をマスクして男女のスコアに差が出るなら、性別を推定してそれを補正する逆バイアスをかける
    人種をマスクして人種別のスコアに差が出るなら、人種を推定してそれを補正する逆バイアスをかける
    年齢に…、出身地に…、学歴に…、

    最終的に行き当たるのは、政治的に強いマイノリティが最も容易に自動的に好スコアを稼げるシステムになることは自明だけど、現代社会はそれを望んでいるからという所でしょう。

    ここに返信
    • by Anonymous Coward

      目先の経済合理性よりも人権や平等が優先するというのは金融や経済より深い階層の話だから、しょうがないね。

      経済的に最も合理的な選択肢が法律や倫理に触れない保証は無いってことに不思議はないな。
      「どうせ欠陥車とばれても見舞金なんかたかが知れてる、放置しよう」という経済合理性の高い経営判断も過去にあったよね。

  • by Anonymous Coward on 2019年11月26日 18時16分 (#3722326)

    これは仕方がないのでは
    過去のデータから回帰する以上、男性のほうがクレジットクレジットデータは良いでしょうし、性別データと相関が強い説明変数もあるはずだし。

    他にも人種とか、居住地域とかいくらでもある

    ここに返信
    • by Anonymous Coward
      ☓男性のほうがクレジットクレジットデータは良い
      ○女性のほうがクレジットクレジットデータは良い
      アメリカだよ?男女問わずバンバン借金して破産するんだよ?
      まだ女性の方がちょっとは理性残ってるから
      • by Anonymous Coward

        どっちも破産することは多いが、男性のが使用額が大きいとか、または相関が大きい変数が年収そのものとか

        • by Anonymous Coward

          結婚している場合、どちらが生活費をクレカや借りた金で過去多めに払っていたかによるんじゃないの。結局のところ。

    • by Anonymous Coward

      仕方がないならサービス終了ですね
      簡単な話

typodupeerror

未知のハックに一心不乱に取り組んだ結果、私は自然の法則を変えてしまった -- あるハッカー

読み込み中...