[解決済み】PandasでSettingWithCopyWarningに対処する方法

質問

背景

Pandasを0.11から0.13.0rc1にアップグレードしたところです。今、アプリケーションは多くの新しい警告をポップアウトしています。そのうちのひとつは、こんな感じです。

E:\FinReporter\FM_EXT.py:449: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  quote_df['TVol']   = quote_df['TVol']/TVOL_SCALE

具体的にどういうことなのか知りたいのですが？ 何かを変更する必要があるのでしょうか？

を使用する場合、どのように警告を中断すればよいですか？ quote_df['TVol'] = quote_df['TVol']/TVOL_SCALE ?

エラーが発生する関数

def _decode_stock_quote(list_of_150_stk_str):
    """decode the webpage and return dataframe"""

    from cStringIO import StringIO

    str_of_all = "".join(list_of_150_stk_str)

    quote_df = pd.read_csv(StringIO(str_of_all), sep=',', names=list('ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefg')) #dtype={'A': object, 'B': object, 'C': np.float64}
    quote_df.rename(columns={'A':'STK', 'B':'TOpen', 'C':'TPCLOSE', 'D':'TPrice', 'E':'THigh', 'F':'TLow', 'I':'TVol', 'J':'TAmt', 'e':'TDate', 'f':'TTime'}, inplace=True)
    quote_df = quote_df.ix[:,[0,3,2,1,4,5,8,9,30,31]]
    quote_df['TClose'] = quote_df['TPrice']
    quote_df['RT']     = 100 * (quote_df['TPrice']/quote_df['TPCLOSE'] - 1)
    quote_df['TVol']   = quote_df['TVol']/TVOL_SCALE
    quote_df['TAmt']   = quote_df['TAmt']/TAMT_SCALE
    quote_df['STK_ID'] = quote_df['STK'].str.slice(13,19)
    quote_df['STK_Name'] = quote_df['STK'].str.slice(21,30)#.decode('gb2312')
    quote_df['TDate']  = quote_df.TDate.map(lambda x: x[0:4]+x[5:7]+x[8:10])
    
    return quote_df

その他のエラーメッセージ

E:\FinReporter\FM_EXT.py:449: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  quote_df['TVol']   = quote_df['TVol']/TVOL_SCALE
E:\FinReporter\FM_EXT.py:450: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  quote_df['TAmt']   = quote_df['TAmt']/TAMT_SCALE
E:\FinReporter\FM_EXT.py:453: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  quote_df['TDate']  = quote_df.TDate.map(lambda x: x[0:4]+x[5:7]+x[8:10])

解決方法は？

その SettingWithCopyWarning は、次のような、混乱を招く可能性のある連鎖的な代入にフラグを立てるために作成されたもので、特に最初の選択が コピー . [参照 GH5390 および GH5597 をご覧ください]。

df[df['A'] > 2]['B'] = new_val  # new_val not set in df

警告では、以下のように書き換えるよう提案されています。

df.loc[df['A'] > 2, 'B'] = new_val

しかし、これではあなたの使い方にそぐわないので、次のように相当します。

df = df[df['A'] > 2]
df['B'] = new_val

元のフレームへの参照を上書きしているため）writesが元のフレームに戻ることを気にしないことは明らかですが、残念ながらこのパターンは最初の連鎖した代入の例と区別することができません。そのため、（偽陽性）警告が表示されます。誤検出の可能性については インデックス作成に関するドキュメント をご覧ください。 この新しい警告は、以下の割り当てで安全に無効化することができます。

import pandas as pd
pd.options.mode.chained_assignment = None  # default='warn'

その他のリソース

• pandasユーザーガイド。データの索引付けと選択
• Pythonデータサイエンスハンドブック。データの索引付けと選択
• リアルPython。PandasのSettingWithCopyWarning。ビューとコピーの比較
• データクエスト SettingwithCopyWarning: Pandas のこの警告を修正する方法
• データサイエンスに向けて pandasのSettingWithCopyWarningを解説します。