3.3.1. 平均値とソート#

映画のジャンルによって批評家からの評価に一貫した違いがあるのでしょうか？ この質問に答えるための第一歩として、各ジャンルの映画について平均値（別名: 算術平均値）の評価を調べてみましょう。

ジャンルをy軸に、Rotten Tomatoesの評価のaverage（平均）をx軸にプロットして視覚化します。

alt.Chart(movies_url).mark_bar().encode(
    alt.X('average(Rotten_Tomatoes_Rating):Q'),
    alt.Y('Major_Genre:N')
)

興味深い変動が見られるようですが、データをアルファベット順にリストとして表示するだけでは、ジャンルに対する批評家の反応をランク付けするにはあまり役立ちません。

より分かりやすい可視化のために、平均評価の降順でジャンルをソートしてみましょう。そのためには、yエンコーディングチャネルにsortパラメータを追加し、平均値（opで集計操作を指定）Rotten Tomatoes評価（field）を降順（order）でソートするよう指定します。

alt.Chart(movies_url).mark_bar().encode(
    alt.X('average(Rotten_Tomatoes_Rating):Q'),
    alt.Y('Major_Genre:N', sort=alt.EncodingSortField(
        op='average', field='Rotten_Tomatoes_Rating', order='descending')
    )
)

このソートされたプロットからは、批評家がドキュメンタリー、ミュージカル、西部劇、ドラマを高く評価している一方で、ロマンチックコメディやホラー映画には低評価を与えていることがわかります… そして、誰が「null映画」を愛さないわけがあるでしょうか!?

3.3.2. 中央値と四分位範囲#

平均値はデータを要約する一般的な方法ですが、場合によっては誤解を招くことがあります。例えば、非常に大きな値や小さな値（外れ値）が平均値を歪める可能性があります。これを避けるために、ジャンルを中央値の評価で比較することも考えられます。

中央値はデータを均等に分割するポイントであり、半分の値が中央値より小さく、もう半分が中央値より大きくなります。中央値は外れ値に対して影響を受けにくいため、ロバストな統計量と呼ばれます。例えば、最大の評価値を恣意的に増加させても、中央値には影響を与えません。

プロットを更新して、median集計を使用し、その値でソートしてみましょう。

alt.Chart(movies_url).mark_bar().encode(
    alt.X('median(Rotten_Tomatoes_Rating):Q'),
    alt.Y('Major_Genre:N', sort=alt.EncodingSortField(
        op='median', field='Rotten_Tomatoes_Rating', order='descending')
    )
)

平均が近いジャンルの中で順位が入れ替わったものも見られます（ジャンル不明の映画、つまりnullが最も高く評価されています！）。それでも、全体的なグループは安定しています。ホラー映画は依然としてプロの映画評論家からあまり支持されていません。

集計統計を見る際には、懐疑的な目を持つことが大切です。これまで私たちは点推定のみを見てきましたが、ジャンル内で評価がどのように変動しているかはまだ調べていません。

ランキングにニュアンスを加えるために、ジャンル間の評価の変動を可視化してみましょう。ここでは、各ジャンルの四分位範囲（IQR）をエンコードします。IQRはデータ値の中央の半分が存在する範囲です。四分位数はデータ値の25％を含み、四分位範囲は中央の50％を含む2つの中間四分位数から構成されます。

範囲を可視化するには、xとx2エンコーディングチャネルを使用して開始点と終了点を示します。集計関数としてq1（下位四分位境界）とq3（上位四分位境界）を使用して四分位範囲を提供します。（ちなみに、q2は中央値を表します。）

alt.Chart(movies_url).mark_bar().encode(
    alt.X('q1(Rotten_Tomatoes_Rating):Q'),
    alt.X2('q3(Rotten_Tomatoes_Rating):Q'),
    alt.Y('Major_Genre:N', sort=alt.EncodingSortField(
        op='median', field='Rotten_Tomatoes_Rating', order='descending')
    )
)

3.3.3. 時間単位#

次に全く異なる質問をしてみましょう：興行収入は季節によって変動するのでしょうか？

この質問に初歩的に答えるために、月ごとのアメリカ国内の興行収入中央値をプロットしてみます。

このチャートを作成するには、timeUnit変換を使用して公開日を1年のmonthにマッピングします。この結果はビン分割に似ていますが、意味のある時間間隔を使用します。他に有効な時間単位には、year、quarter、date（月の日付）、day（曜日）、hours、および複合単位（yearmonthやhoursminutesなど）があります。Altairドキュメントで時間単位の完全なリストを確認してください。

alt.Chart(movies_url).mark_area().encode(
    alt.X('month(Release_Date):T'),
    alt.Y('median(US_Gross):Q')
)

結果のプロットを見ると、アメリカ国内の映画の中央値の売上は、夏の大作シーズンや年末のホリデー期間にピークを迎えるようです。もちろん、映画に出かけるのはアメリカだけでなく世界中の人々です。全世界の総興行収入でも同様のパターンが見られるのでしょうか？

alt.Chart(movies_url).mark_area().encode(
    alt.X('month(Release_Date):T'),
    alt.Y('median(Worldwide_Gross):Q')
)

Yes!

3.4.1. 計算（Calculate）#

アメリカ国内の興行収入と全世界の興行収入の比較を思い出してください。全世界の収入にはアメリカが含まれていませんか？（実際に含まれています。）アメリカ以外のトレンドをよりよく理解するにはどうすればよいでしょうか？

calculate変換を使用すると、新しいフィールドを派生させることができます。ここでは、全世界の興行収入からアメリカ国内の興行収入を差し引きたいと考えています。calculate変換はVegaの式文字列を受け取り、単一のレコードに対する数式を定義します。Vegaの式ではJavaScriptの構文を使用します。datum.プレフィックスを使用して入力レコードのフィールド値にアクセスします。

alt.Chart(movies).mark_area().transform_calculate(
    NonUS_Gross='datum.Worldwide_Gross - datum.US_Gross'
).encode(
    alt.X('month(Release_Date):T'),
    alt.Y('median(NonUS_Gross):Q')
)

アメリカ国外でも季節的なトレンドが維持されていることがわかりますが、ピークでない月にはより顕著な減少が見られます。

3.4.2. フィルター（Filter）#

filter変換は、元のデータの部分集合を持つ新しいテーブルを作成し、指定された述語テストを満たさない行を削除します。calculate変換と同様に、フィルタ述語はVega式言語を使用して表現されます。

以下では、IMDBとRotten Tomatoesの評価を比較する初期の散布図にフィルターを追加し、「Romantic Comedy」という主要ジャンルの映画のみに限定しています。

alt.Chart(movies_url).mark_circle().encode(
    alt.X('Rotten_Tomatoes_Rating:Q'),
    alt.Y('IMDB_Rating:Q')
).transform_filter('datum.Major_Genre == "Romantic Comedy"')

他のジャンルを表示するようにフィルターを変更すると、プロットはどのように変化するでしょうか？フィルター式を編集して確認してみましょう。

次に、1970年以前に公開された映画を表示するようフィルターを設定してみましょう。

alt.Chart(movies_url).mark_circle().encode(
    alt.X('Rotten_Tomatoes_Rating:Q'),
    alt.Y('IMDB_Rating:Q')
).transform_filter('year(datum.Release_Date) < 1970')

これらの映画は異常に高い評価を受けているようです！古い映画は単に質が良いのでしょうか？それとも、このデータセットにおいて、高評価の古い映画が選ばれる選択バイアスが存在しているのでしょうか？

3.4.3. 集計（Aggregate）#

これまでにエンコーディングチャネルのコンテキストで、countやaverageといったaggregate変換を見てきました。aggregateは、他の変換（以下のwindow変換の例など）の前処理ステップとして、別途指定することも可能です。aggregate変換の出力は、新しいデータテーブルであり、このテーブルにはgroupbyフィールドと計算されたaggregate指標が含まれます。

ジャンルごとの平均評価のプロットを再作成してみましょう。ただし、今回は個別のaggregate変換を使用します。aggregate変換の出力テーブルには13行が含まれ、それぞれがジャンル1つに対応します。

y軸をソートするには、ソート指示に必須の集計操作を含める必要があります。ここでは、max演算子を使用します。ジャンルごとに出力レコードが1つだけであるため、maxは問題なく機能します。同様にmin演算子を使用しても、同じプロットが得られます。

alt.Chart(movies_url).mark_bar().transform_aggregate(
    groupby=['Major_Genre'],
    Average_Rating='average(Rotten_Tomatoes_Rating)'
).encode(
    alt.X('Average_Rating:Q'),
    alt.Y('Major_Genre:N', sort=alt.EncodingSortField(
        op='max', field='Average_Rating', order='descending'
      )
    )
)

3.4.4. ウィンドウ（Window）#

window変換は、データレコードのソートされたグループに対して計算を行います。window変換は非常に強力で、ランキング、リード/ラグ分析、累積合計、移動和や移動平均などのタスクをサポートします。window変換によって計算された値は、新しいフィールドとして元のデータテーブルに書き戻されます。window操作には、これまで見てきた集計操作のほか、rank、row_number、lead、lagなどの特殊な操作が含まれます。利用可能なすべてのウィンドウ操作については、Vega-Liteのドキュメントを参照してください。

window変換のユースケースの1つは、トップkリストの計算です。ここでは、総全世界興行収入に基づいてトップ20の監督をプロットしてみましょう。

まず、監督が不明なレコードを除外するためにfilter変換を使用します。そうしないと、null監督がリストを支配してしまいます！次に、監督ごとにグループ化して全映画の全世界興行収入を合計するためのaggregateを適用します。この時点でソートされた棒グラフをプロットすることは可能ですが、何百人もの監督が表示されてしまいます。これをトップ20に限定するにはどうすれば良いでしょうか？

window変換を使用すると、ソート順に基づいてランキングを計算することでトップ監督を特定できます。window変換の定義内で、興行収入でsortを行い、そのソート順に基づいてrank操作でランクスコアを計算します。その後、ランク値が20以下のレコードのみをデータに残すために、続くfilter変換を追加します。

alt.Chart(movies_url).mark_bar().transform_filter(
    'datum.Director != null'
).transform_aggregate(
    Gross='sum(Worldwide_Gross)',
    groupby=['Director']
).transform_window(
    Rank='rank()',
    sort=[alt.SortField('Gross', order='descending')]
).transform_filter(
    'datum.Rank < 20'
).encode(
    alt.X('Gross:Q'),
    alt.Y('Director:N', sort=alt.EncodingSortField(
        op='max', field='Gross', order='descending'
    ))
)

スティーブン・スピルバーグが非常に成功したキャリアを持っていることがわかります！しかし、合計値を表示すると、キャリアが長く、映画を多く作り、その結果多くの収益を上げた監督が有利になります。集計操作の選択を変更した場合どうなるでしょうか？たとえば、平均や中央値の興行収入では、最も成功した監督は誰になるでしょうか？上記のaggregate変換を変更してみましょう！

このノートブックの前半でヒストグラムについて見てきましたが、これは値の集合の確率密度関数を近似します。それに対する補完的なアプローチとして累積分布を調べる方法があります。例えば、各ビンが自分のカウントだけでなく、すべての前のビンのカウントも含むようなヒストグラムを考えてみてください。結果として_累積合計_が得られ、最後のビンにはレコードの総数が含まれます。累積チャートでは、特定の参照値について、それ以下のデータ値がいくつあるかを直接示します。

具体的な例として、上映時間（分単位）ごとの映画の累積分布を見てみましょう。上映時間の情報を含むレコードは一部のみであるため、まず上映時間を持つ映画のサブセットにfilterを適用します。次に、aggregateを使用して上映時間ごとに映画の数をカウントします（暗黙的に1分ごとの「ビン」を使用）。最後に、window変換を使用して、上映時間の増加順にソートされたビン全体でカウントの累積合計を計算します。

alt.Chart(movies_url).mark_line(interpolate='step-before').transform_filter(
    'datum.Running_Time_min != null'
).transform_aggregate(
    groupby=['Running_Time_min'],
    Count='count()',
).transform_window(
    Cumulative_Sum='sum(Count)',
    sort=[alt.SortField('Running_Time_min', order='ascending')]
).encode(
    alt.X('Running_Time_min:Q', axis=alt.Axis(title='Duration (min)')),
    alt.Y('Cumulative_Sum:Q', axis=alt.Axis(title='Cumulative Count of Films'))
)

映画の長さの累積分布を調べてみましょう。上映時間が110分未満の映画が、上映時間データを持つ全映画の約半分を占めていることがわかります。90分から2時間の間で映画が着実に累積していき、その後分布が減少し始めます。珍しいことに、このデータセットには3時間を超える映画も複数含まれています！