ビッグデータてのはすんごい量のデータってことですよね。
それらを全て読み込んでＡＩに学習させるのはどうかと。

じゃあ、あるビッグデータからランダムに数字を選び出し、そのデータを学習させた方が現実的かと。

じゃあ、やってみましょう。

取りあえず数万行とかのデータだとわかりづらいので、簡単な例でやってみよう。

まず行列を生成。
>>>import numpy as np
>>>c=np.random.rand(100,5) #100×5の行列

次に0から99のランダムな整数値を５個生成。
>>>num=np.random.randint(0,99,5)
>>>num
array([67, 70, 77, 57, 50])

最後に、cに入ってる100×5の行列の中からランダムに５行取り出す。
>>>c[num]
array([[ 0.46056215, 0.02724345, 0.04751872, 0.0601672 , 0.88581067],
[ 0.89011215, 0.5425002 , 0.33186499, 0.65377442, 0.58409292],
[ 0.35687939, 0.53664274, 0.87741458, 0.50807996, 0.93492165],
[ 0.04181579, 0.82105758, 0.44125541, 0.47778949, 0.53684184],
[ 0.5850871 , 0.61915054, 0.57150464, 0.48524271, 0.74511142]])

こんな感じでしょうか。
あとは数字を大きくすれば、何万行、何千万行とかにも対応できますね。

統計学だって滅多に全数調査しませんから。
ミニバッチ、使えそうですね。