python - python - dask:指定进程数

我尝试使用dask执行一些并行处理,


import dask


from dask import compute, delayed



def do_something(x): return x * x



data = range(10)


delayed_values = [delayed(do_something)(x) for x in data]


results = compute(*delayed_values, scheduler='processes')



它可以工作,但它只使用一个进程。

如何配置dask,以便它使用5个进程来进行计算?

时间: 原作者:

可以使用num_workers参数指定compute方法的进程数。


results = compute(*delayed_values, scheduler='processes', num_workers=5)



原作者:

你可以将它配置为使用自定义进程池,如下所示:


import dask


from multiprocessing.pool import Pool



dask.config.set(pool=Pool(5))



原作者:
...