stepのArgsに以下を追加して、ジョブを実行する。
メモリ容量は、実際のプログラムによって変えてください。
"--driver-memory", "8g",
"--executor-memory", "4g",
ステップ例
steps = client.add_job_flow_steps(
JobFlowId=cluster_id,
Steps=[
{
'Name': 'StepName'+'3',
'ActionOnFailure': 'CONTINUE',
'HadoopJarStep': {
'Jar': 'command-runner.jar',
'Args': [
"state-pusher-script",
"--queue", "q3",
]
}
},
{
'Name': 'StepName'+'3',
'ActionOnFailure': 'CONTINUE',
'HadoopJarStep': {
'Jar': 'command-runner.jar',
'Args': [
"spark-submit",
"--deploy-mode", "cluster",
"--master", "yarn",
"--queue", "q3",
"--driver-memory", "8g",
"--executor-memory", "4g",
"--py-files",
"s3://burket/python_files.zip,s3://burket/dependencies.zip",
"s3://burket/main_job.py",
"--log_id", "logid"
]
}
}
]
)
