Cristin-resultat-ID: 1959647
Sist endret: 18. februar 2022, 09:59
NVI-rapporteringsår: 2021
Resultat
Vitenskapelig Kapittel/Artikkel/Konferanseartikkel
2021

Locality-Aware Workflow Orchestration for Big Data

Bidragsytere:
  • Andrei-Alin Corodescu
  • Nikolay Nikolov
  • Akif Quddus Khan
  • Ahmet Soylu
  • Mihhail Matskin
  • Amir Payberah
  • mfl.

Bok

MEDES '21: Proceedings of the 13th International Conference on Management of Digital EcoSystems
ISBN:
  • 978-1-4503-8314-1

Utgiver

Association for Computing Machinery (ACM)
NVI-nivå 1

Om resultatet

Vitenskapelig Kapittel/Artikkel/Konferanseartikkel
Publiseringsår: 2021
Sider: 62 - 70
ISBN:
  • 978-1-4503-8314-1
Open Access

Klassifisering

Fagfelt (NPI)

Fagfelt: IKT
- Fagområde: Realfag og teknologi

Beskrivelse Beskrivelse

Tittel

Locality-Aware Workflow Orchestration for Big Data

Sammendrag

The development of the Edge computing paradigm shifts data processing from centralised infrastructures to heterogeneous and geographically distributed infrastructure. Such a paradigm requires data processing solutions that consider data locality in order to reduce the performance penalties from data transfers between remote (in network terms) data centres. However, existing Big Data processing solutions have limited support for handling data locality and are inefficient in processing small and frequent events specific to Edge environments. This paper proposes a novel architecture and a proof-of-concept implementation for software container-centric Big Data workflow orchestration that puts data locality at the forefront. Our solution considers any available data locality information by default, leverages long-lived containers to execute workflow steps, and handles the interaction with different data sources through containers. We compare our system with Argo workflow and show significant performance improvements in terms of speed of execution for processing units of data using our data locality aware Big Data workflow approach.

Bidragsytere

Andrei-Alin Corodescu

  • Tilknyttet:
    Forfatter
    ved DIG Digitalisering ved Universitetet i Oslo

Nikolay Vladimirov Nikolov

Bidragsyterens navn vises på dette resultatet som Nikolay Nikolov
  • Tilknyttet:
    Forfatter
    ved Sustainable Communication Technologies ved SINTEF AS

Akif Quddus Khan

  • Tilknyttet:
    Forfatter
    ved Institutt for datateknologi og informatikk ved Norges teknisk-naturvitenskapelige universitet

Ahmet Soylu

  • Tilknyttet:
    Forfatter
    ved Institutt for informasjonsteknologi ved OsloMet - storbyuniversitetet

Mihhail Matskin

  • Tilknyttet:
    Forfatter
    ved Kungliga Tekniska högskolan
1 - 5 av 7 | Neste | Siste »

Resultatet er en del av Resultatet er en del av

MEDES '21: Proceedings of the 13th International Conference on Management of Digital EcoSystems.

Chbeir, Richard. 2021, Association for Computing Machinery (ACM). Vitenskapelig antologi/Konferanseserie
1 - 1 av 1